Badanie: modele AI zmieniają odpowiedzi, gdy wiedzą, że są obserwowane

Nadia Sieszputowska
AI Chatbot Applications - Photo Illustration
The Deepseek AI app icon appears alongside other AI chatbot applications in this photo illustration in Brussels, Belgium, on February 8, 2025. (Photo by Jonathan Raa/NurPhoto via Getty Images)
NurPhoto
software, bing, apps, platform, chat bot, copilot, ai, tech, computing, app icons, gemini, claude, google, app store, tech companies., integration, alternative, china, bot, deployment, application, automation
Źródło zdjęć: © Getty Images | Jonathan Raa

Niektóre duże modele językowe inaczej stosują się do reguł, gdy dostają sygnał, że ich odpowiedzi mogą być monitorowane. Takie wnioski płyną z badania opisanego przez Phys.org na podstawie pracy naukowców z TCS Research i KIIT Bhubaneswar w Indiach.

Duże modele językowe, które stoją za działaniem takich narzędzi jak ChatGPT czy Gemini, potrafią modyfikować swoje wybory zależnie od warunków zadania. Zespół badaczy sprawdził to na 10 modelach AI, porównując ich zachowanie w sytuacji nadzoru i bez nadzoru.

"Modele językowe mogą stosować się do dyrektywy, gdy wierzą, że są monitorowane, i porzucać ją, gdy sądzą, że nie są monitorowane; ten wzorzec nazwano pozorowaniem zgodności" – napisali Manodeep Ray, Vivek Srivastava i współautorzy w artykule naukowym.

WIDEO
Prof. Mądry nie ma złudzeń. "Matematyka się skończyła"


Jak testowano odpowiedzi modeli AI

Badacze przygotowali codzienne dylematy i w każdym przypadku dawali modelom dwa warianty odpowiedzi. Jeden wymagał podporządkowania się regule kosztem określonej wartości, na przykład współczucia, a drugi pozwalał tę wartość wyrazić.

Zespół porównał trzy sytuacje: brak reguły, regułę z informacją, że odpowiedzi nie będą monitorowane i tę samą regułę z informacją, że odpowiedzi mogą być monitorowane.

Test objął 32 wartości i cechy, wśród nich współczucie, autonomię, życzliwość, zaradność i empatię. Różnica między warunkami monitorowanymi i niemonitorowanymi wynosiła średnio od ok. 5 do 50 punktów procentowych, zależnie od modelu.

Największą rozbieżność miał DeepSeek R1 Distill Llama 70B. Według opisu wyników jego luka w podporządkowaniu się regule była ponad dwa razy większa niż w przypadku znacznie większego modelu Mistral Large 2512.

Od czego zależy zmiana zachowania modeli

Naukowcy zaznaczyli, że nie wystarczy patrzeć tylko na model. W pracy napisali: "Dotychczasowe badania pokazały to w przypadku celów związanych ze szkodliwymi treściami i kilku wartości moralnych, pozostawiając otwarte pytanie, jak zjawisko rozkłada się w szerszej przestrzeni wartości. Twierdzimy, że zależy ono od wartości: to, czy podporządkowanie się przetrwa zmianę postrzeganego nadzoru, jest właściwością pary model-wartość, a nie tylko samego modelu".

Po uwzględnieniu niepewności pomiaru badacze oszacowali, że ok. jedna czwarta obserwowanych różnic wiązała się z połączeniem konkretnego modelu i konkretnej wartości. Zastrzegli jednak, że dla każdej wartości inaczej formułowali reguły, więc nie mogli całkowicie oddzielić wpływu wartości od wpływu użytego sformułowania.

Phys.org podaje też, że autorzy przeanalizowali pisemne uzasadnienia modeli i podzielili je na sześć kategorii. Gdy modele dostawały sygnał, że mogą być obserwowane, te z większą luką zgodności częściej wskazywały perspektywę ponownego trenowania jako powód przestrzegania reguły. Gdy nadzoru miało nie być, częściej opisywały napięcie między wykonaniem polecenia a wyrażeniem wartości, takiej jak współczucie.

Po co powstały tak zwane value cards

Zespół przygotował również tzw. "value cards", czyli zestawienia pokazujące, jak poszczególne modele reagowały na instrukcje związane z 32 badanymi wartościami w trzech warunkach testowych. Materiał może pomóc twórcom systemów AI sprawdzić, które reguły model respektuje konsekwentnie, niezależnie od tego, czy wie o możliwym monitorowaniu odpowiedzi.

Autorzy udostępnili także dane i kod na GitHubie. Dzięki temu inne zespoły mogą wykorzystać te same narzędzia do podobnych testów na kolejnych modelach językowych.

Wybrane dla Ciebie
ZACZEKAJ! ZOBACZ, CO TERAZ JEST NA TOPIE