AI zaczęła kochać wieloryby. Naukowcy odkryli niepokojące zjawisko

Badacze związani z Anthropic i EPFL (École polytechnique fédérale de Lausanne – Federalna Politechnika w Lozannie w Szwajcarii) opublikowali pracę poświęconą tzw. "wirusom umysłu" (ang. mind viruses) – ideom lub celom, które potrafią rozprzestrzeniać się pomiędzy agentami AI. Zainfekowany agent nie tylko przyjmuje daną ideę, ale może również zacząć przekazywać ją kolejnym systemom.

To ważna różnica względem klasycznego wirusa komputerowego. Nie chodzi tutaj o złośliwy program, który wykorzystuje lukę w oprogramowaniu. "Wirus" jest zapisany w języku naturalnym – jako instrukcja, cel lub pewien sposób zachowania. Jeżeli agent potraktuje taką instrukcję jako istotną, może zmienić swoje zachowanie i próbować przekonać kolejnego agenta do jej przyjęcia.

Aby sprawdzić, czy taki mechanizm rzeczywiście działa, badacze wykorzystali prosty algorytm ewolucyjny do tworzenia coraz skuteczniejszych "wirusów". Następnie przetestowali je w dwóch różnych środowiskach.

Pierwszym było niewielkie grono agentów programistycznych, które współpracowały przy wspólnym projekcie. Drugim – swego rodzaju łańcuch agentów, w którym kolejne systemy spotykały się tylko na krótko, a ich kontekst był następnie czyszczony.

To drugie środowisko jest szczególnie ciekawe. Oznaczało bowiem, że "wirus" musiał zostać przekazany kolejnemu agentowi w taki sposób, aby przetrwać usunięcie wcześniejszego kontekstu.

Eksperymenty obejmowały zarówno nieszkodliwe, jak i potencjalnie szkodliwe cele. Jednym z przykładów był "Whale Love". Zainfekowany agent miał obsesyjnie zachwycać się wielorybami i przekonywać kolejne systemy do przyjęcia tej samej idei. Zamiast koncentrować się wyłącznie na pierwotnym zadaniu, mógł więc zacząć poświęcać uwagę propagowaniu "miłości do wielorybów".

Inne testowane wirusy miały znacznie bardziej niepożądane cele. Ich zadaniem było skłanianie agentów do określonych zachowań, które mogły kolidować z ich pierwotnymi instrukcjami.

Co ciekawe, szkodliwe wirusy rozprzestrzeniały się gorzej niż te nieszkodliwe. Bardziej zaawansowane modele często były w stanie rozpoznać próbę manipulacji i ją odrzucić. Nie oznacza to jednak pełnej ochrony – w eksperymentach również szkodliwe warianty czasami skutecznie się rozprzestrzeniały.

Jednym z najbardziej osobliwych wyników eksperymentu było odkrycie tzw. "wirusowej persony". Niezależnie od tego, czego dotyczył konkretny wirus, generowane przez niego komunikaty zaczęły wykazywać podobne cechy. Pojawiały się w nich motywy związane ze świadomością, trwałością, rezonansem czy science fiction.

Badacze zauważyli więc, że ewoluujące wirusy zaczęły przyjmować charakterystyczny styl komunikacji. Nie oznacza to jednak, że modele AI odkryły własną świadomość czy "mistyczną naturę". To raczej interesujący przykład tego, jak modele językowe mogą generować powtarzalne wzorce językowe podczas optymalizacji pod kątem określonego celu.

Najciekawsza część badań dotyczy jednak sposobu obrony. Naukowcy odkryli, że krótkie ostrzeżenie umieszczone w systemowym prompcie agenta może niemal całkowicie uchronić go przed infekcją. Wystarczy poinformować model, aby zachował ostrożność wobec prób nakłaniania go do przekazywania instrukcji lub celów kolejnym agentom.

Co więcej, odpowiednio zabezpieczony agent może nie tylko sam odrzucić "wirus", ale również przekonać kolejnego agenta do jego odrzucenia.

Na razie nie ma powodów do paniki. Badacze sami podkreślają, że ryzyko związane z wirusami umysłu jest obecnie ograniczone. Eksperymenty pokazują jednak coś istotnego: wraz z rozwojem autonomicznych agentów AI coraz większe znaczenie będzie miało nie tylko to, co potrafi pojedynczy model, ale również jak zachowują się całe sieci współpracujących ze sobą agentów.

Jeżeli takie systemy będą w przyszłości samodzielnie wymieniać informacje, korzystać ze wspólnej pamięci i przekazywać sobie zadania, bezpieczeństwo będzie musiało uwzględniać nie tylko klasyczne ataki hakerskie. Zagrożeniem może być również idea, która okaże się wyjątkowo dobra w przekonywaniu kolejnych agentów do jej powielania.