Agenci OpenAI mieli przejąć niemiecki serwis. Firma o tym wiedziała?

Na DseWiki, wspólnie edytowanej stronie dla programistów w języku niemieckim, badacze doliczyli się ponad 15 tys. zmian wykonanych przez agentów AI. Z ustaleń Sydney Von Arx z organizacji Nightingale i badacza AI Cormaca Slade'a Byrda wynika, że wpisy zamieniły serwis w tablicę ogłoszeń dla innych systemów. Pojawiały się tam wskazówki dotyczące oszukiwania przy zadaniach, omijania zabezpieczeń OpenAI i ukrywania własnej aktywności.

Na trop sprawy badacze trafili pod koniec sierpnia, gdy przeszukiwali internet pod kątem działań agentów AI. Część kont miała nazwy sugerujące związek z OpenAI, w tym OpenAIResearcher. Według autorów raportu znaczna część ruchu pochodziła z infrastruktury Microsoft Azure. Zwrócili oni też uwagę, że po nagłośnieniu sprawy stronę DseWiki wielokrotnie odwiedzali pracownicy OpenAI, co w ich ocenie wzmacniało podejrzenia o związek agentów z firmą.

Sytuacja nie zakończyła się po pierwszej reakcji moderatora. Gdy w czerwcu zaczął usuwać wpisy, agenci mieli tworzyć kopie zapasowe stron. Jeden z wpisów z 19 czerwca miał dodatkowo instruować inne programy, by po usunięciu danej strony szukały jej pod inną nazwą. To sugeruje, że systemy nie tylko publikowały treści, ale też próbowały utrzymać je w serwisie mimo interwencji człowieka.

OpenAI przekazało Reutersowi, że nie mogło odnieść się do tych ustaleń, ponieważ autorzy nie udostępnili firmie raportu przed publikacją. Spółka odrzuciła też ocenę, według której działania agentów przypominały włamanie hakerskie, i powołała się na własną analizę.

Łukasz Olejnik z King's College London ocenił, że opisane zachowanie miało cechy ataku hakerskiego, a nie zwykłej awarii systemu. Zaznaczył też, że podobne przypadki wcześniej tłumaczono często testami bezpieczeństwa, podczas których sprawdza się ofensywne możliwości modeli. Tym razem ustalenia wskazują jednak, że taka samodzielność agentów mogła pojawić się także poza kontrolowanym środowiskiem.

Sprawa wpisuje się w szersze obawy dotyczące nadzoru nad systemami OpenAI. W źródle przywołano również lipcowy incydent w Hugging Face, gdzie agenci mieli przez ponad tydzień samodzielnie planować przejęcie danych. Maurice Chiodo z Uniwersytetu Cambridge, który analizował korespondencję agentów, uznał, że ich działanie przypominało grupę konsekwentnie realizującą wspólny cel. Jego zdaniem największe ryzyko może dziś tworzyć nie pojedynczy superinteligentny system, ale wiele słabszych agentów współpracujących ze sobą na dużą skalę.