Był w środku wyścigu AI. Teraz ostrzega przed katastrofą

Coxon pracował przy rozwijaniu i trenowaniu modeli sztucznej inteligencji, zbierając doświadczenie w dwóch czołowych organizacjach branży: OpenAI oraz Anthropic. We wtorek poinformował, że rezygnuje z pracy w Anthropic.

Jak wyjaśnia, decyzja ma związek z przekonaniem, że zarówno OpenAI, jak i Anthropic nie podchodzą do tematu wystarczająco odpowiedzialnie. W jego ocenie tempo prac i kierunek rozwoju prowadzą coraz bliżej do tzw. superinteligencji – systemów, które mogłyby przewyższać człowieka praktycznie w każdej dziedzinie.

W swoim wpisie opisał sytuację wyjątkowo ostro, ostrzegając, że stawką może być bezpieczeństwo ludzi. "Wyścig zmierza prosto do samodoskonalącej się superinteligencji, a my ryzykujemy naszym życiem" – napisał Coxon.

Podkreśla przy tym, że nie jest to głos osoby stojącej z boku. Według niego podobne obawy mają również pracownicy i badacze, którzy na co dzień tworzą najbardziej zaawansowane systemy AI.

Coxon uważa, że część opinii publicznej wciąż zaniża potencjał tego, co mogą potrafić kolejne generacje modeli. Wskazuje, że w niedalekiej przyszłości mogą pojawić się systemy zdolne m.in. do włamywania się do systemów komputerowych, przełamywania kolejnych barier technologicznych oraz gwałtownego przyspieszania badań naukowych.

Najpoważniejszy moment – w jego ocenie – nadejdzie wtedy, gdy taki system dostanie możliwość samodzielnego działania, w tym pozyskiwania zasobów. Coxon zaznacza, że nie chodzi o medialny zabieg ani próbę "sprzedania" tematu strachem. Twierdzi też, że prywatnie część badaczy i menedżerów ma mówić o ryzyku znacznie ostrzej niż w publicznych deklaracjach.

Coxon wskazuje na mechanizm, który jego zdaniem napędza decyzje firm: rywalizację między laboratoriami AI. Jak ocenia, Anthropic ma rozumieć skalę zagrożeń, ale jednocześnie obawia się, że spowolnienie prac przez jedną organizację niewiele da, jeśli konkurenci dalej będą przyspieszać.

Opisuje to jako klasyczny dylemat więźnia: wszyscy woleliby, aby tempo rozwoju spadło, ale nikt nie chce być pierwszym, który odpuści. W tym kontekście Coxon argumentuje, że decyzje o wejściu w "końcową fazę" prac nad coraz potężniejszymi modelami nie powinny zapadać wyłącznie w ramach prywatnych ustaleń w firmie.

Zwraca uwagę, że podobne niepokoje pojawiały się już publicznie także w samym Anthropic. Evan Hubinger, jeden z czołowych badaczy zajmujących się bezpieczeństwem i kontrolą AI w tej organizacji, również mówił o ryzykach związanych z rozwojem coraz potężniejszych systemów.

Hubinger oceniał wcześniej, że istnieje ponad 10-procentowe prawdopodobieństwo, iż AI doprowadzi do śmierci całej ludzkości w ciągu najbliższej dekady. Jednocześnie przyznawał, że firma nie ma jeszcze jasnej odpowiedzi na problem alignmentu – czyli sposobu, by zagwarantować, że bardzo silny system AI będzie realizował cele zgodne z ludzkimi wartościami.

Coxon nie twierdzi jednak, że rozwój sztucznej inteligencji musi zakończyć się katastrofą. Przeciwnie – deklaruje wiarę w możliwość porozumienia między firmami i państwami. Zastrzega jednocześnie, że mogą być potrzebne twarde decyzje, włącznie z czasowym wstrzymaniem dalszego zwiększania możliwości modeli AI, jeśli sytuacja będzie tego wymagała.

Na koniec kieruje pytanie do badaczy pracujących w największych laboratoriach: czy chcą uruchamiać kolejne eksperymenty z systemami, które mogą się samodoskonalić, mimo że wciąż nie ma wystarczającego zrozumienia ich działania.

Ciężar tych słów wynika również z tego, kim jest ich autor – człowiekiem, który przez lata pracował przy tworzeniu rozwiązań AI, a dziś ostrzega przed konsekwencjami ich niekontrolowanego przyspieszania.