Wyobraź sobie ludzki umysł jako ocean. Na jego powierzchni znajdują się świadome myśli, które potrafimy ubrać w słowa. Jednak pod spodem nieustannie zachodzą procesy, których na co dzień nie dostrzegamy – od utrzymywania równowagi po rozpoznawanie kształtów i wzorców.
Naukowcy z Anthropic odkryli, że nowoczesne modele sztucznej inteligencji z rodziny Claude wykształciły mechanizm, który w pewnym stopniu przypomina taki ukryty poziom przetwarzania informacji. Nazwali go J-space. Szczegóły opisano w tej publikacji.
Wojny Australii i Big Techów ciąg dalszy
Czym jest J-space?
J-space to szczególna, uprzywilejowana przestrzeń wewnątrz modelu AI, pełniąca rolę globalnej przestrzeni roboczej. Choć model podczas działania przetwarza ogromne ilości danych i wykonuje miliardy operacji matematycznych, tylko niewielka część informacji trafia właśnie do J-space.
To tam gromadzone są informacje potrzebne do planowania kolejnych kroków, rozwiązywania złożonych problemów oraz przygotowania odpowiedzi dla użytkownika.
Najbardziej zaskakujące jest to, że taki mechanizm nie został zaprogramowany przez twórców modelu. Według badaczy wykształcił się samoczynnie podczas procesu uczenia.
Innymi słowy, sztuczna inteligencja sama "odnalazła" bardziej efektywny sposób organizowania informacji potrzebnych do wykonywania trudniejszych zadań.
Jak naukowcy to odkryli?
Badacze wykorzystali narzędzie nazwane Jacobian Lens (J-lens), które pozwala obserwować wewnętrzne reprezentacje informacji w modelu. Dzięki temu zauważyli kilka zaskakujących zjawisk.
AI prowadzi wewnętrzny "monolog". Zanim model wygeneruje odpowiedź, w J-space pojawiają się reprezentacje odpowiadające pojęciom lub słowom, których użytkownik nigdy nie widzi. Podczas rozwiązywania trudniejszych zadań model najpierw tworzy wewnętrzne etapy rozumowania, a dopiero później formułuje końcową odpowiedź.
Niewielka część modelu odpowiada za złożone rozumowanie. J-space stanowi jedynie niewielki fragment całego procesu obliczeniowego. Mimo to jego znaczenie jest ogromne. Gdy badacze zakłócali działanie tej przestrzeni, model tracił zdolność logicznego rozumowania i znacznie gorzej radził sobie z rozwiązywaniem problemów.
Naukowcy pokazali również, że ingerencja w informacje znajdujące się w J-space wpływa na końcowy wynik. Przykładowo, zastąpienie wewnętrznej reprezentacji jednego pojęcia innym powodowało odpowiednią zmianę odpowiedzi generowanej przez model.
Dlaczego to przełom?
Do tej pory nowoczesne modele AI były określane mianem "czarnych skrzynek". Widzieliśmy pytanie zadane modelowi i otrzymywaliśmy odpowiedź, ale sam proces jej powstawania pozostawał praktycznie niewidoczny.
Odkrycie J-space może to zmienić. Badacze wskazują, że dzięki temu łatwiej będzie wykrywać sytuacje, w których model zmierza w niepożądanym kierunku, lepiej zrozumieć źródła jego błędów oraz skuteczniej rozwijać metody treningu odpowiedzialnych i bezpiecznych systemów AI.
Czy AI zaczyna myśleć jak człowiek?
Nie. Odkrycie nie oznacza, że modele AI posiadają świadomość ani działają tak samo jak ludzki mózg.
Badanie pokazuje jednak, że podczas uczenia się modele potrafią spontanicznie wykształcić wewnętrzną strukturę organizowania informacji, która pod pewnymi względami przypomina mechanizmy znane z badań nad ludzkim poznaniem. To jeden z najciekawszych kroków w kierunku zrozumienia, co naprawdę dzieje się we wnętrzu nowoczesnych modeli sztucznej inteligencji.
