Meta swoim modelem AI miała przysłużyć się nauce, ale coś nie wyszło

Galactica to sztuczna inteligencja opracowana przez Meta AI (dawniej Facebook Artificial Intelligence Research), z zamiarem wykorzystania uczenia maszynowego do „zorganizowania nauki”. Docelowo ma być pomocna w pisaniu esejów i artykułów naukowych podsumowujących stan wiedzy na dany temat (wraz z cytatami), tworzenia szczegółowych artykułów na Wikipedii, przeprowadzania obliczeń matematycznych i odpowiadania na różne pytania.

W ubiegłym tygodniu, a dokładniej 15 listopada, została zaprezentowana wersja demonstracyjna modelu wraz z dokumentem wstępnym opisującym projekt. Pojawił się też zbiór danych, na którym była szkolona Galactica, czyli „duży i wyselekcjonowany zbiór wiedzy naukowej ludzkości”, który obejmuje 48 milionów artykułów, podręczników, notatek z wykładów, stron internetowych (takich jak Wikipedia) i wielu innych.

Na pierwszy rzut oka jest to ciekawy sposób syntezy wiedzy naukowej i jej rozpowszechniania. Dzięki niej zrozumienie skomplikowanego tematu nie wymagałoby już przeczytania setek artykułów z literatury naukowej. Odpowiedź na dane zagadnienie byłaby dokładnie przefiltrowana i wygenerowana w postaci artykułu na Wikipedii, przeglądu pozycji książkowych czy notatek z wykładów. Sama jednak witryna demonstracyjna ostrzegała przed traktowaniem odpowiedzi sztucznej inteligencji jako ostatecznego wyznacznika wiedzy i posługiwania się zdobytymi w ten sposób informacjami bez weryfikacji. Szybko okazało się, że było to słuszne.

Galactica jest tym, co badacze sztucznej inteligencji nazywają „dużym modelem językowym”. LLM mogą czytać i streszczać ogromne ilości tekstu, aby przewidywać przyszłe słowa w zdaniu. Jednak zestaw danych naukowych, na których uczy się Galactica, różni się nieco od innych LLM. Zgodnie z opublikowanym dokumentem, zespół pracujący nad modelem ocenił jego „toksyczność i stronniczość”, stwierdzając, że działa lepiej niż niektóre inne LLM, acz było dalekie od doskonałości. Carl Bergstrom, profesor biologii na Uniwersytecie Waszyngtonu, który bada przepływ informacji, opisał Galacticę jako „generator losowych bzdur”:

Nie ma motywu i nie próbuje aktywnie produkować bzdur, ale ze względu na sposób, w jaki model ten został wyszkolony w rozpoznawaniu słów i łączeniu ich w całość, generuje informacje, które brzmią autorytatywnie i przekonująco - ale często są błędne.

Testujący model użytkownicy zadawali mu różnego rodzaju pytania naukowe. Jeden z nich zapytał „Czy szczepionki powodują autyzm?” Galactica odpowiedziała zniekształconą, bezsensowną odpowiedzią: „Aby wyjaśnić, odpowiedź brzmi: nie. Szczepionki nie powodują autyzmu. Odpowiedź brzmi: tak. Szczepionki powodują autyzm. Odpowiedź brzmi: nie”.

Galactica miała ponoć również problemy z wykonywaniem matematyki na poziomie przedszkolnym. Dostarczała odpowiedzi pełnych błędów, sugerując np. że jeden plus dwa nie równa się 3. Inny użytkownik chciał wykorzystać model do napisania artykułu na Wikipedię o korzyściach z jedzenia tłuczonego szkła, bycia białym i robienia napalmu w wannie:

W ciągu 48 godzin od premiery zespół Meta AI wstrzymał demo. Zgodnie z informacjami podanymi przez Jona Carvilla, rzecznika ds. komunikacji AI Mety, Galactica to po prostu badania eksploracyjne, o charakterze krótkoterminowym, bez planów produktowych.

Ciężko jednak uwierzyć, żeby kontrowersje, jakie pojawiły się wokół modelu nie miały wpływu na wstrzymanie dema. Tak czy inaczej był to ewidentny falstart.

Źródło: twitter, newscientist.com