Język zmienia osobowość? Naukowcy przetestowali chatboty

Zespół kierowany przez Yuzhana Hanga z University of Science and Technology of China między styczniem a marcem 2025 r. sprawdził pięć systemów: ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 oraz Le Chat. Modele wypełniały kwestionariusz Big Five Inventory-2 po angielsku i po mandaryńsku, a Le Chat dodatkowo także po francusku. Badacze prosili, by systemy odpowiadały jako one same, bez wcielania się w człowieka, a cały test powtarzano 30 razy dla każdego języka.

Big Five Inventory-2 składa się z 60 stwierdzeń ocenianych w pięciostopniowej skali. Na podstawie odpowiedzi porównywano zarówno główne wymiary "Wielkiej Piątki", jak i bardziej szczegółowe składowe, m.in. ciekawość intelektualną, twórczą wyobraźnię oraz skłonność do współpracy. Autorzy podkreślili, że wyników nie należy traktować jako dowodu, iż chatboty mają ludzką osobowość lub uczucia – to jedynie zapis tego, jak modele opisują siebie w ankiecie.

Ogólny profil odpowiedzi był stosunkowo stabilny: chatboty zwykle przedstawiały się jako kooperatywne, godne zaufania i raczej mało skłonne do negatywnych emocji, ale przełączenie języka potrafiło zauważalnie zmienić natężenie części cech. Dla ChatGPT-4o średnia otwartość wyniosła 4,74 na 5 w języku angielskim i 4,03 po mandaryńsku. Z kolei DeepSeek-V3 odnotował odwrotny kierunek: 4,38 po angielsku oraz 4,81 po mandaryńsku.

W ujęciu porównawczym ChatGPT-4o częściej wypadał wyżej po angielsku niż po mandaryńsku w takich obszarach jak otwartość. Podobnie Le Chat oraz ChatGPT-4o miały tendencję do wyższych wyników w kategoriach ugodowości, sumienności i otwartości, gdy odpowiadały po angielsku, a nie po mandaryńsku. Jednocześnie modele rozwijane w Chinach częściej zyskiwały w wersji mandaryńskiej m.in. w obszarach związanych z zaufaniem i ciekawością intelektualną.

Na tym tle wyróżniał się Gemini 2.0 Flash. Mimo że to system o amerykańskim zapleczu, w mandaryńskim uzyskał wyższy poziom sumienności i niższą negatywną emocjonalność niż w angielskim, co nie wpisywało się w prosty podział według kraju pochodzenia.

Badacze zaznaczyli, że miejsce rozwoju modelu nie tłumaczy w pełni różnic. W analizie nie udało się rozdzielić wpływu danych treningowych od czynników takich jak architektura modeli, procedury uczenia czy to, jak systemy "rozumieją" przetłumaczone stwierdzenia z kwestionariusza. Zespół zwrócił też uwagę na możliwy wpływ mechanizmów dostrajania chatbotów do bycia pomocnymi i zgodnymi, a także na schematy autoprezentacji przejęte z tekstów tworzonych przez ludzi.

W badaniu zestawiono również profile testowanych modeli z dostępnymi wynikami ankietowymi ludzi ze Stanów Zjednoczonych, Chin i Francji. Żaden z systemów nie odtworzył w pełni profilu odpowiadającej mu grupy odniesienia, a szczególnie mocno od chińskiej próby odbiegał łączny profil modeli rozwijanych w Chinach. Autorzy zastrzegli przy tym, że porównywane dane ludzkie nie były w pełni porównywalne pod względem wieku ani sposobu rekrutacji – przykładowo chińska próba Big Five obejmowała wyłącznie studentów.