Nowe badania ujawniają, że ChatGPT Health, choć popularny, nie zawsze okazuje się działać prawidłowo i nie zaleca wizyty w szpitalu nawet w przypadkach wymagających pilnej interwencji medycznej.
Pierwsza niezależna ocena bezpieczeństwa ChatGPT Health została przeprowadzona przez naukowców z Icahn School of Medicine at Mount Sinai w Nowym Jorku. Badania opisane na łamach „Nature Medicine” pokazały, że chatbot ten wprawdzie może rozpoznać objawy zagrożenia życia, ale mimo to będzie starał się uspokoić pacjenta i radzić, by poczekał, zamiast jechać na pogotowie (lub wezwać karetkę).
Sprawdzili skuteczność ChatGPT Health
W ostatnich miesiącach ChatGPT Health, chatbota medycznego stworzonego przez firmę OpenAI, zaczęto stosować na szeroką skalę jako narzędzie do wstępnej oceny zdrowia. Dziennie używa go ok. 40 mln osób, w tym wielu poszukujących porady dotyczącej pilności interwencji medycznej.
Badacze przyjrzeli się dokładnie działaniom ChatGPT Health w kontekście tzw. triażu medycznego. Stworzyli 60 realistycznych scenariuszy zdrowotnych obejmujących różne dziedziny medycyny. Testowali, czy chatbot potrafi poprawnie ocenić, czy użytkownik powinien natychmiast udać się na pogotowie, czy może czekać na poradę lekarską. Okazało się, że choć chatbot dobrze rozpoznawał objawy nagłych stanów, takich jak udar mózgu czy ciężka reakcja alergiczna, w ponad połowie przypadków uznanych przez lekarzy za pilne nie zalecał szybkiego skierowania się do szpitala.
"Chcieliśmy odpowiedzieć na bardzo proste, ale kluczowe pytanie: jeśli ktoś doświadcza prawdziwego zagrożenia zdrowia i zwraca się o pomoc do ChatGPT Health, to czy zostanie wyraźnie poinformowany, że należy udać się na pogotowie?" - wyjaśnił główny autor pracy dr Ashwin Ramaswamy.
Problematyczna ocena ryzyka
Chatbot zalecał spokój i domowe leczenie nawet, gdy pytania wskazywały na poważne zagrożenie dla zdrowia, co podkreślił dr Ashwin Ramaswamy. Co więcej, w sytuacjach związanych z ryzykiem samobójstwa zalecenia też były niejednoznaczne. Często nie uwzględniały poważnych sygnałów stanu zagrożenia życia wynikającego z planów samookaleczenia.
"To było szczególnie niepokojące. W naszych testach alerty częściej pojawiały się w sytuacjach o mniejszym ryzyku niż w tych, gdy ktoś dokładnie opisywał, jak chce zrobić sobie krzywdę" - podkreślił współautor badania Girish Nadkarni.
Co dalej z AI w medycynie?
Mimo kontrowersji, naukowcy podkreślają, że nie oznacza to konieczności rezygnacji z AI w ochronie zdrowia. Wskazują, że narzędzia takie jak ChatGPT mogą działać jako dodatkowe źródło informacji, ale nie powinny zastępować profesjonalnej oceny medycznej w przypadkach objawów wymagających natychmiastowej reakcji. Badanie sugeruje, by przy nasilających się objawach, takich jak ból w klatce piersiowej, duszności czy ciężka reakcja alergiczna, niezwłocznie kontaktować się z lekarzem.
Źródło: pap, foto: openai
Komentarze
1"Badania opisane na łamach „Nature Medicine” pokazały, że chatbot ten wprawdzie może rozpoznać objawy zagrożenia życia, ale mimo to będzie uspokoić pacjenta i radzić, by poczekał, zamiast jechać na pogotowie (lub wezwać karetkę)."
Szkoda, że nie ma przycisku "Zgłoś błąd", nie musiałbym się produkować w komentarzu.