Firmy mają problem. Użytkownicy ChatGPT kosztują więcej, niż płacą

Sztuczna inteligencja przyciąga miliony użytkowników, bije rekordy popularności i staje się codziennym narzędziem pracy. Z biznesowego punktu widzenia taki scenariusz powinien oznaczać sukces. Coraz więcej wskazuje jednak na to, że dla części firm rozwijających modele AI rosnąca aktywność klientów zaczyna być problemem, a nie powodem do świętowania.

Najnowsza analiza firmy SemiAnalysis pokazuje, że koszty obsługi najbardziej zaawansowanych modeli sztucznej inteligencji mogą znacząco przewyższać wpływy z abonamentów. Szczególnie wtedy, gdy użytkownicy faktycznie wykorzystują pełnię możliwości oferowanych przez platformy.

Eksperci SemiAnalysis postanowili sprawdzić, ile kosztowałoby maksymalne wykorzystanie najdroższych planów oferowanych przez OpenAI i Anthropic, gdyby rozliczać je według standardowych cen API.

Wyniki okazały się zaskakujące. ChatGPT Pro kosztujący 200 dolarów miesięcznie może przy pełnym wykorzystaniu generować zużycie odpowiadające nawet około 14 tysiącom dolarów w rozliczeniu API. W przypadku planu Claude Max 20x od Anthropic, również wycenionego na 200 dolarów miesięcznie, potencjalny koszt sięga około 8 tysięcy dolarów.

Oczywiście większość użytkowników nie wykorzystuje abonamentów do granic możliwości. Problem polega jednak na tym, że nawet znacznie niższe poziomy aktywności zaczynają mocno wpływać na rentowność usług.

Według wyliczeń SemiAnalysis Anthropic osiąga próg rentowności dla planów Claude Pro i Claude Max 5x przy wykorzystaniu wynoszącym około 20 proc. dostępnego limitu. Jeszcze trudniejsza sytuacja dotyczy OpenAI. Firma zaczyna tracić pieniądze na użytkownikach ChatGPT Plus i ChatGPT Pro 5x już po przekroczeniu około 11,4 proc. dostępnego wykorzystania.

W przypadku najdroższych pakietów margines bezpieczeństwa jest jeszcze mniejszy. Anthropic schodzi do zera na poziomie około 10 proc. wykorzystania, natomiast OpenAI zaczyna dokładać do klientów już przy około 5,7 proc. maksymalnej aktywności.

To oznacza, że do wygenerowania strat nie potrzeba ekstremalnych użytkowników wysyłających tysiące zapytań dziennie. Wystarczy grupa klientów regularnie korzystających z najbardziej zaawansowanych funkcji.

Źródłem problemu nie jest wyłącznie liczba użytkowników, ale również sposób korzystania z modeli. Coraz większą popularność zdobywają tzw. systemy agentowe, które samodzielnie wykonują wieloetapowe zadania. Zamiast odpowiadać na jedno pytanie, analizują dokumenty, przeszukują dane, piszą kod i wykonują dziesiątki operacji pośrednich.

Każda z tych czynności oznacza dodatkowe zużycie tokenów, czyli podstawowych jednostek rozliczeniowych modeli językowych. Według SemiAnalysis zaawansowane zadania agentowe mogą pochłaniać nawet tysiąc razy więcej tokenów niż tradycyjne zapytania kierowane do chatbota.

Dla dostawców AI oznacza to gwałtownie rosnące rachunki za infrastrukturę obliczeniową.

Odpowiedzią rynku na rosnące koszty jest coraz częstsze korzystanie z kilku modeli jednocześnie. Najbardziej wymagające zadania trafiają do najdroższych modeli, takich jak GPT czy Claude, natomiast prostsze operacje obsługują znacznie tańsze alternatywy. Taki sposób zarządzania ruchem może przynieść ogromne oszczędności - według danych przytaczanych przez "The Wall Street Journal" odpowiednie kierowanie zadań między modelami pozwala ograniczyć koszty nawet o 95 proc.

Coraz większą popularność zdobywają również modele open source. Dla wielu zastosowań okazują się wystarczająco dobre, a jednocześnie znacznie tańsze od najbardziej zaawansowanych komercyjnych rozwiązań.

Przykładem jest startup Lindy, którego założyciel Flo Crivello poinformował o całkowitym przejściu z modeli Anthropic na DeepSeek V4. Według niego nowy model oferował porównywalne możliwości przy znacznie niższych kosztach, co przełożyło się na wielomilionowe oszczędności.

W dłuższej perspektywie sytuacja może się poprawić. Wraz z rozbudową centrów danych, wdrażania nowych akceleratorów o większej efektywności energetycznej i pojawianiem się nowych generacji modeli koszty obsługi średniej klasy systemów prawdopodobnie będą spadać.

Analitycy SemiAnalysis przewidują, że modele oferujące dziś możliwości zbliżone do najbardziej zaawansowanych rozwiązań mogą w przyszłości być rentownie dostarczane już za ok. 20 dol. miesięcznie.

Nie oznacza to jednak końca problemów. Najpotężniejsze modele pozostają niezwykle kosztowne w utrzymaniu, a kolejne generacje wymagają coraz większych nakładów na infrastrukturę.

Dlatego coraz częściej pojawia się scenariusz, w którym najbardziej zaawansowane funkcje nie będą już dostępne w ramach prostych abonamentów. Zamiast tego mogą być rozliczane oddzielnie, na podstawie faktycznego zużycia.