Masz dużo RAM-u w komputerze? Sam Altman widzi w tym problem

Wobec niedoborów mocy obliczeniowej w centrach danych coraz częściej pojawia się opinia, że rozwiązaniem problemu może być lokalna inferencja. Zgodnie z tą koncepcją użytkownicy mieliby uruchamiać otwarte modele sztucznej inteligencji bezpośrednio na własnych komputerach, zamiast korzystać z usług chmurowych.

Sam Altman, szef OpenAI, w rozmowie w podcaście Cheeky Pint zwraca jednak uwagę, że takie podejście może prowadzić do nieefektywnego wykorzystania ograniczonych zasobów sprzętowych w skali globalnej.

Stanowisko Altmana nie dotyczy samej możliwości uruchamiania modeli AI na komputerach osobistych. Chodzi przede wszystkim o ekonomiczne wykorzystanie pamięci DRAM, która stała się jednym z istotnych wąskich gardeł branży sztucznej inteligencji.

Producenci pamięci od lat muszą mierzyć się z cyklicznymi wahaniami rynku. Rozbudowa fabryk wymaga wielomiliardowych inwestycji, a wcześniejsze okresy nadprodukcji i spadków cen pokazały, jak ryzykowne mogą być takie przedsięwzięcia. Dlatego firmy ostrożnie podchodzą do zwiększania mocy produkcyjnych, co dodatkowo ogranicza dostępność pamięci na światowym rynku.

W warunkach ograniczonej podaży kluczowe staje się pytanie: jak najlepiej wykorzystać każdy wyprodukowany gigabajt pamięci?

Według argumentacji Altmana kierowanie dużych zasobów DRAM do komputerów osobistych nie jest optymalnym rozwiązaniem. Sprzęt należący do prywatnych użytkowników przez większość czasu nie wykonuje intensywnych obliczeń związanych ze sztuczną inteligencją. Wykorzystanie jego zasobów może wynosić zaledwie około 5 proc. czasu, podczas gdy przez pozostałą część doby pozostają one w dużej mierze niewykorzystane.

Inaczej wygląda sytuacja w centrach danych. Zgromadzona tam pamięć DRAM może być współdzielona przez wielu użytkowników i wykorzystywana do obsługi licznych zapytań. Dzięki temu zasoby nie są przypisane do jednego komputera, który przez większość dnia może pozostawać bezczynny.

Z perspektywy globalnego zarządzania ograniczoną podażą pamięci takie rozwiązanie może być znacznie bardziej efektywne. Zamiast rozdzielać zasoby pomiędzy miliony prywatnych urządzeń, można koncentrować je w infrastrukturze obsługującej wielu użytkowników jednocześnie.

Nie oznacza to oczywiście, że lokalne uruchamianie AI nie ma sensu. Takie rozwiązanie zapewnia większą niezależność od dostawców usług, może lepiej chronić prywatność i pozwala korzystać z modeli bez stałego dostępu do internetu. Altman zwraca uwagę na inny aspekt problemu: przy ograniczonej podaży pamięci liczy się nie tylko to, ile jej mamy, ale również jak efektywnie ją wykorzystujemy. Wydaje się, że ostatecznie to jednak użytkownik powinien decydować, do czego wykorzystuje pamięć kupioną za własne pieniądze – nawet jeśli z punktu widzenia wielkich firm technologicznych nie jest to najbardziej efektywne rozwiązanie.