Sztuczna inteligencja może być oszczędniejsza dzięki odkryciu amerykańskich naukowców

8 marca 2020przeczytasz w 2 min.

Sztuczna inteligencja coraz bardziej zadomawia się w naszym życiu, ale do jej wytrenowania wymagane są kosztowne inwestycje w sprzęt. Wkrótce może się to zmienić, bo naukowcy z Rice University znaleźli tańszy sposób na trenowanie sieci neuronowych.

Trenowanie sztucznej inteligencji to kosztowny i czasochłonny proces

Sztuczna inteligencja (AI/SI) jest coraz powszechniej wykorzystywana w domowych urządzeniach – znajdziemy ją w asystentach głosowych, komputerach czy nowoczesnych telewizorach. Na tym jednak pomysły wykorzystania AI się nie kończą - już teraz sztuczna inteligencja opracowuje leki czy odpowiada za ratowanie pszczół. Niektórzy zachęcają nawet do zostania specjalistą od AI.

Działanie sztucznej inteligencji jest ściśle powiązane z procesem głębokiego uczenia, do którego na ogół wykorzystuje się profesjonalne akceleratory graficzne. Procesory graficzne (GPU) cechują się dużo lepszymi osiągami od zwykłych procesorów (CPU), ale trenowanie sieci neuronowych to i tak skomplikowany i czasochłonny proces.

Drugi problem jest taki, że najlepsze platformy dostępne na rynku są bardzo drogie – ich koszt często wynosi kilkadziesiąt lub nawet kilkaset tysięcy dolarów (dobrym przykładem jest tutaj superkomputer Nvidia DGX-2, który kosztuje 400 tys. dolarów).

Nadchodzi rewolucja? Trochę tak, trochę nie

Naukowcy z Rice University w Houston stworzyli algorytm SLIDE (sub-linear deep learning engine), który wykorzystuje do głębokiego uczenia procesory i może być dużo tańszą alternatywą dla obecnie stosowanych rozwiązań.

W przypadku trenowania sieci neuronowych z procesorami graficznymi, algorytm wykorzystuje miliony lub miliardy neuronów. SLIDE działa w ten sposób, że trenuje tylko te neurony, które są istotne dla obliczeń – takie podejście jest tańsze i pozwala zaoszczędzić sporo czasu.

Intel Xeon procesor

Wyniki testów są zaskakujące. Standardowy algorytm działający na akceleratorze Nvidia Tesla V100 (wykorzystano tutaj oprogramowanie Google TensorFlow) wymagał do przeprowadzenia obliczeń 3,5 godziny. Dla porównania, platforma oparta o dwa 22-rdzeniowe procesory Intel Xeon E5-2699A v4 działające w trybie SLIDE ukończyła to samo zadanie zaledwie w godzinę. W tym opracowaniu znajdziecie szczegółowe informacje o algorytmie i testach wydajności.

Twórcy algorytmu wskazują, że jest on jeszcze we wczesnej fazie rozwoju i wymaga dopracowania. Czy nowa technologia zastąpi obecnie stosowane rozwiązania? Jest to raczej mało prawdopodobne, bo trudno będzie zbudować rozbudowane systemy oparte o same procesory. Odkrycie może jednak zmienić podejście do procesu trenowania sieci neuronowych.

Źródło: Engadget, Arxiv

Zobacz inne newsy o procesorach:

Komentarze

Zaloguj się, aby skomentować

anemusek
2020-03-0811:18
5
Do prostych zadań. Niestety ale obecnie przy bardziej skomplikowanych systemach nie wiemy, które węzły są istotne. Co gorsza nawet w tych prostszych węzły pozornie mało istotne potrafią drastycznie zwiększyć skuteczność szczególnie przy nietypowych danych wejściowych.
kkastr
2020-03-0811:54
5
Sztuczna inteligencja jest po prostu metodą prób i błędów. W sumie to nic dziwnego, że jest kosztowna i czasochłonna.
Konto usunięte
2020-03-0917:21
1
SI/AI czy DL jak zwał tak zwał, tu są tak naprawdę dwie podstawowe metodologię. Metoda neuronów, i metoda genotypów, gdzie jedną daje się mapować na drugą w obydwie strony.

Tak zgadza się, to jest metoda prób i błędów, ale jednocześnie nie jest to metoda typu bruteforce. Tu jest coś takiego jak funkcja celu, w sumie najtrudniejsza rzecz to zrobienia która algorytmowi zwraca wynik "jest lepiej" / "jest gorzej", i to tyle tej prostej w swym zamyśle idei :) więc na podstawie tych podpowiedzi algorytm robi próby zgadywania, ale jest to zgadywanie celowe a nie na hybił trafił.

Zakładam, być może błędnie, że ten algorytm działa dwufazowo. tj. w fazie pierwszej działa standardowo, i odnotowuje które wagi zmieniały się najbardziej i najczęściej. W drugiej fazie skupia się na losowaniu tych wag które ulegały najczęstszym zmianom, co znacznie ogranicza zakres poszukiwań, a tym samym zmniejsza nakład obliczeń. przy zbyt małym postępie, wraca do pierwotnego algorytmu i tak w kółko. taka droga na skróty :)

Czy jest w tym coś odkrywczego? i tak i nie, zależy jak się na to spojrzy. Zwykle programując coś złożonego zapominamy o drogach na skróty, ale jak przegniemy, to skróty rozwalą nam wynik.
Konto usunięte
2020-03-0811:54
-3
Amerykańscy naukowcy odkryli że ludzie... uwierzą we wszystko co powiedzą amerykańscy naukowcy - Kurtyna