MIT proponuje szybsze i tańsze trenowanie sieci neuronowych

Aktualnie wytrenowanie standardowej sieci neuronowej zajmuje firmie Google około 48 000 godzin pracy GPU. Naukowcy z instytutu MIT znaleźli sposób na skrócenie tego czasu do zaledwie 200 godzin. W czym tkwi sekret pozwalający na ułatwienie wdrażania rozwiązań bazujących na sztucznej inteligencji?

Otóż inżynierowie opracowali specjalny algorytm, który automatyzuje znaczną część zachodzących procesów i ostatecznie optymalizuje projektowanie wyspecjalizowanych sieci neuronowych pod kątem konkretnych platform sprzętowych. 

W nowym algorytmie wykorzystano wiele rozmaitych technik – na przykład odpowiednia binaryzacja pozwoliła zmniejszyć wykorzystanie pamięci. Sztuczna inteligencja pozwoliła odnaleźć rozwiązania, dzięki którym tworzenie sieci neuronowych po prostu jest wydajniejsze.

„Im większa przestrzeń wyszukiwania, tym więcej nieznanych rzeczy można odnaleźć. Nie wiesz, czy coś może być lepsze niż przeszłe ludzkie doświadczenie, pozwól więc przekonać się o tym sztucznej inteligencji” – powiedziała Han Cai z zespołu naukowców. 

Inżynierowie z MIT mają nadzieję, że ich (skracające czas i obniżające koszty) rozwiązanie pozwoli większej liczbie osób korzystać i eksperymentować z sieciami neuronowymi, a w efekcie – przyspieszać demokratyzację, to znaczy zwiększanie dostępności społeczeństwa do sztucznej inteligencji. 

Źródło: MIT News, Engadget, Extreme Tech. Ilustracja: Chelsea Turner, MIT