Nvidia i Uniwersytet Stanforda stworzyły największą na świecie sieć neuronową

Koncern Nvidia, we współpracy z zespołem naukowców z Uniwersytetu Stanforda, stworzył największą na świecie sieć neuronową, służącą modelowaniu mechanizmu przyswajania wiedzy przez ludzki mózg. Nowa sieć wykorzystuje procesory graficzne i jest 6,5 razy większa od poprzedniej rekordzistki, którą opracowała firma Google w 2012 roku. Komputerowe sieci neuronowe są w stanie „nauczyć się” jak modelować zachowanie mózgu - w tym rozpoznawania obiektów, postaci, głosów i dźwięków, w taki sam sposób, w jaki robią to ludzie.

Tworzenie wielkoskalowych sieci neuronowych jest wyjątkowo wymagające pod względem obliczeniowym. Dla przykładu, firma Google zbudowała swoją sieć neuronową, która nauczyła się rozpoznawać koty w filmach w serwisie YouTube, wykorzystując około 1000 serwerów z 16 000 rdzeniami procesorów centralnych. Sieć zawierała 1,7 miliarda parametrów, będących wirtualnym odzwierciedleniem połączeń między neuronami.

Zespół ze Stanforda pod kierownictwem Andrew Ng, dyrektora Laboratorium Sztucznej Inteligencji na tym uniwersytecie, utworzył równie obszerną sieć używając zaledwie trzech serwerów wyposażonych w akceleratory graficzne Nvidia, które przyśpieszają proces przetwarzania wielkoskalowych danych generowanych przez sieć. Z kolei za pomocą 16 serwerów (również akcelerowanych przez procesory graficzne Nvidia), zespół utworzył sieć neuronową obejmującą aż 11,2 miliarda parametrów, czyli 6,5-krotnie większą od tej zaprezentowanej przez Google w 2012 roku.

Sieć neuronowa Google potrafiła rozpoznawać koty w filmach w serwisie YouTube

Im większa i bardziej wydajna jest sieć neuronowa, tym większa jest jej dokładność w realizacji zadań, takich jak rozpoznawanie obiektów, dzięki czemu komputery mogą lepiej odzwierciedlać ludzkie zachowanie. Pracę dotyczącą badań przeprowadzonych przez naukowców z Uniwersytetu Stanforda opublikowano wczoraj podczas międzynarodowej konferencji ICML (International Conference on Machine Learning).

„Ponieważ akceleratory graficzne cechują się o wiele większą wydajnością obliczeniową niż procesory centralne, użytkownicy otrzymali możliwość tworzenia wielkoskalowych sieci neuronowych stosunkowo niewielkim kosztem”, powiedział Sumit Gupta, dyrektor generalny jednostki biznesowej ds. akceleratorów obliczeniowych Tesla w firmie Nvidia. „Teraz każdy naukowiec lub firma mogą sięgnąć po techniki uczenia maszyn w celu rozwiązania wielu praktycznych problemów. Wystarczy jedynie kilka serwerów akcelerowanych przez procesory graficzne.”

Andrew Ng - dyrektor Laboratorium Sztucznej Inteligencji na Uniwersytecie Stanforda

Systemy uczące się to szybko rozwijająca się gałąź pola sztucznej inteligencji, w której naukowcy próbują stworzyć komputery wykonujące czynności, do których nie zostały wyraźnie zaprogramowane. W ostatnim dziesięcioleciu uczenie maszyn umożliwiło stworzenie samodzielnie prowadzących się samochodów, skuteczniejsze wyszukiwarki internetowe oraz przyczyniło się do lepszego poznawania genomu ludzkiego. Wielu naukowców uważa, że jest to najlepsza metoda osiągnięcia sztucznej inteligencji, która dorównywałaby ludzkiej.

Jedną z firm wykorzystujących akceleratory graficzne w tym zakresie jest Nuance, producent oprogramowania do rozpoznawania mowy i technologii umożliwiających naturalne posługiwanie się językiem. Nuance "uczy" swoje sieci neuronowe rozpoznawania mowy użytkowników, serwując im terabajty plików dźwiękowych. Wyszkolone modele rozpoznają wzór mowy, dopasowując je do przyswojonych wcześniej wzorów.

„Akceleratory graficzne znacznie przyśpieszają proces szkolenia naszych sieci neuronowych na podstawie dużych ilości danych, dzięki czemu możemy szybko rozwijać nowe algorytmy i techniki szkoleniowe”, powiedział Vlad Sejnoha, dyrektor generalny ds. technologii w firmie Nuance. „Powstałe modele znacznie zwiększają dokładność podstawowych technologii Nuance przeznaczonych dla rynków medycznych, komercyjnych i mobilnych.”

Nowe technologie koncernu Nvidia można obaczyć na konferencji ISD (International Supercomputing Conference) 2013, która odbywa się między 16 a 20 czerwca w Lipsku.

Źródło: Nvidia, Stanford, Slashgear