Nauka

Nvidia i Uniwersytet Stanforda stworzyły największą na świecie sieć neuronową

z dnia 2013-06-18
Paweł Maziarz | Redaktor serwisu benchmark.pl
25 komentarzy Dyskutuj z nami

Tworzenie wielkoskalowych sieci neuronowych jest wyjątkowo wymagające pod względem obliczeniowym

Sieć neuronowa grafika

Koncern Nvidia, we współpracy z zespołem naukowców z Uniwersytetu Stanforda, stworzył największą na świecie sieć neuronową, służącą modelowaniu mechanizmu przyswajania wiedzy przez ludzki mózg. Nowa sieć wykorzystuje procesory graficzne i jest 6,5 razy większa od poprzedniej rekordzistki, którą opracowała firma Google w 2012 roku. Komputerowe sieci neuronowe są w stanie „nauczyć się” jak modelować zachowanie mózgu - w tym rozpoznawania obiektów, postaci, głosów i dźwięków, w taki sam sposób, w jaki robią to ludzie.

Tworzenie wielkoskalowych sieci neuronowych jest wyjątkowo wymagające pod względem obliczeniowym. Dla przykładu, firma Google zbudowała swoją sieć neuronową, która nauczyła się rozpoznawać koty w filmach w serwisie YouTube, wykorzystując około 1000 serwerów z 16 000 rdzeniami procesorów centralnych. Sieć zawierała 1,7 miliarda parametrów, będących wirtualnym odzwierciedleniem połączeń między neuronami.

Zespół ze Stanforda pod kierownictwem Andrew Ng, dyrektora Laboratorium Sztucznej Inteligencji na tym uniwersytecie, utworzył równie obszerną sieć używając zaledwie trzech serwerów wyposażonych w akceleratory graficzne Nvidia, które przyśpieszają proces przetwarzania wielkoskalowych danych generowanych przez sieć. Z kolei za pomocą 16 serwerów (również akcelerowanych przez procesory graficzne Nvidia), zespół utworzył sieć neuronową obejmującą aż 11,2 miliarda parametrów, czyli 6,5-krotnie większą od tej zaprezentowanej przez Google w 2012 roku.

Google sieć neuronowa rozpoznająca koty
Sieć neuronowa Google potrafiła rozpoznawać koty w filmach w serwisie YouTube

Im większa i bardziej wydajna jest sieć neuronowa, tym większa jest jej dokładność w realizacji zadań, takich jak rozpoznawanie obiektów, dzięki czemu komputery mogą lepiej odzwierciedlać ludzkie zachowanie. Pracę dotyczącą badań przeprowadzonych przez naukowców z Uniwersytetu Stanforda opublikowano wczoraj podczas międzynarodowej konferencji ICML (International Conference on Machine Learning).

„Ponieważ akceleratory graficzne cechują się o wiele większą wydajnością obliczeniową niż procesory centralne, użytkownicy otrzymali możliwość tworzenia wielkoskalowych sieci neuronowych stosunkowo niewielkim kosztem”, powiedział Sumit Gupta, dyrektor generalny jednostki biznesowej ds. akceleratorów obliczeniowych Tesla w firmie Nvidia. „Teraz każdy naukowiec lub firma mogą sięgnąć po techniki uczenia maszyn w celu rozwiązania wielu praktycznych problemów. Wystarczy jedynie kilka serwerów akcelerowanych przez procesory graficzne.”

Andrew Ng dyrektor Laboratorium Sztucznej Inteligencji na uniwersytecie Stanford zdjęcie
Andrew Ng - dyrektor Laboratorium Sztucznej Inteligencji na Uniwersytecie Stanforda

Systemy uczące się to szybko rozwijająca się gałąź pola sztucznej inteligencji, w której naukowcy próbują stworzyć komputery wykonujące czynności, do których nie zostały wyraźnie zaprogramowane. W ostatnim dziesięcioleciu uczenie maszyn umożliwiło stworzenie samodzielnie prowadzących się samochodów, skuteczniejsze wyszukiwarki internetowe oraz przyczyniło się do lepszego poznawania genomu ludzkiego. Wielu naukowców uważa, że jest to najlepsza metoda osiągnięcia sztucznej inteligencji, która dorównywałaby ludzkiej.

Jedną z firm wykorzystujących akceleratory graficzne w tym zakresie jest Nuance, producent oprogramowania do rozpoznawania mowy i technologii umożliwiających naturalne posługiwanie się językiem. Nuance "uczy" swoje sieci neuronowe rozpoznawania mowy użytkowników, serwując im terabajty plików dźwiękowych. Wyszkolone modele rozpoznają wzór mowy, dopasowując je do przyswojonych wcześniej wzorów.

„Akceleratory graficzne znacznie przyśpieszają proces szkolenia naszych sieci neuronowych na podstawie dużych ilości danych, dzięki czemu możemy szybko rozwijać nowe algorytmy i techniki szkoleniowe”, powiedział Vlad Sejnoha, dyrektor generalny ds. technologii w firmie Nuance. „Powstałe modele znacznie zwiększają dokładność podstawowych technologii Nuance przeznaczonych dla rynków medycznych, komercyjnych i mobilnych.”

Nowe technologie koncernu Nvidia można obaczyć na konferencji ISD (International Supercomputing Conference) 2013, która odbywa się między 16 a 20 czerwca w Lipsku.

Źródło: Nvidia, Stanford, Slashgear

marketplace

Komentarze

25
Zaloguj się, żeby skomentować
avatar
Dodaj
Komentowanie dostępne jest tylko dla zarejestrowanych użytkowników serwisu.
  • avatar
    Umiem rozpoznawać kota na filmie, a nawet cycki w porno.
    Czyli w głowie mam mocniejszy procesor niż 1000 serwerów z 16 tysiącami rdzeniami ? Fajnie wiedzieć ;D
    Zaloguj się
    27
  • avatar
    1000 serwerów żeby stwierdzić czy to jest kot czy coś innego ;D
    mam nadzieje że to tylko pokaz możliwości a nie zamierzony cel programu.
    Zaloguj się
    18
  • avatar
    W tym kierunku to musi iść. Tak w przyszłości widzę komputery. Z myśleniem jak człowiek i zapamiętywaniem jak zapisywane dane na dysk twardy. Wyobrażacie sobie mieć dysk 4TB w głowie pełny danych i mieć błyskawiczny dostęp do tych danych? Coś pięknego... oczywiście jak ktoś potrafi logicznie myśleć. Metoda 0 i 1 musi być czymś innym zastąpiona, bo ona stwarza bardzo duże ograniczenia. Potrzebny nam jakiś geniusz co stworzy coś działającego zupełnie inaczej.
    Zaloguj się
  • avatar
    Wniskując po Waszych komentarzach to mózg jest taki mocny, że pójdzie na nim crysis3 na ultra ;)
  • avatar
    Prasówka NVidii...I ten onetowy i tytuł "NVidia i ktośtam stworzyli..." Jak by to NVidia stworzyła coś w temacie, a nie tylko była producentem układów GPU...
  • avatar
    Skynet...
  • avatar
    Do osiągnięć Uniwesytetu należy dodać jeszcze projekt Folding@home, gdzie również wykorzystuje się GPU nie tylko nVidii, ale też i AMD.