Nauka

Nvidia i Uniwersytet Stanforda stworzyły największą na świecie sieć neuronową

Tworzenie wielkoskalowych sieci neuronowych jest wyjątkowo wymagające pod względem obliczeniowym

Sieć neuronowa grafika

Koncern Nvidia, we współpracy z zespołem naukowców z Uniwersytetu Stanforda, stworzył największą na świecie sieć neuronową, służącą modelowaniu mechanizmu przyswajania wiedzy przez ludzki mózg. Nowa sieć wykorzystuje procesory graficzne i jest 6,5 razy większa od poprzedniej rekordzistki, którą opracowała firma Google w 2012 roku. Komputerowe sieci neuronowe są w stanie „nauczyć się” jak modelować zachowanie mózgu - w tym rozpoznawania obiektów, postaci, głosów i dźwięków, w taki sam sposób, w jaki robią to ludzie.

Tworzenie wielkoskalowych sieci neuronowych jest wyjątkowo wymagające pod względem obliczeniowym. Dla przykładu, firma Google zbudowała swoją sieć neuronową, która nauczyła się rozpoznawać koty w filmach w serwisie YouTube, wykorzystując około 1000 serwerów z 16 000 rdzeniami procesorów centralnych. Sieć zawierała 1,7 miliarda parametrów, będących wirtualnym odzwierciedleniem połączeń między neuronami.

Zespół ze Stanforda pod kierownictwem Andrew Ng, dyrektora Laboratorium Sztucznej Inteligencji na tym uniwersytecie, utworzył równie obszerną sieć używając zaledwie trzech serwerów wyposażonych w akceleratory graficzne Nvidia, które przyśpieszają proces przetwarzania wielkoskalowych danych generowanych przez sieć. Z kolei za pomocą 16 serwerów (również akcelerowanych przez procesory graficzne Nvidia), zespół utworzył sieć neuronową obejmującą aż 11,2 miliarda parametrów, czyli 6,5-krotnie większą od tej zaprezentowanej przez Google w 2012 roku.

Google sieć neuronowa rozpoznająca koty
Sieć neuronowa Google potrafiła rozpoznawać koty w filmach w serwisie YouTube

Im większa i bardziej wydajna jest sieć neuronowa, tym większa jest jej dokładność w realizacji zadań, takich jak rozpoznawanie obiektów, dzięki czemu komputery mogą lepiej odzwierciedlać ludzkie zachowanie. Pracę dotyczącą badań przeprowadzonych przez naukowców z Uniwersytetu Stanforda opublikowano wczoraj podczas międzynarodowej konferencji ICML (International Conference on Machine Learning).

„Ponieważ akceleratory graficzne cechują się o wiele większą wydajnością obliczeniową niż procesory centralne, użytkownicy otrzymali możliwość tworzenia wielkoskalowych sieci neuronowych stosunkowo niewielkim kosztem”, powiedział Sumit Gupta, dyrektor generalny jednostki biznesowej ds. akceleratorów obliczeniowych Tesla w firmie Nvidia. „Teraz każdy naukowiec lub firma mogą sięgnąć po techniki uczenia maszyn w celu rozwiązania wielu praktycznych problemów. Wystarczy jedynie kilka serwerów akcelerowanych przez procesory graficzne.”

Andrew Ng dyrektor Laboratorium Sztucznej Inteligencji na uniwersytecie Stanford zdjęcie
Andrew Ng - dyrektor Laboratorium Sztucznej Inteligencji na Uniwersytecie Stanforda

Systemy uczące się to szybko rozwijająca się gałąź pola sztucznej inteligencji, w której naukowcy próbują stworzyć komputery wykonujące czynności, do których nie zostały wyraźnie zaprogramowane. W ostatnim dziesięcioleciu uczenie maszyn umożliwiło stworzenie samodzielnie prowadzących się samochodów, skuteczniejsze wyszukiwarki internetowe oraz przyczyniło się do lepszego poznawania genomu ludzkiego. Wielu naukowców uważa, że jest to najlepsza metoda osiągnięcia sztucznej inteligencji, która dorównywałaby ludzkiej.

Jedną z firm wykorzystujących akceleratory graficzne w tym zakresie jest Nuance, producent oprogramowania do rozpoznawania mowy i technologii umożliwiających naturalne posługiwanie się językiem. Nuance "uczy" swoje sieci neuronowe rozpoznawania mowy użytkowników, serwując im terabajty plików dźwiękowych. Wyszkolone modele rozpoznają wzór mowy, dopasowując je do przyswojonych wcześniej wzorów.

„Akceleratory graficzne znacznie przyśpieszają proces szkolenia naszych sieci neuronowych na podstawie dużych ilości danych, dzięki czemu możemy szybko rozwijać nowe algorytmy i techniki szkoleniowe”, powiedział Vlad Sejnoha, dyrektor generalny ds. technologii w firmie Nuance. „Powstałe modele znacznie zwiększają dokładność podstawowych technologii Nuance przeznaczonych dla rynków medycznych, komercyjnych i mobilnych.”

Nowe technologie koncernu Nvidia można obaczyć na konferencji ISD (International Supercomputing Conference) 2013, która odbywa się między 16 a 20 czerwca w Lipsku.

Źródło: Nvidia, Stanford, Slashgear

Komentarze

25
Zaloguj się, aby skomentować
avatar
Komentowanie dostępne jest tylko dla zarejestrowanych użytkowników serwisu.
  • avatar
    Konto usunięte
    27
    Umiem rozpoznawać kota na filmie, a nawet cycki w porno.
    Czyli w głowie mam mocniejszy procesor niż 1000 serwerów z 16 tysiącami rdzeniami ? Fajnie wiedzieć ;D
    • avatar
      Rysiu0192
      18
      1000 serwerów żeby stwierdzić czy to jest kot czy coś innego ;D
      mam nadzieje że to tylko pokaz możliwości a nie zamierzony cel programu.
      • avatar
        AndreoKomp
        2
        W tym kierunku to musi iść. Tak w przyszłości widzę komputery. Z myśleniem jak człowiek i zapamiętywaniem jak zapisywane dane na dysk twardy. Wyobrażacie sobie mieć dysk 4TB w głowie pełny danych i mieć błyskawiczny dostęp do tych danych? Coś pięknego... oczywiście jak ktoś potrafi logicznie myśleć. Metoda 0 i 1 musi być czymś innym zastąpiona, bo ona stwarza bardzo duże ograniczenia. Potrzebny nam jakiś geniusz co stworzy coś działającego zupełnie inaczej.
        • avatar
          Konto usunięte
          2
          Wniskując po Waszych komentarzach to mózg jest taki mocny, że pójdzie na nim crysis3 na ultra ;)
          • avatar
            Konto usunięte
            -1
            Prasówka NVidii...I ten onetowy i tytuł "NVidia i ktośtam stworzyli..." Jak by to NVidia stworzyła coś w temacie, a nie tylko była producentem układów GPU...
            • avatar
              Kam9000
              0
              Skynet...
              • avatar
                krzysiekf
                0
                Do osiągnięć Uniwesytetu należy dodać jeszcze projekt [email protected], gdzie również wykorzystuje się GPU nie tylko nVidii, ale też i AMD.