Raport: Polski superkomputer Galera

3 kwietnia 2008 w Centrum Informatycznym Trójmiejskiej Akademii Sieci komputerowych (CI TASK) odbyło się oficjalne uruchomienia najszybszego superkomputera w Polsce o nazwie GALERA. Jego instalacja rozpoczęła się na początku listopada 2007 roku, a zakończyła w styczniu 2008 roku. Kosztował ponad 7 milionów złotych i składa się, bagatela z 1344 procesorów czterordzeniowych, dzięki którym osiągnąć można teoretyczną moc obliczeniową rzędu 50 TeraFLOPS (ang. Floating Point Operations Per Second - liczba operacji zmiennoprzecinkowych na sekundę).

Maszyna wykonuje do 50 bilionów działań matematycznych (dodawanie, mnożenie liczb zmiennoprzecinkowych), w ciągu sekundy. Zużywa 500 razy więcej energii elektrycznej niż przeciętne gospodarstwo domowe, nie licząc chłodzenia i wentylacji pomieszczenia. Waży około 7 ton, a do jego budowy zużyto około 8 km kabli. Każdy procesor składa się z czterech rdzeni, co przy ilości 1344 procesorów daje nam 5 376 rdzeni obliczeniowych i bilionowe ilości tranzystorów. O temperaturę dba ponad 2000 wentylatorów, a na klastrze mogłoby grać jednocześnie pół miliona graczy nie przeszkadzając sobie nawzajem.

Paul Otellini opowiada o nowym superkomputerze

Oficjalnego uruchomienia dokonał Paul S. Otellini, prezes Intel Corp. i jednocześnie członek zarządu Google, w towarzystwie prezydenta Lecha Wałęsy i Mścisława Nakoniecznego, dyrektora Trójmiejskiej Akademickiej Sieci Komputerowej, oraz profesora Janusza Rachonia, rektora Politechniki Gdańskiej.

Paul S. Otellini kilka godzin wcześniej zainaugurował drugi dzień konferencji Sympozjum Świata Telekomunikacji, ósmej edycji imprezy poświęconej głównie polityce telekomunikacyjnej i rozwojowi mediów cyfrowych w Polsce, obywającej się w warszawskim hotelu Westin.

Galera na 9 miejscu w Europie

Galera jest obecnie najszybciej liczącą maszyną w Polsce. Według Top 500 - jeśli spojrzymy na listę, która była publikowana w listopadzie, będzie to 28 miejsce, a 9 w Europie.

Oficjalnie uruchomienie Galery

Budowa klastra została w połowie sfinansowana z dotacji Ministerstwa Nauki i szkolnictwa Wyższego, a w połowie ze środków z funduszu rozwoju Centrum Informatycznego TASK. Należy tu też wspomnieć o specjalnych warunkach finansowych jakie CI TASK uzyskał od firmy Intel Corporation w związku z porozumieniem "Memorandum of Understanding" podpisanym w 2006 roku pomiędzy firmą Intel a CI TASK, w zakresie współpracy w szeroko rozumianym testowaniu nowych rozwiązań HPC (ang. High Performance Computing).

Tak wygląda polski superkomputer

Klaster zbudowany jest z 336 nodów (serwerów), z których każdy posiada 4 procesory czterordzeniowe Xeon Quad-Core. Nody rozmieszczono w 27 19-calowych szafach teleinformatycznych. Połączone zostały ze sobą siecią InfiniBand pracująca w technologii DDR z przepustowością 20GB/s. Siecią pomocnicza jest sieć Gigabit Ethernet. Do zarządzania klastrem wykorzystywane jest autorskie oprogramowanie firmy WASKO "Open Eye Cluster Monitoring" jak i oprogramowanie CI TASK. Za zarządzanie zasobami (system kolejkowania zadań obliczeniowych) odpowiada pakiet PBS/Torque/Maui.

Również lokalizacja nie była przypadkowa. Obecnie w skład TASK wchodzi ponad 100 instytucji , sieć budowana jest od 1992 roku i obejmuje Trójmiasto oraz kilku innych miast (Koszalin, Olsztyn). Celem TASK jest prowadzenie badań wymagających wielkich mocy obliczeniowych, a sama Galera jest już trzecim pokoleniem pracujących tu superkomputerów. Wcześniejsze maszyny Holk oraz Galeon zostały podzielone i teraz służą głównie do nauki między innymi na Politechnice Gdańskiej.

Galera zostanie wykorzystana przez polskie uczelnie w wielu projektach obejmujących zagadnienia z różnych dziedzin: chemii, fizyki, inżynierii, elektroniki i oceanografii. Superkomputer będzie wykorzystywany między innymi w projektach badawczych nad substancjami mogącymi znaleźć zastosowanie w terapii antynowotworowej, badaniach nad aerodynamiką w przemyśle lotniczym oraz badaniach nad przypływami i odpływami wód morskich. Dzięki Galerze TASK zwiększył 15-krotnie możliwości mocy obliczeniowej.

Film przedstawiający Galerę w działaniu

"Jestem dumny, że Intel Technology uruchamia superkomputer o największej mocy obliczeniowej w regionie CEE" - przyznał Otellini. "Od czasu kiedy Intel wspólnie z TASK zainstalował w Gdańsku osiem lat temu pierwszy klaster, nasza współpraca doprowadziła nas do znacznego postępu w badaniach między innymi z dziedziny nanotechnologii, astrofizyki. Projekty badawcze, w których wykorzystywana jest "Galera" są najlepszym dowodem na to, że zaawansowane rozwiązania technologiczne w znaczący sposób poprawiają jakość naszego życia."

Zestawienie podstawowych cech superkomputera Galera:

• Typ komputera: Klaster na procesorach Xeon Quad-Core z siecią InfiniBand
   
• Procesory: Intel Xeon Quad-Core 2,33 GHz, 12MB L3 Cache, architektura EM64T
• Liczba serwerów (nodów): 336
• Liczba płyt głównych: 672
• Liczba procesorów: 1344
• Liczba rdzeni obliczeniowych: 5 376
• Całkowita pamięć operacyjna: 5 376 GB
• Pamięć dyskowa: 107,5 TB
   
• Sieć:
  1) InfiniBand:
  - zespół przełączników firmy Flextronics:
  - 60 szt. 24-portowych i 6 szt. 120-portowych
  - topologia fat tree
  - przepustowość łącza 20 Gb/s
  - opóźnienie <5 ns
  
  2) Gigabit Ethernet
  zespół przełączników Catalyst firmy Cisco: 28 szt.
  
  Oprogramowanie
  1) system operacyjny Debian GNU/Linux
  2) pakiet kompilatorów dostarczony przez firmę Intel
  3) autorskie oprogramowanie do zarządzania i monitorowania firmy WASKO
  4) własne oprogramowanie CI TASK

Mieliśmy okazję porozmawiać ze specjalistami, którzy przyczynili się do powstania GALERY oraz z naukowcami, którzy na niej pracują. W rozmowie udział wzięli:

• Mścisław Nakonieczny, dyrektor TASK;
• Prof. dr hab. inż. Piotr Doerffer, Instytut Techniki Lotniczej i Mechaniki Stosowanej;
• Prof. J. Radziej, Instytut Techniki Lotniczej i Mechaniki Stosowanej;
• Paweł Gepner, EMEA Platform Architecture Specialist z Intela

Mścisław Nakonieczny: Moc obliczeniowa superkomputera "Galera" wpłynie bezpośrednio na nasze codzienne życie - od medycyny i nowych sposobów leczenia raka, do zwiększenia bezpieczeństwa lotów, oraz dokładniejszych prognoz pogody. Dzięki mocy obliczeniowej 50 TFLOPS wyniki wielu badań będą dostępne o wiele szybciej, niż ich realizacja metodami laboratoryjnymi, a przy tego typu projektach właśnie czas ma największe znaczenie. Jeżeli biolodzy czy chemicy, dzięki temu komputerowi zrealizują jakiś lek czy nowy sposób na energooszczędną technologie, to z tego typu wyników badań pośredni zysk będzie właśnie dla przykładowego Kowalskiego.

benchmark.pl: Jakie były oczekiwania w 1992 roku, gdy wszytko się dopiero zaczynało? Pierwsza sieć internetowa, pierwsze superkomputery. Czy to się sprawdziło?

Mścisław Nakonieczny: Budując w '93 roku w Gdańsku pierwszą sieć czuliśmy, że to będzie "to". Na Zachodzie już egzystowała wymiana informacji z całym światem. Nie czuły tego np. takie firmy jak TP SA, gdyby było inaczej, nigdy nie mielibyśmy możliwości na zbudowanie sieci w Gdańsku. Gdyby tylko przeczuwały, że to się tak rozrośnie, że tu będą takie pieniądze, nigdy by nas w ten biznes nie wpuściły. Dla nich to była zabawa. Nasza zabawa. Zabawa gdzie się skończyła tam się skończyła. My od nich dostawaliśmy światłowody, łącza na których wszystko realizowaliśmy.

Pierwsza sieć była połączeniem pomiędzy Politechniką, Akademią Medyczną i Uniwersytetem Gdańskim łączami telefonicznymi z modemami 9600bps. Tak samo do Warszawy. Ale poczta chodziła. Teraz nie mamy praktycznie żadnych ograniczeń w paśmie. Tu pojawia się Pionier, sieć ogólnopolska ma w tej chwili ponad 5000km światłowodów położonych w Polsce miedzy 22 miastami. Jest budowany już 8 lat. W tej chwili jest budowane ostatnie stadium Gdańsk-Białystok. Nie ma tu żadnego prywatnego właściciela, żadnego zachodniego udziałowca. Cały szkielet był budowany za pieniądze państwowe. Głównie chcieliśmy żeby służył państwu, a szkielet światłowodowy już pozostaje i tu pojawia się wielka szansa dla administracji.

benchmark.pl: Budowa Galery została sfinansowana między innymi z dotacji Ministerstwa Nauki i Szkolnictwa Wyższego. Gdyby któryś z naszych młodych czytelników miał marzenie, aby kiedyś należeć do zespołu obsługującego taki super komputer, jakie warunki musiałby spełnić?

Mścisław Nakonieczny: Mamy dwie dziedziny którymi się opiekujemy, jedna to Internet, druga to komputer dużej mocy. Obie ze sobą współpracują w pewnym sensie. Żeby być administratorem takich komputerów, prosto, trzeba skończyć studia (uśmiech). My zatrudniając kogoś nie oczekujemy pełnej wiedzy. To jest kontynuacja nauki. W każdym przypadku, sieci internetowych jak i w przypadku superkomputerów.

benchmark.pl: Jakie korzyści dla badań wniesie większa wydajność superkomputera takiego jak Galera?

Piotr Doerffer: Zwiększanie tych komputerów ma jedną wielką zaletę. Jeżeli możemy policzyć więcej, to wyniki są po prostu lepsze, dokładniejsze, zarazem lepiej udokumentowane. Możemy wgłębić się w większe szczegóły. Zazwyczaj jest to tak, że wykonując pewien projekt mamy określony czas. I właśnie w tym czasie za pomocą lepszych komputerów możemy uzyskać dokładniejsze wyniki. Jeżeli jest słaby komputer i można policzyć tylko jeden przypadek to niestety trudno. Ale jeżeli możemy policzyć ich 10 czy 100 to na pewno będziemy mieli lepsze wyniki, czyli z jakością komputera połączona jest nieodzownie jakość naszej pracy.
Przygotowanie do eksperymentu jest bardzo szerokie. Odbywa się przy pomocy metod numerycznych. Dzięki TASK'owi możemy to realizować. Mamy już przygotowane powiększenie ilości pamięci RAM. Dlatego że z jednej strony istotne są procesory, ale w wielu takich dziedzinach jak aerodynamika potrzebujemy głównie pamięci operacyjnej. Wszystko jest już przygotowane do zakupienia RAM'u który w części procesorów będzie taki żeby te zagadnienia pamięciożerne można wykonywać z lepszym wykorzystaniem procesora. I to nie musi być do całego komputera, ponieważ nie każdy korzysta z całego, a z pewnego kawałka komputera, także możemy się ograniczyć do tego kącika gdzie RAM jest większy na procesor. J. Radziej: Różne zadania wymagają zasobów różnego typu. W niektórych zadaniach potrzebna jest duża pamięć operacyjna np. na jeden procesor, w innych potrzebna jest szybka komunikacja między procesorami czy tez szybkość wykonywania działań arytmetycznych przy malej pamięci. Także przy różnych zadaniach różni użytkownicy będą korzystać z różnych aspektów tej maszyny. Może tak być ze same obliczenia trwają bardzo krótko około sekundy, ale kluczowa dla ich wykonania jest właśnie liczba procesorów i zasoby wynikające z faktu, że jest to superkomputer. Mogą być i są stosunkowo ciekawe prace które pochłaniają stosunkowo mało czasu obliczeniowego ale są tez takie które wymagają wielu godzin obliczeń.

Doświadczenie uczy, że wybijają się głównie obliczenia mechaniczne, różnego typu tzn. aerodynamika, mechanika tu szeroko pojęta i mechanika konstrukcji. Politechnika to jest mechanika, więc obliczenia mechaniczne przy bardzo dobrze rozbudowanych algorytmach, rozbudowanej teorii, przy kodach komercyjnych. Druga dziedzina, wielka, to jest chemia, biochemia, chemia bio-molekularna gdzie też są potrzebne potężne obliczenia. To co ja robie w mojej grupie to nanotechnologia obliczeniowa czyli inżynieria materiałowa, numeryczna z naciskiem na nano-mechaniczne właściwości materiałów czyli nano-elastyczność, nano-pękanie, nano-sprężystość. Mając tego typu maszyny można symulować na poziomie atomowym.

benchmark.pl: Rynek przetwarzania wielkiej skali zawsze szuka najwydajniejszych rozwiązań. W dniu oficjalnego uruchomienia Galera jest faktycznie potężnym superkomputerem, ale czy są jakieś dalsze plany rozbudowania takiego superkomputera? W jaki sposób upgrade'uje się takie wielkie maszyny?

Paweł Gepner: Galera jest to wielofazowa inwestycja. Zaczęliśmy od zbudowania fundamentów, następnie będziemy rozbudowywali ją o pamięć. Oczywiście niektóre zadania wymagają więcej pamięci, a niektóre szybszych procesorów. Posiadamy najszybsze procesory, a tam gdzie trzeba dołożyć pamięci, zostanie ona dołożona. Poza pamięcią nie będzie już nic tu dołożone. Może poza dodatkowymi nodami. Gdybyśmy chcieli podwoić liczbę procesorów, po prostu to zrobimy. Klastry mają to do siebie, że można po prostu dokładać nowe nody, zyskując tym samym większą moc obliczeniową. 50 TeraFlopów to dobry początek, natomiast aż prosi się żeby było tu 100 Tera...

Odnośnie nowego proszę pamiętać o jednej rzeczy, taki system jak wszędzie na świecie po 3 latach wychodzi z eksploatacji, i będzie nowy. Za 3 lata rozbierzemy i będziemy używać go do innych celów. Teraz Holk jest czysto szkoleniowy.

benchmark.pl: Zapewne wielu czytelników zainteresowałaby informacja, jak długiej gwarancji udziela się na takie superkomputery?

Paweł Gepner: Trzeba pamiętać, że Intel jest twórca projektu technologii, ale nie Intel to budował. Sprzedała to firma Wasko, a producentem sprzętu jest firma Action, i to oni świadczą serwis, który wynosi 3 lata.