Komputery

Z wizytą w Centrum Informatycznym Świerk - inauguracja superkomputera

opublikowano przez Karol Żebruń w dniu 2014-11-23

Jeden z wydajniejszych dedykowanych obliczeniom dla energetyki jądrowej superkomputerów osiągnie wydajność 500 TFlopsów.

Superkomputer odbicie w szybie

Na światowej liście najwydajniejszych superkomputerów TOP500 od dłuższego czasu nie ma znaczących zmian na pierwszych miejscach. Jak już wiemy, niedługo to się zmieni, podobnie jak w naszym krajowym zestawieniu najszybszych maszyn. Dotychczas najsilniejszy był krakowski ZEUS, teraz pałeczkę najwydajniejszej maszyny w Polsce po zainstalowaniu kompletnej instalacji przejmie superkomputer z Centrum Informatycznego w Świerku (CIŚ). Co prawda długo nie pozostanie on liderem, gdyż już powstają petaskalowe instalacje na Politechnice Gdańskiej, a także następca ZEUS-a o nazwie Prometheus, który osiągnie docelową wydajność 1,7 PFlopsa. Jako pierwszy z nowej generacji polskich superkomputerów, ruszył, zgodnie z przewidywaniami, system w Świerku.

Podwarszawski komputer jest interesujący ze względu na dedykację. Będzie zajmował się przede wszystkim obliczeniami związanymi z energetyką jądrową. W odległości kilkuset metrów od centrum komputerowego, które jest kolebką polskich centrów obliczeniowych, znajduje się reaktor Maria wykorzystywany do celów naukowych. W nim produkuje się także na skalę przemysłową radioizotopy, które sprzedawane są w całej Europie, a także w USA.

CIŚ budynek
Budynek, w którym znajduje się superkomputer, nietrudno odnaleźć na terenie ośrodka w Świerku. Zdobi go elegancki mural.

Inauguracja CIŚ
Od lewej, prof. Wojciech Wiśliczki, pani minister Nauki i Szkolnictwa Wyższego, prof. Lena Kolarska-Bobińska, prof. Wrochna, ambasador Francji Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA) Hervé Bernard

Poniżej film prezentujący powstawanie superkomputera. Z dalszej części tekstu dowiecie się szczegółów o superkomputerze, historii ośrodka obliczeniowego i zastosowanej technologii chłodzenia.

Kiedyś superkomputery były bardzo rozbudowanymi konstrukcjami zajmującymi wiele pomieszczeń i wymagającymi do zasilania małych elektrowni. Dzięki postępowi w miniaturyzacji, poprawie energooszczędności i rozwojowi technologii chłodzenia ciepłą wodą (o temperaturze dochodzącej do 40 stopni, około 80% wydajniejszego niż systemy łączące systemy bazujące na obiegu powietrza chłodzonego wodą lodową), udaje się budować konstrukcje, które, choć duże w porównaniu z biurkowym pecetem, są bardzo zwarte i zajmują niewielką powierzchnię. W przypadku superkomputera w CIŚ serwerownia ma powierzchnię 137 metrów kwadratowych i 220 metrów kwadratowych zaplecza technicznego.

Szafy obliczeniowe Szafy obliczeniowe i blok chłodniczy
Szafy obliczeniowe

Instalacja sieciowa
Wszystko połączone jest 5 kilometrami instalacji sieciowej

Różnice pomiędzy chłodzeniem tradycyjnym i zastosowanym w Świerku ilustrują dwie poniższe ilustracje. Na trzeciej widać schemat pokazujący jak kanały wodne rozmieszczone są w kasecie z procesorami. Ze względów technicznych obejrzenie na żywo wnętrza superkomputera, który został już zainstalowany, nie jest proste.

Inaugurację komputera połączoną z konferencją przeprowadzono właśnie we wspomnianej serwerowni, by zwrócić uwagę na kompaktowość konstrukcji i zalety systemu chłodzenia. Obecna była na niej minister Nauki i Szkolnictwa Wyższego, prof. Lena Kolarska-Bobińska, a także ambasador Francji, Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA), Hervé Bernard. Nie zabrakło również prof. Romana Żelaznego, który jest jednym z ojców polskich superkomputerów. W 1973 roku w Świerku utworzone zostało Środowiskowe Centrum Obliczeniowe (ŚCO) „Cyfronet”. W tamtej epoce na przeszkodzie stały nie tylko kwestie finansowe, ale przede wszystkim polityczne, dlatego tym bardziej należy doceniać historię Cyfronetu. W roku 1975 zakupiono maszynę CYBER-73 (stosowaną ówcześnie również w CERN), która przetrwała aż do roku 1991. Wtedy zastąpiono ją komputerem Convex 120, a rok później zainstalowano Convex C3210, który pracował do końca 1999 roku. Zastąpiono go niewielkim klastrem Beowulf (serwery Compaq połączone siecią Ethernet 1 GB). Najnowsze dziecko CIŚ to superwydajna maszyna, która w docelowej konfiguracji osiągnie 500 TFlopsów (do dostarczenia i zainstalowania pozostało jeszcze 30% sprzętu).

Szafa superkomputera przód

Pamięć dyskowa

Sieć
Kilka detali, serwery

Wspomnieliśmy, że pomieszczenie z superkomputerem nie jest bardzo duże. Same szafy zajmują jeszcze mniej miejsca. Jest ich 20, a każda z nich waży 2 tony. Łącznie udostępnią one ponad 20000 rdzeni obliczeniowych, które będą wspomagane przez 130 TB pamięci RAM i 3200 TB przestrzeni dyskowej. Całość została umieszczona w 1000 serwerów kasetowych - każdy z nich ma wydajność obliczeniową porównywalną ze 120 biurowymi laptopami.

Rozpoczęcie obliczeń w CIŚ
ENTER wciśnięty... obliczenia rozpoczęte. Z mikrofonem prof. Wiślicki, który kieruje projektem CIŚ

Mieliśmy okazję uczestniczyć w inauguracji obliczeń superkomputera, które rozpoczęło symboliczne wciśnięcie klawisza ENTER przez panią minister. Pomimo tego, iż system chłodzony jest ciepłą wodą, tłoczoną w tempie nawet 80 litrów/s w dwóch niezależnych obiegach chłodniczych (łącznie 30000 litrów cieczy), to i tak w pomieszczeniu panuje spory hałas. Hałas, który dla osoby przyzwyczajonej do pracy w pomieszczeniach z dziesiątkami komputerów, wcale nie będzie zbyt uciążliwy. To zasługa dobrego wyciszenia szaf. Zdaliśmy sobie z tego sprawę, gdy zajrzeliśmy do jednej z nich (testowa aplikacja w smartfonie wskazywała około 71 dB - nie jest to jednak w pełni miarodajny wynik).

Instalacja

Wyświetlacz instalacja chłodząca
Główny obieg chłodzenia wykonany został przez firmę Honeywell we współpracy z Bull Polska - dostawcą serwerów bullx (DLC) chłodzonych ciepłą wodą.

Każda ze wspomnianych szaf obliczeniowych połączona jest z blokiem chłodzącym. Cały wodny system jest w stanie odprowadzić 600 kW mocy cieplnej, a jednocześnie pobiera jedynie 12-20 kW. O niezawodność działania superkomputera, w którym każda szafa pobiera około 45-50 kW (to nie tylko procesory, ale również pamięci masowe i infrastruktura sieciowa), dba agregat prądotwórczy o mocy 1250 kVA oraz UPSy 1200 kVA.

Szafa obliczeniowa widok przód skala Szafa obliczeniowa widok tył
Na poniższych zdjęciach możecie sobie wyobrazić skalę urządzenia od przodu oraz pozorny bałagan jaki panuje od tyłu. Podłoga w serwerowni wytrzyma nacisk 1,5 tony na metr kwadratowy.

Dlaczego superkomputer zainstalowano w CIŚ? Jak już wspomnieliśmy, ma on wspomóc rozwój polskiej energetyki jądrowej. Jest on także jednym z niezbędnych elementów, które pozwolą wykonywać niezależne testy bezpieczeństwa instalacji energetycznych, których elementem są reaktory jądrowe, analizy zagrożeń chemicznych, a także zajmie się optymalizacją procesu dystrybucji energii. Mowiąc inaczej, ośrodek w Świerku będzie niezależnym rzeczoznawcą w dziedzinie energetyki jądrowej. A jeśli w Polsce mają powstać elektrownie atomowe, taka jednostka badawcza będzie nieodzowna. Z mocy obliczeniowej będą mogli oczywiście skorzystać również fizycy i astrofizycy, którzy zajmują się badaniem oddziaływań fundamentalnych.

Fotografia pamiątkowa
Zdjęcie pamiątkowe przestawicieli firmy BULL Polska  z ambasadorem Francji oraz dyrektorem Francuskiej Komisji Energii Atomowej (trzeci od lewej), by kiedyś powspominać jakie wielkie były kiedyś te nasze komputery. Na zdjęciu kolejno od lewej: Tomasz Józefiak (specjalista HPC), Jean-Marc Denis (menedżer biznesowy w BULL), Laurent Turpin, Krzysztof Łukaszuk (CEO Bull Polska i AMG.net), Pierre Buhler, Pascal Barbolosi (wiceprezes działu Extreme Computing), Michał Wigurski (dyrektor działu sprzedaży), Henryk Mucha (dyrektor ds. rozwoju biznesu) i Tomasz Szałański (dyrektor działu usług dla infrastruktury IT).

CIŚ, jak podkreślił dyrektor NCBJ (Narodowe Centrum Badań Jądrowych), prof. Grzegorz Wrochna, inwestuje nie tylko w sprzęt, ale i doświadczenie pracowników, którzy już pracują w Świerku, a także będą w przyszłości pracować przy obsłudze superkomputera i innych instalacji.

Koszty budowy CIŚ
Podsumowanie kosztów budowy. Dotyczy całego CIŚ, a sam superkomputer to jedynie część projektu.

Źródło: CIŚ, inf. własna, fot. Karol Żebruń

marketplace

Komentarze

35
Zaloguj się, żeby skomentować
avatar
Dodaj
Komentowanie dostępne jest tylko dla zarejestrowanych użytkowników serwisu.
  • avatar
    To pod nowe wybory szykują? Uuuuu grubo...
  • avatar
    Jedna z niewielu maszyn które potrafią dać sobie radę ze skopaną optymalizacją w AC Unity.
  • avatar
    Superkomputery za nasze podatki :-)
    Zaloguj się
  • avatar
    Rdzen procesora moze osiagac temperature 80-90 stopni podczas intensywnej pracy (wystarczy spojrzec w specyfikacje procesorow Intel Xeon), ciecz chlodzaca ma 40 stopni czyli jest 40-50 stopni chlodniejsza niz procesor.
  • avatar
    Z całym szacunkiem, ale za taką kasę Ci którzy podjęli się złożenia tego "super komputera" mogli by się bardziej postarać, gdyż przewody są tak niechlujnie poukładane, że aż wstyd pokazywać mediom czy gościom z zagranicy.

    No ale cóż, jak to w Polsce bywa. Wygrywa przetarg ten kto zaproponuje najtańszą ofertę, więc nie ma się też co dziwić mizernej jakości wykonania.
    Zaloguj się
  • avatar
    A pojdzie na tym Crysis? :)
    Zaloguj się
    -1
  • avatar
    Jak coś może być chłodzone gorącą wodą?
    Zaloguj się
    -1
  • avatar
    Wystarczyło olać grzanie wody i efekt byłby jeszcze lepszy...
    Zaloguj się
    -5
  • avatar
    Trochę nie rozumiem jak można chłodzić ciepłą wodą.
    Zaloguj się
    -7
  • avatar
    W końcu coś się w polsce dzieję ja aby czekam kiedy rozpocznie się bódowa elektrowni jądrowej !
    Zaloguj się
    -7
  • avatar
    Więc wytłumaczy mi ktoś jak to jest z tym "gorącym chłodzeniem" . Czyli mam rozumieć ,że mogę schłodzić cepy AMD przy pomocy lawy tak ?
    Przecież nie potrzeba było grzać wody (może chcieli zwiększyć pojemność cieplną wody poprzez jej ogrzanie).
    Pierwsze słyszę z tymi kompresorami.
    Jakoś mi h100i nie dołączyli kompresora bym miał "chłodniej".
    Prawda taka ,że dali zarobić (pewnie w łapkę) firmie bull i jakby dobrze doszukać się dokumentów to wyszło by ,że to wujka ciotki brat jest założycielem firmy :)
  • avatar
    Fajny artykuł, ale strasznie mało technicznych informacji o samych blade'ach, technologii informatycznej użytej w komputerze a za to cała masa technikalii około komputerowych.
    Zaloguj się
  • avatar
    Ale strata energii zamiast wodą grzać kilka bloków to idzie wszystko w atmosferę... Ot technologia jak wydać kupę milionów i zapomnieć o ludziach...
    Zaloguj się
  • avatar
    Polska Energetyka Jądrowa ?
    Przepraszam forumowiczów, ale czy ktoś z Was potrafi mi podać przynajmniej jeden argument za elektrowniami jądrowymi w Polsce?
    Ekonomiczny, ekologiczny, jakikolwiek?

  • avatar
    Ile BTC sie na tym kopie?