Na topie

Z wizytą w Centrum Informatycznym Świerk - inauguracja superkomputera

Autor:

więcej artykułów ze strefy:
Komputery

Kategoria: Komputery Ciekawostki Nauka Tematyka: superkomputer Producenci: SuperMicro

Jeden z wydajniejszych dedykowanych obliczeniom dla energetyki jądrowej superkomputerów osiągnie wydajność 500 TFlopsów.

Superkomputer odbicie w szybie

AA

Na światowej liście najwydajniejszych superkomputerów TOP500 od dłuższego czasu nie ma znaczących zmian na pierwszych miejscach. Jak już wiemy, niedługo to się zmieni, podobnie jak w naszym krajowym zestawieniu najszybszych maszyn. Dotychczas najsilniejszy był krakowski ZEUS, teraz pałeczkę najwydajniejszej maszyny w Polsce po zainstalowaniu kompletnej instalacji przejmie superkomputer z Centrum Informatycznego w Świerku (CIŚ). Co prawda długo nie pozostanie on liderem, gdyż już powstają petaskalowe instalacje na Politechnice Gdańskiej, a także następca ZEUS-a o nazwie Prometheus, który osiągnie docelową wydajność 1,7 PFlopsa. Jako pierwszy z nowej generacji polskich superkomputerów, ruszył, zgodnie z przewidywaniami, system w Świerku.

Podwarszawski komputer jest interesujący ze względu na dedykację. Będzie zajmował się przede wszystkim obliczeniami związanymi z energetyką jądrową. W odległości kilkuset metrów od centrum komputerowego, które jest kolebką polskich centrów obliczeniowych, znajduje się reaktor Maria wykorzystywany do celów naukowych. W nim produkuje się także na skalę przemysłową radioizotopy, które sprzedawane są w całej Europie, a także w USA.

CIŚ budynek
Budynek, w którym znajduje się superkomputer, nietrudno odnaleźć na terenie ośrodka w Świerku. Zdobi go elegancki mural.

Inauguracja CIŚ
Od lewej, prof. Wojciech Wiśliczki, pani minister Nauki i Szkolnictwa Wyższego, prof. Lena Kolarska-Bobińska, prof. Wrochna, ambasador Francji Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA) Hervé Bernard

Poniżej film prezentujący powstawanie superkomputera. Z dalszej części tekstu dowiecie się szczegółów o superkomputerze, historii ośrodka obliczeniowego i zastosowanej technologii chłodzenia.

Kiedyś superkomputery były bardzo rozbudowanymi konstrukcjami zajmującymi wiele pomieszczeń i wymagającymi do zasilania małych elektrowni. Dzięki postępowi w miniaturyzacji, poprawie energooszczędności i rozwojowi technologii chłodzenia ciepłą wodą (o temperaturze dochodzącej do 40 stopni, około 80% wydajniejszego niż systemy łączące systemy bazujące na obiegu powietrza chłodzonego wodą lodową), udaje się budować konstrukcje, które, choć duże w porównaniu z biurkowym pecetem, są bardzo zwarte i zajmują niewielką powierzchnię. W przypadku superkomputera w CIŚ serwerownia ma powierzchnię 137 metrów kwadratowych i 220 metrów kwadratowych zaplecza technicznego.

Szafy obliczeniowe Szafy obliczeniowe i blok chłodniczy
Szafy obliczeniowe

Instalacja sieciowa
Wszystko połączone jest 5 kilometrami instalacji sieciowej

Różnice pomiędzy chłodzeniem tradycyjnym i zastosowanym w Świerku ilustrują dwie poniższe ilustracje. Na trzeciej widać schemat pokazujący jak kanały wodne rozmieszczone są w kasecie z procesorami. Ze względów technicznych obejrzenie na żywo wnętrza superkomputera, który został już zainstalowany, nie jest proste.

Inaugurację komputera połączoną z konferencją przeprowadzono właśnie we wspomnianej serwerowni, by zwrócić uwagę na kompaktowość konstrukcji i zalety systemu chłodzenia. Obecna była na niej minister Nauki i Szkolnictwa Wyższego, prof. Lena Kolarska-Bobińska, a także ambasador Francji, Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA), Hervé Bernard. Nie zabrakło również prof. Romana Żelaznego, który jest jednym z ojców polskich superkomputerów. W 1973 roku w Świerku utworzone zostało Środowiskowe Centrum Obliczeniowe (ŚCO) „Cyfronet”. W tamtej epoce na przeszkodzie stały nie tylko kwestie finansowe, ale przede wszystkim polityczne, dlatego tym bardziej należy doceniać historię Cyfronetu. W roku 1975 zakupiono maszynę CYBER-73 (stosowaną ówcześnie również w CERN), która przetrwała aż do roku 1991. Wtedy zastąpiono ją komputerem Convex 120, a rok później zainstalowano Convex C3210, który pracował do końca 1999 roku. Zastąpiono go niewielkim klastrem Beowulf (serwery Compaq połączone siecią Ethernet 1 GB). Najnowsze dziecko CIŚ to superwydajna maszyna, która w docelowej konfiguracji osiągnie 500 TFlopsów (do dostarczenia i zainstalowania pozostało jeszcze 30% sprzętu).

Szafa superkomputera przód

Pamięć dyskowa

Sieć
Kilka detali, serwery

Wspomnieliśmy, że pomieszczenie z superkomputerem nie jest bardzo duże. Same szafy zajmują jeszcze mniej miejsca. Jest ich 20, a każda z nich waży 2 tony. Łącznie udostępnią one ponad 20000 rdzeni obliczeniowych, które będą wspomagane przez 130 TB pamięci RAM i 3200 TB przestrzeni dyskowej. Całość została umieszczona w 1000 serwerów kasetowych - każdy z nich ma wydajność obliczeniową porównywalną ze 120 biurowymi laptopami.

Rozpoczęcie obliczeń w CIŚ
ENTER wciśnięty... obliczenia rozpoczęte. Z mikrofonem prof. Wiślicki, który kieruje projektem CIŚ

Mieliśmy okazję uczestniczyć w inauguracji obliczeń superkomputera, które rozpoczęło symboliczne wciśnięcie klawisza ENTER przez panią minister. Pomimo tego, iż system chłodzony jest ciepłą wodą, tłoczoną w tempie nawet 80 litrów/s w dwóch niezależnych obiegach chłodniczych (łącznie 30000 litrów cieczy), to i tak w pomieszczeniu panuje spory hałas. Hałas, który dla osoby przyzwyczajonej do pracy w pomieszczeniach z dziesiątkami komputerów, wcale nie będzie zbyt uciążliwy. To zasługa dobrego wyciszenia szaf. Zdaliśmy sobie z tego sprawę, gdy zajrzeliśmy do jednej z nich (testowa aplikacja w smartfonie wskazywała około 71 dB - nie jest to jednak w pełni miarodajny wynik).

Instalacja

Wyświetlacz instalacja chłodząca
Główny obieg chłodzenia wykonany został przez firmę Honeywell we współpracy z Bull Polska - dostawcą serwerów bullx (DLC) chłodzonych ciepłą wodą.

Każda ze wspomnianych szaf obliczeniowych połączona jest z blokiem chłodzącym. Cały wodny system jest w stanie odprowadzić 600 kW mocy cieplnej, a jednocześnie pobiera jedynie 12-20 kW. O niezawodność działania superkomputera, w którym każda szafa pobiera około 45-50 kW (to nie tylko procesory, ale również pamięci masowe i infrastruktura sieciowa), dba agregat prądotwórczy o mocy 1250 kVA oraz UPSy 1200 kVA.

Szafa obliczeniowa widok przód skala Szafa obliczeniowa widok tył
Na poniższych zdjęciach możecie sobie wyobrazić skalę urządzenia od przodu oraz pozorny bałagan jaki panuje od tyłu. Podłoga w serwerowni wytrzyma nacisk 1,5 tony na metr kwadratowy.

Dlaczego superkomputer zainstalowano w CIŚ? Jak już wspomnieliśmy, ma on wspomóc rozwój polskiej energetyki jądrowej. Jest on także jednym z niezbędnych elementów, które pozwolą wykonywać niezależne testy bezpieczeństwa instalacji energetycznych, których elementem są reaktory jądrowe, analizy zagrożeń chemicznych, a także zajmie się optymalizacją procesu dystrybucji energii. Mowiąc inaczej, ośrodek w Świerku będzie niezależnym rzeczoznawcą w dziedzinie energetyki jądrowej. A jeśli w Polsce mają powstać elektrownie atomowe, taka jednostka badawcza będzie nieodzowna. Z mocy obliczeniowej będą mogli oczywiście skorzystać również fizycy i astrofizycy, którzy zajmują się badaniem oddziaływań fundamentalnych.

Fotografia pamiątkowa
Zdjęcie pamiątkowe przestawicieli firmy BULL Polska  z ambasadorem Francji oraz dyrektorem Francuskiej Komisji Energii Atomowej (trzeci od lewej), by kiedyś powspominać jakie wielkie były kiedyś te nasze komputery. Na zdjęciu kolejno od lewej: Tomasz Józefiak (specjalista HPC), Jean-Marc Denis (menedżer biznesowy w BULL), Laurent Turpin, Krzysztof Łukaszuk (CEO Bull Polska i AMG.net), Pierre Buhler, Pascal Barbolosi (wiceprezes działu Extreme Computing), Michał Wigurski (dyrektor działu sprzedaży), Henryk Mucha (dyrektor ds. rozwoju biznesu) i Tomasz Szałański (dyrektor działu usług dla infrastruktury IT).

CIŚ, jak podkreślił dyrektor NCBJ (Narodowe Centrum Badań Jądrowych), prof. Grzegorz Wrochna, inwestuje nie tylko w sprzęt, ale i doświadczenie pracowników, którzy już pracują w Świerku, a także będą w przyszłości pracować przy obsłudze superkomputera i innych instalacji.

Koszty budowy CIŚ
Podsumowanie kosztów budowy. Dotyczy całego CIŚ, a sam superkomputer to jedynie część projektu.

Źródło: CIŚ, inf. własna, fot. Karol Żebruń

Odsłon: 9123 Skomentuj newsa
Komentarze

30

Udostępnij
  1. dolph
    Oceń komentarz:

    14    

    Opublikowano: 2014-11-23 23:01

    To pod nowe wybory szykują? Uuuuu grubo...

    Skomentuj

  2. llefar
    Oceń komentarz:

    -7    

    Opublikowano: 2014-11-23 23:04

    Trochę nie rozumiem jak można chłodzić ciepłą wodą.

    Skomentuj

    1. dukegrieve
      Oceń komentarz:

      4    

      Opublikowano: 2014-11-23 23:24

      Wydaje mi się że twórcy chłodzenia osiągnęli efekt zwiększając przepływ ( większa prędkość wody w układzie).
      Jednostka wody krócej oddziałując z nagrzanym elementami przyjmuje mniej energii, ale wystarczy ją schłodzić tylko o kilka stopni żeby znowu mogła być wpompowana.

      Skomentuj

      1. jacob000
        Oceń komentarz:

        0    

        Opublikowano: 2014-11-24 13:14

        Też mi się tak wydaje, różnica 5-6 stopni ale przy przepływie 80l/s daje dość sporą ilość wymiennika ciepła, który w dodatku łatwiej schłodzić o kilka stopni niż o kilkanaście co daje nam zastosowanie pasywnego chłodzenia. Temperatura 40 stopni jest dalej niższa od temperatury rdzeni i podzespołów, więc zgodnie z prawami podstawowymi ciepło dalej będzie przepływać do wody.

        Skomentuj

    2. maluch1
      Oceń komentarz:

      -8    

      Opublikowano: 2014-11-23 23:27

      Gimbaza się o ciebię pyta ....

      Skomentuj

  3. verona
    Oceń komentarz:

    8    

    Opublikowano: 2014-11-23 23:17

    Jedna z niewielu maszyn które potrafią dać sobie radę ze skopaną optymalizacją w AC Unity.

    Skomentuj

  4. Vites
    Oceń komentarz:

    3    

    Opublikowano: 2014-11-23 23:21

    Rdzen procesora moze osiagac temperature 80-90 stopni podczas intensywnej pracy (wystarczy spojrzec w specyfikacje procesorow Intel Xeon), ciecz chlodzaca ma 40 stopni czyli jest 40-50 stopni chlodniejsza niz procesor.

    Skomentuj

  5. maluch1
    Oceń komentarz:

    -7    

    Opublikowano: 2014-11-23 23:28

    W końcu coś się w polsce dzieję ja aby czekam kiedy rozpocznie się bódowa elektrowni jądrowej !

    Skomentuj

    1. gumol
      Oceń komentarz:

      0    

      Opublikowano: 2014-11-25 08:01

      Na pewno nie "zbódujom" jej u Ciebie...

      Skomentuj

    1. man13ck
      Oceń komentarz:

      10    

      Opublikowano: 2014-11-24 00:07

      Lepsze superkomputery do celów badawczych za nasze pieniądze, niż nowe superlimuzyny dla rządzących...

      Skomentuj

      1. malyedgar
        Oceń komentarz:

        -2    

        Opublikowano: 2014-11-24 08:16

        albo nowy Kościół ... inaczej zowiąc Świątynia Opatrzności Chorej...

        Skomentuj

    2. zaqman
      Oceń komentarz:

      -1    

      Opublikowano: 2014-11-24 14:09

      Nie no, lepiej księdzu nową ambonę wybudować...

      Skomentuj

  6. Moggster
    Oceń komentarz:

    -1    

    Opublikowano: 2014-11-24 00:18

    A pojdzie na tym Crysis? :)

    Skomentuj

    1. malyedgar
      Oceń komentarz:

      0    

      Opublikowano: 2014-11-24 08:17

      Na minimum ale pójdzie

      Skomentuj

    1. abukiewicz
      Oceń komentarz:

      4    

      Opublikowano: 2014-11-24 06:11

      tej wody nikt nie podgrzewa do 40 stopni... jej temperatura się na tym poziomie stabilizuje jedynie.

      Skomentuj

      1. mjwhite
        Oceń komentarz:

        0    

        Opublikowano: 2014-11-24 12:26

        a niby w jaki sposób się to dzieje bez podgrzewania

        Skomentuj

        1. jacob000
          Oceń komentarz:

          0    

          Opublikowano: 2014-11-24 13:17

          a po co podgrzewać sztucznie jak zrobi to cały klaster ? Pompujesz wodę o temp 40 stopni -> wychodzi temperatura 45 stopni. Za nim dotrze do wymienników cieplnych na dachu to pewnie wytraci z 1 -2 stopnie, na wymiennikach kolejne 3 stopnie i wraca do układu już w temperaturze 40 stopni i koło zamknięte.

          Skomentuj

          1. mjwhite
            Oceń komentarz:

            0    

            Opublikowano: 2014-11-24 14:49

            "Pompujesz wodę o temp 40 stopni"

            A skąd ją bierzesz jak klaster nie chodzi albo ma niskie obciążenie?

            Skomentuj

          2. foederati
            Oceń komentarz:

            0    

            Opublikowano: 2014-11-24 16:09

            Ciepłej wody mają pod dostatkiem. Jeśli przeczytałeś artykuł, to wiesz, że w pobliżu centrum stoi czynny reaktor jądrowy :)

            Skomentuj

    2. mjwhite
      Oceń komentarz:

      1    

      Opublikowano: 2014-11-24 12:25

      tak ale groziłoby to skraplaniem się wody na chłodzonych elementach.

      Skomentuj

  7. Saur0n
    Oceń komentarz:

    0    

    Opublikowano: 2014-11-24 07:54

    Fajny artykuł, ale strasznie mało technicznych informacji o samych blade'ach, technologii informatycznej użytej w komputerze a za to cała masa technikalii około komputerowych.

    Skomentuj

    1. Vites
      Oceń komentarz:

      0    

      Opublikowano: 2014-11-24 12:24

      Tutaj troche info http://www.bull.com/extreme-computing/download/S-bullxB700-en5.pdf (jeden blade to dwa nody, kazdy node to dwa procki Xeon E5 v2 10 corowe 2.8GHz, dysk SSD, 128GB pamieci).

      Skomentuj

  8. dziobek1166
    Oceń komentarz:

    -1    

    Opublikowano: 2014-11-24 08:12

    Jak coś może być chłodzone gorącą wodą?

    Skomentuj

    1. quadi
      Oceń komentarz:

      2    

      Opublikowano: 2014-11-24 08:47

      Nie jest ważna temperatura medium chłodzącego tylko różnica temperatur między medium chłodzącym a obiektem chłodzonym.

      Skomentuj

  9. beza-bezowa
    Oceń komentarz:

    0    

    Opublikowano: 2014-11-24 12:23

    Z całym szacunkiem, ale za taką kasę Ci którzy podjęli się złożenia tego "super komputera" mogli by się bardziej postarać, gdyż przewody są tak niechlujnie poukładane, że aż wstyd pokazywać mediom czy gościom z zagranicy.

    No ale cóż, jak to w Polsce bywa. Wygrywa przetarg ten kto zaproponuje najtańszą ofertę, więc nie ma się też co dziwić mizernej jakości wykonania.

    Skomentuj

    1. palmall
      Oceń komentarz:

      0    

      Opublikowano: 2014-11-24 13:06

      beza-bezowa? kobieta jak sądzę? przewody niechlujnie poukładane... no tak, czego innego można się było spodziewać. Aż dziw bierze że nie wspomniałaś o braku firaneczek zasłaniających kabelki, oczywiście w różu, kwiatuszkach na szafach i zasobach ściereczek do przecierania szybek...

      Skomentuj

  10. mihas66
    Oceń komentarz:

    0    

    Opublikowano: 2014-11-24 16:30

    Ale strata energii zamiast wodą grzać kilka bloków to idzie wszystko w atmosferę... Ot technologia jak wydać kupę milionów i zapomnieć o ludziach...

    Skomentuj

    1. Paweł Maziarz
      Oceń komentarz:

      0    

      Opublikowano: 2014-11-24 17:23

      CIŚ planuje wykorzystać generowane ciepło, ale już to projekt na przyszłe lata

      Skomentuj

  11. cezett
    Oceń komentarz:

    0    

    Opublikowano: 2014-11-25 11:00

    Polska Energetyka Jądrowa ?
    Przepraszam forumowiczów, ale czy ktoś z Was potrafi mi podać przynajmniej jeden argument za elektrowniami jądrowymi w Polsce?
    Ekonomiczny, ekologiczny, jakikolwiek?

    Skomentuj

  12. verul
    Oceń komentarz:

    0    

    Opublikowano: 2015-03-11 13:15

    Ile BTC sie na tym kopie?

    Skomentuj

Dodaj komentarz

Przy komentowaniu prosimy o przestrzeganie netykiety i regulaminu.

Aby dodać komentarz musisz być zalogowany!