AMD zabrało mnie do kopalni w Norwegii. Znalazłem tam nie tylko komputery

Szykując się do napisania relacji z mojej wyprawy z AMD do jednego z najciekawszych centrów danych na świecie, zastanawiałem się o czym tak naprawdę powinien być materiał. Czy o technologiach AMD, czy może o tym jak buduje się centrum komputerowe? Doszedłem do wniosku, że najlepszym punktem wyjścia będzie odpowiedź na pytanie, dlaczego pojechałem do kopalni? A dokładnie do Lefdal Data Centers zlokalizowanego w rejonie fiordu północnego (Nordfjord) w okolicy miejscowości Nordfjordeid i Måløy, około 60 km na południe od Alesund, gdzie latają nawet bezpośrednie samoloty z Polski.

Znajduje się tam nieczynna już od kilkunastu lat kopalnia oliwinu. Choć nieczynna jako kopalnia, to tętniąca życiem jako powstające właśnie centrum danych, w którym działa już norweski superkomputer Olivia. Nazwa jest trochę myląca, bo Data Centers to nie tylko miejsce, gdzie przechowuje się dane, ale też miejsce, gdzie mogą, a wręcz muszą, znajdować się superkomputery, które z tych danych robią użytek. Tu właśnie swój wkład ma AMD, które odpowiada za część CPU we wspomnianym superkomputerze, a to z pewnością nie ostatnie jego slowa w przypadku Lefdal.

W okolice kopalni Lefdal nie da się dostać bezpośrednio z Polski. Najlepszą opcją jest lot do Sandane z przesiadką w Oslo. Zapierające dech widoki Jostedalsbreen - największego lodowca w Europie - podczas podróży do Lefdal to wyzwalacz myśli, że tego lodu z roku na rok ubywa właśnie za sprawą nieodpowiedzialnej działalności człowieka.

Mniej dziś znaczy więcej

AMD zapraszając mnie do Lefdal sprytnie wykorzystało okazję, jaką jest możliwość ujrzenia korzyści płynących z miniaturyzacji (przez to rozumiemy przede wszystkim rosnącą liczbę rdzeni, w najnowszych generacjach procesorów sewerowych AMD Epyc będzie ich już 256 w jednym układzie), ale i efektywności jaką ta miniaturyzacja daje w połączeniu z odpowiednią lokalizacją komputera.

Olivia jeszcze nie może pochwalić się rekordową wydajnością, nie wygląda też na pierwszy rzut oka okazale, niemniej pokazuje kierunek jaki przyjmuje branża superkomputerów. Maszyn, które mimo coraz większej wydajności, są coraz mniejsze (rośnie moc obliczeniowa, która mieści się w jednej szafie serwerowej), ale też wymagają coraz bardziej zaawansowanych i efektywnie funkcjonujących systemów je obsługujących. Należy przez to rozumieć zasilanie, odprowadzanie ciepła i wiążące się z tym koszty, które powinny być optymalne. W przypadku Lefdal koszt 1 kWh brutto, czyli z uwzględnieniem wszelkich kosztów dodatkowych, także administracyjnych, to około 25 groszy. Bardzo atrakcyjna cena.

Miejsce, w którym można zmieścić taką superkomputerową infrastrukturę należy odpowiednio zaprojektować, ale część tej pracy można pominąć umiejętnie wybierając lokalizację. Taką jak opuszczona kopalnia. Ta znajdująca się w Lefdal nie jest jedynym takim miejscem na świecie (podobne centrum powstaje także w Dolomitach na północy Włoch), jednak jej umiejscowienie i rozmiary stwarzają idealne warunki do budowy ogromnego centrum danych. W którym znajdzie się nie jeden, a dziesiątki superkomputerów. Już dziś Mercedes zapowiada umieszczenie w jednej z pieczar Lefdal Data Centers swojej maszyny, która będzie wspomagać proces projektowania pojazdów. Z kolei z funkcjonującego już superkomputera Olivia korzysta konsorcjum Sigma2, które unifikuje norweskie zasoby superkomputerowe. Obliczenia prowadzone są też dla projektu NORCE, z celem opracowania bardzo dokładnego modelu ewolucji klimatu w skali całego świata.

Dlaczego kopalnia? Dlaczego Lefdal? Trzy kluczowe czynniki

Mats Andersson z Lefdal Mine Data Centers podkreśla, że największą zaletą tego centrum danych, jest fakt, że na miejscu mamy trzy najważniejsze komponenty. Po pierwsze kopalnię, która już jest. Lefdal znajduje się około 360 km w linii prostej od Oslo, mniej więcej na szerokości geograficznej Sztokholmu. Nie jest to więc najbardziej na północ wysunięty ośrodek komputerowy w Norwegii, ale jedyny, który znajduje się wewnątrz starej kopalni.

Drugi komponent to fjord głęboki na około 500 metrów, z którego dolnej części pobierana jest woda służąca do chłodzenia całej elektroniki. Ta woda ma temperaturę około 8 stopni C, która po odebraniu ciepła z urządzeń wzrasta do 20 stopni C. System chłodzenia w centrum Lefdal jest zamknięty, co oznacza, że woda z fiordu dociera jedynie do wymienników ciepła, natomiast woda chłodząca procesory, GPU, dyski i całą resztę, cyrkuluje w drugim zamkniętym obiegu.

Co dzieje się z ogrzaną wodą? Na razie, bo kopalnia w Lefdal wciąż jest w fazie przystosowywania, ta woda jest zwracana do fiordu. W przyszłości będzie wykorzystana do hodowli łososi w pobliskim Sjømatstaden. Te ryby wymagają cieplejszej wody dla rozmnażania i wzrostu. Przeznaczenie ciepłej wody nie ogranicza się tylko do produkcji łososia, może ona być także wykorzystania do stworzenia warunków przyjaznych także innym gatunkom organizmów wodnych, które będą również hodowane czy też po prostu badane i dostępne do obejrzenia.

Szafy obliczeniowe i system chłodzenia.

Trzecim komponentem jest źródło energii, odnawialnej, która uzyskiwana jest przez fermy wiatrowe i elektrownie wodne rozmieszczone w okolicy, nie dalej niż kilkadziesiąt km od kopalni. Sprzyjające wytwarzaniu energii otoczenie, do kopalni prowadzi linia zasilania 132 kV, czyni Lefdal idealną lokalizacją na koncentracje zasobów superkomputerowych nie tylko w skali Norwegii, ale też całej Europy.

Stara kopalnia jako centrum danych. Jedno wejście i jedno wyjście

Kopalnia w Lefdal, dziś Lefdal Mine Data Centers składa się z pięciu poziomów, a najbardziej zaawansowane prace przystosowawcze są realizowane na poziomie 3, który znajduje się 55 metrów pod powierzchnią (dolne poziomy sięgają 160 metrów), a zagłębiony jest na 600 metrów we wnętrze góry. Powyżej są skały, masywy otaczające fiord, co już samo z siebie stanowi duże zabezpieczenie, choćby przed wyładowaniami elektromagnetycznymi, które mogłyby zakłócić pracę elektroniki. Lokalizacja pod ziemią, bramki na każdym poziomie i kontrola ruchu, ułatwiają wdrożenie wszelkich procedur bezpieczeństwa. Dlatego też, zanim mogłem wykorzystać zdjęcia w tekście, konieczna była ich akceptacja.

Wnętrze kopalni oferuje ogromną przestrzeń do zagospodarowania.

Na poziom trzeci, ten który odwiedziłem, prowadzi spiralny tunel, podobny jak w wielopoziomowych parkingach samochodowych. Szerokie nawet na kilkadziesiąt metrów i wysokie na co najmniej kilkanaście metrów drogi dojazdowe umożliwiają dostarczenie sprzętu prawie pod drzwi, do samego punktu instalacji, nie tylko na etapie budowy, ale też kiedykolwiek w przyszłości. Do kopalni wjedzie nie tylko zwykły pickup, ale też potężny tir. Oprócz wybudowanych na stałe pomieszczeń na superkomputery czy hal na centra danych, znajdują się też stelaże, na których można umieścić kontenery. W nich znajdzie się sprzęt, który dany ośrodek chce wpiąć do infrastruktury Lefdal. W ramach wolnej przestrzeni, każdy poziom kopalni można podzielić nawet na trzy podpoziomy, przewidziane jest także miejsce na pomieszczenia biurowe. Teoretycznie więc, jeśli ktoś zechce pracować tuż przy superkomputerze, będzie miał taką możliwość.

Tak wygląda siatka tuneli na terenie Lefdal Data Centers.

Rozmieszczenie tuneli w kopalni przypomina siatkę strun w rakiecie tenisowej, ułatwia jej przystosowanie dla wielu potencjalnych użytkowników, a także nadzór nad tym, kto znajduje się na terenie centrum. Poziom trzeci ma 14 rzędów rozgałęzień rozchodzących się symetrycznie od głównej drogi. Dwa pierwsze rzędy zajmuje infrastruktura związana z zasilaniem, chłodzeniem i dostępem do sieci. Lefdal bezpośrednio połączone jest z infrastrukturą wszystkich najważniejszych operatorów internetu w Norwegii (droga lądowa i morska), co ma przełożyć się na niezależność i odporności na ewentualne awarie poza terenem kopalni.

Moc jaką obecnie mogą dysponować komputery trzeciego poziomu to 80 MW, w przyszłości, w drugiej fazie przystosowania kopalni, gdy wykorzystany będzie drugi poziom, budżet energetyczny wzrośnie do 200 MW i to przy zachowaniu redundancji. Dla porównania najszybszy dziś superkomputer El Captain ma szczytowe zapotrzebowanie na około 30 MW. Te 200 MW także nie jest ostateczną granicą, ale daje dobre wyobrażenie jak dużo mocy obliczeniowej lub źródeł danych da się zmieścić w tunelach kopalni. Pojedyncza szafa obliczeniowa ma dostęp do mocy równej 300 kW w przypadku chłodzenia wodą, a 50 kW, gdy zastosowane jest chłodzenie powietrzem.

Dobrym wyobrażeniem skali przedsięwzięcia jest ilość chłodnej świeżej wody, która będzie cyrkulować w systemach chłodzenia podczas pracy poziomu 3 na pełen gwizdek, czyli przy zużyciu 80 MW mocy. Do jej wywiezienia co godzinę potrzebne byłyby 333 ciężarówki, z których każda mieści kontener o objętości 20 metrów sześciennych. Chłodzenie cieczą obejmuje układy DLC (bezpośrednie chłodzenie cieczą, czyli podobnie jak w przypadku domowego AiO), chłodzenie zanurzeniowe i wodne z wykorzystaniem powietrza.

Klimat w centrum danych w Lefdal przypomina mi duże obserwatorium astronomiczne, takie jak to w Chile na Cerro Paranal z teleskopami, którym dysponuje ESO. Jednakże o zwielokrotnionym rozmiarze i w przeciwieństwie do obserwatorium umieszczone nie na szczycie góry, a w jej wnętrzu. Każdy zakamarek ma nadzór CCTV, ochrona jest obecna przez całą dobę (dojazd służb ratowniczych w przypadku incydentu możliwy jest do każdego miejsca z dwóch stron), a pracownicy wchodzący na teren kopalni wyposażeni są w urządzenia śledzące. By ułatwić im pracę w gąszczu przewodów, który może przerazić, gdy otworzymy drzwi dowolnej szafy serwerowej, stosowane są takie rozwiązania jak opisywanie ich kodami QR i gogle AR, które po założeniu wizualizują siatkę połączeniową.

Olivia, czyli pierwszy superkomputer w Lefdal

Może zabrzmi to infantylnie, ale największe ciarki podczas pobytu w Lefdal wzbudzało nie samo zwiedzanie kopalni i możliwość obejrzenia superkomputera. W tym celu, choć rozdzielnie, nie musiałbym opuszczać Polski. W przypadku Lefdal emocjonująca jest wizja tego, czym w przyszłości stanie się ta kopalnia, bo teraz to w praktyce wciąż wielki podziemny plac budowy. To co widziałem to zaledwie niewielki ułamek jej przyszłego potencjału. AMD już szykuje się do premiery szóstej generacji układów EPYC o nazwie kodowej Venice, a kolejne superkomputery, które trafią do Lefdal mogą mieć również podsystem GPU złożony z układów AMD Instinct (wykorzystuje je El Captain). Zresztą myśląc o przyszłości Lefdal nie należy brać pod uwagę tylko urządzeń tej klasy. Także mniej wydajne, ale wymagające bezpiecznej lokalizacji i być może bliskości szybszych „kolegów” komputery, czy też magazyny danych, mogą znaleźć się w kopalni dzięki modularności i wszechstronności oferowanej przestrzeni.

Pojedyncza szafa obliczeniowa, niebieskimi rurkami płynie woda chłodna, czerwonymi ciepła.

Olivia na razie jest główną wizytówką Lefdal. To superkomputer zbudowany przez Hewlett-Packard Enterprise, który wykorzystuje architekturę superkomputerową HPE Cray EX4000. To rozwiązanie wybrano jako optymalne z perspektywy wydajności jak i efektywności energetycznej, gdyż obecnie 7 z 10 komputerów zestawienia TOP10 najszybszych maszyn na świecie, to urządzenia zbudowane przez HPE. W tym trzy najsilniejsze exaskalowe maszyny - ElCaptain, Frontier i Aurora. W TOP25 najbardziej efektywnych energetycznie superkomputerów jest 15 konstukcji HPE.

Superkomputer mieści się w siedmiu szafach, w których oprócz węzłów obliczeniowych CPU, GPU (dwie szafy) znajdują się także interkonekty HPE Slingshot (dla nieobeznanych z tematem, to infrastruktura sieciowa, znacznie wydajniejsza niż sieć Ethernet), układy chłodzenia cieczą, podsystem danych o pojemności 5,3 petabajta, chłodzony powietrzem, a także system testowy. Łącznie w Olivii zainstalowano 504 procesory AMD Turin Epyc 9745 po dwa w jednym węźle (szufladzie), które mają razem 64512 rdzeni, a także 304 jednostki GPU z układami Nvidia GH200.

Po lewej węzły CPU, po prawej GPU.

Pojedyncze CPU AMD Epyc 9745 (Turin) jest wysoce efektywną energetycznie jednostką, jednakże z racji upakowania 128 rdzeni (łącznie 256 wątków) na CCD procesora, maksymalne TDP wynosi aż 400 W. Układ chłodzenia musi być zdolny odprowadzić tę maksymalną ilość ciepła, która jest większa niż w przypadku większości biurkowych komputerów, nawet tych bardzo wydajnych, o ile nie pracują pod obciążeniem. A przecież jest tu jeszcze GPU i inne elementy, które się grzeją.

Powyżej, porównanie rozmiaru CPU AMD Epyc i AMD Ryzen, który znajduje się w niejednym domowym komputerze. Poniżej kolejne generacje AMD Epyc i zmiana wyglądu CCD.

Na jednym superkomputerze się nie skończy

Cała jednostka superkomputera Olivia w porównaniu z innymi maszynami jakimi dysponuje obecnie Norwegia jest wyjątkowo kompaktowa. Konsorcjum Sigma2 dysponowało wcześniej czterema ośrodkami w Oslo, Bergen, Trondheim i Trømso. Centra danych w Lefdal pozwolą skumulować Sigma2 moc obliczeniową w jednym miejscu. To bardzo istotne z perspektywy szybkości transferu danych. Najpierw przeniesione będą zasoby z Universytetu w Tromso, gdzie zainstalowany jest superkomputer Fram. Około 2028 r. wyłączone będą także Saga i Betzy w Trondheim, a rozbudowywana Olivia stanie się najpotężniejszym superkomputerem w Norwegii. Oczywiście nie oznacza to, że stara elektronika idzie na złom, byłoby to wysoce nieekonomiczne. Trafia do innych zastosowań, być może w innych instytucjach, które nie mają tak dużego zapotrzebowania na moc obliczeniową. W tym celu planowana jest rozbudowa superkomputera w kopalni Lefdal, ale Olivia to jedynie mały zaczątek tego co w przyszłości wypełni dość pustą jeszcze salę. Jedną z setek, które znajdą się na terenie kopalni.

Obecnie moc obliczeniowa Olivii to niecałe 19 PFlops, ale to tylko ułamek jej przyszłego potencjału. W przyszłości ten superkomputer ma odegrać ważną rolę w badaniach związanych z intensywnym wykorzystaniem AI.

Moc obliczeniowa, którą w tej chwili zapewnia podsystem CPU w Olivii to około 2,3 PFlops, a podsystem GPU to 16 PFlops. Akceleratory są łącznie wydajniejsze, ale kluczowy jest tu fakt, że wciąż wiele kodów (wciąż bardzo chętnie wykorzystywany jest FORTRAN), w tym ten stworzony na potrzeby NORCE, jest mocno uzależnionych od CPU. Zoptymalizowanie kodu pod GPU mogłoby być rozwiązaniem, ale dzięki rosnącej wydajności pojedynczego węzła, jaką gwarantuje Olivia i jej rozbudowana wersja, w pewnych sytuacjach nie będzie tak szybko wymagane.

Przyszłość komputerów to synergia z naturą

Kto wie, być może za setki czy tysiące lat, komputery kompletnie nie będą przypominały tego z czym mamy dziś do czynienia. I choć od początku rewolucji komputerowej dzieli nas niespełna stulecie, czyli około trzech pokoleń, to jesteśmy już na etapie, który pozwala nam walczyć o naprawę naruszonej równowagi z naturą. Przykładem są właśnie takie samowystarczalne, w niewielkim stopniu ingerujące w aktualny stan przyrody, i oparte w całości na odnawialnej energii centra danych. Gdyby jeszcze produkcję elektroniki dało się uczynić bardziej „zieloną”, ale to zadanie jest jeszcze przed nami.

Organizatorem wyjazdu do Lefdal Data Centers była firma AMD. foto: Karol Żebruń

.