Przetestowałem akcelerator AI – GIGABYTE RADEON AI PRO R9700 32 GB 

Produkty z rodziny Radeon kojarzone są zwykle z opłacalnym wyborem dla graczy, podobnie zresztą jak i sam tajwański producent GIGABYTE. Nie powinno zatem dziwić, że Radeon z dopiskiem AI PRO, i to w dodatku od GIGABYTE, okaże się wyjątkowo opłacalną propozycją dla rozwiązań serwerowych stawiających na obliczenia AI. Postanowiłem sprawdzić, ile w tych założeniach prawdy, dlatego w platformie testowej wylądował właśnie ten model. Sprawdziłem jego możliwości nie tylko w zastosowaniach związanych z modelami językowymi oraz generatywną AI, ale również w aplikacjach kreatywnych i profesjonalnych, a na koniec jeszcze odpaliłem dwie wymagające gry.

Zanim jednak zdradzę wam wyniki moich testów oraz płynące z nich wnioski, poświęcę chwilę samej karcie, albo raczej rzadko spotykanej w świecie graczy, ale pożądanej w świecie serwerowym konstrukcji chłodzenia typu "turbina". To jeden bardzo szybki wentylator, który zasysa powietrze na końcu karty i przedmuchuje nim cały układ, wyrzucając powietrze na początku karty – przy złączach wideo i bezpośrednio na zewnątrz obudowy. Pozwala to uniknąć gotowania się podzespołów w ciasnych obudowach serwerowych, zwłaszcza gdy takich kart używamy kilka jednocześnie. Od przodu obudowy umieszczono wysokociśnieniowe wentylatory wtłaczające powietrze w stronę karty (jak to często ma miejsce w obudowach do szaf RACK).

Cała obudowa karty została wykonana z metalu i jest na tyle kompaktowa, aby właśnie w te najciaśniejsze obudowy serwerowe zmieścić się bez trudu. Udało się ten cel osiągnąć dzięki zastosowaniu komory parowej, która znacznie przyspiesza transfer ciepła. Pomagają też innowacyjna kompozytowa pasta termoprzewodząca na GPU oraz żel klasy serwerowej na pozostałych komponentach (pamięć i sekcja zasilania). Oznacza to, że karta nie będzie tracić potencjalnie chłodzenia wraz z upływem czasu. Warto też podkreślić, że wentylator jest na podwójnym łożysku kulkowym, co zwiastuje dłuższy okres żywotności i zdatność do pracy 24h/7. Metalowa konstrukcja, w tym backplate, dodatkowo pomaga odprowadzać ciepło.

Do odprowadzenia jest ostatecznie całkiem sporo tej energii. Karta w teorii ma TDP określone na poziomie 238 W, ale w praktyce pobiera znacznie więcej energii, co dla tradycyjnej konstrukcji dwuslotowej z jednym wentylatorem byłoby całkowicie nierealne do odprowadzenia w formie ciepła, a karta GIGABYTE nie tylko daje sobie z tym radę, ale też robi to zaskakująco niegłośno. Pewnym zaskoczeniem okazało się złącze zasilania 12V 2x6PIN, które oczywiście wyprowadzono w sposób typowy dla obudów typu RACK z tyłu konstrukcji (tak, aby nie zwiększać jej roboczej wysokości). W zestawie GIGABYTE dostarcza adapter (2x 8 PIN), a zalecana moc zasilacza (dla systemu z jedną kartą) to 750 W.

Pod względem wyjść wideo karta GIGABYTE wypada analogicznie co jej "gamingowi" bracia – dostajemy trzy najnowsze złącza DisplayPort 2.1a oraz jedno HDMI 2.1b. Oznacza to, że bez problemu podłączymy do czterech monitorów 4K, ale można też podłączyć monitory 8K i 12K, uciekając się do bezstratnej kompresji DSC na złączach DisplayPort. Karta korzysta z pełnego slotu PCI-E 5.0 x16, waży 1,5 kg, a jej pełne wymiary to 267 mm długości, 40 mm szerokości i 111 mm wysokości.

Testy rozpocząłem od tego, co obecnie jest na ustach całego świata – duże modele językowe, zwane skrótowo LLM. Do testów wykorzystałem aplikację Procyon, co pozwoliło oszacować wydajność testowanego Radeona na poziomie zbliżonym do RX 9070 XT, co nie powinno zaskakiwać. Ostatecznie obie karty korzystają z tej samej architektury i posiadają tyle samo jednostek, a różnią się jedynie limitami mocy oraz przepustowością pamięci (oraz oczywiście pojemnością, ale w tym teście jest ona bez znaczenia). To znacznie wyższy wynik niż w przypadku popularnych mini PC opartych o układ zintegrowany z procesorem i ze współdzieloną pamięcią. W tym przypadku przewaga Radeona AI Pro jest dobitna i tam, gdzie na układach zintegrowanych widzimy, jak tekst pojawia się literka po literce, tutaj model wypluwa praktycznie całe gotowe akapity.

Dodatkowo testowany Radeon wyróżnia się na tle klasycznych kart graficznych znacznie większą pojemnością vRAM – 32 GB to poziom absolutnie najdroższych kart dla graczy (tych z przedziału 15-20 tys. PLN), a do tego dzięki kompaktowej konstrukcji karty i relatywnie "normalnemu" zapotrzebowaniu na energię, można łatwo takie karty łączyć szeregowo i w ten sposób zwiększyć pulę pamięci jeszcze bardziej. Przeskok względem 16 GB oferowanych przez inne karty w tej samej cenie jest ogromny z punktu widzenia możliwości pracy na większych, a zatem po prostu lepszych i mądrzejszych modelach. Tutaj do testów posłużyła mi aplikacja LM Studio, w której przetestowałem kilka modeli Qwen. Te, które mieściły się w buforze 16 GB, działały nieco szybciej na popularnych kartach dla graczy, ale poważne modele (np. wariant z 35 miliardami parametrów) dało się odpalić tylko na testowanej dziś karcie GIGABYTE z układem AMD Radeon AI PRO R9700.

Testując tworzenie treści z pomocą AI (a konkretnie obrazków), posiłkowałem się syntetycznym testem Procyon, który potwierdził, że nowe jednostki AMD nie są najszybsze w branży pod tym względem, ale w tej kwestii o kilka rzędów wielkości wyprzedzają układy zintegrowane z procesorem oraz klasyczne NPU. Tutaj pojemność pamięci też ma kluczowe znaczenie, choć można to do pewnego stopnia obejść, godząc się na kompromisy po stronie precyzji generowanych odpowiedzi (obrazów). Standardowo korzysta się z modeli z 16 pozycyjną precyzją zmiennoprzecinkową, ale można obniżyć ją do 8 pozycji i nadal uzyskać dobry rezultat.

Dla kart ze skromną ilością VRAM (np. 16 GB) pozostaje ratowanie się precyzją 4-pozycyjną, co jest już często wyraźnym kompromisem po stronie jakości generowanych obrazów, ale też znacznie przyspiesza cały proces. Testując w kolejnym etapie środowisko ComfyUI, ustaliłem, że dla kart opartych o architekturę RDNA 4 nie ma modeli zdolnych tak nisko zejść z precyzją (choć udało się wykorzystać kilka prostszych modeli stałopozycyjnych INT4). A dodatkowo niektóre modele, mimo iż w teorii powinny działać, wymagały nieco dodatkowej konfiguracji, aby faktycznie zacząć generować obrazy – ot, taki urok korzystania z mniej popularnej architektury.

Zwykle jednak udawało się dopiąć swego i zaprząc Radeona do obliczeń AI – również w tych mniej graficznych środowiskach, co potwierdza ukończony w całości pozytywnie (i to z przyzwoitym wynikiem) test w Procyon AI Computer Vision 2.0 oraz w Geekbench AI 1.7.0. W ramach testu SPEC Workstation 4.0 zauważyłem jednak, że są sytuacje w których optymalizacja pod konkretny rodzaj rdzeni potrafi bardzo mocno wpłynąć na wyniki – przykładowo proces skalowania obrazu do wyższej rozdzielczości na karcie Radeon R9700 wykonuje się prawie trzykrotnie dłużej niż na analogicznie wycenionych kartach z inną architekturą.

Ku mojemu zaskoczeniu czysta moc obliczeniowa, dzięki której Radeon R9700 dominuje nad podobnie wycenionymi konkurentami, pozwoliła w wielu popularnych aplikacjach nadrobić braki w optymalizacji po stronie samej aplikacji (względem architektury RDNA 4). Bardzo pozytywnie wypadają testy w Davinci Resolve Studio (w którym również wykorzystywane są funkcje AI), zwłaszcza jeżeli weźmiemy pod uwagę zapas przestrzeni na dane w vRAM – praca z filmami 8K nie jest tutaj żadnym problemem, czego nie da się powiedzieć o kartach z 16 GB pamięci.

Karta bardzo dobrze radzi sobie też w pakiecie Adobe i jedynie aplikacje, które potrafią robić pożytek z silnika Optix (np. Blender), nie pozostawiają na karcie z GPU AMD suchej nitki (zwłaszcza że w ich przypadku często te 12-16 GB vRAM wystarcza). Są za to aplikacje profesjonalne, w których sytuacja się odwraca i często nawet kilkukrotnie droższe karty ustępują Radeonowi R9700 – świetnym przykładem są testy SPEC Workstation 4.0 w aplikacjach Creo i Catia, ale nawet w takim Energy czy Solidworks okazuje się, że rywal cenowy testowanego Radeona uzyskuje bardzo zbliżone wyniki.

Może i testowana karta nie służy do zabawy, ale coś z życia trzeba mieć, zatem po zakończeniu testów odpaliłem dwie z moich ulubionych gier – Cyberpunk 2077 oraz Doom The Dark Ages i ku mojemu zaskoczeniu nawet na ustawieniach Ultra RT i Ultrakoszmar dało się przyjemnie pograć w 4K, i to bez przesadzania z upscalingiem (FSR w trybie Jakość). Wyniki, które widzicie poniżej, da się jeszcze poprawić z wykorzystaniem generatora klatek. W grach 32 GB vRAM nie są aż tak kluczowe, chyba że lubicie modyfikować gry, np. podmieniając tekstury na takie w wyższej rozdzielczości. Jest to też wybór w tej kwestii "bezpieczny na przyszłość".

Na wstępie wspomniałem, że 238 W TDP jest wartością nieco zaniżoną, ale przyznam, że nie sądziłem, że aż tak bardzo. Testowana karta pod pełnym obciążeniem – i tutaj w sumie nie ma znaczenia, czy będą to gry, czy zastosowania AI, potrafi pobierać ponad 300 W (sumarycznie ze złącza PCI-E oraz wtyczki 16-PIN). To sporo, ale też o połowę mniej niż inne karty z 32 GB vRAM z oferty dla graczy. Realnie nawet 16 GB modele, z którymi Radeon R9700 konkuruje cenowo, pobierają ciut więcej energii. Co jednak jeszcze bardziej zaskakujące, to że układ chłodzenia GIGABYTE radzi sobie z tym bez problemu i generuje przy tym całkiem akceptowalne 44 dBA mierzone z metra od otwartej obudowy. W przypadku zabudowy serwerowej jest to oczywiście mało istotny parametr, ale gdybyście chcieli zbudować stację roboczą do wstawienia pod biurko i w środku umieścić 3-4 takie karty, to całość nie powinna natężeniem dźwięku konkurować ze startującym odrzutowcem.

Wykorzystywanie kart graficznych dla graczy w celu akceleracji zadań AI jest wygodne i często stosowane, ale w praktyce dalekie od optymalnego. Zwłaszcza jeżeli tematem AI chcemy zająć się na poważnie i pracować na modelach, które potrzebują znacznie więcej pamięci. Łączenie ze sobą 8 kart wyposażonych w 12-16 GB vRAM ma znacznie mniej sensu niż wykorzystanie 3-4 kart z 32 GB vRAM. Taki zestaw można z łatwością zamknąć w jednej niewielkiej obudowie RACK albo nawet w dużej obudowie PC i zasilić jednym tylko zasilaczem. Jednocześnie testowany dziś Radeon dominuje swoją wydajnością nad coraz bardziej popularnymi konfiguracjami ze zintegrowanym GPU i współdzieloną pamięcią RAM. To aż zaskakujące, jak bardzo GIGABYTE Radeon AI PRO R9700 okazuje się bezkonkurencyjny w takich zastosowaniach, zakładając że z równania wyłączymy używane karty starszych generacji z 24 GB vRAM.

Sama konstrukcja GIGABYTE jest bardzo dobrze przemyślana. Niewielki rozmiar w połączeniu z najbardziej zaawansowanymi rozwiązaniami w zakresie układu chłodzenia przekłada się na bardzo dobre rezultaty. Kultura pracy oraz solidność wykonania to zdecydowane zalety testowanej karty. Obecnie można ją dostać w cenie zaczynającej się od 6700 zł, choć częściej widywałem wycenę na poziomie 7500 zł, co jest i tak kuszącą ofertą w czasach, gdy pamięć jest tak droga. Z drugiej strony to dwukrotnie więcej niż trzeba zapłacić za Radeona RX 9070 XT – kartę o tej samej lub ciut wyższej wydajności AI, ale limitowaną do 16 GB vRAM. W przypadku tylko lekkiej pracy ze sztuczną inteligencją gamingowy wariant karty AMD będzie zwyczajniej bardziej opłacalną opcją.

Karcie GIGABYTE Radeon AI PRO R9700 32 GB przyznaję odznaczenie dobrego produktu i dodatkowo wyróżniam za super opłacalność w zakresie sprzętu dedykowanego do AI.

Warto kupić kartę GIGABYTE Radeon AI PRO R9700 32 GB, jeżeli:

• szukamy w rozsądnej jeszcze cenie sprzętu do pracy z AI;
• chcemy zbudować stację z kilkoma GPU;
• w naszej pracy liczy się precyzja i stabilność ponad szybkość;
• zależy nam na wysokiej wydajności również poza AI.

Nie warto kupować GIGABYTE Radeon AI PRO R9700 32 GB, jeżeli:

• pracujemy w środowisku mocno zoptymalizowanym pod inną architekturę;
• nie potrzebujemy 32 GB vRAM.