Benchmarki

Intel oszukuje w benchmarkach? Autorzy Geekebench mają poważne wątpliwości

przeczytasz w 2 min.

Autorzy Geekbench sprawdzili nową technologię Intela, IBOT, i odkryli, że podkręca ona działanie benchmarków. Wyniki wyglądają lepiej, ale pojawiają się poważne wątpliwości, czy testy są uczciwe.

Technologia Intel Binary Optimization Tool (IBOT) to nowe rozwiązanie w procesorach Intel, którego głównym celem jest wyciągnięcie maksymalnej wydajności z komputera – nie przez zmianę sprzętu, lecz dzięki usprawnieniu działania oprogramowania. IBOT jest częścią większego pakietu narzędzi, działając przy tym tak głęboko, że ingeruje bezpośrednio w sposób wykonywania programów.

W teorii brzmi to jak przełom. Według moich testów Intel Binary Optimization Tool, w niektórych grach rzeczywiście możemy uzyskać kilka procent przyrostu wydajności. W niektórych przypadkach – jak pokazują autorzy benchmarka Geekbench – sprawa okazuje się bardziej złożona. 

Jak działa IBOT?

IBOT przygląda się działaniu aplikacji w trakcie jej pracy. Wyszukuje fragmenty kodu, które nie wykorzystują w pełni możliwości procesora, a następnie “w locie” zastępuje je bardziej wydajnymi odpowiednikami. Wszystko odbywa się bez ingerencji w pliki programu i bez dostępu do kodu źródłowego. 

W skrócie: program działa tak samo, ale jego instrukcje są wykonywane szybciej i efektywniej.

Intel Binary Optimization Tool

Geekbench bierze IBOT pod lupę

Twórcy Geekbench postanowili dokładniej przyjrzeć się tej technologii. Testy przeprowadzono na laptopie z procesorem Intel Core Ultra 9 386H, porównując wyniki z włączonym i wyłączonym IBOT. 

Pierwsze zaskoczenie? Już przy starcie programu pojawia się opóźnienie. W starszej wersji benchmarka wynosiło ono nawet 40 sekund przy pierwszym uruchomieniu, choć później spadało do około dwóch sekund. Po wyłączeniu IBOT problem znikał całkowicie. 

Lepsze wyniki… ale dlaczego?

Wyniki testów pokazały coś jeszcze ciekawszego. W starszej wersji benchmarka (6.3) włączenie IBOT zwiększało wydajność o ok. 5,5 proc. – zarówno w testach jednowątkowych, jak i wielowątkowych. W niektórych zadaniach, takich jak przetwarzanie obrazu HDR, wzrost sięgał nawet 30 proc. 

Jednak w nowszej wersji (6.7) różnice praktycznie zniknęły. To zasugerowało, że IBOT nie działa uniwersalnie – optymalizuje tylko konkretne, “rozpoznane” wersje aplikacji. 

Co naprawdę robi IBOT?

Analiza pokazała, że narzędzie najpierw sprawdza program za pomocą sumy kontrolnej, by upewnić się, że „zna” jego kod. Dopiero wtedy przystępuje do optymalizacji. 

Najbardziej zaskakujące było jednak to, jak głęboko sięga ingerencja. IBOT nie tylko porządkuje kod, ale potrafi go przebudować – na przykład zamieniając instrukcje skalarne (operujące na pojedynczych danych) na wektorowe, które przetwarzają wiele danych jednocześnie. 

Efekt? Mniej instrukcji do wykonania i znacznie szybsze działanie – przynajmniej w wybranych przypadkach. 

Problem z uczciwością testów 

I tu pojawia się kontrowersja. Benchmarki takie jak Geekbench mają mierzyć typową wydajność procesora w realnych zastosowaniach. Tymczasem IBOT może “podrasować” kod testu tak, by działał w sposób idealnie dopasowany do architektury Intela.

W praktyce oznacza to, że procesor może wyglądać na szybszy niż jest w codziennym użytkowaniu – zwłaszcza w porównaniu do konkurencyjnych układów, które takich optymalizacji nie stosują.

Autorzy benchmarka Geekbench nie zamierzają ignorować problemu. Zapowiedzieli, że wyniki uzyskane z aktywnym IBOT będą odpowiednio oznaczane. Geekbench 6.7 będzie już potrafił wykryć działanie technologii Intela i będzie o tym informować użytkownika.

Komentarze

3
Zaloguj się, aby skomentować
avatar
Komentowanie dostępne jest tylko dla zarejestrowanych użytkowników serwisu.
  • avatar
    xmexme
    0
    Jesli to takie proste że intel po sumie kontrolnej programu włącza lub nie algorytm porawiajacy wyniki to czemu benchmark nie wprowadzi mechanizmu zman sumy kontrolnej przy kazdym uruchomieniu programu.
    • avatar
      Kenjiro
      0
      Prima Aprilis? ;->

      Witaj!

      Niedługo wyłaczymy stare logowanie.
      Logowanie będzie możliwe tylko przez 1Login.

      Połącz konto już teraz.

      Zaloguj przez 1Login