IBM przeszuka miliardy plików w niecałą godzinę

Superkomputer IBM, wykorzystująca zmodyfikowany system plików General Parallel File System (GPFS), została skonstruowana w celu przekopywania się przez ogromne ilości danych w jak najkrótszym czasie. Nowy rekord to 10 miliardów przeskanowanych plików w ciągu 43 minut.

Wynik robi wrażenie, zwłaszcza gdy porównamy go z poprzednim, również rekordowym rezultatem - 1 miliard przeanalizowanych plików w 3 godziny. A ile plików znajdziemy w naszych komputerach? Świeży system to najprawdopodobniej co najwyżej dziesiątki lub setki tysięcy.

IBM pokazuje, że pamięci Flash jak i ich następcy, np. pamięci przemiany fazowej, są przyszłością w systemach obciążonych bardzo dużą liczbą operacji zapisu/odczytu na miliardach plików. 
 

Systemy zdolne obsłużyć 10 miliardów plików w rozsądnym czasie będą w przyszłości coraz bardziej potrzebne. Pod koniec 2011 roku liczba przechowywanych danych online ma sięgnąć 1800 eksabajtów i rosnąć dalej w tempie około 50% rocznie.

Trudno jednak wyobrazić sobie, choćby ze względu na koszty, aby w najbliższym czasie centra danych w 100% polegały na pamięciach Flash. Dlatego kluczem do osiągnięcia tak wysokiej wydajności przeszukiwania danych jest wykorzystanie metadanych (jeden z elementów GPFS), które opisują dokładnie przechowywane pliki. Metadane przechowywane są w szybkiej pamięci Flash. To znacznie skraca czas przeszukiwania, odciążając komputer od sprawdzania zawartości plików, które zgromadzone są często na znacznie mniej wydajnych pamięciach dyskowych, a nawet taśmowych.

Klaster IBM, który osiągnął rekordowy wynik, zbudowano z 10 serwerów (każdy składający się z dwóch czterordzeniowych procesorów 2,8 GHz, 12 MB cache i 32 GB RAM), które mają do dyspozycji 6,8 terabajta pamięci Flash. Zastosowane macierze pamięci, Violin 3205, charakteryzuje prędkość odczytu około 5 GB/s i współczynnik IOPS (4 kB pliki) wynoszący ponad milion. Jako system plików wykorzystano wspomniany GPFS (w tym przypadku była to jego zmodyfikowana wersja). Pozwala on na jednoczesny dostęp do plików (odczyt i zapis) przez wiele procesów. GPFS to jeden z systemów plików wykorzystywanych w superkomputerach. Pozwala na efektywną obsługę dużych woluminów (co najmniej 4 petabajty) i umożliwia skalowalność na rozbudowane systemy obliczeniowe.
 

Więcej o technologiach superkomputerowych i superszybkich pamięciach:

• IBM: pamięć 100 razy szybsza od modułów Flash
• Micron P320h SSD: niewielki i ogromnie wydajny dysk z PCI Express
• Intel: superkomputery klasy exascale do końca dekady
• Pogrom na Top 500 - nowe superkomputery

Źródło: IBM