Serwery plików NAS

Testy wydajnościowe

Testy wydajnościowe serwera QNAP-a przeprowadziliśmy przy wykorzystaniu benchmarków ATTO Disk Benchmark, CrystalDiskMark oraz kopiując pliki z serwera i na serwer, przy użyciu Eksploratora Windows (SMB, iSCSI). Dodatkowo sprawdziliśmy wydajność urządzenia pod kątem operacji wejścia/wyjścia. Procedura kopiowania obejmowała próby przeprowadzone trzykrotnie:

  • kopiowanie na serwer i pobieranie z serwera jednego pliku o wielkości 2 GB
  • kopiowanie na serwer i pobieranie z serwera 1000 plików o wielkości 2 MB każdy
  • kopiowanie na serwer i pobieranie z serwera 10000 plików o wielkości 2 KB każdy

Platformą sprzętową do testów wykorzystania protokołów SMB, iSCSI był serwer HP ProLiant MicroServer N36L ze skonfigurowaną macierzą RAID 0.

  • System operacyjny: Windows Server 2008 R2
  • Procesor AMD Athlon DualCore 1,3 GHz
  • Pamięć RAM: 8 GB
  • Dysk twardy: macierz RAID 0
  • Sieć ethernet: 4x1 Gbps (zagregowane połączenie)
  • NAS i serwer testowy zostały podłączone do przełącznika sieciowego Netgear M5300

Zaawansowane możliwości kreaowania powierzchni dyskowych oraz stosowanych nośników pozwoliły nam na wykonanie dodatkowych testów z wykorzystaniem nie tylko klasycznych nośników SATA ale również dysków SSD. Poniżej 4 różne ustawienia nośników. W przypadku kopiowania danych w gigabitowej sieci LAN nie zauważymy większych różnic jeśli chodzi o szybkość kopiowania danych. Różnicą będzie za to wydajność IOPS. I ten parametr interesował nas bardziej. 

  1. macierz z dysków SATA (talerzowych) RAID 10
  2. macierz z dysków SSD RAID 10
  3. macierz z dysków SATA z SSD Cache RAID 10
  4. macierz z dysków SATA z Qtier RAID 10

W teście wykorzystaliśmy nośniki SATA 3,5" WD Red 1 TB oraz nośniki SSD Kingston. Serwer podłączony został do sieci z użyciem przełącznika Netgear M5300. Interfejsy serwera testowego oraz serwera QNAP zostały skonfigurowane jako LAG (802.3ad). 

Kopiowanie plików na dyski SATA

Kopiowanie dużego pliku (2 GB)
Protokół SMB i iSCSI [MB/s]

Typ macierzy Upload
Download
RAID 0  110
 112
RAID 1  112
 111
RAID 5  112
 111
RAID 10  112
 112
RAID 10 iSCSI   86
 100
RAID 10 szyfrowany  107
 108

Kopiowanie małych plików (1000x2 MB)
Protokół SMB [MB/s]

Typ macierzy Upload
Download
RAID 0  47
 74
RAID 1  47
 65
RAID 5  46
 66
RAID 10  47
 67
RAID 10 iSCSI   65
 75
RAID 10 szyfrowany  44
 52

Kopiowanie małych plików (10000x2 KB)
Protokół SMB [MB/s]

Typ macierzy Upload
Download
RAID 0  0,23
 0,37
RAID 1  0,23
 0,42
RAID 5  0,22
 0,38
RAID 10  0,23
 0,39
RAID 10 iSCSI  0,74
 0,90
RAID 10 szyfrowany  0,23
 0,33

Maksymalna wydajność sieciowa - odczyt z NAS i zapis na NAS
Protokół SMB i iSCSI [MB/s]

Maksymalna wydajność sieciowa zmierzona została z użyciem narzędzia diskspd. Test przeprowadziliśmy dla różnych konfiguracji macierzy i technologii. Jak łatwo zauważyć zastosowanie różnych nośników nie ma bezpośredniego przeniesienia na szybkosć odczytu. Potwierdzają to wyniki dla macierzy RAID 10, którą testowaliśmy zarówno w konfiguracji z dyskami SATA (mechanicznymi), SSD, jak i wykorzystując SSD Cache i QTIER. Na podobnym bardzo równym poziomie 110-113 MB/s utrzymuje się odczyt i zapis zarówno dla protokołu SMB jak i iSCSI. NAS świetnie radzi sobie z zapisem danych na wolumen szyfrowany, jednak w przypadku realnych testów transferu danych zauważyliśmy niewielki spadek odczytu i zapisu. 

Macierz Typ dysków Odczyt [MB/s] Zapis [MB/s]
RAID 0 SATA 113 112
RAID 1  SATA 112 110
RAID 5 SATA 112 111
RAID 10 SATA 112 112
RAID 10  SATA szyfrowany 112 111
RAID 10 SATA + SSD Cache 112 112
RAID 10 SATA + QTIER 112 112
RAID 10 SSD 112 112

IOPS - odczyt z NAS i zapis na NAS

Test pomiaru wartości IOPS dla 4 typów macierzy oraz dwóch protokołów przeprowadziliśmy z użyciem następujących parametrów testowych:

  • czas testu: 120 sekund
  • blok danych: 4 KB
  • liczba wątków: 8
  • wielkość pliku: 4 GB
  • oddzielny test dla odczytu: 100% read
  • oddzielny test dla zapisu: 100% write

O ile w testach maksymalnej wydajności zaobserwowaliśmy niemal te same szybkości odczytu i zapisu o tyle w przypadku różnych typów macierzy RAID możemy zauważyć znaczące różnice w przypadku wykorzystania dodatkowych nośników SSD i technologii przyspieszania pamięci. Najpierw zobaczmy jak wyglądają wyniki dla macierzy RAID 0, 1, 5 oraz 10 z wykorzystaniem klasycznych dysków twardych. 

Macierz Odczyt [IOPS] Zapis [IOPS]
Protokół SMB
RAID 0 11536 4814
RAID 1 10390 2008
RAID 5 19375 2583
RAID 10 19424 3792

 

Macierz Odczyt [IOPS] Zapis [IOPS]
Protokół iSCSI
RAID 0 4525 1984
RAID 1 4367 2209
RAID 5 4472 2176
RAID 10 4566 4062

Teraz przyjrzyjmy się wynikom testu IOPS dla macierzy RAID 10 ale z wykorzystaniem  klasycznych dysków i mechanizmem SSD Cache (przyspieszenie pamięci podręcznej), QTIER, nośników SSD i pojedynczego nośnika SSD (WD Black PCIe M.2 2280 256 GB WDS256G1X0C) zamontowanego na kacie QM2. Dla porównania podajemy wartości IOPS dla dysków klasycznych. 

Macierz Odczyt [IOPS] Zapis [IOPS]
Protokół SMB
RAID 10 - dyski klasyczne 19424 3792
RAID 10 dyski klasyczne i SSD Cache  21181 12241
RAID 10 QTIER 20429 10902
RAID 10 dyski SSD 20579 11826
Pojedynczy dysk SSD 15734 10324

 

Macierz Odczyt [IOPS] Zapis [IOPS]
Protokół iSCSI
RAID 10  - dyski klasyczne 4566 4062
RAID 10 dyski klasyczne i SSD Cache 16951 6432
RAID 10 QTIER 21699 15012
RAID 10 dyski SSD 21749 14957
Pojedynczy dysk SSD 21571 14752

Nie trzeba zbyt długo przyglądać się wynikom by odpowowiedzieć sobie na pytanie czy technologia SSD zwiększa wydajność macierzy dyskowej. W przypadku protokołu SMB i odczytu danych wartości IOPS dla klasycznych dysków, SDD Cache i QTIER nie różnią się znacząco oscylując w granicach 19000-21000 IOPS.

Jednak jeśli spojrzymy na IOPS w zapisie różnica jest kolosalna! Znaczące różnice w odczycie możemy także zaobserwować dla protokołu iSCSI zarówno dla kierunku odczyt jak i zapis. Oczywiście wartosci IOPS są mocno powiązane z opóźnieniami odczytu i zapisu. W przypadku RAID 10 opóźnienia wynosiły (odczyt/zapis): 8,734 ms / 2,293 ms. Zastosowanie technologii SSD pozwoliło zmniejszyć opóźnienia do wartości: 2,568 ms / 0,818 ms. Dopiero uruchomienie QTIER - czyli konfiguracji bazującej sprzętowo na tych samych elementach co SSD Cache pozwoliło zmniejszyć opóźnienia do 0,669 ms / 0,082 ms. 

Wydajność LACP

Wydajność połączenia dwóch interfejsów sieciowych sprawdziliśmy tworząc LAG 802.3ad z użyciem przełącznika Netgear M5300. Do kopiowania użyliśmy 4 notebooków, które transmitowały dane w tym samym czasie. Nie zawiedliśmy się na pojedynczych połączeniach gigabitowych. Tak samo jesteśmy pod wrażeniem szybkości transmisji danych z użyciem zagregowanego łącza. W teście maksymalna szybkość zapisu i odczytu danych z NAS-a z użyciem protokołu CIFS/SMB wyniosła ponad 220 MB/s w obydwu kierunkach. Podobne wartości (niższe o około 6 MB/s) uzyskaliśmy w przypadku kopiowania danych na wolumen szyfrowany. 

Szczegółowe informacje dotyczące średnich wartości kopiowania z poszczególnych klientów prezentuje poniższa tabela. Przy okazji warto przyjrzeć się wykresowi rozłożenia obciążenia sieciowego na poszczególnych interfejsach sieciowych. Widać wyraźnie, że QNAP świetnie sobie z tym radzi kierując ruch na oba interfejsy sieciowe. 

  PC1 [MB/s] PC2 [MB/s] PC3 [MB/s] PC4 [MB/s] Suma [MB/s]
Pobieranie z NAS 52,3  54,6 62,3 52,3 221,5
Wysyłanie na NAS 37,1 25,6 70,5 87,7 220,9

Wydajność portu 10 GbE

Niestety z przyczyn technicznych nie byliśmy w stanie wykonać testów dla karty QM2 i łącza 10 GbE. Nasza platforma testowa uległa poważnej awarii stąd wyniki testów postaramy się podać w najbliższym możliwym czasie i dokonać aktualizacji materiału. Jeśli jesteście ciekawi jak wypadł TS-453B w testach laboratoryjnych zapraszamy na stronę producenta


Test – protokół SMB i iSCSI ATTO Disk Benchmark

  • RAID 0, protokół SMB i ISCSI

  • RAID 1, protokół SMB i iSCSI

  • RAID 5, protokół SMB i iSCSI

  • RAID 10, protokół SMB i iSCSI

  • RAID 10 szyfrowany, protokół SMB i iSCSI

Test – protokół SMB i iSCSI, CrystalDiskMark 3.0.2

  • RAID 0, protokół SMB i iSCSI

  • RAID 1, protokół SMB i iSCSI

  • RAID 5, protokół SMB i iSCSI

  • RAID 10, protokół SMB i iSCSI

  • RAID 10 szyfrowany, protokół SMB i iSCSI