Ahoj všichni. Nadále vám představujeme systém ukládání dat Aerodisk VOSTOK, založený na ruském procesoru Elbrus 8C.
V tomto článku (jak jsme slíbili) podrobně rozebereme jedno z nejpopulárnějších a nejzajímavějších témat souvisejících s Elbrusem, a to produktivitu. O výkonu Elbrusu je poměrně hodně spekulací, a to naprosto polárních. Pesimisté říkají, že produktivita Elbrusu je nyní „nic“ a bude trvat desetiletí, než dohoní „top“ producenty (tedy v současné realitě nikdy). Na druhou stranu optimisté říkají, že Elbrus 8C již vykazuje dobré výsledky a v příštích několika letech s vydáním nových verzí procesorů (Elbrus 16C a 32C) budeme moci „dohnat a předběhnout“ přední světoví výrobci procesorů.
My v Aerodisku jsme praktičtí lidé, a tak jsme se vydali tou nejjednodušší a nejsrozumitelnější (pro nás) cestou: otestovat, zaznamenat výsledky a teprve potom dělat závěry. Díky tomu jsme provedli poměrně velké množství testů a objevili řadu provozních vlastností architektury Elbrus 8C e2k (včetně příjemných) a samozřejmě jsme to porovnali s podobnými úložnými systémy na procesorech architektury Intel Xeon amd64.
O testech, výsledcích a budoucím vývoji úložných systémů na Elbrusu si mimochodem povíme podrobněji na našem dalším webináři „OkoloIT“ 15.10.2020. října 15 v 00:XNUMX hod. Registrovat se můžete pomocí odkazu níže.
→
Zkušební stojan
Vytvořili jsme dva stánky. Oba stojany se skládají ze serveru s operačním systémem Linux, připojeného přes 16G FC přepínače ke dvěma řadičům úložiště, ve kterých je nainstalováno 12 disků SAS SSD 960 GB (11,5 TB „hrubé kapacity“ nebo 5,7 TB „použitelné“ kapacity, pokud použijeme RAID -10).
Schematicky stojan vypadá takto.
Stojan č. 1 e2k (Elbrus)
Hardwarová konfigurace je následující:
- Linux server (2xIntel Xeon E5-2603 v4 (6 jader, 1,70Ghz), 64 GB DDR4, 2xFC adaptér 16G 2 porty) – 1 ks.
- Vypínač FC 16 G – 2 ks.
- Úložný systém Aerodisk Vostok 2-E12 (2xElbrus 8C (8 jader, 1,20Ghz), 32 GB DDR3, 2xFE FC-adaptor 16G 2 port, 12xSAS SSD 960 GB) - 1 ks.
Stojan č. 2 amd64 (Intel)
Pro srovnání s podobnou konfigurací na e2k jsme použili podobnou konfiguraci úložiště s procesorem podobnými vlastnostmi jako amd64:
- Linux server (2xIntel Xeon E5-2603 v4 (6 jader, 1,70Ghz), 64 GB DDR4, 2xFC adaptér 16G 2 porty) – 1 ks.
- Vypínač FC 16 G – 2 ks.
- Úložný systém Aerodisk Engine N2 (2xIntel Xeon E5-2603 v4 (6 jader, 1,70Ghz), 32 GB DDR4, 2xFE FC-adaptér 16G 2 port, 12xSAS SSD 960 GB) - 1 ks.
Důležitá poznámka: Procesory Elbrus 8C použité v testu podporují pouze DDR3 RAM, to je samozřejmě „špatné, ale ne na dlouho“. Elbrus 8SV (zatím ho nemáme na skladě, ale brzy ho budeme mít) podporuje DDR4.
Metodika testování
Pro generování zátěže jsme použili oblíbený a léty prověřený program Flexible IO (FIO).
Oba úložné systémy jsou konfigurovány podle našich konfiguračních doporučení na základě požadavků na vysoký výkon při blokovém přístupu, proto používáme diskové oblasti DDP (Dynamic Disk Pool). Aby nedošlo ke zkreslení výsledků testů, zakážeme kompresi, deduplikaci a mezipaměť RAM na obou úložných systémech.
V RAID-8 bylo vytvořeno 10 D-LUN, každý po 500 GB, s celkovou použitelnou kapacitou 4 TB (tj. přibližně 70 % možné využitelné kapacity této konfigurace).
Budou provedeny základní a oblíbené scénáře pro používání úložných systémů, zejména:
první dva testy emulují provoz transakčního DBMS. V této skupině testů nás zajímá IOPS a latence.
1) Náhodné čtení v malých blocích 4k
A. Velikost bloku = 4k
b. Čtení/zápis = 100 %/0 %
C. Počet prací = 8
d. Hloubka fronty = 32
E. Načíst znak = Plně náhodné
2) Náhodný záznam v malých blocích 4k
A. Velikost bloku = 4k
b. Čtení/zápis = 0 %/100 %
C. Počet prací = 8
d. Hloubka fronty = 32
E. Načíst znak = Plně náhodné
druhé dva testy napodobují činnost analytické části DBMS. V této skupině testů nás také zajímá IOPS a latence.
3) Sekvenční čtení v malých blocích 4k
A. Velikost bloku = 4k
b. Čtení/zápis = 100 %/0 %
C. Počet prací = 8
d. Hloubka fronty = 32
E. Načíst znak = Sekvenční
4) Sekvenční záznam v malých blocích 4k
A. Velikost bloku = 4k
b. Čtení/zápis = 0 %/100 %
C. Počet prací = 8
d. Hloubka fronty = 32
E. Načíst znak = Sekvenční
Třetí skupina testů emuluje práci streamovaného čtení (příklad: online vysílání, obnova záloh) a záznamu streamování (příklad: video dohled, zálohy záznamu). V této skupině testů nás již nezajímá IOPS, ale MB/s a také latence.
5) Sekvenční čtení ve velkých blocích 128k
A. Velikost bloku = 128k
b. Čtení/zápis = 0 %/100 %
C. Počet prací = 8
d. Hloubka fronty = 32
E. Načíst znak = Sekvenční
6) Sekvenční nahrávání ve velkých blocích 128k
A. Velikost bloku = 128k
b. Čtení/zápis = 0 %/100 %
C. Počet prací = 8
d. Hloubka fronty = 32
E. Načíst znak = Sekvenční
Každý test bude trvat jednu hodinu, s výjimkou doby zahřívání pole 7 minut.
Výsledky zkoušek
Výsledky testu jsou shrnuty ve dvou tabulkách.
Elbrus 8S (SHD Aerodisk Vostok 2-E12)
Intel Xeon E5-2603 v4 (úložný systém Aerodisk Engine N2)
Výsledky se ukázaly být mimořádně zajímavé. V obou případech jsme dobře využili výpočetní výkon úložného systému (70-90% využití) a v této situaci jsou klady a zápory obou procesorů jasně patrné.
V obou tabulkách jsou testy, kde se procesory „cítí sebevědomě“ a vykazují dobré výsledky, zvýrazněny zeleně, zatímco situace, které se procesorům „nelíbí“, jsou zvýrazněny oranžově.
Pokud mluvíme o náhodném zatížení v malých blocích, pak:
- z pohledu náhodného čtení je Intel jistě před Elbrusem, rozdíl je 2x;
- z pohledu náhodného záznamu je to určitě remíza, oba procesory předvedly přibližně vyrovnané a slušné výsledky.
Při sekvenčním zatížení v malých blocích je obrázek jiný:
- jak při čtení, tak zápisu je Intel výrazně (2x) před Elbrusem. Přitom pokud má Elbrus indikátor IOPS nižší než Intel, ale vypadá slušně (200-300 tisíc), tak je evidentní problém se zpožděními (jsou třikrát vyšší než u Intelu). Závěr, aktuální verze Elbrus 8C opravdu „nemá ráda“ sekvenční zatížení v malých blocích. Je zřejmé, že je třeba udělat nějakou práci.
Ale v sekvenčním zatížení s velkými bloky je obrázek přesně opačný:
- oba procesory vykazovaly přibližně stejné výsledky v MB/s, ale je tu jedno ALE.... Latenční výkon Elbrusu je 10 (deset, Karle!!!) krát lepší (tedy nižší) než u podobného procesoru od Intelu (0,4/0,5 ms versus 5,1/6,5 ms) . Nejprve jsme si mysleli, že jde o závadu, a tak jsme znovu zkontrolovali výsledky, provedli retest, ale opakovaný test ukázal stejný obrázek. To je vážná výhoda Elbrusu (a architektury e2k obecně) oproti Intelu (a tedy i architektuře amd64). Doufejme, že se tento úspěch bude dále rozvíjet.
Elbrus má ještě jednu zajímavost, na kterou může pozorný čtenář při pohledu na tabulku upozornit. Pokud se podíváte na rozdíl mezi výkonem Intel pro čtení a zápis, tak ve všech testech je čtení před zápisem v průměru o 50 %+. To je norma, na kterou jsou všichni (včetně nás) zvyklí. Pokud se podíváte na Elbrus, indikátory zápisu jsou mnohem blíže indikátorům čtení, čtení je před zápisem zpravidla o 10 - 30%, ne více.
Co to znamená? Skutečnost, že Elbrus „opravdu miluje“ psaní, a to zase naznačuje, že tento procesor bude velmi užitečný v úkolech, kde psaní jasně převažuje nad čtením (kdo řekl Yarovayaův zákon?), což je také nepochybná výhoda architektury e2k, a tuto výhodu je třeba rozvíjet.
Závěry a blízká budoucnost
Srovnávací testy procesorů střední třídy Elbrus a Intel pro úlohy ukládání dat ukázaly přibližně stejné a stejně hodnotné výsledky, přičemž každý procesor ukázal své vlastní zajímavé vlastnosti.
Intel výrazně překonal Elbrus v náhodném čtení v malých blocích, stejně jako v sekvenčním čtení a zápisu v malých blocích.
Při náhodném zápisu v malých blocích vykazují oba procesory stejné výsledky.
Z hlediska latence vypadá Elbrus výrazně lépe než Intel ve streamovací zátěži, tzn. v sekvenčním čtení a zápisu ve velkých blocích.
Elbrus si navíc na rozdíl od Intelu stejně dobře poradí se zátěží při čtení i zápisu, zatímco u Intelu je čtení vždy mnohem lepší než zápis.
Na základě získaných výsledků můžeme vyvodit závěr o použitelnosti systémů ukládání dat Aerodisk Vostok na procesoru Elbrus 8C v následujících úlohách:
- informační systémy s převahou operací zápisu;
- přístup k souborům;
- online vysílání;
- KAMEROVÝ SYSTÉM;
- záloha;
- mediální obsah.
Tým MCST má stále na čem pracovat, ale výsledek jejich práce je již nyní vidět, z čehož se samozřejmě nelze než radovat.
Tyto testy byly provedeny na linuxovém jádře pro e2k verze 4.19, aktuálně je v beta testech (v MCST, v Basalt SPO a také zde v Aerodisku) linuxové jádro 5.4-e2k, ve kterém má mj. byl vážně přepracován plánovač a mnoho optimalizací pro vysokorychlostní disky SSD. Speciálně pro jádra větve 5.x.x také společnost MCST JSC vydává nový kompilátor LCC, verze 1.25. Podle předběžných výsledků umožní na stejném procesoru Elbrus 8C nové jádro zkompilované s novým kompilátorem, prostředí jádra, systémové utility a knihovny a vlastně i software Aerodisk VOSTOK ještě výraznější nárůst výkonu. A to bez výměny zařízení - na stejném procesoru a se stejnými frekvencemi.
Vydání verze Aerodisku VOSTOK založené na jádře 5.4 očekáváme koncem roku a jakmile budou práce na nové verzi dokončeny, aktualizujeme výsledky testů a také je zde zveřejníme.
Pokud se nyní vrátíme na začátek článku a odpovíme si na otázku, kdo má pravdu: pesimisté, kteří říkají, že Elbrus je „nic“ a přední výrobce procesorů nikdy nedoženou, nebo optimisté, kteří říkají, že „už skoro chytili nahoru a brzy předběhne “? Pokud nevyjdeme ze stereotypů a náboženských předsudků, ale ze skutečných testů, pak mají optimisté rozhodně pravdu.
Elbrus již vykazuje dobré výsledky ve srovnání s procesory amd64 střední úrovně. Elbrus 8-ke má samozřejmě daleko ke špičkovým modelům serverových procesorů od Intelu či AMD, tam ale nemířil, k tomuto účelu budou vydány procesory 16C a 32C. Pak si promluvíme.
Chápeme, že po tomto článku bude ještě více otázek o Elbrusu, a proto jsme se rozhodli uspořádat další online webinář „OkoloIT“, abychom na tyto otázky odpověděli živě.
Tentokrát bude naším hostem zástupce generálního ředitele společnosti MCST Konstantin Trushkin. Na webinář se můžete registrovat pomocí odkazu níže.
→
Děkujeme všem, jako vždy se těšíme na konstruktivní kritiku a zajímavé otázky.
Zdroj: www.habr.com