Kaixo guztioi. Aerodisk VOSTOK datuak biltegiratzeko sistema aurkezten jarraitzen dugu, Errusiako Elbrus 8C prozesadorean oinarrituta.
Artikulu honetan (agindu bezala) zehatz-mehatz aztertuko dugu Elbrus-ekin lotutako gairik ezagun eta interesgarrienetako bat, hau da, produktibitatea. Espekulazio asko daude Elbrusen jardunari buruz, eta guztiz polarrak. Ezkorren esanetan, Elbrusen produktibitatea "ezer ez" da, eta hamarkadak beharko dira ekoizle "goienak" heltzeko (hau da, egungo errealitatean, inoiz ez). Bestalde, baikorren esanetan, Elbrus 8C dagoeneko emaitza onak ematen ari da, eta hurrengo bi urteetan, prozesadoreen bertsio berriak (Elbrus 16C eta 32C) kaleratuta, "harrapatzeko eta aurreratzeko" gai izango gara. munduko prozesadoreen fabrikatzaile nagusiak.
Aerodisk-en pertsona praktikoak gara, beraz, biderik errazena eta ulergarriena (guretzat) hartu dugu: probatu, emaitzak grabatu eta gero ondorioak atera. Ondorioz, proba ugari egin genituen eta Elbrus 8C e2k arkitekturaren ezaugarri ugari aurkitu genituen (atsegina barne) eta, noski, Intel Xeon amd64 arkitektura prozesadoreetan antzeko biltegiratze sistemekin alderatu genuen.
Bide batez, Elbrusen biltegiratze sistemen etorkizuneko probei, emaitzei eta etorkizuneko garapenari buruz zehatzago hitz egingo dugu "OkoloIT" gure hurrengo webinar-ean 15.10.2020ko urriaren 15ean, 00:XNUMXetan. Izena eman dezakezu beheko esteka erabiliz.
β
proba-bankua
Bi stand sortu ditugu. Bi standak Linux exekutatzen duen zerbitzari bat osatzen dute, 16G FC etengailuen bidez konektatutako bi biltegiratze-kontrolagailuetara, eta bertan 12 SAS SSD 960 GB-ko disko instalatuta daude (11,5 TB "ahalmen gordina" edo 5,7 TB "erabilgarri" edukiera, RAID erabiltzen badugu. -10).
Eskematikoki standak itxura hau du.
Stand 1. e2k (Elbrus)
Hardwarearen konfigurazioa honako hau da:
- Linux zerbitzaria (2xIntel Xeon E5-2603 v4 (6 nukleo, 1,70 Ghz), 64 GB DDR4, 2xFC egokitzailea 16G 2 ataka) β 1 pc.
- Switch FC 16 G β 2 pcs.
- Biltegiratze sistema Aerodisk Vostok 2-E12 (2xElbrus 8C (8 nukleo, 1,20 Ghz), 32 GB DDR3, 2xFE FC-egokitzailea 16G 2 ataka, 12xSAS SSD 960 GB) - 1 pieza.
Stand No. 2 amd64 (Intel)
E2k-en antzeko konfigurazio batekin alderatzeko, biltegiratze konfigurazio antzeko bat erabili dugu amd64-ren ezaugarrietan antzeko prozesadore batekin:
- Linux zerbitzaria (2xIntel Xeon E5-2603 v4 (6 nukleo, 1,70 Ghz), 64 GB DDR4, 2xFC egokitzailea 16G 2 ataka) β 1 pc.
- Switch FC 16 G β 2 pcs.
- Biltegiratze-sistema Aerodisk Engine N2 (2xIntel Xeon E5-2603 v4 (6 nukleo, 1,70 Ghz), 32 GB DDR4, 2xFE FC-egokitzailea 16G 2 ataka, 12xSAS SSD 960 GB) - 1 pc.
Ohar garrantzitsua: proban erabilitako Elbrus 8C prozesadoreek DDR3 RAM bakarrik onartzen dute, hori noski "txarra da, baina ez luzerako". Elbrus 8SV (oraindik ez dugu stockean, baina laster izango du) DDR4 onartzen du.
Proba metodologia
Karga sortzeko, Flexible IO (FIO) programa ezaguna eta denbora probatua erabili dugu.
Bi biltegiratze-sistemak gure konfigurazio-gomendioen arabera konfiguratzen dira, blokeen sarbidean errendimendu handiko eskakizunetan oinarrituta, beraz, DDP (Dynamic Disk Pool) disko-taldeak erabiltzen ditugu. Testen emaitzak ez desitxuratzeko, konpresioa, desduplicazioa eta RAM cachea desgaitzen ditugu bi biltegiratze sistemetan.
8 D-LUN sortu ziren RAID-10-n, 500 GB bakoitza, guztira 4 TB-ko edukiera erabilgarriarekin (hau da, konfigurazio honen ahalmen erabilgarri posiblearen % 70 gutxi gorabehera).
Biltegiratze sistemak erabiltzeko oinarrizko eta ezagunak diren eszenatokiak exekutatu egingo dira, bereziki:
lehenengo bi probek DBMS transakzional baten funtzionamendua emulatzen dute. Proba talde honetan IOPS eta latentzia interesatzen zaizkigu.
1) Ausazko irakurketa bloke txikietan 4k
a. Blokearen tamaina = 4k
b. Irakurri/idatzi = %100/%0
c. Lan kopurua = 8
d. Ilararen sakonera = 32
e. Kargatu karakterea = Ausazko osoa
2) Ausazko grabaketa bloke txikietan 4k
a. Blokearen tamaina = 4k
b. Irakurri/idatzi = %0/%100
c. Lan kopurua = 8
d. Ilararen sakonera = 32
e. Kargatu karakterea = Ausazko osoa
bigarren bi probek DBMSren atal analitikoaren funtzionamendua imitatzen dute. Proba talde honetan IOPS eta latentzia ere interesatzen zaizkigu.
3) Irakurketa sekuentziala bloke txikietan 4k
a. Blokearen tamaina = 4k
b. Irakurri/idatzi = %100/%0
c. Lan kopurua = 8
d. Ilararen sakonera = 32
e. Kargatu karakterea = sekuentziala
4) Grabaketa sekuentziala bloke txikietan 4k
a. Blokearen tamaina = 4k
b. Irakurri/idatzi = %0/%100
c. Lan kopurua = 8
d. Ilararen sakonera = 32
e. Kargatu karakterea = sekuentziala
Hirugarren proba-taldeak streaming bidezko irakurketa (adibidez: lineako emisioak, babeskopiak leheneratu) eta streaming bidezko grabazioaren (adibidez: bideo-zaintza, grabazioko babeskopiak) lanak imitatzen ditu. Proba talde honetan, jada ez zaigu IOPS interesatzen, MB/s eta latentzia ere bai.
5) Irakurketa sekuentziala 128k-ko bloke handietan
a. Blokearen tamaina = 128k
b. Irakurri/idatzi = %0/%100
c. Lan kopurua = 8
d. Ilararen sakonera = 32
e. Kargatu karakterea = sekuentziala
6) Grabaketa sekuentziala 128k-ko bloke handietan
a. Blokearen tamaina = 128k
b. Irakurri/idatzi = %0/%100
c. Lan kopurua = 8
d. Ilararen sakonera = 32
e. Kargatu karakterea = sekuentziala
Proba bakoitzak ordubeteko iraupena izango du, array beroketa-denbora 7 minutukoa izan ezik.
Probaren emaitzak
Testen emaitzak bi tauletan laburbiltzen dira.
Elbrus 8S (SHD Aerodisk Vostok 2-E12)
Intel Xeon E5-2603 v4 (biltegiratze sistema Aerodisk Engine N2)
Emaitzak oso interesgarriak izan ziren. Bi kasuetan, biltegiratze-sistemaren prozesatzeko ahalmena ondo aprobetxatu dugu (% 70-90eko erabilera), eta egoera honetan, bi prozesadoreen alde onak eta txarrak nabarmenak dira.
Bi tauletan, prozesadoreek "seguru sentitzen" diren eta emaitza onak erakusten dituzten probak berdez nabarmentzen dira, eta laranjaz prozesadoreek "gustatzen ez dituzten" egoerak.
Bloke txikietan ausazko kargari buruz hitz egiten badugu, orduan:
- ausazko irakurketaren ikuspuntutik, Intel, zalantzarik gabe, Elbrusen aurretik dago, aldea 2 aldiz da;
- ausazko grabazioaren ikuspuntutik, zalantzarik gabe, berdinketa bat da, bi prozesadoreek gutxi gorabehera emaitza berdinak eta duinak erakutsi zituzten.
Bloke txikietako karga sekuentzial batean irudia ezberdina da:
- bai irakurtzean, bai idaztean, Intel nabarmen (2 aldiz) da Elbrusen aurretik. Aldi berean, Elbrusek Intelek baino IOPS adierazle baxuagoa badu, baina itxura duina badu (200-300 mila), orduan arazo nabaria dago atzerapenekin (Intelenak baino hiru aldiz handiagoak dira). Ondorioa, Elbrus 8C-ren egungo bertsioari benetan "ez zaizkio gustatzen" bloke txikietako karga sekuentzialak. Argi dago lan bat egiteko dagoela.
Baina bloke handiak dituen karga sekuentzial batean, irudia guztiz kontrakoa da:
- bi prozesadoreek gutxi gorabehera emaitza berdinak erakutsi zituzten MB/s-tan, baina badago BAINA... Elbrusen latentziaren errendimendua 10 (hamar, Karl!!!) aldiz hobea da (hau da, txikiagoa) Intel-en antzeko prozesadore batena baino (0,4/0,5 ms versus 5,1/6,5 ms). Hasieran akats bat zela pentsatu genuen, beraz, emaitzak berriro egiaztatu genituen, berriro proba bat egin genuen, baina berriro probak irudi bera erakutsi zuen. Hau Elbrusen (eta, oro har, e2k arkitekturaren) abantaila larria da Intelen (eta, horren arabera, amd64 arkitekturaren aldean). Espero dezagun arrakasta hau gehiago garatuko dela.
Bada Elbrusen beste ezaugarri interesgarri bat, irakurle adi batek mahaiari begiratuta errepara diezaiokeena. Intel-en irakurketa eta idazketa-errendimenduaren arteko desberdintasuna aztertzen baduzu, proba guztietan irakurtzea idaztearen aurretik dago batez beste %50 inguru. Hau da denok (gu barne) ohituta dagoen araua. Elbrus-i begiratuz gero, idazketa-adierazleak askoz hurbilago daude irakurketa-adierazleetatik; irakurketa idazketaren aurretik dago, oro har, % 10 - 30, ez gehiago.
Zer esan nahi du honek? Elbrusek idaztea "benetan maite" izateak, eta honek, prozesadore hau oso erabilgarria izango dela iradokitzen du irakurketari argi eta garbi gailentzen zaion lanetan (nork esan zuen Yarovayaren legea?), eta hori ere zalantzarik gabeko abantaila da e2k arkitektura, eta abantaila hori garatu behar da.
Ondorioak eta etorkizun hurbila
Datuak biltegiratzeko zereginetarako Elbrus eta Intel bitarteko prozesadoreen proba konparatiboak gutxi gorabehera emaitza berdinak eta berdinak erakutsi zituzten, prozesadore bakoitzak bere ezaugarri interesgarriak erakutsi zituen bitartean.
Intelek asko gainditu zuen Elbrus bloke txikietan ausazko irakurketan, baita bloke txikietan irakurketa eta idazketa sekuentzialean ere.
Bloke txikietan ausaz idaztean, bi prozesadoreek emaitza berdinak erakusten dituzte.
Latentziari dagokionez, Elbrusek Intelek baino askoz hobeto ikusten du streaming karga batean, hau da. irakurketa eta idazketa sekuentziala bloke handietan.
Horrez gain, Elbrusek, Intelek ez bezala, berdin egiten du irakurketa eta idazketa kargarekin, Intelekin, berriz, irakurtzea idaztea baino askoz hobea da beti.
Lortutako emaitzetan oinarrituta, Aerodisk Vostok datuak gordetzeko sistemen Elbrus 8C prozesadorean hurrengo zereginetan duten aplikagarritasunari buruzko ondorio bat atera dezakegu:
- idazketa-eragiketak nagusi diren informazio-sistemak;
- fitxategirako sarbidea;
- lineako emankizunak;
- CCTV;
- babeskopia;
- komunikabideetako edukiak.
MCST taldeak oraindik badu zer lantzeko, baina dagoeneko ikusgai dago euren lanaren emaitza, eta hori, noski, poztu ezinik dago.
Proba hauek Linux kernelean egin ziren e2k 4.19 bertsiorako; gaur egun beta probetan (MCST-n, Basalt SPO-n, eta hemen ere Aerodisk-en) Linux kernel 5.4-e2k dago, eta bertan, besteak beste, dauka. serioski birdiseinatu da programatzailea eta abiadura handiko egoera solidoko unitateetarako optimizazio asko. Gainera, 5.x.x adarreko nukleoetarako bereziki, MCST JSC-k LCC konpilatzaile berri bat kaleratzen du, 1.25 bertsioa. Aurretiazko emaitzen arabera, Elbrus 8C prozesadore berean, konpiladore berri batekin konpilatutako nukleo berri batek, nukleoaren ingurune batekin, sistemaren utilitateekin eta liburutegiekin eta, hain zuzen ere, Aerodisk VOSTOK softwareak errendimenduaren areagotze nabarmenagoa ahalbidetuko du. Eta hau ekipamenduak ordezkatu gabe, prozesadore berean eta maiztasun berdinekin.
5.4 nukleoan oinarritutako Aerodisk VOSTOK-en bertsio bat kaleratzea espero dugu urte amaierarako, eta bertsio berriaren lana amaitu bezain laster, probaren emaitzak eguneratuko ditugu eta hemen argitaratuko ditugu.
Orain artikuluaren hasierara itzuli eta galderari erantzuten badiogu, zeinek duen arrazoia: Elbrus βezer ezβ dela eta prozesadoreen fabrikatzaile nagusiekin sekula harrapatuko ez duten ezkorrak, edo βjada ia harrapatu dutelaβ dioten baikorrak. gora eta laster aurreratuko du"? Ez badugu estereotipoetatik eta erlijio-aurreiritzietatik abiatzen, egiazko probetatik baizik, baikorrek arrazoia dute zalantzarik gabe.
Elbrus dagoeneko emaitza onak erakusten ari da erdi mailako amd64 prozesadoreekin alderatuta. Elbrus 8-ke, noski, Intel edo AMD-ren zerbitzari-prozesadoreen eredu gorenetatik urrun dago, baina ez zen hara zuzenduta; 16C eta 32C prozesadoreak kaleratuko dira horretarako. Orduan hitz egingo dugu.
Artikulu honen ondoren Elbrus-i buruzko galdera gehiago egongo direla ulertzen dugu, beraz, "OkoloIT" lineako beste webinar bat antolatzea erabaki dugu galdera hauei zuzenean erantzuteko.
Oraingoan gure gonbidatua MCST enpresako zuzendariorde Konstantin Trushkin izango da. Webinarioan izena eman dezakezu beheko esteka erabiliz.
β
Eskerrik asko guztioi, beti bezala, kritika eraikitzaileak eta galdera interesgarriak espero ditugu.
Iturria: www.habr.com