Kaixo guztioi! Artikulu honekin, AERODISK-ek Habréri buruzko bloga irekitzen du. Aupa, kamaradak!
Habré-ri buruzko aurreko artikuluek biltegiratze sistemen arkitekturari eta oinarrizko konfigurazioari buruzko galderak eztabaidatu zituzten. Artikulu honetan aurrez landu ez den, baina askotan egiten den galdera bat aztertuko dugu - AERODISK ENGINE biltegiratze sistemen akatsen tolerantziari buruz. Gure taldeak dena egingo du AERODISK biltegiratze sistemak funtzionatzeari uzteko, hau da. hautsi.
Gertatu zen, gure enpresaren historiari buruzko artikuluak, gure produktuei buruzkoak eta inplementazio arrakastatsuaren adibide bat jada Habré-n zintzilik daudela, eta horretarako. Mila esker gure bazkideei - TS Solution eta Softline enpresei.
Hori dela eta, hemen ez ditut kopiatu-itsatsi kudeaketa trebetasunak trebatuko, baizik eta artikulu hauen jatorrizko estekak emango ditu:
Berri onak ere partekatu nahi ditut. Baina, noski, arazoarekin hasiko naiz. Gu, saltzaile gazte gisa, besteak beste, etengabe aurre egiten diogu ingeniari eta administratzaile askok ez dakitela gure biltegiratze sistema behar bezala funtzionatzen.
Argi dago biltegiratze-sistema gehienak kudeatzea administratzaile baten ikuspuntutik gutxi gorabehera berdina dela, baina fabrikatzaile bakoitzak bere ezaugarriak ditu. Eta hemen ez gara salbuespena.
Hori dela eta, informatikako espezialisten prestakuntzaren zeregina errazteko asmoz, aurten doako hezkuntzara bideratzea erabaki dugu. Horretarako, Errusiako hiri handi askotan AERODISK Konpetentzia Zentroen sarea irekitzen ari gara, eta bertan interesa duen edozein espezialista teknikok doako ikastaro bat egin dezake eta AERODISK ENGINE biltegiratze sistemak kudeatzeko ziurtagiria jaso dezake.
Konpetentzia Zentro bakoitzean AERODISK biltegiratze-sistemako demo stand bat eta zerbitzari fisiko bat instalatuko ditugu, eta bertan gure irakasleak prestakuntza presentziala egingo du. Konpetentzia Zentroen lan-egutegia agertzean argitaratuko dugu, baina dagoeneko zentro bat ireki dugu Nizhny Novgoroden eta hurrengoa da Krasnodar hiria. Prestakuntzarako izena eman dezakezu beheko estekak erabiliz. Hona hemen hiriei eta datei buruz gaur egun ezagutzen den informazioa:
- Nizhny Novgorod (DAGOENEN IREKITA – hemen eman dezakezu izena );
16ko apirilaren 2019ra arte, edozein lan ordutan bisitatu daiteke zentroa, eta 16ko apirilaren 2019an prestakuntza ikastaro zabala antolatuko da. - Krasnodar (LASTER IREKITU - hemen eman dezakezu izena );
9ko apirilaren 25tik apirilaren 2019era, edozein lan ordutan bisitatu ahal izango da zentroa, eta 25ko apirilaren 2019ean, prestakuntza ikastaro zabala antolatuko da. - Ekaterinburg (LASTER IREKITU, jarraitu informazioa gure webgunean edo Habré-n);
2019ko maiatza-ekaina. - Новосибирск (jarrai ezazu informazioa gure webgunean edo Habré-n);
2019ko urria. - Krasnoyarsk (jarrai ezazu informazioa gure webgunean edo Habré-n);
2019ko azaroa.
Eta, noski, Mosku zuregandik urrun ez badago, edozein unetan Moskuko gure bulegoa bisita dezakezu eta antzeko prestakuntza jaso dezakezu.
Denak. Marketinarekin amaitu dugu, goazen teknologiara!
Habré-n gure produktuei buruzko artikulu teknikoak, karga-probak, konparaketak, erabilera-ezaugarriak eta inplementazio interesgarriak argitaratuko ditugu.
AERODISK ENGINE N2 biltegiratze sistemaren istripu-probak, erresistentzia-proba
KONTUZ! Artikulua irakurri ondoren, esan dezakezu: beno, noski, saltzaileak bere burua egiaztatuko du, dena "banan" funtziona dezan, berotegi-baldintzak, etab. Nik erantzungo dut: horrelakorik ez! Gure atzerriko lehiakideak ez bezala, hemen kokatuta gaude, zuregandik gertu, eta beti etorri zaitezke guregana (Moskun edo edozein Batzorde Zentralean) eta gure biltegiratze sistema edozein modutan probatu. Horrela, guretzat ez du zentzu handirik emaitzak munduaren irudi ideal batera egokitzeak, zeren Egiaztatzeko oso errazak gara. Joateko alferrak direnentzat eta denborarik ez dutenentzat, urruneko probak antola ditzakegu. Horretarako laborategi berezi bat dugu. Jarri gurekin harremanetan.
ACHTUNG-2! Proba hau ez da karga proba bat, zeren hemen akatsen tolerantzia baino ez zaigu axola. Aste pare batean stand indartsuagoa prestatuko dugu eta biltegiratze sistemaren karga probak egingo ditugu, emaitzak hemen argitaratuz (bide batez, probak egiteko eskaerak onartzen dira).
Beraz, goazen apurtzera.
proba-bankua
Gure standak honako hardware hauek ditu:
- 1 x Aerodisk Engine N2 biltegiratze sistema (2 kontrolagailu, 64 GB cachea, 8xFC ataka 8Gb/s, 4xEthernet ataka 10Gb/s SFP+, 4xEthernet ataka 1Gb/s); Disko hauek biltegiratze sisteman instalatzen dira:
- 4 x SAS SSD disko 900 GB;
- 12 x SAS 10k disko 1,2 TB;
- 1 x zerbitzari fisikoa Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, 2xFC ataka 8Gb/s, 2xEthernet ataka 10Gb/s SFP+);
- 2 x SAN 8G etengailua;
- 2 x LAN 10G etengailua;
Zerbitzaria biltegiratze sistemara konektatu dugu etengailuen bidez FC eta 10G Ethernet bidez. Standaren diagrama behean dago.
Behar ditugun osagaiak, hala nola MPIO eta iSCSI abiarazlea, Windows Server-en instalatuta daude.
Zonak FC etengailuetan konfiguratzen dira, dagozkion VLANak LAN etengailuetan konfiguratzen dira eta MTU 9000 biltegiratze ataketan, kommutatzaileetan eta ostalarietan instalatuta dago (gure dokumentazioan deskribatzen da hori guztia nola egin, beraz, ez dugu deskribatuko prozesu hau hemen).
Proba metodologia
Crash test plana honako hau da:
- FC eta Ethernet ataken hutsegitea egiaztatzea.
- Elektrizitate-hutsaren egiaztapena.
- Kontrolagailuaren akatsen egiaztapena.
- Talde/pool batean diskoaren hutsegitea egiaztatzea.
Proba guztiak karga sintetikoen baldintzetan egingo dira, IOMETER programak sortuko ditugunak. Aldi berean, proba berdinak egingo ditugu, baina fitxategi handiak biltegiratze sistemara kopiatzeko baldintzetan.
IOmeter konfigurazioa honako hau da:
- Irakurri/idatzi – 70/30
- Blokea - 128k (biltegiratze sistemak bloke handietan garbitzea erabaki genuen)
- Hari kopurua - 128 (karga produktiboaren oso antzekoa da)
- Ausazko osoa
- Langile kopurua - 4 (2 FC, 2 iSCSI)
Probak honako helburu hauek ditu:
- Ziurtatu karga eta kopia prozesu sintetikoak ez duela etengo edo akatsik sortuko hainbat hutsegite-egoeretan.
- Ziurtatu portuak, kontrolagailuak eta abar aldatzeko prozesua nahikoa automatizatuta dagoela eta ez duela administratzaile-ekintzarik behar hutsegiteen kasuan (hau da, hutsegiteetan, ez gara failbackez ari, noski).
- Ziurtatu erregistroetako informazioa behar bezala bistaratzen dela.
Ostalari eta biltegiratze sistema prestatzea
Biltegiratze sisteman bloke-sarbidea konfiguratu dugu FC eta Ethernet atakak erabiliz (FC eta iSCSI, hurrenez hurren). TS Solution-ko mutilek zehatz-mehatz deskribatu zuten nola egin aurreko artikulu batean (). Eta, noski, inork ez zituen bertan behera utzi eskuliburuak eta ikastaroak.
Talde hibrido bat sortu genuen guk genituen disko guztiak erabiliz. 2 SSD disko gehitu ziren cachera, 2 SSD disko gehitu ziren biltegiratze maila gehigarri gisa (Online maila). 12 SAS10k unitate RAID-60P-n (parekidetasun hirukoitza) taldekatu ditugu, taldeko hiru diskoen hutsegitea aldi berean egiaztatzeko. Disko bat ordezkatzeko utzi zen.
Bi LUN konektatu ditugu (bat FC bidez, bestea iSCSI bidez).
Bi LUNen jabea Engine-0 kontrolatzailea da
Hasi gaitezen proba
IOMETER gaitzen dugu goiko konfigurazioarekin.
1.8 GB/s-ko errendimendua eta 3 milisegundoko latentzia grabatzen ditugu. Ez dago errorerik (Errore kopurua guztira).
Aldi berean, gure ostalariaren “C” unitate lokaletik, paraleloki 100 GB-ko bi fitxategi handi FC eta iSCSI biltegiratze LUNetara (E eta G unitateak Windows-en) kopiatzen hasten gara, beste interfaze batzuk erabiliz.
Goian LUN FC-ra kopiatzeko prozesua dago, behean iSCSIra.
Proba # 1: I/O atakak desgaitzea
Biltegiratze sistemara atzetik hurbiltzen gara))) eta eskuaren mugimendu apur batekin FC eta Ethernet 10G kable guztiak ateratzen ditugu Engine-0 kontrolagailutik. Fregona duen garbitzaile bat pasa eta lurra garbitzea erabaki zuen mokorrak eta kableak etzanda zeuden tokian (hau da, kontrolagailuak funtzionatzen du, baina I/O atakak hilda daude).
Ikus dezagun IOMETER eta fitxategiak kopiatzen. Errendimendua 0,5 GB/s-ra jaitsi zen, baina azkar itzuli zen aurreko mailara (4-5 segundotan). Ez dago akatsik.
Fitxategiak kopiatzea ez da gelditu, abiadura jaitsi egin da, baina ez da batere kritikoa (840 MB/s-tik 720 MB/s-ra jaitsi da). Kopiatzea ez da gelditu.
Biltegiratze-sistemaren erregistroak ikusten ditugu eta mezu bat ikusten dugu portuen erabilgarritasunari eta taldearen lekualdatze automatikoari buruz.
Informazio panelak ere esaten digu dena ez dela oso ona FC portuekin.
Biltegiratze-sistema I/O ataken hutsegitetik bizirik atera zen arrakastaz.
2. proba. Biltegiratze-kontrolagailua desgaitzea
Ia berehala (kableak biltegiratze sistemara konektatu ondoren) biltegiratze sistema amaitzea erabaki genuen kontrolagailua xasistik ateraz.
Berriz ere biltegiratze sistemara hurbiltzen gara atzetik (gustatu zaigu))) eta oraingoan Engine-1 kontrolagailua ateratzen dugu, momentu honetan RDGren jabea dena (taldea mugitu zen).
IOmeter-en egoera hau da. I/O gelditu da 5 segundo inguruz. Akatsak ez dira pilatzen.
5 segunduren buruan, I/O errendimendu berdinarekin ekin zioten berriro, baina 35 milisegundoko latentziarekin (latentzia pare bat minuturen buruan zuzenduta). Pantaila-argazkietan ikus daitekeenez, Total error count value 0 da, hau da, ez zegoen idazketa edo irakurketa akatsik.
Ikus dezagun gure fitxategiak kopiatzea. Ikus dezakezunez, ez zen eten, errendimenduaren jaitsiera apur bat egon zen, baina orokorrean dena berera itzuli zen ~ 800 MB/s.
Biltegiratze sistemara joan eta informazio panelean madarikazio bat ikusten dugu Engine-1 kontrolagailua ez dagoela erabilgarri (noski, hil egin dugu).
Erregistroetan ere antzeko sarrera bat ikusten dugu.
Biltegiratze-kontrolagailuak hutsegite batetik bizirik atera zen arrakastaz.
3. proba: elikadura iturria deskonektatzea.
Badaezpada, berriro hasi ginen fitxategiak kopiatzen, baina ez genuen IOMETER gelditu.
Elikatze-unitatea tiratzen dugu.
Informazio paneleko biltegiratze sistemari beste alerta bat gehitu zaio.
Sentsoreen menuan ere ateratako elikadura-iturriarekin lotutako sentsoreak gorri bihurtu direla ikusten dugu.
Biltegiratze sistemak lanean jarraitzen du. Elikatze-unitatearen hutsegiteak ez du inola ere biltegiratze sistemaren funtzionamenduan eragiten; ostalariaren ikuspuntutik, kopia-abiadura eta IOMETER adierazleak aldatu gabe geratu dira.
Elektrizitate-hutsaren proba gainditu da arrakastaz.
Azken probaren aurretik, biltegiratze-sistema pixka bat berreskuratzea erabaki genuen, kontrolagailua eta elikadura-unitatea berriro jarri eta kableak ordenan jartzea erabaki genuen, biltegiratze-sistemak pozik jakinarazi zigun osasun-paneleko ikono berdeekin. .
4. proba. Taldean hiru diskoren porrota
Proba honen aurretik, prestatzeko urrats gehigarri bat egin genuen. Izan ere, ENGINE biltegiratze sistemak gauza oso erabilgarria eskaintzen du: berreraikitze politika desberdinak. TS Solutionk funtzio honi buruz idatzi zuen lehenago, baina gogora dezagun bere funtsa. Biltegiratze-administratzaileak berreraikitzean baliabideak esleitzeko lehentasuna zehaztu dezake. I/O errendimenduaren norabidean, hau da, berreraikitzeak denbora gehiago behar du, baina ez dago errendimendua murrizten. Edo berreraikitzeko abiaduraren norabidean, baina produktibitatea murriztuko da. Edo aukera orekatu bat. Disko taldea berreraikitzean biltegiratze-errendimendua beti administratzaile baten buruhaustea denez, I/O-ren errendimendurako joera duen politika bat probatuko dugu eta berreraikitze abiaduraren kontura.
Orain egiaztatu dezagun diskoaren hutsegiterik. LUNetan (fitxategiak eta IOMETER) grabatzea ere gaitzen dugu. Parekidetasun hirukoitza duen talde bat dugunez (RAID-60P), horrek esan nahi du sistemak hiru diskoren hutsegiteari eutsi behar diola, eta hutsegitearen ondoren, ordezkapen automatikoak funtzionatu behar du, disko batek huts egin duenaren lekua hartu behar du. RDGn, eta berreraikitzen hasi behar da.
Hasi. Lehenik eta behin, biltegiratze-interfazearen bidez, nabarmendu ditzagun atera nahi ditugun diskoak (auto-aldaketa diskoa galdu eta tira ez dadin).
Hardwarearen seinalea egiaztatzen dugu. Dena ondo dago, hiru disko nabarmentzen ditugu.
Eta hiru disko hauek ateratzen ditugu.
Ikus dezagun zer dagoen ostalarian. Eta hor... ez zen ezer berezirik gertatu.
Kopiatzeko adierazleak (hasieran baino altuagoak dira, cachea berotu delako) eta IOMETER ez dira asko aldatzen diskoak kendu eta berreraikitzen hastean (% 5-10aren barruan).
Ikus dezagun zer dagoen biltegiratze sisteman.
Taldearen egoeran, berregituraketa prozesua hasi eta bukatzeko gertu dagoela ikusten dugu.
RDG hezurduran ikus dezakezu 2 disko egoera gorrian daudela eta bat jada ordezkatu dela. Automatikoki ordezkatzeko diskoa jada ez dago; huts egin duen 3. diskoa ordezkatu du. Berreraikitzeak minutu batzuk behar izan zituen, 3 diskok huts egiten zutenean fitxategiak idaztea ez zen eten eta I/O errendimendua ez zen asko aldatu.
Diskoaren hutsegitearen proba behin betiko gainditu da arrakastaz.
Ondorioa
Une honetan, biltegiratze sistemen aurkako indarkeria geldiaraztea erabaki genuen. Laburtu dezagun:
- FC ataka hutsegite egiaztapena - arrakastatsua
- Ethernet ataka porrotaren egiaztapena - arrakastatsua
- Kontrolagailuaren hutsegiteen egiaztapena - arrakastatsua
- Power Failure Test - Arrakastatsua
- Disko-hutsegitea grouppool-en egiaztatzea - arrakastatsua
Hutsegite batek ere ez zuen grabatzeari utzi edo akatsik eragin karga sintetikoan; jakina, errendimenduaren arrakasta izan zen (eta badakigu nola gainditzen, laster egingo duguna), baina segundoak direnez, nahiko onargarria da. Ondorioa: AERODISK biltegiratze sistemaren osagai guztien akatsen tolerantzia mailan funtzionatu zuen, ez zegoen hutsegite punturik.
Jakina, artikulu batean ezin ditugu hutsegite eszenatoki guztiak probatu, baina ezagunenak estaltzen saiatu gara. Beraz, bidali zure iruzkinak, etorkizuneko argitalpenetarako iradokizunak eta, jakina, kritika egokiak. Pozik eztabaidatuko dugu (edo hobeto esanda, etorri entrenamendura, badaezpada ordutegia bikoiztu dut)! Proba berriak arte!
- Nizhny Novgorod (DAGOENEN IREKITA – hemen eman dezakezu izena );
16ko apirilaren 2019ra arte, edozein lan ordutan bisitatu daiteke zentroa, eta 16ko apirilaren 2019an prestakuntza ikastaro zabala antolatuko da. - Krasnodar (LASTER IREKITU - hemen eman dezakezu izena );
9ko apirilaren 25tik apirilaren 2019era, edozein lan ordutan bisitatu ahal izango da zentroa, eta 25ko apirilaren 2019ean, prestakuntza ikastaro zabala antolatuko da. - Ekaterinburg (LASTER IREKITU, jarraitu informazioa gure webgunean edo Habré-n);
2019ko maiatza-ekaina. - Новосибирск (jarrai ezazu informazioa gure webgunean edo Habré-n);
2019ko urria. - Krasnoyarsk (jarrai ezazu informazioa gure webgunean edo Habré-n);
2019ko azaroa.
Iturria: www.habr.com