Hæ allir! Með þessari grein opnar AERODISK blogg á Habré. Húrra, félagar!
Í fyrri greinum um Habré var fjallað um spurningar um arkitektúr og grunnstillingar geymslukerfa. Í þessari grein munum við fjalla um spurningu sem hefur ekki verið fjallað um áður, en er oft spurð - um bilanaþol AERODISK ENGINE geymslukerfa. Teymið okkar mun gera allt til að tryggja að AERODISK geymslukerfið hætti að virka, þ.e. brjóta það.
Það gerðist að greinar um sögu fyrirtækisins okkar, um vörur okkar, sem og dæmi um árangursríka innleiðingu eru þegar hangandi á Habré, sem Kærar þakkir til samstarfsaðila okkar - TS Solution og Softline fyrirtæki.
Þess vegna mun ég ekki þjálfa copy-paste stjórnunarhæfileika hér, heldur mun ég einfaldlega veita tengla á frumrit þessara greina:
Mig langar líka að deila góðum fréttum. En ég byrja að sjálfsögðu á vandamálinu. Við, sem ungur söluaðili, stöndum meðal annars frammi fyrir því að margir verkfræðingar og stjórnendur vita einfaldlega ekki hvernig á að stjórna geymslukerfinu okkar rétt.
Það er ljóst að stjórnun flestra geymslukerfa lítur nokkurn veginn eins út frá sjónarhóli stjórnanda, en hver framleiðandi hefur sín sérkenni. Og hér erum við engin undantekning.
Þess vegna, til að einfalda þjálfun upplýsingatæknisérfræðinga, ákváðum við að verja þessu ári til ókeypis menntunar. Til að gera þetta, í mörgum stórborgum Rússlands erum við að opna net AERODISK hæfnimiðstöðva, þar sem allir áhugasamir tæknisérfræðingar geta sótt námskeið algerlega án endurgjalds og fengið skírteini í stjórnun AERODISK ENGINE geymslukerfa.
Í hverri hæfnimiðstöð munum við setja upp fullgildan kynningarstand frá AERODISK geymslukerfinu og líkamlegan netþjón, þar sem kennarinn okkar mun sinna augliti til auglitis þjálfun. Við munum birta starfsáætlun hæfnimiðstöðvanna þegar þær koma fram, en við höfum þegar opnað miðstöð í Nizhny Novgorod og borgin Krasnodar er næst. Þú getur skráð þig í þjálfun með því að nota tenglana hér að neðan. Hér eru þekktar upplýsingar um borgir og dagsetningar:
- Nizhny Novgorod (NÚNA OPIÐ - þú getur skráð þig hér );
Til 16. apríl 2019 er hægt að heimsækja miðstöðina á hvaða vinnutíma sem er og þann 16. apríl 2019 verður skipulagt stórt fræðslunámskeið. - Krasnodar (OPNAÐ FRÁBÆR - þú getur skráð þig hér );
Frá 9. apríl til 25. apríl 2019 er hægt að heimsækja miðstöðina á hvaða vinnutíma sem er og þann 25. apríl 2019 verður skipulagt stórt fræðslunámskeið. - Yekaterinburg (OPNAÐ Fljótlega, fylgdu upplýsingum á vefsíðu okkar eða á Habré);
maí-júní 2019. - Novosibirsk (fylgstu með upplýsingum á vefsíðu okkar eða á Habré);
október 2019. - Krasnoyarsk (fylgstu með upplýsingum á vefsíðu okkar eða á Habré);
nóvember 2019.
Og auðvitað, ef Moskvu er ekki langt frá þér, þá geturðu hvenær sem er heimsótt skrifstofu okkar í Moskvu og farið í svipaða þjálfun.
Allt. Við erum búin með markaðssetningu, förum yfir í tækni!
Á Habré munum við reglulega birta tæknigreinar um vörur okkar, álagspróf, samanburð, notkunareiginleika og áhugaverðar útfærslur.
Hrunprófanir á AERODISK ENGINE N2 geymslukerfi, styrkleikapróf
VIÐVÖRUN! Eftir að hafa lesið greinina geturðu sagt: Jæja, auðvitað mun seljandinn athuga sjálfan sig svo að allt virki "með hvelli," gróðurhúsaaðstæður osfrv. Ég mun svara: ekkert svoleiðis! Ólíkt erlendum keppinautum okkar erum við staðsett hér, nálægt þér, og þú getur alltaf komið til okkar (í Moskvu eða hvaða miðstjórn sem er) og prófað geymslukerfið okkar á hvaða hátt sem er. Þannig að það er ekki mikið vit fyrir okkur að laga niðurstöðurnar að hugsjónamynd af heiminum, vegna þess að Það er mjög auðvelt að athuga okkur. Fyrir þá sem eru of latir til að fara og hafa ekki tíma, getum við skipulagt fjarprófanir. Við höfum sérstaka rannsóknarstofu fyrir þetta. Hafðu samband við okkur.
ACHTUNG-2! Þetta próf er ekki álagspróf, vegna þess að hér er okkur bara sama um bilanaþol. Eftir nokkrar vikur munum við útbúa öflugri stand og framkvæma álagsprófanir á geymslukerfinu, birta niðurstöðurnar hér (við the vegur, beiðnir um prófanir eru samþykktar).
Svo, við skulum brjóta það.
Prófstandur
Standurinn okkar samanstendur af eftirfarandi vélbúnaði:
- 1 x Aerodisk Engine N2 geymslukerfi (2 stýringar, 64GB skyndiminni, 8xFC tengi 8Gb/s, 4xEthernet tengi 10Gb/s SFP+, 4xEthernet tengi 1Gb/s); Eftirfarandi diskar eru settir upp í geymslukerfinu:
- 4 x SAS SSD diskar 900 GB;
- 12 x SAS 10k diskar 1,2 TB;
- 1 x Líkamlegur netþjónn með Windows Server 2016 (2xXeon E5 2667 v3, 96GB vinnsluminni, 2xFC tengi 8Gb/s, 2xEthernet tengi 10Gb/s SFP+);
- 2 x SAN 8G rofi;
- 2 x LAN 10G rofi;
Við tengdum þjóninn við geymslukerfið með rofum í gegnum bæði FC og 10G Ethernet. Standarmyndin er hér að neðan.
Íhlutirnir sem við þurfum, eins og MPIO og iSCSI initiator, eru settir upp á Windows Server.
Svæði eru stillt á FC rofanum, samsvarandi VLAN eru stillt á staðarnetsrofunum og MTU 9000 er sett upp á geymslutengi, rofa og hýsil (hvernig á að gera allt þetta er lýst í skjölunum okkar, svo við munum ekki lýsa þetta ferli hér).
Prófaðferðafræði
Árekstrarprófunaráætlunin er sem hér segir:
- Athugar bilun í FC og Ethernet tengi.
- Athugun á rafmagnsleysi.
- Athugun á bilun í stjórnanda.
- Leitar að diskbilun í hópi/laug.
Allar prófanir verða framkvæmdar við gerviálagsskilyrði, sem við munum búa til með IOMETER forritinu. Samhliða munum við framkvæma sömu prófanir, en við aðstæður til að afrita stórar skrár í geymslukerfið.
IOmeter stillingin er sem hér segir:
- Lesa/skrifa – 70/30
- Blokk – 128k (við ákváðum að þvo geymslukerfin í stórum kubbum)
- Fjöldi þráða – 128 (sem er mjög svipað framleiðsluálaginu)
- Fullt tilviljunarkennt
- Fjöldi starfsmanna – 4 (2 fyrir FC, 2 fyrir iSCSI)
Prófið hefur eftirfarandi markmið:
- Gakktu úr skugga um að tilbúið hleðslu- og afritunarferlið muni ekki trufla eða valda villum við ýmsar bilunartilvik.
- Gakktu úr skugga um að ferlið við að skipta um tengi, stýringar o.s.frv. sé nægilega sjálfvirkt og krefst ekki aðgerða stjórnanda ef bilanir koma upp (þ.e. á meðan á bilun stendur, erum við auðvitað ekki að tala um bilanir).
- Gakktu úr skugga um að upplýsingarnar í annálunum birtist rétt.
Undirbúningur hýsils og geymslukerfis
Við stilltum lokaaðgang á geymslukerfinu með FC og Ethernet tengi (FC og iSCSI, í sömu röð). Strákarnir frá TS Solution lýstu í smáatriðum hvernig á að gera þetta í fyrri grein (). Og auðvitað hætti enginn við handbækur og námskeið.
Við settum upp blendingshóp sem notaði öll drif sem við höfðum. 2 SSD diskum var bætt við skyndiminni, 2 SSD diskum var bætt við sem viðbótargeymslulag (Online-tier). Við flokkuðum 12 SAS10k drif í RAID-60P (triple parity) til að athuga bilun þriggja diska í hópnum í einu. Einn diskur var eftir fyrir sjálfvirka endurnýjun.
Við tengdum tvö LUN (eitt í gegnum FC, annað í gegnum iSCSI).
Eigandi beggja LUNs er Engine-0 stjórnandi
Byrjum prófið
Við virkum IOMETER með stillingunni hér að ofan.
Við skráum afköst upp á 1.8 GB/s og leynd upp á 3 millisekúndur. Það eru engar villur (Heildarfjöldi villu).
Á sama tíma, frá staðbundnu drifi „C“ gestgjafans okkar, byrjum við samhliða að afrita tvær stórar 100GB skrár yfir á FC og iSCSI geymslu LUNs (drif E og G í Windows), með því að nota önnur viðmót.
Hér að ofan er afritunarferlið til LUN FC, hér að neðan til iSCSI.
Próf #1: Slökkva á I/O tengi
Við nálgumst geymslukerfið aftan frá))) og með örlítilli hreyfingu á höndinni drögum við út allar FC og Ethernet 10G snúrurnar úr Engine-0 stjórnandanum. Það er eins og ræstingskona með moppu hafi gengið framhjá og ákveðið að þvo gólfið þar sem snótið lá og snúrurnar lágu (þ.e.a.s. stjórnandinn virkar enn, en I/O tengin eru dauð).
Við skulum skoða IOMETER og afrita skrár. Afköst féll niður í 0,5 GB/s, en fór fljótt aftur í fyrra stig (eftir um það bil 4-5 sekúndur). Það eru engar villur.
Afritun skráa hefur ekki hætt, það er hraðafall, en það er alls ekki mikilvægt (úr 840 MB/s lækkaði það í 720 MB/s). Afritunin hefur ekki hætt.
Við skoðum logga geymslukerfisins og sjáum skilaboð um ótiltækileika hafna og sjálfvirkan flutning hópsins.
Upplýsingaspjaldið segir okkur líka að allt sé ekki mjög gott með FC tengin.
Geymslukerfið lifði af bilun í I/O tengi með góðum árangri.
Próf nr. 2. Slökkt á geymslustýringu
Næstum strax (eftir að hafa tengt snúrurnar aftur í geymslukerfið) ákváðum við að klára geymslukerfið með því að draga stjórnandann úr undirvagninum.
Aftur nálgumst við geymslukerfið aftan frá (okkur líkaði það))) og í þetta skiptið drögum við út Engine-1 stjórnandann, sem á þessari stundu er eigandi RDG (sem hópurinn flutti til).
Staðan í IOmeter er sem hér segir. I/O stöðvaðist í um það bil 5 sekúndur. Villur safnast ekki upp.
Eftir 5 sekúndur hófst I/O aftur með um það bil sömu afköstum, en með töf upp á 35 millisekúndur (töf leiðrétt eftir um nokkrar mínútur). Eins og sést á skjáskotunum er heildargildi villufjölda 0, það er að segja að það voru engar skrif- eða lestrarvillur.
Við skulum skoða að afrita skrárnar okkar. Eins og þú sérð var það ekki truflað, það var lítilsháttar lækkun á frammistöðu, en í heildina fór allt aftur í það sama ~ 800 MB/s.
Við förum í geymslukerfið og sjáum bölvun á upplýsingaborðinu um að Engine-1 stjórnandi sé ekki tiltækur (að sjálfsögðu drápum við hann).
Við sjáum líka svipaða færslu í annálunum.
Geymslustýringin lifði einnig af bilun með góðum árangri.
Próf nr. 3: Aflgjafinn aftengdur.
Til öryggis byrjuðum við að afrita skrár aftur, en stöðvuðum ekki IOMETER.
Við drögum aflgjafaeininguna.
Önnur viðvörun hefur verið bætt við geymslukerfið á upplýsingaborðinu.
Einnig í skynjaravalmyndinni sjáum við að skynjararnir sem tengjast útdregna aflgjafanum eru orðnir rauðir.
Geymslukerfið heldur áfram að virka. Bilun í aflgjafaeiningunni hefur á engan hátt áhrif á virkni geymslukerfisins; frá sjónarhóli gestgjafans héldust afritunarhraði og IOMETER vísarnir óbreyttir.
Rafmagnsbilunarpróf staðist með góðum árangri.
Fyrir lokaprófunina ákváðum við að lífga aðeins til lífsins í geymslukerfinu, setja aftur stjórnanda og aflgjafa, og einnig koma snúrunum í lag, sem geymslukerfið upplýsti okkur glaður um með grænum táknum í heilsuspjaldinu sínu. .
Próf nr. 4. Bilun á þremur diskum í hóp
Fyrir þetta próf gerðum við viðbótar undirbúningsskref. Staðreyndin er sú að ENGINE geymslukerfið býður upp á mjög gagnlegan hlut - mismunandi endurbyggingarstefnur. TS Solution skrifaði um þennan eiginleika áðan, en við skulum muna kjarna hans. Geymslustjórinn getur tilgreint forgang fyrir úthlutun tilfanga meðan á endurbyggingu stendur. Annaðhvort í átt að I/O frammistöðu, það er að endurbyggingin tekur lengri tíma, en það er engin niðurfelling á frammistöðu. Eða í átt að endurreisnarhraða, en framleiðni mun minnka. Eða jafnvægi valkostur. Þar sem geymsluafköst við enduruppbyggingu diskahópa eru alltaf höfuðverkur stjórnanda, munum við prófa stefnu með hlutdrægni gagnvart I/O frammistöðu og á kostnað endurbyggingarhraða.
Nú skulum við athuga hvort diskur sé bilaður. Við gerum einnig upptöku í LUN (skrár og IOMETER). Þar sem við erum með hóp með þrefaldri jöfnuði (RAID-60P) þýðir þetta að kerfið verður að þola bilun á þremur diskum og eftir bilun þarf sjálfvirkt skipta að virka, einn diskur verður að koma í stað annars þeirra sem biluðu. í RDG, og endurbygging verður að hefjast á því.
Byrjaðu. Í fyrsta lagi, í gegnum geymsluviðmótið, skulum við auðkenna diskana sem við viljum draga út (til að missa ekki af og draga sjálfskiptadiskinn).
Við athugum merkinguna á vélbúnaðinum. Allt er í lagi, við sjáum þrjá auðkennda diska.
Og við drögum út þessa þrjá diska.
Við skulum skoða hvað er á gestgjafanum. Og þar... gerðist ekkert sérstakt.
Afritunarvísarnir (þeir eru hærri en í upphafi, vegna þess að skyndiminni hefur hitnað) og IOMETER breytast ekki mikið þegar diskarnir eru fjarlægðir og endurbyggingin er hafin (innan 5-10%).
Við skulum skoða hvað er á geymslukerfinu.
Í stöðu samstæðunnar sjáum við að endurskipulagningarferlið er hafið og því nær að ljúka.
Í RDG beinagrindinni geturðu séð að 2 diskar eru í rauðu ástandi, og einum hefur þegar verið skipt út. Sjálfskiptadiskurinn er ekki lengur til staðar; hann kom í stað þriðja bilaða disksins. Endurbyggingin tók nokkrar mínútur, ritun skráa þegar 3 diskar biluðu var ekki truflað og I/O árangur breyttist ekki mikið.
Diskbilunarprófið stóðst örugglega með góðum árangri.
Ályktun
Á þessum tímapunkti ákváðum við að hætta ofbeldi gegn geymslukerfum. Við skulum draga saman:
- Bilunarathugun á FC tengi - tókst
- Athugun á bilun á Ethernet tengi - tókst
- Athugun á bilun stjórnanda - tókst
- Rafmagnsbilunarpróf - tókst
- Athugar diskbilun í hóphópi - tókst
Engin bilunanna stöðvaði upptöku eða olli villum í gerviálaginu; auðvitað var árangurshögg (og við vitum hvernig á að sigrast á því, sem við munum gera fljótlega), en í ljósi þess að þetta eru sekúndur er það alveg ásættanlegt. Ályktun: bilanaþol allra íhluta AERODISK geymslukerfisins virkaði á sama stigi, engin bilunarpunktur var.
Augljóslega, í einni grein, getum við ekki prófað allar bilunaratburðarásir, en við reyndum að ná yfir þær vinsælustu. Vinsamlegast sendu athugasemdir þínar, ábendingar um framtíðarútgáfur og að sjálfsögðu fullnægjandi gagnrýni. Við munum vera fús til að ræða (eða enn betra, komdu á þjálfunina, ég afrita áætlunina bara ef til vill)! Þangað til ný próf!
- Nizhny Novgorod (NÚNA OPIÐ - þú getur skráð þig hér );
Til 16. apríl 2019 er hægt að heimsækja miðstöðina á hvaða vinnutíma sem er og þann 16. apríl 2019 verður skipulagt stórt fræðslunámskeið. - Krasnodar (OPNAÐ FRÁBÆR - þú getur skráð þig hér );
Frá 9. apríl til 25. apríl 2019 er hægt að heimsækja miðstöðina á hvaða vinnutíma sem er og þann 25. apríl 2019 verður skipulagt stórt fræðslunámskeið. - Yekaterinburg (OPNAÐ Fljótlega, fylgdu upplýsingum á vefsíðu okkar eða á Habré);
maí-júní 2019. - Novosibirsk (fylgstu með upplýsingum á vefsíðu okkar eða á Habré);
október 2019. - Krasnoyarsk (fylgstu með upplýsingum á vefsíðu okkar eða á Habré);
nóvember 2019.
Heimild: www.habr.com