Salaam wote! Kwa makala hii, AERODISK inafungua blogu kuhusu Habre. Hurray, wandugu!
Makala yaliyotangulia kuhusu Habre yalijadili maswali kuhusu usanifu na usanidi msingi wa mifumo ya hifadhi. Katika makala hii tutazingatia swali ambalo halijafunikwa hapo awali, lakini mara nyingi huulizwa - kuhusu uvumilivu wa makosa ya mifumo ya hifadhi ya AERODISK ENGINE. Timu yetu itafanya kila kitu ili kuhakikisha kwamba mfumo wa hifadhi ya AERODISK unachaacha kufanya kazi, i.e. kuivunja.
Ilifanyika kwamba nakala kuhusu historia ya kampuni yetu, kuhusu bidhaa zetu, na pia mfano wa utekelezaji uliofanikiwa tayari zimewekwa kwenye Habre, ambayo Shukrani nyingi kwa washirika wetu - TS Solution na makampuni ya Softline.
Kwa hivyo, sitafunza ujuzi wa usimamizi wa nakala na ubandike hapa, lakini nitatoa tu viungo vya asili ya nakala hizi:
Ninataka pia kushiriki habari njema. Lakini nitaanza, kwa kweli, na shida. Sisi, kama muuzaji mchanga, kati ya gharama zingine, tunakabiliwa na ukweli kwamba wahandisi na wasimamizi wengi hawajui jinsi ya kuendesha mfumo wetu wa uhifadhi.
Ni wazi kwamba kusimamia mifumo mingi ya uhifadhi inaonekana takriban sawa kutoka kwa mtazamo wa msimamizi, lakini kila mtengenezaji ana sifa zake. Na sisi sio ubaguzi hapa.
Kwa hivyo, ili kurahisisha kazi ya kutoa mafunzo kwa wataalamu wa IT, tuliamua kujitolea mwaka huu kwa elimu ya bure. Ili kufanya hivyo, katika miji mingi mikubwa ya Urusi tunafungua mtandao wa Vituo vya Ustadi vya AERODISK, ambayo mtaalamu yeyote wa kiufundi anayevutiwa anaweza kuchukua kozi bila malipo kabisa na kupokea cheti katika kusimamia mifumo ya uhifadhi ya AERODISK ENGINE.
Katika kila Kituo cha Umahiri tutasakinisha stendi ya onyesho kamili kutoka kwa mfumo wa hifadhi wa AERODISK na seva halisi, ambayo mwalimu wetu atafanya mafunzo ya ana kwa ana. Tutachapisha ratiba ya kazi ya Vituo vya Umahiri juu ya kuonekana kwao, lakini tayari tumefungua kituo huko Nizhny Novgorod na jiji la Krasnodar linafuata. Unaweza kujiandikisha kwa mafunzo kwa kutumia viungo vilivyo hapa chini. Hapa kuna habari inayojulikana kwa sasa kuhusu miji na tarehe:
- Nizhny Novgorod ( TAYARI IMEFUNGUA - unaweza kujiandikisha hapa );
Hadi Aprili 16, 2019, unaweza kutembelea kituo hicho wakati wowote wa kazi, na mnamo Aprili 16, 2019, kozi kubwa ya mafunzo itaandaliwa. - Krasnodar (INAFUNGUA HIVI KARIBUNI - unaweza kujiandikisha hapa );
Kuanzia Aprili 9 hadi Aprili 25, 2019, unaweza kutembelea kituo hicho wakati wowote wa kufanya kazi, na mnamo Aprili 25, 2019, kozi kubwa ya mafunzo itaandaliwa. - Yekaterinburg (ITAFUNGUA HIVI KARIBUNI, fuata maelezo kwenye tovuti yetu au kwenye Habré);
Mei-Juni 2019. - Novosibirsk (fuata maelezo kwenye tovuti yetu au kwenye Habré);
Oktoba 2019. - Krasnoyarsk (fuata maelezo kwenye tovuti yetu au kwenye Habré);
Novemba 2019.
Na, bila shaka, ikiwa Moscow si mbali na wewe, basi wakati wowote unaweza kutembelea ofisi yetu huko Moscow na kupata mafunzo sawa.
Wote. Tumemalizana na uuzaji, tuendelee na teknolojia!
Kwenye Habre tutachapisha mara kwa mara makala za kiufundi kuhusu bidhaa zetu, vipimo vya mizigo, ulinganisho, vipengele vya matumizi na utekelezaji wa kuvutia.
Majaribio ya kuacha kufanya kazi ya mfumo wa hifadhi wa AERODISK ENGINE N2, mtihani wa nguvu
WARNING! Baada ya kusoma makala, unaweza kusema: vizuri, bila shaka, muuzaji atajiangalia mwenyewe ili kila kitu kifanye kazi "na bang," hali ya chafu, nk. Nitajibu: hakuna kitu kama hicho! Tofauti na washindani wetu wa kigeni, tuko hapa, karibu na wewe, na unaweza kuja kwetu daima (huko Moscow au Kamati Kuu yoyote) na kupima mfumo wetu wa kuhifadhi kwa njia yoyote. Kwa hivyo, haina maana sana kwetu kurekebisha matokeo kwa picha bora ya ulimwengu, kwa sababu Sisi ni rahisi sana kuangalia. Kwa wale ambao ni wavivu sana kwenda na hawana wakati, tunaweza kuandaa majaribio ya mbali. Tuna maabara maalum kwa hili. Wasiliana nasi.
ACHTUNG-2! Jaribio hili sio mtihani wa mzigo, kwa sababu hapa tunajali tu uvumilivu wa makosa. Katika wiki kadhaa, tutatayarisha kusimama kwa nguvu zaidi na kufanya upimaji wa mzigo wa mfumo wa kuhifadhi, kuchapisha matokeo hapa (kwa njia, maombi ya vipimo yanakubaliwa).
Kwa hiyo, hebu tuende kuivunja.
benchi ya mtihani
Msimamo wetu una vifaa vifuatavyo:
- 1 x Mfumo wa uhifadhi wa Injini ya Aerodisk N2 (vidhibiti 2, cache ya 64GB, bandari 8xFC 8Gb/s, bandari 4xEthernet 10Gb/s SFP+, bandari 4xEthernet 1Gb/s); Diski zifuatazo zimewekwa kwenye mfumo wa uhifadhi:
- 4 x SAS SSD disks 900 GB;
- 12 x SAS 10k disks 1,2 TB;
- 1 x Seva ya kimwili yenye Windows Server 2016 (2xXeon E5 2667 v3, RAM ya 96GB, bandari 2xFC 8Gb/s, bandari 2xEthernet 10Gb/s SFP+);
- 2 x SAN 8G kubadili;
- 2 x LAN 10G kubadili;
Tuliunganisha seva kwenye mfumo wa hifadhi kupitia swichi kupitia FC na 10G Ethernet. Mchoro wa kusimama ni hapa chini.
Vipengee tunavyohitaji, kama vile MPIO na kianzisha iSCSI, vimesakinishwa kwenye Seva ya Windows.
Kanda zimesanidiwa kwenye swichi za FC, VLAN zinazolingana zimesanidiwa kwenye swichi za LAN, na MTU 9000 imewekwa kwenye bandari za kuhifadhi, swichi, na mwenyeji (jinsi ya kufanya haya yote imeelezewa katika hati zetu, kwa hivyo hatutaelezea. mchakato huu hapa).
Mbinu ya Mtihani
Mpango wa jaribio la kuacha kufanya kazi ni kama ifuatavyo:
- Inakagua kutofaulu kwa milango ya FC na Ethaneti.
- Ukaguzi wa kushindwa kwa nguvu.
- Ukaguzi wa kushindwa kwa kidhibiti.
- Kuangalia kutofaulu kwa diski kwenye kikundi/dimbwi.
Vipimo vyote vitafanywa chini ya hali ya mzigo wa synthetic, ambayo tutazalisha na mpango wa IOMETER. Kwa sambamba, tutafanya vipimo sawa, lakini chini ya masharti ya kuiga faili kubwa kwenye mfumo wa kuhifadhi.
Mpangilio wa IOmeter ni kama ifuatavyo:
- Soma/Andika - 70/30
- Zuia - 128k (tuliamua kuosha mifumo ya uhifadhi katika vitalu vikubwa)
- Idadi ya nyuzi - 128 (ambayo ni sawa na mzigo wa uzalishaji)
- Kamili Nasibu
- Idadi ya Wafanyakazi - 4 (2 kwa FC, 2 kwa iSCSI)
Mtihani una malengo yafuatayo:
- Hakikisha kwamba upakiaji wa sintetiki na mchakato wa kunakili hautakatiza au kusababisha hitilafu chini ya hali mbalimbali za kushindwa.
- Hakikisha kwamba mchakato wa kubadili bandari, watawala, nk ni automatiska ya kutosha na hauhitaji vitendo vya msimamizi katika kesi ya kushindwa (hiyo ni, wakati wa kushindwa, hatuzungumzi juu ya kushindwa, bila shaka).
- Hakikisha kwamba taarifa katika kumbukumbu zinaonyeshwa kwa usahihi.
Kuandaa mwenyeji na mfumo wa kuhifadhi
Tulisanidi ufikiaji wa kuzuia kwenye mfumo wa kuhifadhi kwa kutumia milango ya FC na Ethernet (FC na iSCSI, mtawalia). Vijana kutoka kwa TS Solution walielezea kwa undani jinsi ya kufanya hivyo katika nakala iliyopita () Na, bila shaka, hakuna mtu aliyeghairi miongozo na kozi.
Tulianzisha kikundi cha mseto kwa kutumia anatoa zote tulizokuwa nazo. Diski 2 za SSD ziliongezwa kwenye kashe, diski 2 za SSD ziliongezwa kama kiwango cha ziada cha uhifadhi (Tier ya Mtandaoni). Tuliweka hifadhi 12 za SAS10k katika RAID-60P (usawa tatu) ili kuangalia kutofaulu kwa diski tatu kwenye kikundi mara moja. Diski moja iliachwa kwa uingizwaji otomatiki.
Tuliunganisha LUN mbili (moja kupitia FC, moja kupitia iSCSI).
Mmiliki wa LUN zote mbili ni kidhibiti cha Engine-0
Hebu tuanze mtihani
Tunawasha IOMETER na usanidi ulio hapo juu.
Tunarekodi upitishaji wa GB 1.8/s na muda wa kusubiri wa milisekunde 3. Hakuna makosa (Jumla ya Hesabu ya Hitilafu).
Wakati huo huo, kutoka kwa gari la ndani la "C" la mwenyeji wetu, sambamba tunaanza kunakili faili mbili kubwa za 100GB kwa FC na iSCSI kuhifadhi LUNs (huendesha E na G katika Windows), kwa kutumia miingiliano mingine.
Hapo juu ni mchakato wa kunakili kwa LUN FC, hapa chini kwa iSCSI.
Jaribio #1: Kuzima bandari za I/O
Tunakaribia mfumo wa uhifadhi kutoka nyuma))) na kwa harakati kidogo ya mkono tunatoa nyaya zote za FC na Ethernet 10G kutoka kwa mtawala wa Injini-0. Ni kana kwamba mwanamke wa kusafisha na mop alipita na kuamua kuosha sakafu pale ambapo snot ilikuwa imelala na nyaya zilikuwa zimelala (yaani, kidhibiti bado kinafanya kazi, lakini bandari za I/O zimekufa).
Wacha tuangalie IOMETER na kunakili faili. Upitishaji umeshuka hadi 0,5 GB/s, lakini haraka ukarudi kwenye kiwango chake cha awali (katika sekunde 4-5). Hakuna makosa.
Kuiga faili hakuacha, kuna kushuka kwa kasi, lakini sio muhimu kabisa (kutoka 840 MB / s imeshuka hadi 720 MB / s). Kunakili hakujakoma.
Tunaangalia kumbukumbu za mfumo wa hifadhi na kuona ujumbe kuhusu kutopatikana kwa bandari na uhamisho wa moja kwa moja wa kikundi.
Jopo la habari pia linatuambia kuwa kila kitu sio kizuri sana na bandari za FC.
Mfumo wa kuhifadhi ulinusurika kushindwa kwa bandari za I/O kwa mafanikio.
Jaribio la 2. Inalemaza kidhibiti cha hifadhi
Karibu mara moja (baada ya kuchomeka nyaya kwenye mfumo wa kuhifadhi) tuliamua kumaliza mfumo wa uhifadhi kwa kuvuta kidhibiti kutoka kwenye chasi.
Tena tunakaribia mfumo wa uhifadhi kutoka nyuma (tuliipenda))) na wakati huu tunatoa mtawala wa Injini-1, ambayo kwa wakati huu ni mmiliki wa RDG (ambayo kikundi kilihamia).
Hali katika IOmeter ni kama ifuatavyo. I/O ilisimama kwa takriban sekunde 5. Makosa hayakusanyiki.
Baada ya sekunde 5, I/O ilianza tena na takriban matokeo sawa, lakini kwa muda wa kusubiri wa milisekunde 35 (muda wa kusubiri ulirekebishwa baada ya kama dakika kadhaa). Kama inavyoonekana kutoka kwa picha za skrini, Thamani ya jumla ya hesabu ya makosa ni 0, ambayo ni kwamba, hakukuwa na makosa ya kuandika au kusoma.
Wacha tuangalie kunakili faili zetu. Kama unavyoona, haikuingiliwa, kulikuwa na kushuka kidogo kwa utendaji, lakini kwa ujumla kila kitu kilirudi sawa ~ 800 MB/s.
Tunakwenda kwenye mfumo wa kuhifadhi na kuona laana katika jopo la habari kwamba mtawala wa Injini-1 haipatikani (bila shaka, tuliiua).
Pia tunaona kiingilio sawa kwenye kumbukumbu.
Kidhibiti cha hifadhi pia kilinusurika kushindwa kwa mafanikio.
Nambari ya jaribio la 3: Kukata ugavi wa umeme.
Ikiwezekana, tulianza kunakili faili tena, lakini hatukuzuia IOMETER.
Tunavuta kitengo cha usambazaji wa umeme.
Tahadhari nyingine imeongezwa kwenye mfumo wa hifadhi katika kidirisha cha taarifa.
Pia katika menyu ya sensorer tunaona kwamba sensorer zinazohusiana na ugavi wa umeme uliotolewa zimegeuka nyekundu.
Mfumo wa kuhifadhi unaendelea kufanya kazi. Kushindwa kwa kitengo cha usambazaji wa nguvu hakuathiri kwa njia yoyote utendakazi wa mfumo wa kuhifadhi; kutoka kwa mtazamo wa mwenyeji, kasi ya nakala na viashiria vya IOMETER vilibakia bila kubadilika.
Jaribio la kushindwa kwa nguvu limepitishwa kwa mafanikio.
Kabla ya jaribio la mwisho, tuliamua kurudisha mfumo wa uhifadhi uzima kidogo, kurudisha kidhibiti na kitengo cha usambazaji wa nguvu, na pia kuweka nyaya kwa mpangilio, ambazo mfumo wa uhifadhi ulitujulisha kwa furaha na ikoni za kijani kwenye paneli yake ya afya. .
Mtihani namba 4. Kushindwa kwa disks tatu katika kikundi
Kabla ya jaribio hili, tulifanya hatua ya ziada ya maandalizi. Ukweli ni kwamba mfumo wa uhifadhi wa ENGINE hutoa jambo muhimu sana - sera tofauti za kujenga upya. Suluhisho la TS liliandika juu ya kipengele hiki mapema, lakini hebu tukumbuke kiini chake. Msimamizi wa hifadhi anaweza kubainisha kipaumbele cha ugawaji wa rasilimali wakati wa kujenga upya. Ama katika mwelekeo wa utendaji wa I/O, yaani, uundaji upya huchukua muda mrefu, lakini hakuna mteremko wa utendaji. Au kwa mwelekeo wa kasi ya kujenga upya, lakini tija itapungua. Au chaguo la usawa. Kwa kuwa utendaji wa uhifadhi wakati wa uundaji upya wa kikundi cha diski daima ni maumivu ya kichwa ya msimamizi, tutajaribu sera kwa upendeleo kuelekea utendaji wa I/O na kwa gharama ya kasi ya uundaji upya.
Sasa hebu tuangalie kushindwa kwa diski. Pia tunawezesha kurekodi kwa LUNs (faili na IOMETER). Kwa kuwa tuna kikundi kilicho na usawa wa tatu (RAID-60P), hii ina maana kwamba mfumo lazima uhimili kushindwa kwa disks tatu, na baada ya kushindwa, uingizwaji wa kiotomatiki lazima ufanye kazi, diski moja inapaswa kuchukua nafasi ya moja ya wale walioshindwa. katika RDG, na ujenzi upya lazima uanze juu yake.
Anza. Kwanza, kupitia kiolesura cha uhifadhi, hebu tuangazie diski ambazo tunataka kujiondoa (ili usikose na kuvuta diski ya kubadilisha kiotomatiki).
Tunaangalia dalili kwenye vifaa. Kila kitu ni sawa, tunaona diski tatu zilizoangaziwa.
Na tunatoa diski hizi tatu.
Wacha tuangalie kile kilicho kwenye mwenyeji. Na huko ... hakuna kitu maalum kilichotokea.
Viashiria vya kuiga (ni vya juu zaidi kuliko mwanzo, kwa sababu cache imewaka moto) na IOMETER haibadilika sana wakati wa kuondoa disks na kuanza upya (ndani ya 5-10%).
Wacha tuangalie ni nini kwenye mfumo wa uhifadhi.
Katika hali ya kikundi, tunaona kwamba mchakato wa urekebishaji umeanza na unakaribia kukamilika.
Katika mifupa ya RDG unaweza kuona kwamba disks 2 ziko katika hali nyekundu, na moja tayari imebadilishwa. Diski ya kubadilisha kiotomatiki haipo tena; ilibadilisha diski ya 3 iliyoshindwa. Kujenga upya kulichukua dakika kadhaa, kuandika faili wakati disks 3 zimeshindwa hazikuingiliwa, na utendaji wa I / O haukubadilika sana.
Jaribio la kutofaulu kwa diski hakika lilipita kwa mafanikio.
Hitimisho
Kwa wakati huu, tuliamua kukomesha vurugu dhidi ya mifumo ya kuhifadhi. Hebu tufanye muhtasari:
- Ukaguzi wa kushindwa kwa mlango wa FC - umefaulu
- Ukaguzi wa kutofaulu kwa mlango wa Ethernet - umefanikiwa
- Ukaguzi wa kushindwa kwa mtawala - umefanikiwa
- Jaribio la Kushindwa kwa Nguvu - Imefaulu
- Kuangalia kushindwa kwa disk katika grouppool - imefanikiwa
Hakuna kasoro iliyoacha kurekodi au kusababisha makosa katika mzigo wa syntetisk; kwa kweli, kulikuwa na hit ya utendaji (na tunajua jinsi ya kuishinda, ambayo tutafanya hivi karibuni), lakini kwa kuzingatia kwamba hizi ni sekunde, inakubalika kabisa. Hitimisho: uvumilivu wa makosa ya vipengele vyote vya mfumo wa hifadhi ya AERODISK ulifanya kazi kwa kiwango, hapakuwa na pointi za kushindwa.
Kwa wazi, katika makala moja hatuwezi kupima matukio yote ya kushindwa, lakini tulijaribu kufunika wale maarufu zaidi. Kwa hiyo, tafadhali tuma maoni yako, mapendekezo ya machapisho ya baadaye na, bila shaka, ukosoaji wa kutosha. Tutafurahi kujadili (au bora zaidi, njoo kwenye mafunzo, ninarudia ratiba ikiwa tu)! Hadi majaribio mapya!
- Nizhny Novgorod ( TAYARI IMEFUNGUA - unaweza kujiandikisha hapa );
Hadi Aprili 16, 2019, unaweza kutembelea kituo hicho wakati wowote wa kazi, na mnamo Aprili 16, 2019, kozi kubwa ya mafunzo itaandaliwa. - Krasnodar (INAFUNGUA HIVI KARIBUNI - unaweza kujiandikisha hapa );
Kuanzia Aprili 9 hadi Aprili 25, 2019, unaweza kutembelea kituo hicho wakati wowote wa kufanya kazi, na mnamo Aprili 25, 2019, kozi kubwa ya mafunzo itaandaliwa. - Yekaterinburg (ITAFUNGUA HIVI KARIBUNI, fuata maelezo kwenye tovuti yetu au kwenye Habré);
Mei-Juni 2019. - Novosibirsk (fuata maelezo kwenye tovuti yetu au kwenye Habré);
Oktoba 2019. - Krasnoyarsk (fuata maelezo kwenye tovuti yetu au kwenye Habré);
Novemba 2019.
Chanzo: mapenzi.com