Ki vèsyon firmwèr ki pi "kòrèk" ak "k ap travay"? Si yon sistèm depo garanti tolerans fay nan 99,9999%, sa vle di ke li pral travay san enteripsyon menm san yon aktyalizasyon lojisyèl? Oswa, okontrè, pou jwenn tolerans maksimòm fòt, ou ta dwe toujou enstale firmwèr ki sot pase a? Nou pral eseye reponn kesyon sa yo dapre eksperyans nou.
Yon ti entwodiksyon
Nou tout konprann ke chak vèsyon lojisyèl, kit se yon sistèm operasyon oswa yon chofè pou yon aparèy, souvan gen defo/ensèk ak lòt "karakteristik" ki ka pa "parèt" jouk nan fen lavi sèvis ekipman an, oswa "ouvè" sèlman nan sèten kondisyon. Kantite ak siyifikasyon nuans sa yo depann de konpleksite (fonksyonalite) lojisyèl an ak bon jan kalite tès yo pandan devlopman li.
Souvan, itilizatè yo rete sou "firmware soti nan faktori a" (pi popilè "li travay, kidonk pa dezòd ak li") oswa toujou enstale vèsyon an dènye (nan konpreyansyon yo genyen, dènye a vle di ki pi travay la). Nou itilize yon apwòch diferan - nou gade nòt lage yo pou tout bagay yo itilize ekipman ak ak anpil atansyon chwazi firmwèr ki apwopriye a pou chak moso nan ekipman yo.
Nou te rive nan konklizyon sa a, jan yo di, ak eksperyans. Sèvi ak egzanp operasyon nou an, nou pral di w poukisa yo te pwomèt 99,9999% fyab nan sistèm depo pa vle di anyen si ou pa imedyatman kontwole mizajou ak deskripsyon lojisyèl. Ka nou an apwopriye pou itilizatè yo nan sistèm depo nan nenpòt machann, depi yon sitiyasyon ki sanble ka rive ak pyès ki nan konpitè soti nan nenpòt manifakti.
Chwazi yon nouvo sistèm depo
Nan fen ane pase a, yo te ajoute yon sistèm depo done enteresan nan enfrastrikti nou an: yon modèl jinyò ki soti nan liy IBM FlashSystem 5000, ki nan moman acha a te rele Storwize V5010e. Kounye a li vann sou non FlashSystem 5010, men an reyalite li se menm baz pyès ki nan konpitè ak menm Spectrum Virtualize anndan an.
Prezans nan yon sistèm jesyon inifye se, nan chemen an, diferans prensipal la ant IBM FlashSystem. Pou modèl seri ki pi piti yo, li pratikman pa diferan de modèl ki pi pwodiktif. Chwazi yon modèl espesifik sèlman bay baz pyès ki nan konpitè apwopriye, karakteristik yo ki fè li posib yo sèvi ak youn oswa yon lòt fonksyonalite oswa bay yon pi wo nivo de évolutivité. Lojisyèl la idantifye pyès ki nan konpitè epi li bay fonksyonalite ki nesesè ak ase pou platfòm sa a.
IBM FlashSystem 5010
Yon ti tan sou modèl 5010 nou an. Sa a se yon sistèm depo blòk double-kontwolè nivo antre. Li ka akomode disk NLSAS, SAS, SSD. Plasman NVMe pa disponib nan li, depi modèl depo sa a pozisyone pou rezoud pwoblèm ki pa mande pou pèfòmans kondui NVMe yo.
Yo te achte sistèm depo a pou akomode enfòmasyon achiv oswa done yo pa jwenn aksè souvan. Se poutèt sa, seri estanda fonksyonalite li yo te ase pou nou: Tiring (Easy Tier), Thin Provision. Pèfòmans sou disk NLSAS nan nivo 1000-2000 IOPS te tou byen satisfezan pou nou.
Eksperyans nou an - ki jan nou pa mete ajou firmwèr la alè
Koulye a, sou aktyalizasyon nan lojisyèl tèt li. Nan moman acha a, sistèm lan te deja gen yon vèsyon yon ti kras demode nan lojisyèl Spectrum Virtualize, sètadi, 8.2.1.3.
Nou etidye deskripsyon firmwèr yo ak planifye yon aktyalizasyon 8.2.1.9. Si nou te yon ti kras pi efikas, atik sa a pa ta egziste - pinèz la pa ta rive sou yon firmwèr ki pi resan. Sepandan, pou sèten rezon, aktyalizasyon sistèm sa a te ranvwaye.
Kòm yon rezilta, yon ti reta aktyalizasyon te mennen nan yon foto trè dezagreyab, tankou nan deskripsyon an nan lyen an: .
Wi, nan firmwèr vèsyon sa a sa yo rele APAR (Rapò Analiz Pwogram Otorize) HU02104 te enpòtan. Li parèt jan sa a. Anba chaj, nan sèten sikonstans, kachèt la kòmanse debòde, Lè sa a, sistèm nan antre nan mòd pwoteksyon, nan ki li enfim I / O pou pisin lan. Nan ka nou an, li te sanble ak dekonekte 3 disk pou yon gwoup ATAK nan mòd ATAK 6. Dekoneksyon an rive pou 6 minit. Apre sa, aksè a volim yo nan pisin lan retabli.
Si yon moun pa abitye ak estrikti a ak nonmen antite lojik nan kontèks IBM Spectrum Virtualize, mwen pral kounye a yon ti tan eksplike.
Estrikti eleman lojik sistèm depo
Disk yo kolekte nan gwoup yo rele MDisk (Managed Disk). MDisk kapab yon klasik ATAK (0,1,10,5,6) oswa yon sèl virtualize - DRAID (Distributed RAID). Sèvi ak DRAID pèmèt ou ogmante pèfòmans etalaj la, paske... Tout disk nan gwoup la pral itilize, epi tan rekonstwi yo pral redwi, akòz lefèt ke sèlman sèten blòk ap bezwen retabli, epi yo pa tout done ki soti nan disk la echwe.
Distribisyon nan blòk done atravè disk lè w ap itilize Distributed RAID (DRAID) nan mòd RAID-5.
Ak dyagram sa a montre lojik ki jan yon rekonstriksyon DRAID ap travay nan ka yon echèk disk:
Lojik DRAID rebati lè yon disk echwe
Apre sa, youn oswa plis MDisk fòme yon sa yo rele Pool. Nan menm pisin lan, li pa rekòmande pou itilize MDisk ak diferan nivo RAID/DRAID sou disk menm kalite. Nou pa pral antre nan sa a twò pwofondman, paske... nou planifye pou kouvri sa a nan youn nan atik sa yo. Oke, an reyalite, pisin divize an volim, ki prezante lè l sèvi avèk youn oswa yon lòt pwotokòl aksè blòk nan gen tout pouvwa a yo.
Se konsa, nou, kòm yon rezilta nan sitiyasyon ki dekri nan APAR HU02104, akòz echèk la ki lojik nan twa disk, MDisk sispann fonksyonèl, ki, nan vire, lakòz echèk nan pisin lan ak Komèsan ki koresponn lan.
Paske sistèm sa yo byen entelijan, yo ka konekte ak sistèm siveyans ki baze sou nwaj IBM Storage Insights, ki otomatikman voye yon demann sèvis bay sipò IBM si yon pwoblèm rive. Yo kreye yon aplikasyon epi espesyalis IBM adistans fè dyagnostik epi kontakte itilizatè sistèm lan.
Mèsi a sa a, pwoblèm nan te rezoud byen vit epi yo te resevwa yon rekòmandasyon rapid nan men sèvis sipò a mete ajou sistèm nou an nan firmwèr 8.2.1.9 la te deja chwazi, ki nan moman sa a te deja fiks. Li konfime .
Rezilta ak rekòmandasyon nou yo
Jan pawòl la di: "tout byen ki fini byen." Ensèk la nan firmwèr la pa te lakòz pwoblèm grav - serveurs yo te retabli pi vit ke posib epi san pèt done. Gen kèk kliyan te oblije rekòmanse machin vityèl, men an jeneral nou te prepare pou plis konsekans negatif, depi nou fè sovgad chak jou nan tout eleman enfrastrikti ak machin kliyan.
Nou te resevwa konfimasyon ke menm sistèm serye ak 99,9999% disponiblite pwomèt mande atansyon ak antretyen alè. Dapre sitiyasyon an, nou te tire yon kantite konklizyon pou tèt nou epi pataje rekòmandasyon nou yo:
-
Li enperatif pou kontwole piblikasyon mizajou yo, etidye Nòt Divilgasyon pou koreksyon pwoblèm ki kapab kritik yo, epi fè mizajou ki te planifye alè.
Sa a se yon pwen òganizasyonèl e menm byen evidan, ki, li ta sanble, pa vo konsantre sou. Sepandan, sou "tè nivo" sa a ou ka bite byen fasil. Aktyèlman, se moman sa a ki te ajoute pwoblèm ki dekri pi wo a. Pran anpil prekosyon lè w ap prepare règleman aktyalizasyon yo epi kontwole konfòmite avèk yo pa mwens ak anpil atansyon. Pwen sa a gen plis rapò ak konsèp nan "disiplin".
-
Li toujou pi bon kenbe sistèm nan ak dènye vèsyon an lojisyèl. Anplis, aktyèl la se pa youn ki gen yon pi gwo deziyasyon nimerik, men pito youn ki gen yon dat lage pita.
Pou egzanp, IBM kenbe omwen de degaje lojisyèl ajou pou sistèm depo li yo. Nan moman sa a ekri, sa yo se 8.2 ak 8.3. Mizajou pou 8.2 soti pi bonè. Yon aktyalizasyon menm jan an pou 8.3 anjeneral lage ak yon ti reta.
Release 8.3 gen yon kantite avantaj fonksyonèl, pou egzanp, kapasite pou elaji MDisk (nan mòd DRAID) lè w ajoute youn oswa plis nouvo disk (karakteristik sa a te parèt depi vèsyon 8.3.1). Sa a se yon fonksyonalite jistis debaz, men nan 8.2, malerezman, pa gen okenn karakteristik sa yo.
-
Si li pa posib pou mete ajou pou kèk rezon, Lè sa a, pou vèsyon lojisyèl Spectrum Virtualize anvan vèsyon 8.2.1.9 ak 8.3.1.0 (kote ensèk ki dekri pi wo a enpòtan), pou diminye risk pou yo rive, sipò teknik IBM rekòmande. limite pèfòmans sistèm nan nivo pisin, jan yo montre nan figi ki anba a (foto a te pran nan vèsyon an Russified nan entèfas a). Yo montre valè 10000 IOPS kòm yon egzanp epi yo chwazi dapre karakteristik sistèm ou an.
Limite pèfòmans depo IBM
-
Li nesesè kòrèkteman kalkile chaj la sou sistèm depo epi evite surcharge. Pou fè sa, ou ka itilize swa IBM sizer (si ou gen aksè a li), oswa èd nan patnè, oswa resous twazyèm-pati. Li se impératif pou w konprann wofil chay sou sistèm nan depo, paske Pèfòmans nan MB/s ak IOPS varye anpil selon omwen paramèt sa yo:
-
Kalite operasyon: li oswa ekri,
-
gwosè blòk operasyon,
-
pousantaj nan operasyon lekti ak ekri nan kouran total I/O.
Epitou, vitès la nan operasyon yo afekte pa fason blòk done yo li: sekans oswa nan lòd o aza. Lè w ap fè plizyè operasyon aksè done sou bò aplikasyon an, gen konsèp operasyon depandan yo. Li se tou rekòmande pou pran sa a an kont. Tout bagay sa a ka ede yo wè totalite done ki soti nan kontè pèfòmans nan eksplwatasyon an, sistèm depo, serveurs / hypervisors, osi byen ke yon konpreyansyon sou karakteristik fonksyone aplikasyon yo, DBMS yo ak lòt "konsomatè" nan resous disk.
-
-
Epi finalman, asire w ke ou gen sovgad jiska dat ak travay. Yo ta dwe konfigirasyon orè backup la baze sou valè RPO akseptab pou biznis la, epi yo ta dwe verifye chèk peryodik entegrite sovgad yo (afè kèk machann lojisyèl backup gen verifikasyon otomatik ki aplike nan pwodwi yo) pou asire yon valè RTO akseptab.
Mèsi paske w li jiska lafen.
Nou pare pou reponn kesyon ou yo ak kòmantè ou yo nan kòmantè yo. Epitou, kote nou fè pwomosyon regilye (rabè sou IaaS ak kado pou kòd pwomosyon jiska 100% sou VPS), ekri nouvèl enteresan epi anonse nouvo atik sou blog Habr la.
Sous: www.habr.com