{"id":95870,"date":"2020-10-04T13:41:59","date_gmt":"2020-10-04T11:41:59","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/pochemu-vazhno-proverit-po-na-vashej-shd-vysokoj-dostupnosti-999999"},"modified":"2020-10-04T13:41:59","modified_gmt":"2020-10-04T11:41:59","slug":"pochemu-vazhno-proverit-po-na-vashej-shd-vysokoj-dostupnosti-999999","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/pochemu-vazhno-proverit-po-na-vashej-shd-vysokoj-dostupnosti-999999","title":{"rendered":"Pro\u010d je d\u016fle\u017eit\u00e9 otestovat software na va\u0161\u00ed vysoce dostupn\u00e9 (99,9999%) SYST\u00c9MU","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Pro\u010d<\/p>\n

Jak\u00e1 verze firmwaru je ta \u201enejlep\u0161\u00ed\u201c a \u201enejfunk\u010dn\u011bj\u0161\u00ed\u201c? Pokud \u00falo\u017en\u00fd syst\u00e9m garantuje dostupnost na 99,9999 %, znamen\u00e1 to, \u017ee bude pracovat bez p\u0159eru\u0161en\u00ed i bez aktualizace softwaru? Nebo naopak, pro dosa\u017een\u00ed maxim\u00e1ln\u00ed dostupnosti je t\u0159eba v\u017edy nainstalovat nejnov\u011bj\u0161\u00ed firmware? Pokus\u00edme se na tyto ot\u00e1zky odpov\u011bd\u011bt na z\u00e1klad\u011b na\u0161ich zku\u0161enost\u00ed.<\/p>\n

Mal\u00e9 \u00favodn\u00ed slovo<\/h3>\n

V\u0161ichni v\u00edme, \u017ee ka\u017ed\u00e1 verze softwaru, a\u0165 u\u017e je to opera\u010dn\u00ed syst\u00e9m nebo ovlada\u010d pro n\u011bjak\u00e9 za\u0159\u00edzen\u00ed, \u010dasto obsahuje nedostatky\/baggy a dal\u0161\u00ed \u201evlastnosti\u201c, kter\u00e9 se mohou, jak ne \u201eprojevit\u201c a\u017e do konce \u017eivotnosti za\u0159\u00edzen\u00ed, tak \u201evyskytnout\u201c pouze za ur\u010dit\u00fdch podm\u00ednek. Po\u010det a v\u00fdznam t\u011bchto nuanc\u00ed z\u00e1vis\u00ed na slo\u017eitosti (funk\u010dnosti) softwaru a na kvalit\u011b testov\u00e1n\u00ed p\u0159i jeho v\u00fdvoji. <\/p>\n

\u010casto u\u017eivatel\u00e9 z\u016fst\u00e1vaj\u00ed u \u201efirmwaru z v\u00fdroby\u201c (proslul\u00e9 \u2013 \u201efunguje, nezasahuj\u201c) nebo v\u017edy instaluj\u00ed nejnov\u011bj\u0161\u00ed verzi (v jejich ch\u00e1p\u00e1n\u00ed posledn\u00ed znamen\u00e1 nejpou\u017eiteln\u011bj\u0161\u00ed). My v\u0161ak pou\u017e\u00edv\u00e1me jin\u00fd p\u0159\u00edstup \u2013 sledujeme pozn\u00e1mky k vyd\u00e1n\u00ed pro cel\u00fd pou\u017e\u00edvan\u00fd software. v cloudu mClouds<\/a><\/noindex> a pe\u010dliv\u011b vyb\u00edr\u00e1me vhodn\u00fd firmware pro ka\u017edou jednotku za\u0159\u00edzen\u00ed. <\/p>\n

K tomuto z\u00e1v\u011bru jsme dosp\u011bli, jak se \u0159\u00edk\u00e1, s prax\u00ed. Na sv\u00e9m p\u0159\u00edkladu provozu v\u00e1m pov\u00edme, pro\u010d slibovan\u00e9 99,9999 % spolehlivosti \u00falo\u017ei\u0161t\u011b nic neznamen\u00e1, pokud nebudete v\u010das sledovat aktualizaci a popis softwaru. N\u00e1\u0161 p\u0159\u00edpad se hod\u00ed pro u\u017eivatele \u00falo\u017ei\u0161\u0165 jak\u00e9koli zna\u010dky, proto\u017ee takov\u00e1 situace se m\u016f\u017ee vyskytnout s hardwarem jak\u00e9hokoli v\u00fdrobce.<\/p>\n

V\u00fdb\u011br nov\u00e9ho syst\u00e9mu pro ukl\u00e1d\u00e1n\u00ed dat<\/h3>\n

Na konci minul\u00e9ho roku se k na\u0161\u00ed infrastruktu\u0159e p\u0159idala zaj\u00edmav\u00e1 datov\u00e1 \u00falo\u017ei\u0161t\u011b: ni\u017e\u0161\u00ed model z \u0159ady IBM FlashSystem 5000, kter\u00fd byl v dob\u011b zakoupen\u00ed naz\u00fdv\u00e1n Storwize V5010e. Nyn\u00ed se prod\u00e1v\u00e1 pod n\u00e1zvem FlashSystem 5010, ale ve skute\u010dnosti jde o stejnou hardwarovou z\u00e1kladnu se stejn\u00fdm Spectrum Virtualize uvnit\u0159. <\/p>\n

Existence jednotn\u00e9ho syst\u00e9mu \u0159\u00edzen\u00ed \u2013 to je mimochodem hlavn\u00ed rozd\u00edl IBM FlashSystem. U model\u016f ni\u017e\u0161\u00ed s\u00e9rie se prakticky neli\u0161\u00ed od model\u016f v\u00fdkonn\u011bj\u0161\u00edch. V\u00fdb\u011br konkr\u00e9tn\u00edho modelu pouze poskytuje odpov\u00eddaj\u00edc\u00ed hardwarovou z\u00e1kladnu, jej\u00ed\u017e charakteristiky umo\u017e\u0148uj\u00ed vyu\u017e\u00edvat ur\u010ditou funk\u010dnost nebo zajistit vy\u0161\u0161\u00ed \u00farove\u0148 \u0161k\u00e1lovatelnosti. Software p\u0159i tom identifikuje hardwarovou \u010d\u00e1st a poskytuje pot\u0159ebnou a dostate\u010dnou funk\u010dnost pro tuto platformu. <\/p>\n

\"Pro\u010dIBM FlashSystem 5010<\/p>\n

Stru\u010dn\u011b o na\u0161em modelu 5010. Je to dvou\u0159adi\u010dov\u00fd blokov\u00fd syst\u00e9m pro ukl\u00e1d\u00e1n\u00ed dat na \u00farovni vstupu a v\u00fdstupu. Um\u00ed umis\u0165ovat disky NLSAS, SAS, SSD. Um\u00edst\u011bn\u00ed NVMe v n\u011bm nen\u00ed dostupn\u00e9, proto\u017ee tento model je ur\u010den pro \u0159e\u0161en\u00ed \u00faloh, kter\u00e9 nevy\u017eaduj\u00ed v\u00fdkon NVMe disk\u016f.<\/p>\n

Syst\u00e9m byl zakoupen pro uchov\u00e1v\u00e1n\u00ed archivn\u00edch informac\u00ed nebo dat, ke kter\u00fdm nedoch\u00e1z\u00ed k \u010dast\u00e9mu p\u0159\u00edstupu. Proto n\u00e1m sta\u010dil standardn\u00ed soubor jeho funk\u010dnost\u00ed: tiering (Easy Tier), Thin Provision. V\u00fdkon na NLSAS disc\u00edch na \u00farovni 1000-2000 IOPS n\u00e1s tak\u00e9 pln\u011b uspokojoval. <\/p>\n

Na\u0161e zku\u0161enost \u2014 jak jsme neaktualizovali firmware v\u010das<\/h3>\n

Nyn\u00ed p\u0159\u00edmo k aktualizaci softwaru. V dob\u011b zakoupen\u00ed m\u011bl syst\u00e9m ji\u017e m\u00edrn\u011b zastaralou verzi softwaru Spectrum Virtualize, a to konkr\u00e9tn\u011b, 8.2.1.3.<\/strong><\/p>\n

Prostudovali jsme popisy firmwar\u016f a napl\u00e1novali aktualizaci do 8.2.1.9<\/strong>. Kdybychom byli trochu obratn\u011bj\u0161\u00ed, tento \u010dl\u00e1nek by nevznikl \u2014 na nov\u011bj\u0161\u00ed verzi by k probl\u00e9mu nedo\u0161lo. Nicm\u00e9n\u011b, z ur\u010dit\u00fdch d\u016fvod\u016f byla aktualizace tohoto syst\u00e9mu odlo\u017eena.<\/p>\n

V d\u016fsledku mal\u00e9 prodlevy v aktualizaci do\u0161lo k velmi nep\u0159\u00edjemn\u00e9 situaci, jak je pops\u00e1no v odkazu: https:\/\/www.ibm.com\/support\/pages\/node\/6172341<\/u><\/a><\/noindex>. <\/p>\n

Ano, ve firmwaru t\u00e9 verze byl aktu\u00e1ln\u00ed takzvan\u00fd APAR (Authorized Program Analysis Report) HU02104. Projevuje se n\u00e1sleduj\u00edc\u00edm zp\u016fsobem. Pod z\u00e1t\u011b\u017e\u00ed za ur\u010dit\u00fdch okolnost\u00ed za\u010dne p\u0159et\u00e9kat cache, pot\u00e9 syst\u00e9m p\u0159ejde do ochrann\u00e9ho re\u017eimu, ve kter\u00e9m zak\u00e1\u017ee vstup a v\u00fdstup pro pool. V na\u0161em p\u0159\u00edpad\u011b to vypadalo jako odpojen\u00ed 3 disk\u016f pro RAID skupinu v re\u017eimu RAID 6. Odpojen\u00ed trv\u00e1 6 minut. Pot\u00e9 se p\u0159\u00edstup k objem\u016fm v poolu obnov\u00ed.<\/p>\n

Pokud n\u011bkdo nen\u00ed obezn\u00e1men se strukturou a pojmenov\u00e1n\u00edm logick\u00fdch entit v kontextu IBM Spectrum Virtualize, nyn\u00ed stru\u010dn\u011b vysv\u011btl\u00edm.<\/p>\n

\"Pro\u010dStruktura logick\u00fdch prvk\u016f \u00falo\u017ei\u0161t\u011b<\/p>\n

Disky jsou sestavov\u00e1ny do skupin, kter\u00e9 se naz\u00fdvaj\u00ed MDisk (Managed Disk). MDisk m\u016f\u017ee p\u0159edstavovat klasick\u00fd RAID (0,1,10,5,6) nebo virtualizovan\u00fd \u2013 DRAID (Distributed RAID). Pou\u017eit\u00ed DRAID zvy\u0161uje v\u00fdkon pole, proto\u017ee se vyu\u017eij\u00ed v\u0161echny disky skupiny, a sni\u017euje \u010das obnovy, proto\u017ee je pot\u0159eba obnovit pouze ur\u010dit\u00e9 bloky, nikoli v\u0161echna data z nefunk\u010dn\u00edho disku.<\/p>\n

\"Pro\u010dDistribuce datov\u00fdch blok\u016f na disc\u00edch p\u0159i pou\u017eit\u00ed Distributed RAID (DRAID) v re\u017eimu RAID-5.<\/p>\n

Tento diagram ukazuje logiku obnovy DRAID v p\u0159\u00edpad\u011b selh\u00e1n\u00ed jednoho disku:<\/p>\n

\"Pro\u010dLogika obnovy DRAID p\u0159i selh\u00e1n\u00ed jednoho disku<\/p>\n

D\u00e1le jeden nebo v\u00edce MDisk vytv\u00e1\u0159\u00ed takzvan\u00fd Pool. V r\u00e1mci jednoho poolu se nedoporu\u010duje pou\u017e\u00edvat MDisk s r\u016fzn\u00fdmi \u00farovn\u011bmi RAID\/DRAID na disc\u00edch jednoho typu. Nehodl\u00e1me se do toho p\u0159\u00edli\u0161 zasahovat, proto\u017ee pl\u00e1nujeme to podrobn\u011bji p\u0159ibl\u00ed\u017eit v jednom z n\u00e1sleduj\u00edc\u00edch \u010dl\u00e1nk\u016f. No a vlastn\u011b, Pool se d\u011bl\u00ed na Toma (Volumes), kter\u00e9 jsou prezentov\u00e1ny prost\u0159ednictv\u00edm jednoho nebo druh\u00e9ho protokolu blokov\u00e9ho p\u0159\u00edstupu k host\u016fm.<\/p>\n

Tak tedy, v d\u016fsledku vzniku situace popsan\u00e9 v APAR HU02104<\/em>, z d\u016fvodu logick\u00e9ho selh\u00e1n\u00ed t\u0159\u00ed disk\u016f, p\u0159estal b\u00fdt funk\u010dn\u00ed MDisk, kter\u00fd na opl\u00e1tku zp\u016fsobil selh\u00e1n\u00ed Poolu a p\u0159\u00edslu\u0161n\u00fdch Tom\u016f.<\/p>\n

Jeliko\u017e jsou tyto syst\u00e9my pom\u011brn\u011b \"inteligentn\u00ed\", lze je p\u0159ipojit k cloudov\u00e9mu monitorovac\u00edmu syst\u00e9mu IBM Storage Insights, kter\u00fd automaticky p\u0159i vzniku z\u00e1vady ode\u0161le \u017e\u00e1dost o servis do z\u00e1kaznick\u00e9ho servisu IBM. Vytv\u00e1\u0159\u00ed se \u017e\u00e1dost a odborn\u00edci IBM prov\u00e1d\u011bj\u00ed diagnostiku na d\u00e1lku a kontaktuj\u00ed u\u017eivatele syst\u00e9mu. <\/p>\n

D\u00edky tomu byl probl\u00e9m vy\u0159e\u0161en pom\u011brn\u011b rychle a od z\u00e1kaznick\u00e9ho servisu jsme obdr\u017eeli aktu\u00e1ln\u00ed doporu\u010den\u00ed na aktualizaci na\u0161eho syst\u00e9mu na ji\u017e d\u0159\u00edve vybran\u00fd firmware 8.2.1.9, ve kter\u00e9m byl tento probl\u00e9m ji\u017e \u0159e\u0161en. To potvrzuje p\u0159\u00edslu\u0161n\u00fd Release Note<\/u><\/a><\/noindex>.<\/u><\/p>\n

Z\u00e1v\u011bry a na\u0161e doporu\u010den\u00ed<\/h3>\n

Jak se \u0159\u00edk\u00e1: \u201edobr\u00e9 je to, co dob\u0159e kon\u010d\u00ed\u201c. Chyba ve firmwaru nezp\u016fsobila v\u00e1\u017en\u00e9 probl\u00e9my \u2014 provoz server\u016f byl obnoven v nejkrat\u0161\u00edm mo\u017en\u00e9m \u010dase a bez ztr\u00e1ty dat. U n\u011bkter\u00fdch klient\u016f bylo nutn\u00e9 restartovat virtu\u00e1ln\u00ed stroje, ale celkov\u011b jsme byli p\u0159ipraveni na hor\u0161\u00ed n\u00e1sledky, proto\u017ee denn\u011b vytv\u00e1\u0159\u00edme z\u00e1lohy v\u0161ech prvk\u016f infrastruktury a klientsk\u00fdch stroj\u016f. <\/p>\n

Obdr\u017eeli jsme potvrzen\u00ed, \u017ee i spolehliv\u00e9 syst\u00e9my s 99,9999% sl\u00edbenou dostupnost\u00ed vy\u017eaduj\u00ed pozornost a v\u010dasnou \u00fadr\u017ebu. Na z\u00e1klad\u011b situace jsme si ud\u011blali n\u011bkolik z\u00e1v\u011br\u016f a sd\u00edl\u00edme na\u0161e doporu\u010den\u00ed:<\/p>\n