{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"M\u011bli bychom 'hasit' servery, pokud se 'zjist\u00ed' kou\u0159ov\u00fd test datacentra?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Co byste c\u00edtili, kdyby jednoho kr\u00e1sn\u00e9ho letn\u00edho dne datov\u00e9 centrum s va\u0161\u00edm vybaven\u00edm vypadalo takto?<\/p>\n

\"M\u011bli
\n
\nAhoj v\u0161em! Jmenuji se Dmitrij Samsonov, pracuji jako vedouc\u00ed syst\u00e9mov\u00fd administr\u00e1tor v \u201eOdnoklassniki<\/a><\/noindex>\u201c. Na fotografii je jedno ze \u010dty\u0159 datov\u00fdch center, kde je nainstalov\u00e1no vybaven\u00ed, kter\u00e9 slou\u017e\u00ed na\u0161emu projektu. Za t\u011bmito zdmi se nach\u00e1z\u00ed p\u0159ibli\u017en\u011b 4 tis\u00edce jednotek techniky: servery, syst\u00e9my pro ulo\u017een\u00ed dat, s\u00ed\u0165ov\u00e9 vybaven\u00ed atd. \u2014 t\u00e9m\u011b\u0159 \u2153 cel\u00e9ho na\u0161eho vybaven\u00ed.
\nV\u011bt\u0161ina server\u016f b\u011b\u017e\u00ed na Linuxu. M\u00e1me tak\u00e9 n\u011bkolik des\u00edtek server\u016f na Windows (MS SQL) \u2014 na\u0161e d\u011bdictv\u00ed, od kter\u00e9ho se postupn\u011b b\u011bhem mnoha let vzd\u00e1v\u00e1me.
\nDne 5. \u010dervna 2019 v 14:35 informovali in\u017een\u00fd\u0159i jednoho z na\u0161ich datov\u00fdch center o po\u017e\u00e1rn\u00ed alarmu.
\n<\/a><\/noindex><\/p>\n

Pop\u0159en\u00ed<\/h4>\n

\n14:45. Men\u0161\u00ed incidenty se zakou\u0159en\u00edm v datov\u00fdch centrech se st\u00e1vaj\u00ed \u010dast\u011bji, ne\u017e se zd\u00e1. Parametry uvnit\u0159 s\u00e1l\u016f byly norm\u00e1ln\u00ed, proto na\u0161e prvn\u00ed reakce byla relativn\u011b klidn\u00e1: zak\u00e1zali jsme pr\u00e1ce s produkc\u00ed, tedy jak\u00e9koliv zm\u011bny konfigurac\u00ed, nasazov\u00e1n\u00ed nov\u00fdch verz\u00ed atd., krom\u011b oprav n\u011b\u010deho.<\/p>\n

Hn\u011bv<\/h4>\n

\nZkou\u0161eli jste n\u011bkdy zjistit od hasi\u010d\u016f, kde p\u0159esn\u011b na st\u0159e\u0161e do\u0161lo k po\u017e\u00e1ru, nebo se sami dostat na ho\u0159\u00edc\u00ed st\u0159echu, abyste posoudili situaci? Jak\u00e1 bude m\u00edra d\u016fv\u011bry k informac\u00edm z\u00edskan\u00fdm skrze p\u011bt lid\u00ed?<\/p>\n

14:50. Obdr\u017eeli jsme informace, \u017ee ohe\u0148 se bl\u00ed\u017e\u00ed k chladic\u00edmu syst\u00e9mu<\/b>. Ale dostane se tam? Hlavn\u00ed syst\u00e9mov\u00fd administr\u00e1tor p\u0159esm\u011brov\u00e1v\u00e1 extern\u00ed provoz z front tohoto datov\u00e9ho centra.<\/p>\n

V tuto chv\u00edli jsou fronty v\u0161ech na\u0161ich slu\u017eeb duplikov\u00e1ny ve t\u0159ech datov\u00fdch centrech, pou\u017e\u00edv\u00e1 se vyv\u00e1\u017een\u00ed na \u00farovni DNS, co\u017e umo\u017e\u0148uje odstranit adresy jednoho datov\u00e9ho centra z DNS, a t\u00edm ochr\u00e1nit u\u017eivatele p\u0159ed mo\u017en\u00fdmi probl\u00e9my s p\u0159\u00edstupem k slu\u017eb\u00e1m. V p\u0159\u00edpad\u011b, \u017ee k probl\u00e9m\u016fm v datov\u00e9m centru ji\u017e do\u0161lo, automaticky vypadne z rotace. V\u00edce informac\u00ed si m\u016f\u017eete p\u0159e\u010d\u00edst zde: Vyv\u00e1\u017een\u00ed z\u00e1t\u011b\u017ee a odolnost proti selh\u00e1n\u00ed v \u201eOd\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0430\u0445\u201c.<\/a><\/noindex><\/p><\/blockquote>\n

\nPo\u017e\u00e1r n\u00e1s zat\u00edm nijak neovlivnil \u2014 ani u\u017eivatel\u00e9, ani vybaven\u00ed neutrp\u011bli. Je to hav\u00e1rie? Prvn\u00ed \u010d\u00e1st dokumentu \u201ePl\u00e1n postup\u016f p\u0159i hav\u00e1rii\u201c definuje pojem \u201eHav\u00e1rie\u201c, a kon\u010d\u00ed takto:
\n\u00abPokud existuj\u00ed pochybnosti, zda se jedn\u00e1 o hav\u00e1rii nebo ne, tak se jedn\u00e1 o hav\u00e1rii!<\/u>\u00bb<\/b><\/p>\n

14:53. Je p\u0159id\u011blen koordin\u00e1tor hav\u00e1rie.<\/p>\n

Koordin\u00e1tor je osoba, kter\u00e1 \u0159\u00edd\u00ed komunikaci mezi v\u0161emi \u00fa\u010dastn\u00edky, hodnot\u00ed rozsah hav\u00e1rie, pou\u017e\u00edv\u00e1 \u201eAk\u010dn\u00ed pl\u00e1n pro hav\u00e1rie\u201c, povol\u00e1v\u00e1 pot\u0159ebn\u00fd person\u00e1l, kontroluje dokon\u010den\u00ed oprav a p\u0159edev\u0161\u00edm deleguje ve\u0161ker\u00e9 \u00fakoly. Jin\u00fdmi slovy, je to osoba, kter\u00e1 \u0159\u00edd\u00ed cel\u00fd proces likvidace hav\u00e1rie.<\/p><\/blockquote>\n

<\/p>\n

Obchod<\/h4>\n

\n15:01. Za\u010d\u00edn\u00e1me vyp\u00ednat servery, kter\u00e9 nejsou spojeny s produkc\u00ed.
\n15:03. Spr\u00e1vn\u011b vyp\u00edn\u00e1me v\u0161echny vyhrazen\u00e9 slu\u017eby.
\nTo zahrnuje nejen fronty (na kter\u00e9 v tuto chv\u00edli u\u017eivatel\u00e9 nep\u0159istupuj\u00ed) a jejich pomocn\u00e9 slu\u017eby (obchodn\u00ed logika, cache atd.), ale tak\u00e9 r\u016fzn\u00e9 datab\u00e1ze s replikac\u00ed 2 a v\u00edce (Cassandra<\/a><\/noindex>, \u00falo\u017ei\u0161t\u011b bin\u00e1rn\u00edch dat<\/a><\/noindex>, chladn\u00e9 \u00falo\u017ei\u0161t\u011b<\/a><\/noindex>, NewSQL<\/a><\/noindex> a dal\u0161\u00ed).
\n15:06. Obdr\u017eeli jsme informaci, \u017ee po\u017e\u00e1r ohro\u017euje jednu z m\u00edstnost\u00ed datov\u00e9ho centra.<\/b> V t\u00e9to m\u00edstnosti nem\u00e1me \u017e\u00e1dn\u00e9 za\u0159\u00edzen\u00ed, ale to, \u017ee ohe\u0148 m\u016f\u017ee p\u0159ej\u00edt z st\u0159echy na m\u00edstnosti, z\u00e1sadn\u011b m\u011bn\u00ed situaci.
\n(Pozd\u011bji se uk\u00e1zalo, \u017ee fyzick\u00e9 ohro\u017een\u00ed pro m\u00edstnost nebylo, proto\u017ee je hermeticky uzav\u0159ena od st\u0159echy. Hrozba byla pouze pro chladic\u00ed syst\u00e9m t\u00e9to m\u00edstnosti.)
\n15:07. Umo\u017e\u0148ujeme prov\u00e1d\u011bn\u00ed p\u0159\u00edkaz\u016f na serverech v urychlen\u00e9m re\u017eimu bez dal\u0161\u00edch kontrol (bez na\u0161eho obl\u00edben\u00e9ho kalkul\u00e1toru<\/a><\/noindex>).
\n15:08. Teplota v m\u00edstnostech je v norm\u011b.
\n15:12. Bylo zaznamen\u00e1no zv\u00fd\u0161en\u00ed teploty v m\u00edstnostech.<\/b>
\n15:13. V\u00edce ne\u017e polovina server\u016f v datov\u00e9m centru je vypnuta. Pokra\u010dujeme.
\n15:16. Bylo p\u0159ijato rozhodnut\u00ed o vypnut\u00ed ve\u0161ker\u00e9ho za\u0159\u00edzen\u00ed.
\n15:21. Za\u010d\u00edn\u00e1me vyp\u00ednat nap\u00e1jen\u00ed na stateless serverech bez spr\u00e1vn\u00e9ho vypnut\u00ed aplikace a opera\u010dn\u00edho syst\u00e9mu.
\n15:23. Je vytvo\u0159ena skupina odpov\u011bdn\u00fdch za MS SQL (je jich m\u00e1lo, z\u00e1vislost slu\u017eeb na nich nen\u00ed velk\u00e1, ale procedura obnoven\u00ed funk\u010dnosti trv\u00e1 d\u00e9le a je slo\u017eit\u011bj\u0161\u00ed ne\u017e, nap\u0159\u00edklad, u Cassandry).<\/p>\n

Deprese<\/h4>\n

\n15:25. Obdr\u017eeli jsme informaci o vypnut\u00ed nap\u00e1jen\u00ed ve \u010dty\u0159ech m\u00edstnostech z 16 (\u010d. 6, 7, 8, 9).<\/b> V 7. a 8. m\u00edstnosti je na\u0161e za\u0159\u00edzen\u00ed. O dal\u0161\u00edch dvou na\u0161ich m\u00edstnostech (\u010d. 1 a 3) nem\u00e1me informace.
\nObvykle p\u0159i po\u017e\u00e1rech se nap\u00e1jen\u00ed ihned vyp\u00edn\u00e1, ale v tomto p\u0159\u00edpad\u011b, d\u00edky koordinovan\u00e9 pr\u00e1ci hasi\u010d\u016f a technick\u00e9ho person\u00e1lu datov\u00e9ho centra, nebylo vypnuto v\u0161ude a okam\u017eit\u011b, ale podle pot\u0159eby.
\n(Pozd\u011bji se uk\u00e1zalo, \u017ee nap\u00e1jen\u00ed v hal\u00e1ch 8 a 9 nebylo vypnuto.)
\n15:28. Za\u010d\u00edn\u00e1me obnovovat datab\u00e1ze MS SQL ze z\u00e1loh v jin\u00fdch datov\u00fdch centrech.
\nKolik \u010dasu na to bude pot\u0159eba? Bude dostate\u010dn\u00e1 propustnost s\u00edt\u011b na cel\u00e9 trase?
\n15:37. Bylo zaznamen\u00e1no odpojen\u00ed n\u011bkter\u00fdch \u010d\u00e1st\u00ed s\u00edt\u011b.<\/b>
\nManagement a produk\u010dn\u00ed s\u00ed\u0165 jsou fyzicky izolov\u00e1ny. Pokud je produk\u010dn\u00ed s\u00ed\u0165 dostupn\u00e1, m\u016f\u017eete se p\u0159ihl\u00e1sit na server, zastavit aplikaci a vypnout OS. Pokud je nedostupn\u00e1, lze se p\u0159ihl\u00e1sit p\u0159es IPMI, zastavit aplikaci a vypnout OS. Pokud nen\u00ed dostupn\u00e1 \u017e\u00e1dn\u00e1 ze s\u00edt\u00ed, nic nem\u016f\u017eete ud\u011blat. \"D\u011bkuji, kapit\u00e1ne!\", pomysl\u00edte si.
\n\"A vlastn\u011b, je to tu n\u011bjak moc chaosu,\" mo\u017en\u00e1 si tak\u00e9 pomysl\u00edte.
\nV\u0161echno je v tom, \u017ee servery i bez po\u017e\u00e1ru generuj\u00ed obrovsk\u00e9 mno\u017estv\u00ed tepla. P\u0159esn\u011bji \u0159e\u010deno, kdy\u017e je chlazen\u00ed, generuj\u00ed teplo, a kdy\u017e nen\u00ed, vytv\u00e1\u0159ej\u00ed peklo, kter\u00e9 v lep\u0161\u00edm p\u0159\u00edpad\u011b roztav\u00ed \u010d\u00e1st vybaven\u00ed a odpoj\u00ed jinou \u010d\u00e1st, a v hor\u0161\u00edm... zp\u016fsob\u00ed po\u017e\u00e1r uvnit\u0159 haly, kter\u00fd prakticky zaru\u010d\u00ed zni\u010den\u00ed v\u0161eho.<\/p>\n

\"M\u011bli
\n
\n15:39. Zaznamen\u00e1v\u00e1me probl\u00e9my s datab\u00e1z\u00ed conf.<\/p>\n

Datab\u00e1ze conf je backendem pro stejnojmennou slu\u017ebu, kterou pou\u017e\u00edvaj\u00ed v\u0161echny aplikace produkce pro okam\u017eit\u00e9 zm\u011bny nastaven\u00ed. Bez t\u00e9to datab\u00e1ze nem\u016f\u017eeme \u0159\u00eddit provoz port\u00e1lu, ale samotn\u00fd port\u00e1l m\u016f\u017ee fungovat.<\/p><\/blockquote>\n

\n15:41. Teplotn\u00ed senzory na Core s\u00ed\u0165ov\u00e9m za\u0159\u00edzen\u00ed zaznamen\u00e1vaj\u00ed hodnoty bl\u00edzk\u00e9 maxim\u00e1ln\u00edm \u00fanosn\u00fdm limit\u016fm. Je to krabi\u010dka zab\u00edraj\u00edc\u00ed cel\u00fd stojan a zaji\u0161\u0165uj\u00edc\u00ed provoz v\u0161ech s\u00edt\u00ed uvnit\u0159 datov\u00e9ho centra.<\/p>\n

\"M\u011bli
\n
\n15:42. Issue tracker a wiki nejsou dostupn\u00e9, p\u0159ep\u00edn\u00e1me se na z\u00e1lo\u017en\u00ed syst\u00e9m.
\nToto nen\u00ed produkce, ale v p\u0159\u00edpad\u011b hav\u00e1rie m\u016f\u017ee b\u00fdt dostupnost jak\u00e9koliv znalostn\u00ed b\u00e1ze kritick\u00e1.
\n15:50. Odpojil se jeden z monitorovac\u00edch syst\u00e9m\u016f.
\nJe jich n\u011bkolik a odpov\u00eddaj\u00ed za r\u016fzn\u00e9 aspekty fungov\u00e1n\u00ed slu\u017eeb. N\u011bkter\u00e9 z nich jsou nastaveny na autonomn\u00ed provoz uvnit\u0159 ka\u017ed\u00e9ho datov\u00e9ho centra (tj. monitoruj\u00ed pouze svoje datov\u00e9 centrum), jin\u00e9 se skl\u00e1daj\u00ed z distribuovan\u00fdch komponent, kter\u00e9 bez probl\u00e9m\u016f p\u0159e\u017e\u00edvaj\u00ed ztr\u00e1tu jak\u00e9hokoli datov\u00e9ho centra.
\nV tomto p\u0159\u00edpad\u011b p\u0159estala fungovat syst\u00e9m detekce anom\u00e1li\u00ed v ukazatel\u00edch obchodn\u00ed logiky<\/a><\/noindex>, kter\u00fd funguje v re\u017eimu master-standby. P\u0159epnuli jsme se na z\u00e1lo\u017en\u00ed syst\u00e9m.<\/p>\n

Schv\u00e1len\u00ed<\/h4>\n

\n15:51. P\u0159es IPMI jsme vypnuli v\u0161echny servery bez spr\u00e1vn\u00e9ho ukon\u010den\u00ed pr\u00e1ce, krom\u011b MS SQL.
\nJste p\u0159ipraveni na hromadnou spr\u00e1vu server\u016f p\u0159es IPMI v p\u0159\u00edpad\u011b pot\u0159eby?<\/p>\n

Ten prav\u00fd moment, kdy je z\u00e1chrana hardwaru v datov\u00e9m centru v tomto st\u00e1diu dokon\u010dena. V\u0161echno, co bylo mo\u017en\u00e9 ud\u011blat, bylo ud\u011bl\u00e1no. N\u011bkte\u0159\u00ed kolegov\u00e9 mohou odpo\u010d\u00edvat.<\/i>
\n16:13. Byly hl\u00e1\u0161eny informace, \u017ee na st\u0159e\u0161e praskly trubky s freonem od klimatizac\u00ed \u2014 to odd\u00e1l\u00ed spu\u0161t\u011bn\u00ed datov\u00e9ho centra po odstran\u011bn\u00ed po\u017e\u00e1ru.<\/b>
\n16:19. Podle \u00fadaj\u016f z\u00edskan\u00fdch od technick\u00e9ho person\u00e1lu datov\u00e9ho centra p\u0159estalo stoupat teplotu v prostor\u00e1ch.
\n17:10. Obnovili jsme provoz datab\u00e1zov\u00e9ho konfigura\u010dn\u00edho souboru. Nyn\u00ed m\u016f\u017eeme zm\u011bnit nastaven\u00ed aplikac\u00ed.
\nPro\u010d je to tak d\u016fle\u017eit\u00e9, kdy\u017e je v\u0161echno redundantn\u00ed a funguje to i bez jednoho datov\u00e9ho centra?
\nZa prv\u00e9, ne v\u0161e je redundantn\u00ed. Existuj\u00ed r\u016fzn\u00e9 sekund\u00e1rn\u00ed slu\u017eby, kter\u00e9 zat\u00edm nep\u0159e\u017e\u00edvaj\u00ed v\u00fdpadek datov\u00e9ho centra dostate\u010dn\u011b dob\u0159e, a existuj\u00ed datab\u00e1ze v re\u017eimu master-standby. Mo\u017enost spravovat nastaven\u00ed umo\u017e\u0148uje ud\u011blat v\u0161e pot\u0159ebn\u00e9, aby se i v obt\u00ed\u017en\u00fdch podm\u00ednk\u00e1ch minimalizovaly n\u00e1sledky hav\u00e1rie pro u\u017eivatele.
\nZa druh\u00e9, stalo se jasn\u00fdm, \u017ee v nejbli\u017e\u0161\u00edch hodin\u00e1ch nebude provoz datov\u00e9ho centra zcela obnoven, proto bylo nutn\u00e9 p\u0159ijmout opat\u0159en\u00ed, aby dlouhodob\u00e1 nedostupnost replik nevedla k dal\u0161\u00edm nep\u0159\u00edjemnostem, jako je p\u0159et\u00ed\u017een\u00ed disk\u016f v zb\u00fdvaj\u00edc\u00edch datov\u00fdch centrech.
\n17:29. \u010cas na pizzu! M\u00e1me tu lidi, ne roboty.<\/p>\n

\"M\u011bli
\n<\/p>\n

Rehabilitace<\/h4>\n

\n18:02. V prostor\u00e1ch \u010d. 8 (na\u0161e), 9, 10 a 11 se stabilizovala teplota. V jedn\u00e9 z t\u011bch, kter\u00e9 z\u016fst\u00e1vaj\u00ed odpojen\u00e9 (\u010d. 7), se nach\u00e1z\u00ed na\u0161e vybaven\u00ed a teplota tam pokra\u010duje v r\u016fstu.
\n18:31. Dali jsme zelenou k spu\u0161t\u011bn\u00ed za\u0159\u00edzen\u00ed v prostor\u00e1ch \u010d. 1 a 3 \u2014 tyto prostory po\u017e\u00e1r nezas\u00e1hl.<\/p>\n

V tuto chv\u00edli prob\u00edh\u00e1 spu\u0161t\u011bn\u00ed server\u016f v prostor\u00e1ch \u010d. 1, 3, 8, za\u010d\u00edn\u00e1me s t\u011bmi nejkriti\u010dt\u011bj\u0161\u00edmi. Kontroluje se spr\u00e1vnost fungov\u00e1n\u00ed v\u0161ech spu\u0161t\u011bn\u00fdch slu\u017eeb. Probl\u00e9my st\u00e1le p\u0159etrv\u00e1vaj\u00ed v prostoru \u010d. 7.<\/i><\/p>\n

18:44. Technick\u00fd person\u00e1l datov\u00e9ho centra zjistil, \u017ee v prostoru \u010d. 7 (kde je jen na\u0161e za\u0159\u00edzen\u00ed) nen\u00ed mnoho server\u016f vypnuto. Podle na\u0161ich \u00fadaj\u016f zde z\u016fst\u00e1v\u00e1 zapnuto 26 server\u016f. Po op\u011btovn\u00e9 kontrole objevujeme 58 server\u016f.
\n20:18. Technick\u00fd person\u00e1l datov\u00e9ho centra prov\u00e1d\u00ed ventilaci vzduchu v prostoru bez klimatizac\u00ed pomoc\u00ed mobiln\u00edch vzduchovod\u016f, kter\u00e9 jsou polo\u017eeny p\u0159es chodby.
\n23:08. Prvn\u00edho administr\u00e1tora jsme poslali dom\u016f. N\u011bkdo mus\u00ed p\u0159es noc sp\u00e1t, aby z\u00edtra mohl pokra\u010dovat v pr\u00e1ci. Dal\u0161\u00ed \u010d\u00e1st administr\u00e1tor\u016f a v\u00fdvoj\u00e1\u0159\u016f nyn\u00ed tak\u00e9 odch\u00e1z\u00ed.
\n02:56. Spustili jsme v\u0161echno, co \u0161lo spustit. Prov\u00e1d\u00edme rozs\u00e1hlou kontrolu v\u0161ech slu\u017eeb automatick\u00fdmi testy.<\/p>\n

\"M\u011bli
\n
\n03:02. Klimatizace v posledn\u00edm, 7. s\u00e1lu byla obnovena.
\n03:36. Spustili jsme fronty v datov\u00e9m centru do rotace v DNS. Od tohoto okam\u017eiku za\u010d\u00edn\u00e1 p\u0159ich\u00e1zet u\u017eivatelsk\u00fd provoz.
\nOdvol\u00e1v\u00e1me v\u011bt\u0161inu t\u00fdmu administr\u00e1tor\u016f dom\u016f. N\u011bkolik lid\u00ed v\u0161ak z\u016fst\u00e1v\u00e1.<\/p>\n

Mal\u00fd FAQ:
\nQ: Co se d\u011blo od 18:31 do 02:56?
\nA: Podle \"Pl\u00e1nu akc\u00ed v p\u0159\u00edpad\u011b hav\u00e1rie\" spou\u0161t\u00edme v\u0161echny slu\u017eby, po\u010d\u00ednaje t\u011bmi nejd\u016fle\u017eit\u011bj\u0161\u00edmi. P\u0159itom koordin\u00e1tor v chatu p\u0159id\u011bluje slu\u017ebu voln\u00e9mu administr\u00e1torovi, kter\u00fd kontroluje, zda se OS a aplikace spustily, zda nejsou chyby a zda jsou hodnoty v norm\u011b. Po dokon\u010den\u00ed spu\u0161t\u011bn\u00ed hl\u00e1s\u00ed v chatu, \u017ee je voln\u00fd, a dost\u00e1v\u00e1 od koordin\u00e1tora novou slu\u017ebu.
\nProces je nav\u00edc zpomalen vadn\u00fdm \u017eelezem. I kdy\u017e zastaven\u00ed OS a vypnut\u00ed server\u016f prob\u011bhlo spr\u00e1vn\u011b, \u010d\u00e1st server\u016f se nevrac\u00ed kv\u016fli n\u00e1hle selhan\u00fdm disk\u016fm, pam\u011bti nebo \u0161asi. P\u0159i ztr\u00e1t\u011b nap\u00e1jen\u00ed se procento selh\u00e1n\u00ed zvy\u0161uje.
\nQ: Pro\u010d nen\u00ed mo\u017en\u00e9 v\u0161echno spustit najednou a pak opravit to, co se objev\u00ed v monitoringu?
\nA: V\u0161echno je t\u0159eba d\u011blat postupn\u011b, proto\u017ee mezi slu\u017ebami existuj\u00ed z\u00e1vislosti. A v\u0161e je t\u0159eba kontrolovat okam\u017eit\u011b, ani\u017e bychom \u010dekali na monitoring \u2014 proto\u017ee s probl\u00e9my je lep\u0161\u00ed se vypo\u0159\u00e1dat hned a ne\u010dekat, a\u017e se zhor\u0161\u00ed.<\/p><\/blockquote>\n

\n7:40. Posledn\u00ed administr\u00e1tor (koordin\u00e1tor) ode\u0161el sp\u00e1t. Pr\u00e1ce prvn\u00edho dne byly dokon\u010deny.
\n8:09. Prvn\u00ed v\u00fdvoj\u00e1\u0159i, in\u017een\u00fd\u0159i v datov\u00fdch centrech a administr\u00e1to\u0159i (v\u010detn\u011b nov\u00e9ho koordin\u00e1tora) zah\u00e1jili obnovovac\u00ed pr\u00e1ce.
\n09:37. Za\u010dali jsme zvedat s\u00e1l \u010d. 7 (posledn\u00ed).
\nSou\u010dasn\u011b pokra\u010dujeme v obnov\u011b toho, co jsme nedokon\u010dili v jin\u00fdch s\u00e1lech: v\u00fdm\u011bna disk\u016f\/pam\u011bti\/server\u016f, oprava v\u0161eho, co \"ho\u0159\u00ed\" v monitoringu, zp\u011btn\u00e9 p\u0159ep\u00edn\u00e1n\u00ed rol\u00ed v sch\u00e9matech master-standby a dal\u0161\u00ed drobnosti, kter\u00fdch je v\u0161ak dostatek.
\n17:08. Umo\u017e\u0148ujeme v\u0161echny pl\u00e1novan\u00e9 pr\u00e1ce s produkc\u00ed.
\n21:45. Pr\u00e1ce druh\u00e9ho dne byly dokon\u010deny.
\n09:45. Dnes je p\u00e1tek. V monitoringu st\u00e1le p\u0159etrv\u00e1v\u00e1 pom\u011brn\u011b hodn\u011b drobn\u00fdch probl\u00e9m\u016f. P\u0159ed n\u00e1mi jsou v\u00edkendy, v\u0161ichni si cht\u011bj\u00ed odpo\u010dinout. Pokra\u010dujeme masivn\u011b opravovat v\u0161e, co je mo\u017en\u00e9. Administrativn\u00ed \u00fakoly, kter\u00e9 bylo mo\u017en\u00e9 odlo\u017eit, byly odlo\u017eeny. Je tu nov\u00fd koordin\u00e1tor.
\n15:40. Ne\u010dekan\u011b restartovala polovina stacku Core s\u00ed\u0165ov\u00e9ho vybaven\u00ed v JIN\u00c9M datov\u00e9m centru. Vy\u0159adili jsme fronty z rotace, abychom minimalizovali rizika. Pro u\u017eivatele to nem\u011blo \u017e\u00e1dn\u00fd vliv. Pozd\u011bji se uk\u00e1zalo, \u017ee to bylo chybnou \u0161asi. Koordin\u00e1tor pracuje na oprav\u011b rovnou dvou hav\u00e1ri\u00ed.
\n17:17. Pr\u00e1ce s\u00edt\u011b v jin\u00e9m datov\u00e9m centru byla obnovena, v\u0161e bylo zkontrolov\u00e1no. Datov\u00e9 centrum bylo za\u0159azeno do rotace.
\n18:29. Pr\u00e1ce t\u0159et\u00edho dne a obecn\u011b obnova po hav\u00e1rii byla dokon\u010dena.<\/p>\n

Pozn\u00e1mka na z\u00e1v\u011br<\/h4>\n

\n04.04.2013, v den 404. chyby<\/a><\/noindex>, \u201eOdnoklassniki\u201c pro\u017eily nejv\u011bt\u0161\u00ed hav\u00e1rii<\/a><\/noindex> \u2014 b\u011bhem t\u0159\u00ed dn\u016f byl port\u00e1l zcela nebo \u010d\u00e1ste\u010dn\u011b nedostupn\u00fd. Po celou tuto dobu v\u00edce ne\u017e 100 lid\u00ed z r\u016fzn\u00fdch m\u011bst, z r\u016fzn\u00fdch spole\u010dnost\u00ed (je\u0161t\u011b jednou velk\u00e9 d\u00edky!), opravovalo tis\u00edce server\u016f vzd\u00e1len\u011b i p\u0159\u00edmo v datov\u00fdch centrech, ru\u010dn\u011b a automaticky.
\nVyvodili jsme z\u00e1v\u011bry. Aby se podobn\u00e9 situace neopakovaly, provedli jsme a pokra\u010dujeme v rozs\u00e1hl\u00fdch prac\u00edch.<\/p>\n

Jak\u00e9 jsou hlavn\u00ed rozd\u00edly mezi sou\u010dasnou hav\u00e1ri\u00ed a 404?<\/p>\n