{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"\u201eZahasi\u0165\u201c servery, ak sa \u201ezapalil\u201c smoke test d\u00e1tacentra?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u010co by ste c\u00edtili, keby v jednom kr\u00e1snom letnom dni d\u00e1tov\u00e9 centrum s va\u0161\u00edm vybaven\u00edm vyzeralo takto?<\/p>\n

\"\u201eZahasi\u0165\u201c
\n
\nAhojte v\u0161etci! Vol\u00e1m sa Dmitrij Samsonov, pracujem ako hlavn\u00fd syst\u00e9mov\u00fd administr\u00e1tor v \"Odnoklassnikoch<\/a><\/noindex>\". Na obr\u00e1zku je jedno zo \u0161tyroch d\u00e1tov\u00fdch centier, kde je nain\u0161talovan\u00e9 vybavenie na podporu n\u00e1\u0161ho projektu. Za t\u00fdmito stenami sa nach\u00e1dza pribli\u017ene 4000 kusov vybavenia: servery, syst\u00e9m na ukladanie d\u00e1t, sie\u0165ov\u00e9 vybavenie at\u010f. \u2014 takmer \u2153 cel\u00e9ho n\u00e1\u0161ho vybavenia.
\nV\u00e4\u010d\u0161ina serverov be\u017e\u00ed na Linuxe. M\u00e1me aj nieko\u013eko desiatok serverov na Windows (MS SQL) \u2014 na\u0161e dedi\u010dstvo, ktor\u00e9ho sa pl\u00e1nujeme zbavi\u0165 u\u017e dlh\u00e9 roky.
\nD\u0148a 5. j\u00fana 2019 o 14:35 in\u017einieri jedn\u00e9ho z na\u0161ich d\u00e1tov\u00fdch centier ozn\u00e1mili po\u017eiarne poplach.
\n<\/a><\/noindex><\/p>\n

Odpor<\/h4>\n

\n14:45. Mal\u00e9 incidenty so zadymen\u00edm v d\u00e1tov\u00fdch centr\u00e1ch sa st\u00e1vaj\u00fa \u010dastej\u0161ie, ne\u017e sa zd\u00e1. Ukazovatele vo vn\u00fatri miestnost\u00ed boli v norme, preto bola na\u0161a prv\u00e1 reakcia relat\u00edvne pokojn\u00e1: zaviedli sme z\u00e1kaz na pr\u00e1ce s produkciou, teda na ak\u00e9ko\u013evek zmeny konfigur\u00e1ci\u00ed, zav\u00e1dzanie nov\u00fdch verzi\u00ed at\u010f., s v\u00fdnimkou pr\u00e1c s\u00favisiacich s opravou nie\u010doho.<\/p>\n

Hnev<\/h4>\n

\nSk\u00fasili ste niekedy zisti\u0165 od hasi\u010dov, kde presne na streche do\u0161lo k po\u017eiaru, alebo sa sami pok\u00fasi\u0165 dosta\u0165 na horiacu strechu, aby ste pos\u00fadili situ\u00e1ciu? Ak\u00e1 bude \u00farove\u0148 d\u00f4very k inform\u00e1ci\u00e1m z\u00edskan\u00fdm prostredn\u00edctvom piatich \u013eud\u00ed?<\/p>\n

14:50. Pri\u0161la inform\u00e1cia, \u017ee ohe\u0148 sa bl\u00ed\u017ei k syst\u00e9mu chladenia<\/b>. Dostane sa v\u0161ak k nemu? Prieduchov\u00fd syst\u00e9mov\u00fd administr\u00e1tor presmerov\u00e1va extern\u00fd traffic z frontov tohto d\u00e1tov\u00e9ho centra.<\/p>\n

V s\u00fa\u010dasnosti s\u00fa fronty v\u0161etk\u00fdch na\u0161ich slu\u017eieb duplicitn\u00e9 v troch d\u00e1tov\u00fdch centr\u00e1ch, pou\u017e\u00edvame vyva\u017eovanie na \u00farovni DNS, \u010do umo\u017e\u0148uje odstr\u00e1ni\u0165 adresy jedn\u00e9ho d\u00e1tov\u00e9ho centra z DNS, a t\u00fdm ochr\u00e1ni\u0165 pou\u017e\u00edvate\u013eov pred potenci\u00e1lnymi probl\u00e9mami s pr\u00edstupom k slu\u017eb\u00e1m. V pr\u00edpade, \u017ee probl\u00e9my v d\u00e1tovom centre u\u017e nastali, automaticky sa vyra\u010fuje z rot\u00e1cie. Podrobnej\u0161ie si m\u00f4\u017eete pre\u010d\u00edta\u0165 tu: Vyva\u017eovanie z\u00e1\u0165a\u017ee a odolnos\u0165 vo\u010di poruch\u00e1m v \"Odnoklassnik\u00e1ch\".<\/a><\/noindex><\/p><\/blockquote>\n

\nPo\u017eiar n\u00e1s zatia\u013e nijako neovplyvnil \u2014 ani pou\u017e\u00edvate\u013eov, ani vybavenie nepostihli. Je to hav\u00e1ria? Prv\u00e1 \u010das\u0165 dokumentu \u201ePl\u00e1n reakcie na hav\u00e1riu\u201c definuje pojem \u201eHav\u00e1ria\u201c, a kon\u010d\u00ed takto:
\n\u00abAk s\u00fa pochybnosti, \u010di ide o hav\u00e1riu alebo nie, je to hav\u00e1ria!<\/u>\u00bb<\/b><\/p>\n

14:53. Ur\u010duje sa koordin\u00e1tor hav\u00e1rie.<\/p>\n

Koordin\u00e1tor je osoba, ktor\u00e1 kontroluje komunik\u00e1ciu medzi v\u0161etk\u00fdmi \u00fa\u010dastn\u00edkmi, vyhodnocuje rozsah hav\u00e1rie, vyu\u017e\u00edva \"Pl\u00e1n opatren\u00ed pri hav\u00e1rii\", zap\u00e1ja potrebn\u00fd person\u00e1l, riadi dokon\u010denie opr\u00e1v, a najm\u00e4 deleguje ak\u00e9ko\u013evek \u00falohy. In\u00fdmi slovami, je to osoba, ktor\u00e1 riadi cel\u00fd proces likvid\u00e1cie hav\u00e1rie.<\/p><\/blockquote>\n

<\/p>\n

Tendrov\u00e9 konanie<\/h4>\n

\n15:01. Za\u010d\u00edn\u00e1me odpoji\u0165 servery, ktor\u00e9 nie s\u00fa pripojen\u00e9 na produkciu.
\n15:03. Spr\u00e1vne vyp\u00edname v\u0161etky rezervovan\u00e9 slu\u017eby.
\nSem patr\u00ed nielen fronty (na ktor\u00e9 k tomuto momentu pou\u017e\u00edvatelia u\u017e nevstupuj\u00fa) a ich pomocn\u00e9 slu\u017eby (biznis logika, cache a pod.), ale aj r\u00f4zne datab\u00e1zy s replik\u00e1ciou 2 a viac (Cassandra<\/a><\/noindex>, \u00falo\u017eisko bin\u00e1rnych d\u00e1t<\/a><\/noindex>, chladn\u00e9 \u00falo\u017eisko<\/a><\/noindex>, NewSQL<\/a><\/noindex> a in\u00e9).
\n15:06. Pri\u0161la inform\u00e1cia, \u017ee po\u017eiar ohrozuje jednu z miestnost\u00ed d\u00e1tov\u00e9ho centra.<\/b> V tejto miestnosti nem\u00e1me \u017eiadne zariadenie, ale to, \u017ee ohe\u0148 m\u00f4\u017ee presko\u010di\u0165 z plachty na miestnosti, v\u00e1\u017ene men\u00ed obr\u00e1zok situ\u00e1cie.
\n(Nesk\u00f4r sa uk\u00e1zalo, \u017ee fyzick\u00e1 hrozba pre miestnos\u0165 neexistovala, preto\u017ee bola hermeticky izolovan\u00e1 od strechy. Hrozbou bola iba pre syst\u00e9m chladenia tejto miestnosti.)
\n15:07. Umo\u017e\u0148ujeme vykon\u00e1vanie pr\u00edkazov na serveroch v ur\u00fdchlenom re\u017eime bez dodato\u010dn\u00fdch kontrol (bez n\u00e1\u0161ho ob\u013e\u00faben\u00e9ho kalkul\u00e1tora<\/a><\/noindex>).
\n15:08. Teplota v miestnostiach je v norm\u00e1le.
\n15:12. Zaznamenan\u00e9 zv\u00fd\u0161enie teploty v miestnostiach.<\/b>
\n15:13. Viac ako polovica serverov v d\u00e1tovom centre je vypnut\u00e1. Pokra\u010dujeme.
\n15:16. Bolo prijat\u00e9 rozhodnutie o vypnut\u00ed v\u0161etk\u00e9ho zariadenia.
\n15:21. Za\u010d\u00edna sa odpojenie nap\u00e1jania na stateless serveroch bez spr\u00e1vneho vypnutia aplik\u00e1cie a opera\u010dn\u00e9ho syst\u00e9mu.
\n15:23. Vytvoren\u00e1 skupina zodpovedn\u00fdch za MS SQL (je ich m\u00e1lo, z\u00e1vislos\u0165 slu\u017eieb na nich nie je ve\u013ek\u00e1, ale proced\u00fara obnovenia funk\u010dnosti trv\u00e1 dlh\u0161ie a je zlo\u017eitej\u0161ia ako, napr\u00edklad, u Cassandry).<\/p>\n

Depresia<\/h4>\n

\n15:25. Pri\u0161la inform\u00e1cia o vypnut\u00ed nap\u00e1jania v \u0161tyroch miestnostiach z 16 (\u010d. 6, 7, 8, 9).<\/b> V 7. a 8. miestnostiach sa nach\u00e1dza na\u0161e vybavenie. O \u010fal\u0161\u00edch dvoch na\u0161ich miestnostiach (\u010d. 1 a 3) zatia\u013e nem\u00e1me inform\u00e1cie.
\nObvykle sa pri po\u017eiaroch nap\u00e1janie okam\u017eite vyp\u00edna, ale v tomto pr\u00edpade, v\u010faka koordinovanej pr\u00e1ci hasi\u010dov a technick\u00e9ho person\u00e1lu d\u00e1tov\u00e9ho centra, ho nevyp\u00ednali v\u0161ade a okam\u017eite, ale pod\u013ea potreby.
\n(Nesk\u00f4r sa uk\u00e1zalo, \u017ee nap\u00e1janie v hal\u00e1ch 8 a 9 nebolo vypnut\u00e9.)
\n15:28. Za\u010d\u00edname rozv\u00edja\u0165 datab\u00e1zy MS SQL z backupov v in\u00fdch d\u00e1tov\u00fdch centr\u00e1ch.
\nKo\u013eko \u010dasu to zaberie? Bude kapacita siete dostato\u010dn\u00e1 na celom trase?
\n15:37. Boli zaznamenan\u00e9 v\u00fdpadky niektor\u00fdch \u010dast\u00ed siete.<\/b>
\nMana\u017ement a produk\u010dn\u00e1 sie\u0165 s\u00fa fyzicky izolovan\u00e9. Ak je produk\u010dn\u00e1 sie\u0165 dostupn\u00e1, m\u00f4\u017eete sa prihl\u00e1si\u0165 na server, zastavi\u0165 aplik\u00e1ciu a vypn\u00fa\u0165 OS. Ak je nedostupn\u00e1, m\u00f4\u017eete sa prihl\u00e1si\u0165 cez IPMI, zastavi\u0165 aplik\u00e1ciu a vypn\u00fa\u0165 OS. Ak nie je dostupn\u00e1 ani jedna sie\u0165, ni\u010d nem\u00f4\u017eete urobi\u0165. \"\u010eakujem, kapit\u00e1n!\" \u2014 pomysl\u00edte si.
\n\"A v\u00f4bec, je tu akosi ve\u013ea chaosu,\" \u2014 pomysl\u00edte si mo\u017eno aj vy.
\nIde o to, \u017ee servery aj bez po\u017eiaru vytv\u00e1raj\u00fa obrovsk\u00e9 mno\u017estvo tepla. Presnej\u0161ie, ke\u010f je chladenie, vytv\u00e1raj\u00fa teplo, a ke\u010f nie je, vytv\u00e1raj\u00fa peklo, ktor\u00e9 v najlep\u0161om pr\u00edpade roztop\u00ed \u010das\u0165 vybavenia a vyl\u00fa\u010di in\u00fa \u010das\u0165, a v najhor\u0161om\u2026 sp\u00f4sob\u00ed po\u017eiar vo vn\u00fatri haly, ktor\u00fd takmer zaru\u010dene zni\u010d\u00ed v\u0161etko.<\/p>\n

\"\u201eZahasi\u0165\u201c
\n
\n15:39. Zaznamen\u00e1va probl\u00e9my s datab\u00e1zou conf.<\/p>\n

Datab\u00e1za conf je backend pre rovnomenn\u00fa slu\u017ebu, ktor\u00fa pou\u017e\u00edvaj\u00fa v\u0161etky aplik\u00e1cie v produkcii na operat\u00edvne zmeny nastaven\u00ed. Bez tejto datab\u00e1zy nem\u00f4\u017eeme spravova\u0165 chod port\u00e1lu, ale samotn\u00fd port\u00e1l m\u00f4\u017ee fungova\u0165.<\/p><\/blockquote>\n

\n15:41. Teplotn\u00e9 senzory na Core sie\u0165ovej technol\u00f3gii zaznamen\u00e1vaj\u00fa hodnoty bl\u00edzke k maximu. Ide o krabicu, ktor\u00e1 zabera cel\u00fa skrinku a zabezpe\u010duje chod v\u0161etk\u00fdch siet\u00ed v r\u00e1mci d\u00e1tov\u00e9ho centra.<\/p>\n

\"\u201eZahasi\u0165\u201c
\n
\n15:42. Issue tracker a wiki s\u00fa nedostupn\u00e9, prech\u00e1dzame na standby.
\nToto nie je produkcia, ale pri hav\u00e1rii m\u00f4\u017ee by\u0165 dostupnos\u0165 akejko\u013evek knowledge base kritick\u00e1.
\n15:50. Vypnula sa jedna zo syst\u00e9mov monitorovania.
\nJe ich nieko\u013eko a ka\u017ed\u00fd z nich zodpoved\u00e1 za r\u00f4zne aspekty fungovania slu\u017eieb. \u010cas\u0165 z nich je nastaven\u00e1 na auton\u00f3mny chod v r\u00e1mci ka\u017ed\u00e9ho d\u00e1tov\u00e9ho centra (t.j. monitoruj\u00fa len svoje d\u00e1tov\u00e9 centrum), in\u00e9 sa skladaj\u00fa z distribuovan\u00fdch komponentov, ktor\u00e9 bezprobl\u00e9movo pre\u017eij\u00fa stratu ak\u00e9hoko\u013evek d\u00e1tov\u00e9ho centra.
\nV tomto pr\u00edpade prestala fungova\u0165 syst\u00e9m detekcie anom\u00e1li\u00ed ukazovate\u013eov obchodnej logiky<\/a><\/noindex>, ktor\u00fd pracuje v re\u017eime master-standby. Prepli sme sa na standby.<\/p>\n

Prijatie<\/h4>\n

\n15:51. Cez IPMI sme vypnuli v\u0161etky servery bez spr\u00e1vneho ukon\u010denia pr\u00e1ce, okrem MS SQL.
\nSte pripraven\u00ed na hromadn\u00e9 riadenie serverov prostredn\u00edctvom IPMI v pr\u00edpade potreby?<\/p>\n

To je ten okamih, ke\u010f je z\u00e1chrana zariadenia v d\u00e1tovom centre v tomto \u0161t\u00e1diu dokon\u010den\u00e1. V\u0161etko, \u010do sa dalo urobi\u0165, bolo uroben\u00e9. Niektor\u00ed kolegovia si m\u00f4\u017eu odd\u00fdchnu\u0165.<\/i>
\n16:13. Prijali sme inform\u00e1cie, \u017ee na streche praskli potrubia chladiva z klimatiz\u00e1ci\u00ed \u2013 to oddiali spustenie d\u00e1tov\u00e9ho centra po odstr\u00e1nen\u00ed po\u017eiaru.<\/b>
\n16:19. Pod\u013ea \u00fadajov z\u00edskan\u00fdch od technick\u00e9ho person\u00e1lu d\u00e1tov\u00e9ho centra sa prestalo zvy\u0161ova\u0165 teplo v miestnostiach.
\n17:10. Obnovili sme pr\u00e1cu datab\u00e1zy conf. Teraz m\u00f4\u017eeme zmeni\u0165 nastavenia aplik\u00e1ci\u00ed.
\nPre\u010do je to tak\u00e9 d\u00f4le\u017eit\u00e9, ak je v\u0161etko odoln\u00e9 vo\u010di poruch\u00e1m a funguje aj bez jedn\u00e9ho d\u00e1tov\u00e9ho centra?
\nPo prv\u00e9, nie v\u0161etko je odoln\u00e9 vo\u010di poruch\u00e1m. Existuj\u00fa r\u00f4zne sekund\u00e1rne slu\u017eby, ktor\u00e9 zatia\u013e dostato\u010dne dobre nepre\u017e\u00edvaj\u00fa zlyhanie d\u00e1tov\u00e9ho centra, a s\u00fa datab\u00e1zy v re\u017eime master-standby. Mo\u017enos\u0165 spravova\u0165 nastavenia umo\u017e\u0148uje urobi\u0165 v\u0161etko potrebn\u00e9, aby sme aj v n\u00e1ro\u010dn\u00fdch podmienkach minimalizovali vplyv n\u00e1sledkov hav\u00e1rie na pou\u017e\u00edvate\u013eov.
\nPo druh\u00e9, je jasn\u00e9, \u017ee v najbli\u017e\u0161\u00edch hodin\u00e1ch sa pr\u00e1ca d\u00e1tov\u00e9ho centra \u00faplne neobnov\u00ed, preto bolo potrebn\u00e9 prija\u0165 opatrenia, aby dlhodob\u00e1 nedostupnos\u0165 replik neviedla k \u010fal\u0161\u00edm nepr\u00edjemnostiam ako preplnenie diskov v zost\u00e1vaj\u00facich d\u00e1tov\u00fdch centr\u00e1ch.
\n17:29. \u010cas na pizzu! U n\u00e1s pracuj\u00fa \u013eudia, nie roboti.<\/p>\n

\"\u201eZahasi\u0165\u201c
\n<\/p>\n

Rehabilit\u00e1cia<\/h4>\n

\n18:02. V miestnostiach \u010d. 8 (na\u0161a), 9, 10 a 11 sa stabilizovala teplota. V jednej z miestnost\u00ed, ktor\u00e1 zost\u00e1va vypnut\u00e1 (\u010d. 7), sa nach\u00e1dza na\u0161e vybavenie a teplota tam na\u010falej st\u00fapa.
\n18:31. Dali sme s\u00fahlas na spustenie vybavenia v miestnostiach \u010d. 1 a 3 \u2013 tieto miestnosti nezasiahla \u043f\u043e\u0436\u0430\u0440.<\/p>\n

V s\u00fa\u010dasnosti prebieha spustenie serverov v miestnostiach \u010d. 1, 3, 8, po\u010dn\u00fac t\u00fdmi najkritickej\u0161\u00edmi. Kontroluje sa spr\u00e1vnos\u0165 fungovania v\u0161etk\u00fdch spusten\u00fdch slu\u017eieb. Probl\u00e9my s miestnos\u0165ou \u010d. 7 st\u00e1le pretrv\u00e1vaj\u00fa.<\/i><\/p>\n

18:44. Technick\u00fd person\u00e1l d\u00e1tov\u00e9ho centra zistil, \u017ee v miestnosti \u010d. 7 (kde sa nach\u00e1dza iba na\u0161e vybavenie) mnoh\u00e9 servery nie s\u00fa vypnut\u00e9. Pod\u013ea na\u0161ich \u00fadajov zost\u00e1va zapnut\u00fdch 26 serverov. Po op\u00e4tovnej kontrole zist\u00edme 58 serverov.
\n20:18. Technick\u00fd person\u00e1l d\u00e1tov\u00e9ho centra vh\u00e1n\u00ed vzduch do miestnosti bez klimatiz\u00e1ci\u00ed cez mobiln\u00e9 vzduchovody, ktor\u00e9 s\u00fa priveden\u00e9 cez chodby.
\n23:08. Prv\u00e9ho administr\u00e1tora pustili domov. Niekto mus\u00ed v noci spa\u0165, aby zajtra pokra\u010doval v pr\u00e1ci. \u010ealej uvo\u013e\u0148ujeme \u010fal\u0161\u00edch nieko\u013ek\u00fdch administr\u00e1torov a v\u00fdvoj\u00e1rov.
\n02:56. Spustili sme v\u0161etko, \u010do sa dalo spusti\u0165. Rob\u00edme ve\u013ek\u00fa kontrolu v\u0161etk\u00fdch slu\u017eieb automatizovan\u00fdmi testami.<\/p>\n

\"\u201eZahasi\u0165\u201c
\n
\n03:02. Klimatiz\u00e1cia v poslednej, 7. miestnosti bola obnoven\u00e1.
\n03:36. Fronty v d\u00e1tovom centre boli pridan\u00e9 do DNS. Od tejto chv\u00edle za\u010dne prich\u00e1dza\u0165 pou\u017e\u00edvate\u013esk\u00fd traf\u00edk.
\nUvo\u013e\u0148ujeme v\u00e4\u010d\u0161inu t\u00edmu administr\u00e1torov domov. Ale nieko\u013eko \u013eud\u00ed zost\u00e1va.<\/p>\n

Mal\u00fd FAQ:
\nQ: \u010co sa dialo od 18:31 do 02:56?
\nA: Pod\u013ea \u201ePl\u00e1nu akci\u00ed pri hav\u00e1rii\u201c sp\u00fa\u0161\u0165ame v\u0161etky slu\u017eby, za\u010d\u00ednaj\u00fac t\u00fdmi najd\u00f4le\u017eitej\u0161\u00edmi. Koordin\u00e1tor v chate prira\u010fuje slu\u017ebu vo\u013en\u00e9mu administr\u00e1torovi, ktor\u00fd kontroluje, \u010di sa spustili OS a aplik\u00e1cia, \u010di s\u00fa bez ch\u00fdb, a \u010di s\u00fa ukazovatele v poriadku. Po dokon\u010den\u00ed spustenia informuje chat, \u017ee je vo\u013en\u00fd, a od koordin\u00e1tora dost\u00e1va nov\u00fa slu\u017ebu.
\nProces je dodato\u010dne spomalen\u00fd zlyh\u00e1vaj\u00facim hardv\u00e9rom. Aj ke\u010f zastavenie OS a vypnutie serverov prebehlo spr\u00e1vne, niektor\u00e9 servery sa nevracaj\u00fa kv\u00f4li neo\u010dak\u00e1van\u00fdm zlyhaniam diskov, pam\u00e4te a \u0161asi. Pri strate elektrick\u00e9ho nap\u00e1jania sa percento zlyhan\u00ed zvy\u0161uje.
\nQ: Pre\u010do nem\u00f4\u017eete jednoducho spusti\u0165 v\u0161etko naraz a potom opravi\u0165 to, \u010do sa objav\u00ed v monitorovan\u00ed?
\nA: V\u0161etko treba robi\u0165 postupne, preto\u017ee medzi slu\u017ebami existuj\u00fa z\u00e1vislosti. A v\u0161etko by sa malo kontrolova\u0165 okam\u017eite, bez \u010dakania na monitorovanie \u2014 preto\u017ee s probl\u00e9mami je najlep\u0161ie sa vysporiada\u0165 hne\u010f, aby sa predi\u0161lo ich zhor\u0161eniu.<\/p><\/blockquote>\n

\n7:40. Posledn\u00fd administr\u00e1tor (koordin\u00e1tor) odi\u0161iel spa\u0165. Pr\u00e1ce prv\u00e9ho d\u0148a s\u00fa dokon\u010den\u00e9.
\n8:09. Prv\u00ed v\u00fdvoj\u00e1ri, in\u017einieri v d\u00e1tov\u00fdch centr\u00e1ch a administr\u00e1tori (vr\u00e1tane nov\u00e9ho koordin\u00e1tora) za\u010dali s obnovovac\u00edmi pr\u00e1cami.
\n09:37. Za\u010dali sme znovu sp\u00fa\u0161\u0165a\u0165 miestnos\u0165 \u010d. 7 (posledn\u00fa).
\nParalelne pokra\u010dujeme v obnove toho, \u010do sme nedokon\u010dili v in\u00fdch miestnostiach: v\u00fdmena diskov\/pam\u00e4t\u00ed\/serverov, oprava v\u0161etk\u00e9ho, \u010do \u201ehor\u00ed\u201c v monitorovan\u00ed, sp\u00e4tn\u00e9 prep\u00ednanie rol\u00ed v sch\u00e9mach master-standby a in\u00e9 drobnosti, ktor\u00fdch je v\u0161ak dostatok.
\n17:08. Dovo\u013eujeme v\u0161etky be\u017en\u00e9 pr\u00e1ce na produkcii.
\n21:45. Pr\u00e1ce druh\u00e9ho d\u0148a s\u00fa dokon\u010den\u00e9.
\n09:45. Dnes je piatok. V monitorovan\u00ed je st\u00e1le dos\u0165 drobn\u00fdch probl\u00e9mov. Pred nami s\u00fa v\u00edkendy, v\u0161etci chc\u00fa oddychova\u0165. Pokra\u010dujeme v mas\u00edvnom opravovan\u00ed v\u0161etk\u00e9ho, \u010do sa d\u00e1. \u0160tandardn\u00e9 administrat\u00edvne \u00falohy, ktor\u00e9 bolo mo\u017en\u00e9 odlo\u017ei\u0165, s\u00fa odlo\u017een\u00e9. Je tu nov\u00fd koordin\u00e1tor.
\n15:40. Ne\u010dakane sa re\u0161tartoval polovica staku Core sie\u0165ov\u00e9ho vybavenia v INOM d\u00e1tovom centre. Vyviedli sme fron\u010dn\u00e9 zariadenia z rot\u00e1cie, aby sme minimalizovali rizik\u00e1. Efekt pre pou\u017e\u00edvate\u013eov \u017eiadny. Nesk\u00f4r sme sa dozvedeli, \u017ee to bola probl\u00e9mov\u00e1 \u0161asi. Koordin\u00e1tor pracuje na oprave hne\u010f dvoch hav\u00e1ri\u00ed.
\n17:17. Pr\u00e1ca siete v inom d\u00e1tovom centre bola obnoven\u00e1, v\u0161etko skontrolovan\u00e9. D\u00e1tov\u00e9 centrum bolo zaraden\u00e9 do rot\u00e1cie.
\n18:29. Pr\u00e1ce tretieho d\u0148a a celkov\u00e9 obnovenie po hav\u00e1rii bolo dokon\u010den\u00e9.<\/p>\n

P\u00f3sledok<\/h4>\n

\n04.04.2013, v de\u0148 404. chyby<\/a><\/noindex>, \u201eOdnoklassniki\u201c pre\u017eili najv\u00e4\u010d\u0161iu hav\u00e1riu<\/a><\/noindex> \u2014 po dobu troch dn\u00ed bola str\u00e1nka \u00faplne alebo \u010diasto\u010dne nedostupn\u00e1. Po\u010das celej tejto doby viac ako 100 \u013eud\u00ed z r\u00f4znych miest a r\u00f4znych spolo\u010dnost\u00ed (e\u0161te raz ve\u013ek\u00e9 \u010fakujem!), opravovalo tis\u00edce serverov vzdialene aj priamo v d\u00e1tov\u00fdch centr\u00e1ch, manu\u00e1lne aj automaticky.
\nUrobili sme z\u00e1very. Aby sa podobn\u00e9 probl\u00e9my neopakovali, uskuto\u010dnili sme a na\u010falej uskuto\u010d\u0148ujeme rozsiahle pr\u00e1ce.<\/p>\n

Ak\u00e9 s\u00fa hlavn\u00e9 rozdiely s\u00fa\u010dasnej hav\u00e1rie od 404?<\/p>\n