{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Da li uga\u0161iti servere ako je \"izbio\" smoke test u data centru?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u0160to biste osje\u0107ali ako bi jednog lijepog ljetnog dana podatkovni centar s va\u0161om opremom izgledao ovako?<\/p>\n

\"Da
\n
\nPozdrav svima! Zovem se Dmitrij Samsonov, radim kao glavni sustavni administrator u \u201eOdnoklassniki<\/a><\/noindex>\u201c Na fotografiji je jedan od \u010detiri podatkovna centra gdje je smje\u0161tena oprema koja podr\u017eava na\u0161 projekt. Iza tih zidova nalazi se oko 4 tisu\u0107e jedinica opreme: poslu\u017eitelji, sustav pohrane podataka, mre\u017ena oprema itd. \u2014 gotovo \u2153 na\u0161e opreme.
\nVe\u0107ina poslu\u017eitelja koristi Linux. Imamo i nekoliko desetaka poslu\u017eitelja na Windowsu (MS SQL) \u2014 na\u0161e naslije\u0111e, od kojeg se postepeno odri\u010demo ve\u0107 dugi niz godina.
\nDakle, 5. lipnja 2019. u 14:35 in\u017eenjeri jednog od na\u0161ih podatkovnih centara izvijestili su o po\u017earnoj uzbuni.
\n<\/a><\/noindex><\/p>\n

Poricanje<\/h4>\n

\n14:45. Sitni incidenti sa dimom u podatkovnim centrima doga\u0111aju se \u010de\u0161\u0107e nego \u0161to se \u010dini. Parametri unutar dvorana bili su normalni, stoga je na\u0161a prva reakcija bila relativno mirna: uveli smo zabranu rada s produkcijom, to jest na sve izmjene konfiguracija, implementaciju novih verzija itd., osim radova povezanih s popravkom ne\u010dega.<\/p>\n

Bijes<\/h4>\n

\nJeste li ikad poku\u0161ali pitati vatrogasce gdje se to\u010dno na krov dogodio po\u017ear, ili ste sami poku\u0161ali do\u0107i na gori krov da biste procijenili situaciju? Koliko \u0107e biti povjerenja u informacije dobivene kroz pet osoba?<\/p>\n

14:50. Stigla je informacija da se vatra pribli\u017eava sustavu hla\u0111enja<\/b>. No, ho\u0107e li do\u0107i do njega? De\u017eurni sustavni administrator isklju\u010duje vanjski promet s frontova ovog podatkovnog centra.<\/p>\n

Trenutno su svi na\u0161i servisi duplicirani u tri podatkovna centra, koristi se balansiranje na razini DNS-a \u0161to omogu\u0107uje uklanjanje adresa jednog podatkovnog centra iz DNS-a, \u010dime se korisnici \u0161tite od potencijalnih problema s pristupom servisima. Ukoliko do problema u podatkovnom centru do\u0111e, automatski izlazi iz rotacije. Vi\u0161e detalja mo\u017eete pro\u010ditati ovdje: Balansiranje optere\u0107enja i otpornost na kvarove u \u201eOdnoklassnicima\u201d.<\/a><\/noindex><\/p><\/blockquote>\n

\nNa nas po\u017ear za sada nije imao nikakav utjecaj \u2014 ni korisnici ni oprema nisu stradali. Je li to nesre\u0107a? Prvi dio dokumenta \u201ePlan djelovanja u slu\u010daju nesre\u0107e\u201d definira pojam \u201eNesre\u0107a\u201d, a zavr\u0161ava dio ovako:
\n\u00abAko postoji sumnja je li to nesre\u0107a ili nije, onda je to nesre\u0107a!<\/u>\u00bb<\/b><\/p>\n

14:53. Imenuje se koordinator za hitne situacije.<\/p>\n

Koordinator je osoba koja kontrolira komunikaciju izme\u0111u svih sudionika, procjenjuje razmjere hitne situacije, koristi \"Plan djelovanja u hitnim situacijama\", anga\u017eira potrebni osoblje, nadzire zavr\u0161etak popravka, a najva\u017enije \u2014 delegira sve zadatke. Drugim rije\u010dima, to je osoba koja upravlja cijelim procesom otklanjanja hitne situacije.<\/p><\/blockquote>\n

<\/p>\n

Ponu\u0111eno<\/h4>\n

\n15:01. Po\u010dinjem isklju\u010divati servere koji nisu povezani s produkcijom.
\n15:03. Isklju\u010dujemo sve rezervirane servise na pravilan na\u010din.
\nOvdje ne spadaju samo frontovi (na koje u ovom trenutku korisnici ve\u0107 ne ulaze) i njihovi pomo\u0107ni servisi (poslovna logika, ke\u0161iranje itd.), ve\u0107 i razne baze podataka s faktorom replikacije 2 i vi\u0161e (Cassandra<\/a><\/noindex>, pohrana binarnih podataka<\/a><\/noindex>, hladna pohrana<\/a><\/noindex>, NewSQL<\/a><\/noindex> i drugi).
\n15:06. Primljene su informacije da po\u017ear prijeti jednoj od dvorana data centra.<\/b> U toj dvorani nemamo opreme, ali \u0161to se vatra mo\u017ee prenijeti s krova, na dvorane, zna\u010dajno mijenja situaciju.
\n(Kasnije se ispostavilo da fizi\u010dke prijetnje za dvoranu nije bilo, jer je ona hermeti\u010dki izolirana od krova. Prijetnja je postojala samo za sustav hla\u0111enja te dvorane.)
\n15:07. Odobravamo izvr\u0161avanje komandi na serverima u ubrzanom re\u017eimu bez dodatnih provjera (bez na\u0161eg omiljenog kalkulatora<\/a><\/noindex>).
\n15:08. Temperatura u dvoranama je unutar normale.
\n15:12. Zabilje\u017een je porast temperature u dvoranama.<\/b>
\n15:13. Vi\u0161e od polovice servera u data centru je isklju\u010deno. Nastavljamo.
\n15:16. Donijeta je odluka o isklju\u010divanju cijele opreme.
\n15:21. Po\u010dinjem isklju\u010divati napajanje na stateless serverima bez pravilnog ga\u0161enja aplikacije i operacijskog sustava.
\n15:23. Odre\u0111ena je grupa odgovornih za MS SQL (njih je malo, ovisnost usluga o njima nije velika, ali postupak obnavljanja funkcionalnosti traje du\u017ee i slo\u017eeniji je nego, na primjer, kod Cassandre).<\/p>\n

Depresija<\/h4>\n

\n15:25. Primljene su informacije o isklju\u010denju napajanja u \u010detiri dvorane od 16 (br. 6, 7, 8, 9).<\/b> U 7. i 8. dvorani nalaze se na\u0161i ure\u0111aji. Jo\u0161 nemamo informacija o dvije na\u0161e dvorane (br. 1 i 3).
\nObi\u010dno se prilikom po\u017eara odmah isklju\u010duje elektri\u010dno napajanje, ali u ovom slu\u010daju, zahvaljuju\u0107i koordiniranom radu vatrogasaca i tehni\u010dkog osoblja data centra, nije se isklju\u010divalo svugdje i odmah, ve\u0107 prema potrebi.
\n(Kasnije se ispostavilo da napajanje u dvoranama 8 i 9 nije isklju\u010deno.)
\n15:28. Po\u010dinjemo s oporavkom MS SQL baza iz rezervnih kopija u drugim podatkovnim centrima.
\nKoliko vremena \u0107e to trajati? Ho\u0107e li propusnost mre\u017ee biti dovoljna kroz sve rute?
\n15:37. Zabilje\u017eeno isklju\u010denje nekih dijelova mre\u017ee.<\/b>
\nMenad\u017ement i produkcijska mre\u017ea su fizi\u010dki izolirani jedni od drugih. Ako je produkcijska mre\u017ea dostupna, mo\u017eete se prijaviti na server, zaustaviti aplikaciju i isklju\u010diti OS. Ako nije dostupna, mo\u017eete se prijaviti putem IPMI, zaustaviti aplikaciju i isklju\u010diti OS. Ako nijedna mre\u017ea nije dostupna, ne mo\u017eete ni\u0161ta u\u010diniti. \"Hvala, kapetane!\", pomislit \u0107ete.
\n\"I uop\u0107e, \u010dini se da je previ\u0161e pompa\", pomislit \u0107ete mo\u017eda tako\u0111er.
\n\u010cinjenica je da serveri, \u010dak i bez po\u017eara, generiraju ogromnu koli\u010dinu topline. To\u010dnije, kada postoji hla\u0111enje, oni generiraju toplinu, a kada ga nema, stvaraju pakleno vru\u0107inu koja \u0107e u najboljem slu\u010daju otopiti dio opreme i isklju\u010diti drugi dio, a u najgorem... uzrokovati po\u017ear unutar dvorane, koji gotovo zajam\u010deno uni\u0161tava sve.<\/p>\n

\"Da
\n
\n15:39. Zabilje\u017eavamo probleme s bazom conf.<\/p>\n

Baza conf je backend za istoimenu uslugu koja se koristi svim aplikacijama produkcije za trenutne promjene postavki. Bez ove baze ne mo\u017eemo upravljati radom portala, ali sam portal mo\u017ee raditi.<\/p><\/blockquote>\n

\n15:41. Temperaturni senzori na Core mre\u017enoj opremi zabilje\u017eavaju vrijednosti blizu maksimalno dopu\u0161tenih. To je kutija koja zauzima cijeli ormari\u0107 i osigurava rad svih mre\u017ea unutar podatkovnog centra.<\/p>\n

\"Da
\n
\n15:42. Issue tracker i wiki nisu dostupni, prelazimo na rezervno stanje.
\nOvo nije produkcija, ali u slu\u010daju nesre\u0107e dostupnost bilo koje baze znanja mo\u017ee biti kriti\u010dna.
\n15:50. Isklju\u010dio se jedan od sustava za nadzor.
\nIma ih nekoliko, i odgovorni su za razli\u010dite aspekte rada usluga. Dio njih je postavljen za autonomni rad unutar svakog podatkovnog centra (tj. nadziru samo svoj podatkovni centar), dok drugi sadr\u017ee distribuirane komponente koje bez problema podnose gubitak bilo kojeg podatkovnog centra.
\nU ovom slu\u010daju prestao je raditi sustav za otkrivanje anomalija poslovne logike<\/a><\/noindex>, koji radi u na\u010dinu master-standby. Prebacili smo se na rezervno stanje.<\/p>\n

Prihva\u0107anje<\/h4>\n

\n15:51. Putem IPMI isklju\u010deni su svi serveri bez pravilnog zavr\u0161etka rada, osim MS SQL.
\nJeste li spremni za masovno upravljanje poslu\u017eiteljima putem IPMI ako zatreba?<\/p>\n

Onaj trenutak kada je spa\u0161avanje opreme u podatkovnom centru na ovoj fazi zavr\u0161eno. Sve \u0161to se moglo u\u010diniti, u\u010dinjeno je. Neki kolege mogu odmoriti.<\/i>
\n16:13. Dohva\u0107ene su informacije da su se na krovu pokidale cijevi za freon iz klima ure\u0111aja - to \u0107e odgoditi otvaranje podatkovnog centra nakon ga\u0161enja po\u017eara.<\/b>
\n16:19. Prema podacima koje je dostavio tehni\u010dki osoblje podatkovnog centra, prestalo je pove\u0107anje temperature u dvoranama.
\n17:10. Obnovljen je rad baze conf. Sada mo\u017eemo promijeniti postavke aplikacija.
\nZa\u0161to je to toliko va\u017eno, ako je sve redundantno i radi i bez jednog podatkovnog centra?
\nPrvo, nije sve redundantno. Postoje razne sporedne usluge koje jo\u0161 uvijek ne pre\u017eivljavaju dobro neuspjeh podatkovnog centra, i postoje baze u re\u017eimu master-standby. Mogu\u0107nost upravljanja postavkama omogu\u0107ava poduzimanje svih potrebnih mjera kako bi se \u010dak i u te\u0161kim uvjetima minimalizirale posljedice nesre\u0107e na korisnike.
\nDrugo, postalo je jasno da se rad podatkovnog centra ne\u0107e potpuno obnoviti u sljede\u0107im satima, pa je bilo potrebno poduzeti mjere da dugotrajna nedostupnost replika ne dovede do dodatnih problema poput preoptere\u0107enja diskova u preostalim podatkovnim centrima.
\n17:29. Vrijeme za pizzu! Imamo ljude na poslu, a ne robote.<\/p>\n

\"Da
\n<\/p>\n

Rehabilitacija<\/h4>\n

\n18:02. U dvoranama br. 8 (na\u0161a), 9, 10 i 11 stabilizirala se temperatura. U jednoj od onih koje ostaju isklju\u010dene (br. 7) nalazi se na\u0161a oprema, a temperatura tamo nastavlja rasti.
\n18:31. Dali smo zeleno svjetlo za pokretanje opreme u dvoranama br. 1 i 3 - te dvorane po\u017ear nisu zahvatile.<\/p>\n

U ovom trenutku pokre\u0107u se poslu\u017eitelji u dvoranama br. 1, 3, 8, po\u010dev\u0161i od najkriti\u010dnijih. Provjerava se ispravnost rada svih pokrenutih usluga. I dalje postoje problemi s dvoranom br. 7.<\/i><\/p>\n

18:44. Tehni\u010dko osoblje podatkovnog centra otkrilo je da u dvorani br. 7 (gdje se nalazi samo na\u0161a oprema) mnogi poslu\u017eitelji nisu isklju\u010deni. Prema na\u0161im podacima, ostaje uklju\u010deno 26 poslu\u017eitelja. Nakon ponovne provjere otkrivamo 58 poslu\u017eitelja.
\n20:18. Tehni\u010dko osoblje podatkovnog centra provjetrava zrak u dvorani bez klima ure\u0111aja putem mobilnih zra\u010dnih kanala postavljenih kroz hodnike.
\n23:08. Pustili smo prvog administratora ku\u0107i. Netko mora no\u0107as spavati kako bi sutra nastavio s radom. Nakon toga pu\u0161tamo jo\u0161 dio administratora i developera.
\n02:56. Pokrenuli smo sve \u0161to je moglo biti pokrenuto. Izvr\u0161avamo veliku provjeru svih usluga automatskim testovima.<\/p>\n

\"Da
\n
\n03:02. Klimatizacija u posljednjoj, 7. dvorani je obnovljena.
\n03:36. Uklju\u010dili smo fronte u podatkovnom centru u rotaciju u DNS-u. Od ovog trenutka po\u010dinje dolaziti korisni\u010dki promet.
\nRaspustili smo ve\u0107inu tima administratora o ku\u0107i. Ali nekoliko ljudi zadr\u017eavamo.<\/p>\n

Mali FAQ:
\nP: \u0160to se doga\u0111alo od 18:31 do 02:56?
\nO: Slijede\u0107i \u201ePlan djelovanja u slu\u010daju nesre\u0107e\u201c, pokre\u0107emo sve usluge, po\u010dinjemo s najva\u017enijima. U me\u0111uvremenu, koordinator u chatu dodjeljuje uslugu slobodnom administratoru koji provjerava jesu li sustavi i aplikacije pokrenuti, nema li pogre\u0161aka, jesu li parametri u redu. Nakon zavr\u0161etka pokretanja javlja u chat da je slobodan i od koordinatora dobiva novu uslugu.
\nProces dodatno usporava kvareno ra\u010dunalo. \u010cak i ako je zaustavljanje sustava i isklju\u010divanje poslu\u017eitelja pro\u0161lo ispravno, neki poslu\u017eitelji se ne vra\u0107aju zbog iznenada kvara diskova, memorije, \u0161asije. U slu\u010daju gubitka napajanja postotak kvarova se pove\u0107ava.
\nP: Za\u0161to se ne mo\u017ee jednostavno sve pokrenuti odjednom, a zatim popraviti \u0161to se pojavi u nadzoru?
\nO: Sve treba raditi postupno, jer postoje ovisnosti izme\u0111u usluga. A sve treba provjeriti odmah, ne \u010dekaju\u0107i nadzor \u2014 jer je bolje rije\u0161iti probleme odmah, nego \u010dekati da se pogor\u0161aju.<\/p><\/blockquote>\n

\n7:40. Posljednji administrator (koordinator) oti\u0161ao je na spavanje. Radovi prvog dana zavr\u0161eni.
\n8:09. Prvi developeri, in\u017eenjeri u podatkovnim centrima i administratori (uklju\u010duju\u0107i novog koordinatora) zapo\u010deli su s obnoviteljskim radovima.
\n09:37. Zapo\u010deli smo s podizanjem dvorane br. 7 (posljednje).
\nParalelno nastavljamo obnavljati ono \u0161to nismo dovr\u0161ili u drugim dvoranama: zamjena diskova\/memorije\/poslu\u017eitelja, popravak svega \u0161to \u201egori\u201c u nadzoru, povratno prebacivanje uloge u shemama master-standby i drugi sitni detalji kojih, me\u0111utim, ima dovoljno.
\n17:08. Dozvoljavamo sve redovne radove s produkcijom.
\n21:45. Radovi drugog dana zavr\u0161eni.
\n09:45. Danas je petak. U monitoring sustavu i dalje ima mnogo malih problema. Ispred su vikendi, svima se \u017eeli odmoriti. Nastavljamo masovno popravljati sve \u0161to mo\u017eemo. Uobi\u010dajeni administratorski zadaci koji su se mogli odgoditi, odgo\u0111eni su. Novi koordinator.
\n15:40. Iznenada je restartana polovica Core mre\u017ene opreme u DRUGOM data centru. Iz rotacije su izba\u010deni frontovi radi minimiziranja rizika. Nema efekta za korisnike. Kasnije se ispostavilo da je to bilo neispravno \u0161asije. Koordinator radi na popravljanju odmah dvije havarije.
\n17:17. Rad mre\u017ee u drugom data centru je obnovljen, sve je provjereno. Data centar je vra\u0107en u rotaciju.
\n18:29. Radovi tre\u0107eg dana i op\u0107enito obnova nakon havarije su zavr\u0161eni.<\/p>\n

Epilog<\/h4>\n

\n04.04.2013. godine, na dan 404. gre\u0161ke<\/a><\/noindex>, \u201eOdnoKlassniki\u201c je do\u017eivio najve\u0107u havariju<\/a><\/noindex> \u2014 tijekom tri dana portal je bio potpuno ili djelomi\u010dno nedostupan. Tijekom cijelog tog vremena vi\u0161e od 100 ljudi iz raznih gradova, iz raznih tvrtki (jo\u0161 jednom hvala!), je daljinski i izravno u data centrima, ru\u010dno i automatski popravljalo tisu\u0107e poslu\u017eitelja.
\nIznijeli smo zaklju\u010dke. Kako se ovakvo ne\u0161to ne bi ponovilo, proveli smo i nastavljamo provoditi opse\u017ene radove.<\/p>\n

Koje su glavne razlike izme\u0111u trenutne havarije i 404?<\/p>\n