{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Ali naj 'ugasimo' stre\u017enike, \u010de se 'pri\u017ege' dimni test podatkovnega centra?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Kaj bi \u010dutili, \u010de bi en dan poleti podatkovni center z va\u0161o opremo izgledal tako?<\/p>\n

\"Ali
\n
\nPozdravljeni vsi! Ime mi je Dmitrij Samsonov, delam kot vodilni sistemski administrator pri \"Odnoklassniki<\/a><\/noindex>\". Na fotografiji je eden od \u0161tirih podatkovnih centrov, kjer je name\u0161\u010dena oprema, ki podpira na\u0161 projekt. Za temi stenami se nahaja okoli 4.000 enot opreme: stre\u017eniki, sistemi za shranjevanje podatkov, omre\u017ena oprema itd. \u2014 skoraj \u2153 celotne na\u0161e opreme.
\nVe\u010dina stre\u017enikov uporablja Linux. Imamo tudi nekaj deset stre\u017enikov na Windows (MS SQL) \u2014 na\u0161e dedi\u0161\u010dine, katere se \u017ee vrsto let postopoma odrekamo.
\nTorej, 5. junija 2019 ob 14:35 je in\u017eenir enega na\u0161ih podatkovnih centrov poro\u010dal o po\u017earni alarm.
\n<\/a><\/noindex><\/p>\n

Zanikanje<\/h4>\n

\n14:45. Majhni incidenti z dimom v podatkovnih centrih se zgodijo pogosteje, kot se zdi. Kazalniki znotraj dvoran so bili v normalnih mejah, zato je bila na\u0161a prva reakcija razmeroma mirna: uvedli smo prepoved del na produkciji, torej na kakr\u0161ne koli spremembe konfiguracij, uvajanje novih razli\u010dic itd., razen del, povezanih s popravili.<\/p>\n

Jeza<\/h4>\n

\nSte se kdaj vpra\u0161ali, ali bi se lahko od gasilcev pozanimali, kje natan\u010dno na strehi je pri\u0161lo do po\u017eara, ali pa bi se sami povzpeli na gore\u010do streho, da bi ocenili situacijo? Kak\u0161na bi bila stopnja zaupanja v informacije, pridobljene skozi pet ljudi?<\/p>\n

14:50. Pojavila se je informacija, da se ogenj bli\u017ea sistemu za hlajenje<\/b>. Ali bo pri\u0161el do njega? De\u017eurni sistemski administrator preusmerja zunanji promet z front tega podatkovnega centra.<\/p>\n

Trenutno so vse na\u0161e storitve podvojene v treh podatkovnih centrih, uporablja se uravnote\u017eenje na ravni DNS, kar omogo\u010da odstranitev naslovov enega podatkovnega centra iz DNS, s \u010dimer uporabnike za\u0161\u010ditimo pred morebitnimi te\u017eavami z dostopom do storitev. V primeru, da so te\u017eave v podatkovnem centru \u017ee nastale, se ta samodejno umakne iz rotacije. Ve\u010d informacij lahko preberete tukaj: Uravnote\u017eenje obremenitve in odpornost na okvare v \"Odnoklassniki\".<\/a><\/noindex><\/p><\/blockquote>\n

\nPo\u017ear na nas zaenkrat ni vplival \u2014 ne uporabniki, ne oprema nista utrpela \u0161kode. Ali gre za nesre\u010do? Prvi razdelek dokumenta \"Na\u010drt ukrepov v primeru nesre\u010de\" opredeljuje pojem \"Nesre\u010da\", razdelek pa se kon\u010da takole:
\n\u00ab\u010ce obstajajo dvomi, ali gre za nesre\u010do ali ne, potem gre za nesre\u010do!<\/u>\u00bb<\/b><\/p>\n

14:53. Dodeljuje se koordinator hitnih situacija.<\/p>\n

Koordinator je osoba koja kontroli\u0161e komunikaciju izme\u0111u svih u\u010desnika, procenjuje obim nepogode, koristi \"Plan akcije u hitnim slu\u010dajevima\", anga\u017euje potreban osoblje, nadgleda zavr\u0161etak popravki, a najva\u017enije \u2014 delegira sve zadatke. Drugim re\u010dima, to je osoba koja upravlja celokupnim procesom re\u0161avanja problema.<\/p><\/blockquote>\n

<\/p>\n

Tr\u017ei\u0161te<\/h4>\n

\n15:01. Po\u010dinjemo isklju\u010divanje servera koji nisu vezani za produkciju.
\n15:03. Isklju\u010dujemo sve rezervisane servise na pravi na\u010din.
\nOvo uklju\u010duje ne samo frontove (na koje korisnici ve\u0107 ne ulaze) i njihove pomo\u0107ne servise (poslovna logika, ke\u0161iranja itd.), ve\u0107 i razli\u010dite baze podataka sa faktorom replikacije 2 ili vi\u0161e (Cassandra<\/a><\/noindex>, skladi\u0161te binarnih podataka<\/a><\/noindex>, hladno skladi\u0161te<\/a><\/noindex>, NewSQL<\/a><\/noindex> i druge).
\n15:06. Primljene su informacije da po\u017ear preti jednoj od sala podatkovnog centra.<\/b> U toj sali nemamo opreme, ali to \u0161to po\u017ear mo\u017ee pre\u0107i sa krova na sale, zna\u010dajno menja situaciju.
\n(Kasnije se ispostavilo da fizi\u010dke pretnje za salu nije bilo, jer je hermeti\u010dki izolovana od krova. Pretnja je bila samo za sistem hla\u0111enja te sale.)
\n15:07. Dozvoljavamo izvr\u0161avanje komandi na serverima u ubrzanom re\u017eimu bez dodatnih provera (bez na\u0161eg omiljenog kalkulatora<\/a><\/noindex>).
\n15:08. Temperatura u salama je u granicama normale.
\n15:12. Zabele\u017een je porast temperature u salama.<\/b>
\n15:13. Vi\u0161e od polovine servera u podatkovnom centru je isklju\u010deno. Nastavljamo.
\n15:16. Doneta je odluka o isklju\u010denju sve opreme.
\n15:21. Po\u010dinjemo isklju\u010divanje napajanja na stateless serverima bez pravilnog isklju\u010divanja aplikacije i operativnog sistema.
\n15:23. Formira se grupa odgovornih za MS SQL (njih je malo, zavisnost servisa od njih nije velika, ali procedura obnavljanja funkcionalnosti traje du\u017ee i slo\u017eenija je nego, na primer, kod Cassandre).<\/p>\n

Depresija<\/h4>\n

\n15:25. Primljene su informacije o isklju\u010denju napajanja u \u010detiri sale od 16 (br. 6, 7, 8, 9).<\/b> U salama 7 i 8 se nalazi na\u0161a oprema. Jo\u0161 uvek nemamo informacije o dve na\u0161e sale (br. 1 i 3).
\nObi\u010dno se pri po\u017earima elektri\u010dna energija odmah isklju\u010duje, ali u ovom slu\u010daju, zahvaljuju\u0107i koordinisanom radu vatrogasaca i tehni\u010dkog osoblja podatkovnog centra, isklju\u010divanje nije bilo svuda i odmah, ve\u0107 po potrebi.
\n(Kasneje je bilo ugotovljeno, da napajanje v dvoranah 8 in 9 ni bilo izklju\u010deno.)
\n15:28. Za\u010dnemo z obnavljanjem MS SQL baz iz varnostnih kopij v drugih podatkovnih centrih.
\nKoliko \u010dasa bo to trajalo? Ali bo dovolj pasovne \u0161irine na celotni poti?
\n15:37. Zaznana so bila izklopi nekaterih delov omre\u017eja.<\/b>
\nUpravljanje in produkcijska omre\u017eja sta fizi\u010dno izolirana drug od drugega. \u010ce je produkcijska omre\u017eje dostopna, lahko dostopate do stre\u017enika, ustavite aplikacijo in izklopite OS. \u010ce pa ni dostopna, lahko dostopate prek IPMI, ustavite aplikacijo in izklopite OS. \u010ce sta obe omre\u017eji nedostopni, ne morete storiti ni\u010desar. 'Hvala, kapitan!', pomislite.
\nMorda si mislite: 'Tudi dobro, preve\u010d zmede.'
\nDejstvo je, da stre\u017eniki tudi brez po\u017eara generirajo ogromno toplote. Natan\u010dneje, ko imajo hlajenje, ustvarjajo toploto, in ko nimajo, ustvarjajo peklensko vro\u010dino, ki v najbolj\u0161em primeru stopi del opreme in izklopi druge dele, v najslab\u0161em primeru pa\u2026 povzro\u010di po\u017ear v dvorani, ki skoraj zagotovo uni\u010di vse.<\/p>\n

\"Ali
\n
\n15:39. Zaznali smo te\u017eave z bazo conf.<\/p>\n

Baza conf je backend za istoimensko storitev, ki jo uporabljajo vse aplikacije produkcije za hitro spremembo nastavitev. Brez te baze ne moremo upravljati dela portala, vendar pa sam portal lahko deluje.<\/p><\/blockquote>\n

\n15:41. Temperaturni senzorji na omre\u017eni opremi Core bele\u017eijo podatke, blizu najvi\u0161jih dovoljenih vrednosti. To je naprava, ki zaseda celoten \u0161tevec in zagotavlja delovanje vseh omre\u017eij znotraj podatkovnega centra.<\/p>\n

\"Ali
\n
\n15:42. Issue tracker in wiki nista na voljo, preklapljamo na standby.
\nTo ni produkcija, vendar je v primeru okvare dostopnost katere koli bazo znanja lahko klju\u010dnega pomena.
\n15:50. Ena od sistemov za nadzor se je izklju\u010dila.
\nJe ve\u010d njih, in odgovarjajo za razli\u010dne vidike delovanja storitev. Del njih je nastavljen na samostojno delovanje znotraj vsakega podatkovnega centra (tj. nadzorujejo samo svoj podatkovni center), drugi pa so sestavljeni iz razpr\u0161enih komponent, ki brez te\u017eav prenesejo izgubo katerega koli podatkovnega centra.
\nV tem primeru je prenehal delovati sistem za odkrivanje anomalij poslovne logike<\/a><\/noindex>, ki deluje v na\u010dinu master-standby. Preklopili smo na standby.<\/p>\n

Sprejemanje<\/h4>\n

\n15:51. Prek IPMI smo izklopili vse stre\u017enike brez pravilnega zaklju\u010dka dela, razen MS SQL.
\nSte pripravljeni na mno\u017ei\u010dno upravljanje stre\u017enikov preko IPMI, \u010de bo to potrebno?<\/p>\n

Ta trenutek, ko je re\u0161evanje opreme v podatkovnem centru na tej to\u010dki zaklju\u010deno. Vse, kar je bilo mogo\u010de storiti, je bilo storjeno. Nekateri kolegi si lahko privo\u0161\u010dijo po\u010ditek.<\/i>
\n16:13. Prejeli smo informacije, da so se na strehi po\u0161kodovale cevi za freon iz klimatskih naprav - to bo odlo\u017eilo zagon podatkovnega centra po ga\u0161enju po\u017eara.<\/b>
\n16:19. Na podlagi podatkov, prejetih od tehni\u010dnega osebja podatkovnega centra, se je prenehalo zvi\u0161evati temperatura v dvoranah.
\n17:10. Obnovili smo delovanje baze conf. Zdaj lahko spremenimo nastavitve aplikacij.
\nZakaj je to tako pomembno, \u010de je vse odporno na okvare in deluje celo brez enega podatkovnega centra?
\nPrvi\u010d, ni vse odporno na okvare. Obstajajo razli\u010dne sekundarne storitve, ki trenutno ne pre\u017eivijo okvare podatkovnega centra dovolj dobro, in so baze v na\u010dinu master-standby. Mo\u017enost upravljanja nastavitev omogo\u010da, da se vse potrebno stori, da se tudi v te\u017ekih razmerah minimizira vpliv posledic okvare na uporabnike.
\nDrugi\u010d, postalo je jasno, da v prihodnjih urah delo podatkovnega centra ne bo popolnoma obnovljeno, zato je bilo treba sprejeti ukrepe, da dolgotrajna nedostopnost replik ne privede do dodatnih te\u017eav, kot je prenapolnitev diskov v preostalih podatkovnih centrih.
\n17:29. \u010cas za pico! Imamo ljudi, ne robote.<\/p>\n

\"Ali
\n<\/p>\n

Rehabilitacija<\/h4>\n

\n18:02. V dvoranah \u0161t. 8 (na\u0161a), 9, 10 in 11 se je temperatura stabilizirala. V eni izmed dvoran, ki so \u0161e vedno izklopljene (\u0161t. 7), se nahaja na\u0161a oprema, temperatura pa tam \u0161e naprej nara\u0161\u010da.
\n18:31. Dali smo zeleno lu\u010d za zagon opreme v dvoranah \u0161t. 1 in 3 - te dvorane po\u017ear ni prizadel.<\/p>\n

Trenutno se za\u010denja zagon stre\u017enikov v dvoranah \u0161t. 1, 3, 8, in sicer z najbolj kriti\u010dnimi. Preverja se pravilnost delovanja vseh zagnanih storitev. \u0160e vedno so te\u017eave z dvorano \u0161t. 7.<\/i><\/p>\n

18:44. Tehni\u010dno osebje podatkovnega centra je ugotovilo, da v dvorani \u0161t. 7 (kjer stoji le na\u0161a oprema) \u0161tevilni stre\u017eniki niso izklopljeni. Po na\u0161ih podatkih tam ostaja vklopljenih 26 stre\u017enikov. Po ponovnem preverjanju ugotovimo 58 stre\u017enikov.
\n20:18. Tehni\u010dno osebje podatkovnega centra prezra\u010duje zrak v dvorani brez klimatskih naprav skozi mobilne zra\u010dne cevi, postavljene skozi hodnike.
\n23:08. Prvi administrator je oti\u0161ao ku\u0107i. Netko mora no\u0107as spavati kako bi sutra nastavili s radovima. Dalje otpustimo jo\u0161 nekoliko administratora i programera.
\n02:56. Pokrenuli smo sve \u0161to se moglo pokrenuti. Provodimo veliku provjeru svih usluga automatskim testovima.<\/p>\n

\"Ali
\n
\n03:02. Klimatizacija u posljednjoj, 7. sali je obnovljena.
\n03:36. Aktivirani su ispravci u data centru u DNS rotaciji. Od ovog trenutka po\u010dinje dolaziti korisni\u010dki promet.
\nOpu\u0161tamo ve\u0107i dio tima administratora da idu ku\u0107i. Ali nekoliko osoba ostavljamo.<\/p>\n

Mali FAQ:
\nQ: \u0160to se doga\u0111alo od 18:31 do 02:56?
\nA: Slijede\u0107i \"Plan djelovanja u slu\u010daju nesre\u0107e\", pokre\u0107emo sve usluge, po\u010dev\u0161i od najva\u017enijih. U tom trenutku koordinator u chatu dodjeljuje uslugu slobodnom administratoru, koji provjerava jesu li OS i aplikacija pokrenuti, nema li gre\u0161aka, jesu li pokazatelji u normi. Nakon zavr\u0161etka pokretanja javlja u chat da je slobodan i dobiva novu uslugu od koordinatora.
\nProces dodatno usporavaju neispravni hardver. \u010cak i ako su zaustavljanje OS-a i isklju\u010divanje servera pro\u0161li ispravno, neki serveri se ne vra\u0107aju zbog iznenadne gre\u0161ke diskova, memorije, \u0161asije. U slu\u010daju gubitka elektri\u010dne energije, postotak gre\u0161aka se pove\u0107ava.
\nQ: Za\u0161to ne mo\u017eemo jednostavno pokrenuti sve odjednom, a zatim popraviti ono \u0161to se pojavi u nadzoru?
\nA: Sve treba raditi postupno, jer izme\u0111u usluga postoje zavisnosti. A sve treba provjeravati odmah, ne \u010dekaju\u0107i nadzor \u2014 jer se s problemima bolje nositi odmah, ne \u010dekaju\u0107i njihovo pogor\u0161anje.<\/p><\/blockquote>\n

\n7:40. Posljednji administrator (koordinator) oti\u0161ao je spavati. Radovi prvog dana su zavr\u0161eni.
\n8:09. Prvi programeri, in\u017eenjeri u data centrima i administratori (uklju\u010duju\u0107i novog koordinatora) zapo\u010deli su s obnoviteljskim radovima.
\n09:37. Zapo\u010deli smo podizanje sale br. 7 (posljednja).
\nParalelno nastavljamo s obnavljanjem onoga \u0161to nismo dovr\u0161ili u drugim salama: zamjena diskova\/memorije\/servera, popravak svega \u0161to \"gori\" u nadzoru, povratno prebacivanje uloga u shemama master-standby i ostali sitni poslovi koji su ipak prili\u010dno brojni.
\n17:08. Odobravamo sve redovne radove s produkcijom.
\n21:45. Radovi drugog dana su zavr\u0161eni.
\n09:45. Danes je petek. V monitoringu je \u0161e vedno veliko manj\u0161ih te\u017eav. Pred nami so vikendi in vsi si \u017eelimo po\u010ditka. Nadaljujemo z mno\u017ei\u010dnim odpravljanjem napak. Obi\u010dajne administrativne naloge, ki smo jih lahko odlo\u017eili, so bile odlo\u017eene. Novi koordinator je tukaj.
\n15:40. Nenadoma se je ponovno zagnalo polovico omre\u017ene infrastrukture Core v DRUGEM podatkovnem centru. Fronte smo odstranili iz rotacije, da bi zmanj\u0161ali tveganja. Uporabniki niso opazili te\u017eav. Kasneje se je izkazalo, da je \u0161lo za okvarjeno ogrodje. Koordinator se ukvarja z odpravo te\u017eav hkrati v dveh incidentih.
\n17:17. Delovanje omre\u017eja v drugem podatkovnem centru je bilo obnovljeno, vse je preverjeno. Podatkovni center je bil vklju\u010den v rotacijo.
\n18:29. Delo tretjega dne in splo\u0161no okrevanje po incidentu je zaklju\u010deno.<\/p>\n

Zadnja misel<\/h4>\n

\n04.04.2013, na dan 404 napake<\/a><\/noindex>, \u201eOdnoklassniki\u201c so do\u017eiveli najve\u010dji incident<\/a><\/noindex> \u2014v treh dneh je bil portal popolnoma ali delno nedostopen. Vse to obdobje je ve\u010d kot 100 ljudi iz razli\u010dnih mest, iz razli\u010dnih podjetij (\u0161e enkrat hvala!), na daljavo in neposredno v podatkovnih centrih, ro\u010dno in avtomatsko odpravilo tiso\u010de stre\u017enikov.
\nImeli smo spoznanja. Da se to ne ponovi, smo izvedli in \u0161e vedno izvajamo obse\u017ene ukrepe.<\/p>\n

Kak\u0161ne so glavne razlike med trenutnim incidentom in 404?<\/p>\n