Kas servereid 'tuleks kustutada', kui andmekeskuse suitsutesti ajal 'tule süttib'?

Kuidas tunnete end, kui ühel kaunil suvepäeval näeb teie seadmete andmekeskus välja just nii?

Tere kõigile! Minu nimi on Dmitri Samsonov, olen peamine süsteemiadministraator firmast „Odnoklassniki“. Fotol on üks neljast andmekeskusest, kus on paigaldatud seadmed, mis teenindavad meie projekti. Nende seinte taga on umbes 4000 seadmeühikut: serverid, andmesalvestussüsteem, võrguseadmed jne — peaaegu ⅓ kogu meie varustusest.
Enamik serveritest on Linuxil. On ka mõned tosina serverit Windowsis (MS SQL) — meie pärand, millest oleme aastaid järk-järgult loobunud.
Nii et 5. juuni 2019 kell 14:35 teatas ühe meie andmekeskuse inseneridest tulekahjuhoiatust.

Tõrjumine

14:45. Väikesed suitsu- ja tulekahjuõnnetused andmekeskustes juhtuvad sagedamini, kui tundub. Tegurid saalides olid normaalsed, seetõttu oli meie esialgne reaktsioon suhteliselt rahulik: keelasime kõik muudatused tootmises, see tähendab kõik konfiguratsiooni muudatused, uute versioonide väljalaskmised jne, välja arvatud tööd, mis on seotud millegi parandamisega.

Viha

Kas olete kunagi proovinud selgitada päästetöötajatelt, kus täpselt katusel tuli puhkes, või ise katusele pääseda, et olukorda hinnata? Kui usaldusväärne on teave, mille olete saanud viie inimese kaudu?

14:50. Saime teate, et tuli läheneb jahutussüsteemile.. Kuid kas see tõepoolest jõuab sinna? Hädaolukorraga tegelev süsteemiadministraator suunab välise liikluse välja selle andmekeskuse frontidest.

Käesoleval hetkel on kõigi meie teenuste front loodud kolmes andmekeskuses ning kasutatakse DNS tasemel koormuse tasakaalustamist, mis võimaldab eemaldada ühe andmekeskuse aadresse DNS-ist, kaitstes seega kasutajaid potentsiaalsete probleemide eest teenuste ligipääsul. Kui andmekeskuses on juba probleemid tekkinud, väljub see automaatselt rotatsioonist. Üksikasjalikumat teavet saab lugeda siit: Koormuse tasakaalustamine ja rikke tolerantilisus "OkClassmates".

Tuli ei ole meid seni mõjutanud — ei kasutajad ega seadmed ei ole kahjustatud. Kas see on hädaolukord? Dokumendi "Kriisi tegevuskava" esimene osa annab mõiste "Hädaolukord" kohta määratluse, ning lõpeb see osa järgmisega:
«Kui on kahtlusi, õnnetus või mitte, siis see on õnnetus!»

14:53. Määratakse õnnetuse koordinaator.

Koordinaator on inimene, kes kontrollib kommunikatsiooni kõigi osaliste vahel, hindab õnnetuse ulatust, rakendab 'Õnnetusplaani', kaasab vajaliku personali, jälgib remondi lõpetamist, ja kõige olulisem — delegeerib kõik ülesanded. Teisisõnu, see on inimene, kes haldab kogu õnnetuse likvideerimise protsessi.

Hange

15:01. Alustame serverite väljalülitamist, mis ei ole seotud tootmisega.
15:03. Lülitame välja kõik reserveeritud teenused õigesti.
Siia kuuluvad mitte ainult frontid (kuhu sel ajal kasutajad enam ei pääse) ja nende abiteenused (äri loogika, vahemälud jne), vaid ka erinevad andmebaasid, mille replikeerimisfaktor on 2 või rohkem (Cassandra, binaarandmete hoidla, külmhoidla, NewSQL jne.).
15:06. Saime teavet, et tuleoht ähvardab ühte andmekeskuse saali. Selles saalis ei ole meil seadmeid, kuid see, et tuli võib katuselt saalidele üle kanduda, muudab toimuvat oluliselt.
(Hiljem selgus, et saalis ei olnud füüsilist ohtu, kuna see oli katuse ja seina vahel hermeetiliselt isoleeritud. Oht oli ainult selle saali jahutussüsteemile.)
15:07. Lubame käskude täitmise serverites kiirusrežiimis ilma lisakontrollideta (ilma meie lemmik kalkulaatorita).
15:08. Temperatuur saalides on normi piires.
15:12. On fikseeritud temperatuuri tõus saalides.
15:13. Rohkem kui pool serveritest andmekeskuses on väljas. Jätkame.
15:16. Otsus on tehtud kogu varustuse väljalülitamise kohta.
15:21. Alustame stateless serverite toite välja lülitamist ilma rakenduse ja operatsioonisüsteemi korrektse väljalülitamiseta.
15:23. Moodustatakse vastutav grupp MS SQL-i jaoks (neid on vähe, teenuste sõltuvus neist ei ole suur, kuid töövõime taastamise protseduur võtab rohkem aega ning on keerukam kui näiteks Cassandra puhul).

Depressioon

15:25. On saadud teavet nelja saali toite välja lülitamise kohta 16-st (nr 6, 7, 8, 9). 7. ja 8. saalis asub meie varustus. Veel kahe meie saali (nr 1 ja 3) kohta teavet ei ole.
Tavaliselt katkestavad elektritoite tulekahjude korral kohe, kuid antud juhul, tänu jõudude koordineeritud tööle päästjate ja andmekeskuse tehnilise personali vahel, ei katkestatud seda igal pool ja kohe, vaid vajadusel.
(Hiljem selgus, et toide saalides 8 ja 9 ei olnud välja lülitatud.)
15:28. Alustame MS SQL andmebaaside taastamist varukoopiatest teistes andmekeskustes.
Kui kaua see aega võtab? Kas kogu marsruudil on piisavalt ribalaiust?
15:37. Mõnede võrgupiirkondade katkestamine on fikseeritud.
Juhtimine ja tootmisvõrk on teineteisest füüsiliselt isoleeritud. Kui tootmisvõrk on saadaval, võite serverisse siseneda, rakenduse peatada ja operatsioonisüsteemi välja lülitada. Kui see ei ole saadaval, saab siseneda läbi IPMI, peatada rakenduse ja operatsioonisüsteemi välja lülitada. Kui ühtegi võrku ei ole, ei saa te midagi teha. 'Aitäh, kapten!' — mõtleksite te.
'Ja üldiselt, kuidagi palju sagimist,' — võiksite samuti mõelda.
Asi on selles, et serverid genereerivad isegi ilma tulekahjuta tohutut hulka soojust. Täpsemalt, kui jahutus on olemas, genereerivad nad soojust, ja kui seda ei ole, siis nad tekitavad põrguliku kuumuse, mis kõige paremal juhul sulatab osa seadmetest ja välja lülitab teisi, kõige halvemal juhul... põhjustab tulekahju saalis, mis praktiliselt garanteeritult hävitab kõik.

15:39. Fikseerime probleeme conf andmebaasiga.

Conf andmebaas on tagaplaan teenus, mida kasutavad kõik tootmistegevused seadete operatiivseks muutmiseks. Ilma selle andmebaasita ei saa me portaali toimimist juhtida, ent portaal ise võib siiski töötada.

15:41. Temperatuuriandurid Core võrguseadmetes registreerivad näidud, mis on lähedased lubatud piiridele. See on karp, mis hõivab terve rack'i ja tagab kõigi võrke toimimise andmekeskuses.

15:42. Probleemide jälgija ja wiki ei ole saadaval, vahetame standby'le.
See ei ole tootmistegevus, kuid mis tahes teadmusbaasi kätte saamine avarii korral võib olla kriitiline.
15:50. Üks jälgimissüsteemidest lülitus välja.
Neid on mitmeid ja need vastutavad teenuste erinevate aspektide eest. Osad neist on seadistatud töötama iseseisvalt igas andmekeskuses (st nad jälgivad ainult oma andmekeskust), teised koosnevad jaotatud komponentidest, mis suudavad sujuvalt taluda igasugust andmekeskuse kaotust.
Sel juhul lakkas töö Äriloogika anomaaliate tuvastamise süsteem, mis töötab master-standby režiimis. Läksime üle standby-le.

Kinnitus

15:51. IPMI kaudu lülitati välja kõik serverid, välja arvatud MS SQL, ilma korrektse lõpetamiseta.
Kas olete valmis serverite massiliseks haldamiseks IPMI kaudu vajadusel?

See on hetk, mil andmekeskuse varustuse päästmine on sellel etapil lõpetatud. Kõik, mis oli võimalik teha, on tehtud. Mõned kolleegid võivad puhata.
16:13. Saime teavet, et katusele on lõhkenud konditsioneeride freoonitorud — see lükkab andmekeskuse käivitamise edasi pärast tulekahju likvideerimist.
16:19. Andmekeskuse tehnilise personali andmetel on saalidesse temperatuuri tõus peatunud.
17:10. Taastasime conf andmebaasi töö. Nüüd saame rakenduste seadeid muuta.
Miks see on nii oluline, kui kõik on talitlushäirekindel ja töötab isegi ilma ühe andmekeskuseta?
Esiteks, mitte kõik ei ole talitlushäirekindel. On mitmeid teisi teenuseid, mis ei talu andmekeskuse talitlushäiret piisavalt hästi, samuti on olemas andmebaasid master-standby režiimis. Seadistuste haldamise võimalused võimaldavad teha kõik vajalik, et ka keerulistes tingimustes minimeerida avarii tagajärgede mõju kasutajatele.
Teiseks, on selge, et järgmiste tundide jooksul andmekeskuse töö ei taastu täielikult, mistõttu tuli astuda samme, et püsivate koopiate pikaajaline kättesaamatus ei tooks kaasa täiendavaid ebameeldivusi, näiteks kettamahutite ületäitumist jäänud andmekeskustes.
17:29. Pitsaa aeg! Meil töötavad inimesed, mitte robotid.

Rehabilitatsioon

18:02. Saalides nr 8 (meie), 9, 10 ja 11 stabiliseerus temperatuur. Ühes neist, mis jäävad välja lülitatud (nr 7), asub meie varustus ja seal temperatuur jätkab tõusmist.
18:31. Saime nõusoleku seadmete käivitamiseks saalides nr 1 ja 3 — need saalid ei saanud tulekahjus kahjustada.

Praegu käivad serverite käivitamise tööd saalides nr 1, 3 ja 8, alustades kõige kriitilisematest. Kontrollime kõigi tööle pandud teenuste korrektset toimimist. Saalis nr 7 on endiselt probleeme.

18:44. Andmekeskuse tehniline personal avastas, et saalis nr 7 (kus asub ainult meie varustus) on paljud serverid välja lülitamata. Meie andmetel on seal endiselt sisse lülitatud 26 serverit. Uue kontrollimise järel leidsime 58 serverit.
20:18. Andmekeskuse tehniline personal puhub saalis, kus ei ole konditsioneere, õhku läbi koridoride paigaldatud mobiilsete õhukanalite.
23:08. Esimene administraator saadeti koju. Keegi peab öösel puhkama, et homme tööd jätkata. Edasi saadame veel osa administraatoreid ja arendajaid.
02:56. Käivitasime kõik, mis oli võimalik käivitada. Teeme kõigi teenuste ulatusliku kontrolli automaattestidega.

03:02. Viimases, 7. saalis on konditsioneering taastatud.
03:36. Seadsime andmekeskuse frontid DNS-i rotatsiooni. Alates sellest hetkest hakkab saabuma kasutajate liiklus.
Saadame suurema osa administraatorite meeskonnast koju. Kuid mõned inimesed jäävad.

Väike KKK:
K: Mis juhtus ajavahemikus 18:31 kuni 02:56?
V: Vastavalt „Hädaolukorra tegevuskavale“ käivitame kõik teenused, alustades kõige olulisematest. Koordinaator vestluses määrab teenuse vabale administraatorile, kes kontrollib, kas operatsioonisüsteem ja rakendus on käivitatud, kas vigu esineb ja kas näitajad on normaalsed. Pärast käivitamise lõpetamist teatab ta vestluses, et on vaba, ja saab koordinaatorilt uue teenuse.
Protsessi aeglustab ka defektsed riistvarakomponendid. Isegi kui operatsioonisüsteemi seiskamine ja serverite väljalülitamine toimusid korrektselt, ei pruugi osa serveritest tagasi tulla äkitselt defektsest kettast, mälust või šassiist. Elektri katkestamise korral suureneb rikete protsent.
K: Miks ei saa lihtsalt kõike korraga käivitada ja pärast parandada, mis jälgimisel välja tuleb?
V: Kõike peab tegema järk-järgult, sest teenuste vahel on sõltuvused. Kõike tuleb kontrollida kohe, ootamata jälgimist — probleemidega on parem tegeleda kohe, et mitte oodata nende süvenemist.

7:40. Viimane admin (koordinaator) läks magama. Esimese päeva töö on lõpetatud.
8:09. Esimene arendaja, andmekeskuste insenerid ja administraatorid (sh uus koordinaator) alustasid taastamistöid.
09:37. Alustati saali nr 7 (viimase) tõstmist.
Samaaegselt jätkame taastamistöid, mida ei ole muudatuste käigus lõpetatud teistes saalides: ketaste/mälu/serverite vahetus, kõikide probleemide lahendamine, mis „põlevad” jälgimises, rollide tagasipööramine master-standby schemas ja muud väiksemad asjad, mida siiski on piisavalt palju.
17:08. Luba kõik regulaarset tööd tootmises.
21:45. Teise päeva tööd on lõpetatud.
09:45. Täna on reede. Jälgimises on ikka veel palju väikeseid probleeme. Ees on nädalavahetus, kõik tahavad puhata. Jätkame massiliselt kõike, mida on võimalik parandada. Regulaarsed administreerimise ülesanded, mida oli võimalik edasi lükata, on edasi lükatud. Uus koordinaator.
15:40. Üllatuslikult restartis pool Core võrgu seadmete virnast teises andmekeskuses. Vähenes riskide minimeerimiseks esiseinte rotatsioon. Kasutajatele ei ole mõju. Hiljem selgus, et see oli defektne šassii. Koordinaator tegeleb kohe kahe rikke parandamisega.
17:17. Tegevus teises andmekeskuses on taastatud, kõik on kontrollitud. Andmekeskus on ringlusse võetud.
18:29. Kolmanda päeva tööd ja üldiselt pärast hädaolukorda taastamine on lõpetatud.

Järelsõna

04.04.2013, 404. vea päeval, «Одноклассники» kogenud kõige suuremat hädat — kolme päeva jooksul oli portaal täielikult või osaliselt kättesaamatu. Kogu selle aja jooksul aitasid üle 100 inimese erinevatest linnadest ja erinevatest ettevõtetest (veel kord suur tänu!), kes töötasid kaugelt ja otseselt andmekeskustes, käsitsi ja automaatsete süsteemide kaudu tuhandete serverite parandamisel.
Oleme teinud järeldused. Et selline ei korduks, oleme viinud läbi ja jätkame ulatuslikke töid.

Millised on peamised erinevused nüüdse häda ja 404 vahel?

• Meil on ilmnenud „Hädaolukorra tegevusplaan“. Iga kvartal korraldame harjutusi - simuleerime hädaolukorda, mille grupi administraatorid (kõik vaheldumisi) peavad kõrvaldama, kasutades „Hädaolukorra tegevusplaani“. Peamised süsteemiadministraatorid harjutavad vaheldumisi koordinaatori rolli.
• Iga veerandi jooksul katsetame, isolerides andmekeskusi (kõiki järgemööda) LAN ja WAN võrgus, mis võimaldab õigeaegselt tuvastada kitsaskohti.
• Vähem riknenud kettaid, kuna oleme karmistanud norme: vähem töötunde ja rangemad S.M.A.R.T. lävendi väärtused.
• Oleme täielikult loobunud BerkeleyDB-st — vanast ja ebastabiilsest andmebaasist, mille taastamine serveri taaskäivitusel võttis palju aega.
• Oleme vähendanud MS SQL serverite arvu ja vähendanud sõltuvust allesjäänud serveritest.
• Meil on oma pilv — one-cloud, kuhu oleme juba kaks aastat aktiivselt migreerinud kõik teenused. Pilv lihtsustab oluliselt rakendusega töötamise kogu tsüklit ja annab hädade korral sellised unikaalsed tööriistad nagu:
  • kõigi rakenduste õigeaegne peatamine ühe klikiga;
  • rakenduste lihtne migreerimine rikkis serveritest;
  • automaatne prioriteedijärjekorras (teenuste järgi) kogu andmekeskuse käivitamine.

Artiklis kirjeldatud äpardus oli suurim alates 404. päevast. Loomulikult ei läinud kõik plaanipäraselt. Näiteks, kui tulekahjuga andmekeskus oli kergesti kätte saadav, ebaõnnestus teises andmekeskuses üks ketas ühel serveril, mistõttu jäi ligipääsetavaks vaid üks kolmest replikast Cassandra-klastris, mille tõttu ei saanud 4,2% mobiilirakenduste kasutajatest sisse logida. Samas jätkasid juba ühendatud kasutajad tööd. Kokku avastati avarii tulemusel rohkem kui 30 probleemi — alates lihtsatest vigadest kuni teenuste arhitektuuri puudusteni.

Kuid kõige olulisem erinevus praeguse äparduse ja 404. vahel on see, et seni kui me kustutasime tulekahju tagajärgi, suheldes ja tehes videokõnesid, Tamtam, mängisime mänge, kuulasime muusikat, kinkisime üksteisele kingitusi, vaatasime videosid, sarju ja telekanaleid, OK, samuti striimisin OK Live.

Kuidas saavad teie äpardused mööduda?

Allikas: habr.com