{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Kas servereid 'tuleks kustutada', kui andmekeskuse suitsutesti ajal 'tule s\u00fcttib'?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Kuidas tunnete end, kui \u00fchel kaunil suvep\u00e4eval n\u00e4eb teie seadmete andmekeskus v\u00e4lja just nii?<\/p>\n

\"Kas
\n
\nTere k\u00f5igile! Minu nimi on Dmitri Samsonov, olen peamine s\u00fcsteemiadministraator firmast \u201eOdnoklassniki<\/a><\/noindex>\u201c. Fotol on \u00fcks neljast andmekeskusest, kus on paigaldatud seadmed, mis teenindavad meie projekti. Nende seinte taga on umbes 4000 seadme\u00fchikut: serverid, andmesalvestuss\u00fcsteem, v\u00f5rguseadmed jne \u2014 peaaegu \u2153 kogu meie varustusest.
\nEnamik serveritest on Linuxil. On ka m\u00f5ned tosina serverit Windowsis (MS SQL) \u2014 meie p\u00e4rand, millest oleme aastaid j\u00e4rk-j\u00e4rgult loobunud.
\nNii et 5. juuni 2019 kell 14:35 teatas \u00fche meie andmekeskuse inseneridest tulekahjuhoiatust.
\n<\/a><\/noindex><\/p>\n

T\u00f5rjumine<\/h4>\n

\n14:45. V\u00e4ikesed suitsu- ja tulekahju\u00f5nnetused andmekeskustes juhtuvad sagedamini, kui tundub. Tegurid saalides olid normaalsed, seet\u00f5ttu oli meie esialgne reaktsioon suhteliselt rahulik: keelasime k\u00f5ik muudatused tootmises, see t\u00e4hendab k\u00f5ik konfiguratsiooni muudatused, uute versioonide v\u00e4ljalaskmised jne, v\u00e4lja arvatud t\u00f6\u00f6d, mis on seotud millegi parandamisega.<\/p>\n

Viha<\/h4>\n

\nKas olete kunagi proovinud selgitada p\u00e4\u00e4stet\u00f6\u00f6tajatelt, kus t\u00e4pselt katusel tuli puhkes, v\u00f5i ise katusele p\u00e4\u00e4seda, et olukorda hinnata? Kui usaldusv\u00e4\u00e4rne on teave, mille olete saanud viie inimese kaudu?<\/p>\n

14:50. Saime teate, et tuli l\u00e4heneb jahutuss\u00fcsteemile.<\/b>. Kuid kas see t\u00f5epoolest j\u00f5uab sinna? H\u00e4daolukorraga tegelev s\u00fcsteemiadministraator suunab v\u00e4lise liikluse v\u00e4lja selle andmekeskuse frontidest.<\/p>\n

K\u00e4esoleval hetkel on k\u00f5igi meie teenuste front loodud kolmes andmekeskuses ning kasutatakse DNS tasemel koormuse tasakaalustamist, mis v\u00f5imaldab eemaldada \u00fche andmekeskuse aadresse DNS-ist, kaitstes seega kasutajaid potentsiaalsete probleemide eest teenuste ligip\u00e4\u00e4sul. Kui andmekeskuses on juba probleemid tekkinud, v\u00e4ljub see automaatselt rotatsioonist. \u00dcksikasjalikumat teavet saab lugeda siit: Koormuse tasakaalustamine ja rikke tolerantilisus \"OkClassmates\".<\/a><\/noindex><\/p><\/blockquote>\n

\nTuli ei ole meid seni m\u00f5jutanud \u2014 ei kasutajad ega seadmed ei ole kahjustatud. Kas see on h\u00e4daolukord? Dokumendi \"Kriisi tegevuskava\" esimene osa annab m\u00f5iste \"H\u00e4daolukord\" kohta m\u00e4\u00e4ratluse, ning l\u00f5peb see osa j\u00e4rgmisega:
\n\u00abKui on kahtlusi, \u00f5nnetus v\u00f5i mitte, siis see on \u00f5nnetus!<\/u>\u00bb<\/b><\/p>\n

14:53. M\u00e4\u00e4ratakse \u00f5nnetuse koordinaator.<\/p>\n

Koordinaator on inimene, kes kontrollib kommunikatsiooni k\u00f5igi osaliste vahel, hindab \u00f5nnetuse ulatust, rakendab '\u00d5nnetusplaani', kaasab vajaliku personali, j\u00e4lgib remondi l\u00f5petamist, ja k\u00f5ige olulisem \u2014 delegeerib k\u00f5ik \u00fclesanded. Teisis\u00f5nu, see on inimene, kes haldab kogu \u00f5nnetuse likvideerimise protsessi.<\/p><\/blockquote>\n

<\/p>\n

Hange<\/h4>\n

\n15:01. Alustame serverite v\u00e4ljal\u00fclitamist, mis ei ole seotud tootmisega.
\n15:03. L\u00fclitame v\u00e4lja k\u00f5ik reserveeritud teenused \u00f5igesti.
\nSiia kuuluvad mitte ainult frontid (kuhu sel ajal kasutajad enam ei p\u00e4\u00e4se) ja nende abiteenused (\u00e4ri loogika, vahem\u00e4lud jne), vaid ka erinevad andmebaasid, mille replikeerimisfaktor on 2 v\u00f5i rohkem (Cassandra<\/a><\/noindex>, binaarandmete hoidla<\/a><\/noindex>, k\u00fclmhoidla<\/a><\/noindex>, NewSQL<\/a><\/noindex> jne.).
\n15:06. Saime teavet, et tuleoht \u00e4hvardab \u00fchte andmekeskuse saali.<\/b> Selles saalis ei ole meil seadmeid, kuid see, et tuli v\u00f5ib katuselt saalidele \u00fcle kanduda, muudab toimuvat oluliselt.
\n(Hiljem selgus, et saalis ei olnud f\u00fc\u00fcsilist ohtu, kuna see oli katuse ja seina vahel hermeetiliselt isoleeritud. Oht oli ainult selle saali jahutuss\u00fcsteemile.)
\n15:07. Lubame k\u00e4skude t\u00e4itmise serverites kiirusre\u017eiimis ilma lisakontrollideta (ilma meie lemmik kalkulaatorita<\/a><\/noindex>).
\n15:08. Temperatuur saalides on normi piires.
\n15:12. On fikseeritud temperatuuri t\u00f5us saalides.<\/b>
\n15:13. Rohkem kui pool serveritest andmekeskuses on v\u00e4ljas. J\u00e4tkame.
\n15:16. Otsus on tehtud kogu varustuse v\u00e4ljal\u00fclitamise kohta.
\n15:21. Alustame stateless serverite toite v\u00e4lja l\u00fclitamist ilma rakenduse ja operatsioonis\u00fcsteemi korrektse v\u00e4ljal\u00fclitamiseta.
\n15:23. Moodustatakse vastutav grupp MS SQL-i jaoks (neid on v\u00e4he, teenuste s\u00f5ltuvus neist ei ole suur, kuid t\u00f6\u00f6v\u00f5ime taastamise protseduur v\u00f5tab rohkem aega ning on keerukam kui n\u00e4iteks Cassandra puhul).<\/p>\n

Depressioon<\/h4>\n

\n15:25. On saadud teavet nelja saali toite v\u00e4lja l\u00fclitamise kohta 16-st (nr 6, 7, 8, 9).<\/b> 7. ja 8. saalis asub meie varustus. Veel kahe meie saali (nr 1 ja 3) kohta teavet ei ole.
\nTavaliselt katkestavad elektritoite tulekahjude korral kohe, kuid antud juhul, t\u00e4nu j\u00f5udude koordineeritud t\u00f6\u00f6le p\u00e4\u00e4stjate ja andmekeskuse tehnilise personali vahel, ei katkestatud seda igal pool ja kohe, vaid vajadusel.
\n(Hiljem selgus, et toide saalides 8 ja 9 ei olnud v\u00e4lja l\u00fclitatud.)
\n15:28. Alustame MS SQL andmebaaside taastamist varukoopiatest teistes andmekeskustes.
\nKui kaua see aega v\u00f5tab? Kas kogu marsruudil on piisavalt ribalaiust?
\n15:37. M\u00f5nede v\u00f5rgupiirkondade katkestamine on fikseeritud.<\/b>
\nJuhtimine ja tootmisv\u00f5rk on teineteisest f\u00fc\u00fcsiliselt isoleeritud. Kui tootmisv\u00f5rk on saadaval, v\u00f5ite serverisse siseneda, rakenduse peatada ja operatsioonis\u00fcsteemi v\u00e4lja l\u00fclitada. Kui see ei ole saadaval, saab siseneda l\u00e4bi IPMI, peatada rakenduse ja operatsioonis\u00fcsteemi v\u00e4lja l\u00fclitada. Kui \u00fchtegi v\u00f5rku ei ole, ei saa te midagi teha. 'Ait\u00e4h, kapten!' \u2014 m\u00f5tleksite te.
\n'Ja \u00fcldiselt, kuidagi palju sagimist,' \u2014 v\u00f5iksite samuti m\u00f5elda.
\nAsi on selles, et serverid genereerivad isegi ilma tulekahjuta tohutut hulka soojust. T\u00e4psemalt, kui jahutus on olemas, genereerivad nad soojust, ja kui seda ei ole, siis nad tekitavad p\u00f5rguliku kuumuse, mis k\u00f5ige paremal juhul sulatab osa seadmetest ja v\u00e4lja l\u00fclitab teisi, k\u00f5ige halvemal juhul... p\u00f5hjustab tulekahju saalis, mis praktiliselt garanteeritult h\u00e4vitab k\u00f5ik.<\/p>\n

\"Kas
\n
\n15:39. Fikseerime probleeme conf andmebaasiga.<\/p>\n

Conf andmebaas on tagaplaan teenus, mida kasutavad k\u00f5ik tootmistegevused seadete operatiivseks muutmiseks. Ilma selle andmebaasita ei saa me portaali toimimist juhtida, ent portaal ise v\u00f5ib siiski t\u00f6\u00f6tada.<\/p><\/blockquote>\n

\n15:41. Temperatuuriandurid Core v\u00f5rguseadmetes registreerivad n\u00e4idud, mis on l\u00e4hedased lubatud piiridele. See on karp, mis h\u00f5ivab terve rack'i ja tagab k\u00f5igi v\u00f5rke toimimise andmekeskuses.<\/p>\n

\"Kas
\n
\n15:42. Probleemide j\u00e4lgija ja wiki ei ole saadaval, vahetame standby'le.
\nSee ei ole tootmistegevus, kuid mis tahes teadmusbaasi k\u00e4tte saamine avarii korral v\u00f5ib olla kriitiline.
\n15:50. \u00dcks j\u00e4lgimiss\u00fcsteemidest l\u00fclitus v\u00e4lja.
\nNeid on mitmeid ja need vastutavad teenuste erinevate aspektide eest. Osad neist on seadistatud t\u00f6\u00f6tama iseseisvalt igas andmekeskuses (st nad j\u00e4lgivad ainult oma andmekeskust), teised koosnevad jaotatud komponentidest, mis suudavad sujuvalt taluda igasugust andmekeskuse kaotust.
\nSel juhul lakkas t\u00f6\u00f6 \u00c4riloogika anomaaliate tuvastamise s\u00fcsteem<\/a><\/noindex>, mis t\u00f6\u00f6tab master-standby re\u017eiimis. L\u00e4ksime \u00fcle standby-le.<\/p>\n

Kinnitus<\/h4>\n

\n15:51. IPMI kaudu l\u00fclitati v\u00e4lja k\u00f5ik serverid, v\u00e4lja arvatud MS SQL, ilma korrektse l\u00f5petamiseta.
\nKas olete valmis serverite massiliseks haldamiseks IPMI kaudu vajadusel?<\/p>\n

See on hetk, mil andmekeskuse varustuse p\u00e4\u00e4stmine on sellel etapil l\u00f5petatud. K\u00f5ik, mis oli v\u00f5imalik teha, on tehtud. M\u00f5ned kolleegid v\u00f5ivad puhata.<\/i>
\n16:13. Saime teavet, et katusele on l\u00f5hkenud konditsioneeride freoonitorud \u2014 see l\u00fckkab andmekeskuse k\u00e4ivitamise edasi p\u00e4rast tulekahju likvideerimist.<\/b>
\n16:19. Andmekeskuse tehnilise personali andmetel on saalidesse temperatuuri t\u00f5us peatunud.
\n17:10. Taastasime conf andmebaasi t\u00f6\u00f6. N\u00fc\u00fcd saame rakenduste seadeid muuta.
\nMiks see on nii oluline, kui k\u00f5ik on talitlush\u00e4irekindel ja t\u00f6\u00f6tab isegi ilma \u00fche andmekeskuseta?
\nEsiteks, mitte k\u00f5ik ei ole talitlush\u00e4irekindel. On mitmeid teisi teenuseid, mis ei talu andmekeskuse talitlush\u00e4iret piisavalt h\u00e4sti, samuti on olemas andmebaasid master-standby re\u017eiimis. Seadistuste haldamise v\u00f5imalused v\u00f5imaldavad teha k\u00f5ik vajalik, et ka keerulistes tingimustes minimeerida avarii tagaj\u00e4rgede m\u00f5ju kasutajatele.
\nTeiseks, on selge, et j\u00e4rgmiste tundide jooksul andmekeskuse t\u00f6\u00f6 ei taastu t\u00e4ielikult, mist\u00f5ttu tuli astuda samme, et p\u00fcsivate koopiate pikaajaline k\u00e4ttesaamatus ei tooks kaasa t\u00e4iendavaid ebameeldivusi, n\u00e4iteks kettamahutite \u00fclet\u00e4itumist j\u00e4\u00e4nud andmekeskustes.
\n17:29. Pitsaa aeg! Meil t\u00f6\u00f6tavad inimesed, mitte robotid.<\/p>\n

\"Kas
\n<\/p>\n

Rehabilitatsioon<\/h4>\n

\n18:02. Saalides nr 8 (meie), 9, 10 ja 11 stabiliseerus temperatuur. \u00dches neist, mis j\u00e4\u00e4vad v\u00e4lja l\u00fclitatud (nr 7), asub meie varustus ja seal temperatuur j\u00e4tkab t\u00f5usmist.
\n18:31. Saime n\u00f5usoleku seadmete k\u00e4ivitamiseks saalides nr 1 ja 3 \u2014 need saalid ei saanud tulekahjus kahjustada.<\/p>\n

Praegu k\u00e4ivad serverite k\u00e4ivitamise t\u00f6\u00f6d saalides nr 1, 3 ja 8, alustades k\u00f5ige kriitilisematest. Kontrollime k\u00f5igi t\u00f6\u00f6le pandud teenuste korrektset toimimist. Saalis nr 7 on endiselt probleeme.<\/i><\/p>\n

18:44. Andmekeskuse tehniline personal avastas, et saalis nr 7 (kus asub ainult meie varustus) on paljud serverid v\u00e4lja l\u00fclitamata. Meie andmetel on seal endiselt sisse l\u00fclitatud 26 serverit. Uue kontrollimise j\u00e4rel leidsime 58 serverit.
\n20:18. Andmekeskuse tehniline personal puhub saalis, kus ei ole konditsioneere, \u00f5hku l\u00e4bi koridoride paigaldatud mobiilsete \u00f5hukanalite.
\n23:08. Esimene administraator saadeti koju. Keegi peab \u00f6\u00f6sel puhkama, et homme t\u00f6\u00f6d j\u00e4tkata. Edasi saadame veel osa administraatoreid ja arendajaid.
\n02:56. K\u00e4ivitasime k\u00f5ik, mis oli v\u00f5imalik k\u00e4ivitada. Teeme k\u00f5igi teenuste ulatusliku kontrolli automaattestidega.<\/p>\n

\"Kas
\n
\n03:02. Viimases, 7. saalis on konditsioneering taastatud.
\n03:36. Seadsime andmekeskuse frontid DNS-i rotatsiooni. Alates sellest hetkest hakkab saabuma kasutajate liiklus.
\nSaadame suurema osa administraatorite meeskonnast koju. Kuid m\u00f5ned inimesed j\u00e4\u00e4vad.<\/p>\n

V\u00e4ike KKK:
\nK: Mis juhtus ajavahemikus 18:31 kuni 02:56?
\nV: Vastavalt \u201eH\u00e4daolukorra tegevuskavale\u201c k\u00e4ivitame k\u00f5ik teenused, alustades k\u00f5ige olulisematest. Koordinaator vestluses m\u00e4\u00e4rab teenuse vabale administraatorile, kes kontrollib, kas operatsioonis\u00fcsteem ja rakendus on k\u00e4ivitatud, kas vigu esineb ja kas n\u00e4itajad on normaalsed. P\u00e4rast k\u00e4ivitamise l\u00f5petamist teatab ta vestluses, et on vaba, ja saab koordinaatorilt uue teenuse.
\nProtsessi aeglustab ka defektsed riistvarakomponendid. Isegi kui operatsioonis\u00fcsteemi seiskamine ja serverite v\u00e4ljal\u00fclitamine toimusid korrektselt, ei pruugi osa serveritest tagasi tulla \u00e4kitselt defektsest kettast, m\u00e4lust v\u00f5i \u0161assiist. Elektri katkestamise korral suureneb rikete protsent.
\nK: Miks ei saa lihtsalt k\u00f5ike korraga k\u00e4ivitada ja p\u00e4rast parandada, mis j\u00e4lgimisel v\u00e4lja tuleb?
\nV: K\u00f5ike peab tegema j\u00e4rk-j\u00e4rgult, sest teenuste vahel on s\u00f5ltuvused. K\u00f5ike tuleb kontrollida kohe, ootamata j\u00e4lgimist \u2014 probleemidega on parem tegeleda kohe, et mitte oodata nende s\u00fcvenemist.<\/p><\/blockquote>\n

\n7:40. Viimane admin (koordinaator) l\u00e4ks magama. Esimese p\u00e4eva t\u00f6\u00f6 on l\u00f5petatud.
\n8:09. Esimene arendaja, andmekeskuste insenerid ja administraatorid (sh uus koordinaator) alustasid taastamist\u00f6id.
\n09:37. Alustati saali nr 7 (viimase) t\u00f5stmist.
\nSamaaegselt j\u00e4tkame taastamist\u00f6id, mida ei ole muudatuste k\u00e4igus l\u00f5petatud teistes saalides: ketaste\/m\u00e4lu\/serverite vahetus, k\u00f5ikide probleemide lahendamine, mis \u201ep\u00f5levad\u201d j\u00e4lgimises, rollide tagasip\u00f6\u00f6ramine master-standby schemas ja muud v\u00e4iksemad asjad, mida siiski on piisavalt palju.
\n17:08. Luba k\u00f5ik regulaarset t\u00f6\u00f6d tootmises.
\n21:45. Teise p\u00e4eva t\u00f6\u00f6d on l\u00f5petatud.
\n09:45. T\u00e4na on reede. J\u00e4lgimises on ikka veel palju v\u00e4ikeseid probleeme. Ees on n\u00e4dalavahetus, k\u00f5ik tahavad puhata. J\u00e4tkame massiliselt k\u00f5ike, mida on v\u00f5imalik parandada. Regulaarsed administreerimise \u00fclesanded, mida oli v\u00f5imalik edasi l\u00fckata, on edasi l\u00fckatud. Uus koordinaator.
\n15:40. \u00dcllatuslikult restartis pool Core v\u00f5rgu seadmete virnast teises andmekeskuses. V\u00e4henes riskide minimeerimiseks esiseinte rotatsioon. Kasutajatele ei ole m\u00f5ju. Hiljem selgus, et see oli defektne \u0161assii. Koordinaator tegeleb kohe kahe rikke parandamisega.
\n17:17. Tegevus teises andmekeskuses on taastatud, k\u00f5ik on kontrollitud. Andmekeskus on ringlusse v\u00f5etud.
\n18:29. Kolmanda p\u00e4eva t\u00f6\u00f6d ja \u00fcldiselt p\u00e4rast h\u00e4daolukorda taastamine on l\u00f5petatud.<\/p>\n

J\u00e4rels\u00f5na<\/h4>\n

\n04.04.2013, 404. vea p\u00e4eval<\/a><\/noindex>, \u00ab\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438\u00bb kogenud k\u00f5ige suuremat h\u00e4dat<\/a><\/noindex> \u2014 kolme p\u00e4eva jooksul oli portaal t\u00e4ielikult v\u00f5i osaliselt k\u00e4ttesaamatu. Kogu selle aja jooksul aitasid \u00fcle 100 inimese erinevatest linnadest ja erinevatest ettev\u00f5tetest (veel kord suur t\u00e4nu!), kes t\u00f6\u00f6tasid kaugelt ja otseselt andmekeskustes, k\u00e4sitsi ja automaatsete s\u00fcsteemide kaudu tuhandete serverite parandamisel.
\nOleme teinud j\u00e4reldused. Et selline ei korduks, oleme viinud l\u00e4bi ja j\u00e4tkame ulatuslikke t\u00f6id.<\/p>\n

Millised on peamised erinevused n\u00fc\u00fcdse h\u00e4da ja 404 vahel?<\/p>\n