{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Kas serverid tuleks \"kustutada\", kui andmekeskuse smook testi k\u00e4igus \"tuli\" ilmnes?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Kuidas te tunneksite, kui \u00fchel kaunil suvep\u00e4eval teie seadmete andmekeskus n\u00e4eks v\u00e4lja just selline?<\/p>\n

\"Kas
\n
\nTere k\u00f5igile! Minu nimi on Dmitri Samsonov, olen peamine s\u00fcsteemiadministraator ettev\u00f5ttes \u201cOdnoklassniki<\/a><\/noindex>\u201d. Fotol on \u00fcks neljast andmekeskusest, kus asub meie projekti teenindamiseks vajalik varustus. Nende seinte taga on umbes 4000 seadme\u00fchikut: serverid, andmesalvestuss\u00fcsteem, v\u00f5rguvarustus jne \u2014 peaaegu \u2153 meie kogu varustusest.
\nEnamus serveritest t\u00f6\u00f6tab Linuxil. On ka mitu tosinat Windowsi serverit (MS SQL) \u2014 meie p\u00e4rand, millest me oleme aastate jooksul j\u00e4rk-j\u00e4rgult loobunud.
\nNii, 5. juunil 2019 kell 14:35 teatas \u00fche meie andmekeskuse insener tuleh\u00e4irest.
\n<\/a><\/noindex><\/p>\n

Eitamine<\/h4>\n

\n14:45. Andmekeskustes esinevad v\u00e4iksemad suitsu\u00f5nnetused juhtuvad sagedamini, kui tundub. Sise\u00f5hus olevad n\u00e4itajad olid normaalsed, seet\u00f5ttu oli meie esialgne reaktsioon suhteliselt rahulik: keelasime k\u00f5ik muutust\u00f6\u00f6d, sealhulgas konfigureerimise muutused, uute versioonide juurutamise jne, v\u00e4lja arvatud need, mis on seotud millegi parandamisega.<\/p>\n

Viha<\/h4>\n

\nKas olete kunagi \u00fcritanud tulet\u00f5rjujatelt k\u00fcsida, kus t\u00e4pselt katusel tuli puhkes, v\u00f5i p\u00fc\u00fcdsite ise sinna k\u00f6etud katusesse p\u00e4\u00e4seda, et olukorda hinnata? Kui palju usaldusv\u00e4\u00e4rsust on teabel, mis on saadud viiest inimesest?<\/p>\n

14:50. Saime teavet, et tuli liigub jahutus\u00ads\u00fcsteemi poole.<\/b>. Aga kas see j\u00f5uab sinna? Delegeeritud s\u00fcsteemiadministraator suunab v\u00e4lise liikluse v\u00e4lja selle andmekeskuse frontidest.<\/p>\n

Praegu on k\u00f5ik meie teenuste esindused kolmes andmekeskuses dubleeritud, DNS-tasandil toimub koormuse tasakaalustamine, mis v\u00f5imaldab eemaldada \u00fche andmekeskuse aadressid DNS-ist, kaitstes seega kasutajaid potentsiaalsete probleemide eest teenuste juurdep\u00e4\u00e4suga. Juhul, kui andmekeskuses on probleemid juba tekkinud, k\u00f5rvaldatakse see automaatselt rotatsioonist. T\u00e4iendavalt saab lugeda siit: Koormuse tasakaalustamine ja t\u00f5rketaluvus \u00abOdnoklassnikutes\u00bb.<\/a><\/noindex><\/p><\/blockquote>\n

\nKuni n\u00fc\u00fcd pole tulekahju meid kuidagi m\u00f5jutanud \u2014 ei kasutajad ega seade ei ole kahjustatud. Kas see on avarii? Esimene osa dokumendist \u201eAvariiplaneerimise plaan\u201d annab definitsiooni m\u00f5istele \u201eAvarii\u201d, ja l\u00f5peb peat\u00fckk nii:
\n\u00abKui on kahtlusi, kas see on avarii v\u00f5i mitte, siis see on avarii!<\/u>\u00bb<\/b><\/p>\n

14:53. M\u00e4\u00e4ratakse \u00f5nnetuste koordinaator.<\/p>\n

Koordinaator on inimene, kes kontrollib k\u00f5igi osaliste vahelist suhtlust, hindab \u00f5nnetuse ulatust, rakendab \u201e\u00d5nnetusplaani\u201c, kaasab vajalikud t\u00f6\u00f6tajad, kontrollib remondi l\u00f5petamist ja k\u00f5ige t\u00e4htsam \u2014 delegeerib k\u00f5ik \u00fclesanded. Teisis\u00f5nu on see inimene, kes juhib kogu \u00f5nnetuse likvideerimise protsessi.<\/p><\/blockquote>\n

<\/p>\n

Kaup<\/h4>\n

\n15:01. Alustame serverite v\u00e4ljal\u00fclitamist, mis ei ole produktsiooniga seotud.
\n15:03. L\u00fclitame \u00f5igesti v\u00e4lja k\u00f5ik reserveeritud teenused.
\nSiia kuuluvad mitte ainult esipinnad (kuhu kasutajad sel hetkel enam ei p\u00e4\u00e4se) ja nende abiteenused (\u00e4ri-logika, vahem\u00e4did jne), vaid ka erinevad andmebaasid koos replikaatide faktoriga 2 ja enam (Cassandra<\/a><\/noindex>, binaarandmete salvestus<\/a><\/noindex>, k\u00fclmsalvestus<\/a><\/noindex>, NewSQL<\/a><\/noindex> ja muud).
\n15:06. Tulnud on teave, et tuleoht \u00e4hvardab \u00fchte andmekeskuse saali.<\/b> Selles saalis meil varustust ei ole, kuid asjaolu, et tuli v\u00f5ib katuselt \u00fcle kanduda saalidesse, muudab s\u00fcndmuste pilti oluliselt.
\n(Hiljem selgus, et saali f\u00fc\u00fcsilist ohtu ei olnud, kuna see oli tihedalt isoleeritud katuse eest. Oht oli ainult selle saali jahutus\u00fcsteemile.)
\n15:07. Lubame serverites anda k\u00e4ske kiirusre\u017eiimis ilma lisakontrollideta (ilma meie lemmik kalkulaatorita<\/a><\/noindex>).
\n15:08. Temperatuur saalides on normi piires.
\n15:12. Saalide temperatuur on t\u00f5usnud.<\/b>
\n15:13. \u00dcks rohkem kui pooled serveritest andmekeskuses on v\u00e4lja l\u00fclitatud. J\u00e4tkame.
\n15:16. Otsustatakse v\u00e4lja l\u00fclitada kogu varustus.
\n15:21. Alustame toite v\u00e4ljal\u00fclitamist stateless-serverites ilma rakenduse ja operatsioonis\u00fcsteemi \u00f5ige v\u00e4ljal\u00fclitamiseta.
\n15:23. M\u00e4\u00e4ratakse vastutav grupp MS SQL-i jaoks (neid on v\u00e4he, teenuste s\u00f5ltuvus neist ei ole suur, kuid t\u00f6\u00f6v\u00f5imetuks muutmise protseduur v\u00f5tab kauem aega ja on keerulisem kui n\u00e4iteks Cassandra puhul).<\/p>\n

Depressioon<\/h4>\n

\n15:25. Tulnud on teave, et toide l\u00fclitati v\u00e4lja neljas saalis 16-st (nr 6, 7, 8, 9).<\/b> 7. ja 8. saalis on meie varustus. Kahest meie saalist (nr 1 ja 3) pole veel teavet.
\nTavaliselt l\u00fclitatakse tulekahjude korral elektritoide kohe v\u00e4lja, kuid antud juhul, t\u00e4nu h\u00e4sti koordineeritud t\u00f6\u00f6le p\u00e4\u00e4stet\u00f6\u00f6tajate ja andmekeskuse tehnilise personali vahel, ei l\u00fclitatud seda igal pool ja kohe v\u00e4lja, vaid vajaduse j\u00e4rgi.
\n(Hiljem selgus, et toide saalides 8 ja 9 ei olnud katkestatud.)
\n15:28. Alustame MS SQL andmebaaside taastamist varukoopiatest teistes andmekeskustes.
\nKui palju aega sellele kulub? Kas v\u00f5rgu l\u00e4bilaskev\u00f5ime on kogu marsruudil piisav?
\n15:37. M\u00f5ned v\u00f5rguosad on fikseeritud katkestada.<\/b>
\nJuhtimine ja tootmisv\u00f5rk on f\u00fc\u00fcsiliselt \u00fcksteisest eraldatud. Kui tootmisv\u00f5rk on kergesti k\u00e4tte saadav, saate siseneda serverisse, peatada rakenduse ja v\u00e4lja l\u00fclitada operatsioonis\u00fcsteemi. Kui see ei ole kergesti k\u00e4tte saadav, siis on v\u00f5imalik siseneda IPMI kaudu, peatada rakenduse ja v\u00e4lja l\u00fclitada operatsioonis\u00fcsteemi. Kui \u00fchtegi v\u00f5rku pole, ei saa te midagi teha. 'Ait\u00e4h, kapten!,' v\u00f5ite te m\u00f5elda.
\n'Ja t\u00f5epoolest, on kuidagi palju sagimist,' v\u00f5ite samuti m\u00f5elda.
\nProbleem on selles, et serverid genereerivad isegi ilma tulekahjuta tohutult soojust. T\u00e4psemalt \u00f6eldes, kui jahutus on olemas, genereerivad nad soojust, ja kui seda pole, siis tekitavad nad p\u00f5rgulikku kuumust, mis parimas olukorras sulatab osa seadmetest ja l\u00fclitab v\u00e4lja teise osa, aga halvemal juhul\u2026 p\u00f5hjustab tulekahju saalis, mis praktiliselt garanteerib kogu h\u00e4vitamise.<\/p>\n

\"Kas
\n
\n15:39. Fikseerime probleeme conf andmebaasiga.<\/p>\n

Conf andmebaas on backend vastava teenuse jaoks, mida kasutavad k\u00f5ik tootmisrakendused seadete kiireks muutmiseks. Ilma selle andmebaasita ei saa me portaali t\u00f6\u00f6d juhtida, kuid ise portaali t\u00f6\u00f6 v\u00f5ib j\u00e4tkuda.<\/p><\/blockquote>\n

\n15:41. Temperatuurisensorid Core v\u00f5rgu seadmetes n\u00e4itavad l\u00e4hedasi lubatavaid n\u00e4itajaid. See on kappid, mis v\u00f5tavad terve rack'i ja tagavad k\u00f5ikide v\u00f5rkude t\u00f6\u00f6 andmekeskuses.<\/p>\n

\"Kas
\n
\n15:42. Probleemide j\u00e4lgimine ja wiki ei ole kergesti k\u00e4tte saadavad, l\u00fclitame standby'le.
\nSee ei ole tootmine, kuid \u00f5nnetuse korral v\u00f5ib igasugune teadmistebaasi k\u00e4ttesaadavus olla kriitilise t\u00e4htsusega.
\n15:50. \u00dcks j\u00e4lgimisse s\u00fcsteemidest on v\u00e4lja l\u00fclitatud.
\nNende on mitu ja nad vastutavad teenuste erinevate aspektide eest. Osa neist on seadistatud t\u00f6\u00f6tama iseseisvalt igas andmekeskuses (st nad j\u00e4lgivad ainult oma andmekeskust), teised koosnevad jaotatud komponentidest, mis l\u00e4bivad sujuvalt iga andmekeskuse kadumise.
\nSelles olukorras lakkas t\u00f6\u00f6tamast \u00e4ri loogika anomaaliate tuvastamise s\u00fcsteem<\/a><\/noindex>, mis t\u00f6\u00f6tab master-standby re\u017eiimis. L\u00fclitusime standby'le.<\/p>\n

V\u00f5tmine<\/h4>\n

\n15:51. IPMI kaudu l\u00fclitasime v\u00e4lja k\u00f5ik serverid, v\u00e4lja arvatud MS SQL, ilma korraliku sulgemiseta.
\nKas olete valmis massiliseks serverihalduseks IPMI kaudu, kui vajadus tekib?<\/p>\n

See on see hetk, kui seadmete p\u00e4\u00e4stmise protsess andmekeskuses on sel etapil l\u00f5pule viidud. K\u00f5ik, mis v\u00f5imalik, on tehtud. M\u00f5ned kolleegid saavad puhata.<\/i>
\n16:13. On tulnud teavet, et katusele on purunenud k\u00fclmutustorud konditsioneeridest \u2014 see l\u00fckkab andmekeskuse avamise tulekahju likvideerimise j\u00e4rel edasi.<\/b>
\n16:19. Andmete kohaselt, mis on saadud andmekeskuse tehniliselt personalilt, on saalides temperatuuri t\u00f5us peatunud.
\n17:10. Taastasime conf. andmebaasi t\u00f6\u00f6. N\u00fc\u00fcd saame muuta rakenduste seadeid.
\nMiks see nii oluline on, kui k\u00f5ik on rikkepreventiivne ja t\u00f6\u00f6tab isegi ilma \u00fche andmekeskuseta?
\nEsiteks, mitte k\u00f5ik ei ole rikkepreventiivne. On erinevaid teisej\u00e4rgulisi teenuseid, mis ei talu andmekeskuse rikke piisavalt h\u00e4sti, ja on andmebaasid re\u017eiimis master-standby. V\u00f5imalus seadistusi juhtida v\u00f5imaldab teha k\u00f5ik vajaliku, et isegi keerulistes tingimustes minimeerida avarii tagaj\u00e4rgede m\u00f5ju kasutajatele.
\nTeiseks, on selge, et j\u00e4rgmise paari tunni jooksul andmekeskuse t\u00f6\u00f6 t\u00e4ielikult ei taastu, seet\u00f5ttu tuli v\u00f5tta meetmeid, et pikaajaline replikate puudumine ei tooks kaasa t\u00e4iendavaid ebameeldivusi, nagu n\u00e4iteks diskide \u00fclevool j\u00e4\u00e4nud andmekeskustes.
\n17:29. Pitsa aeg! Meie juures t\u00f6\u00f6tavad inimesed, mitte robotid.<\/p>\n

\"Kas
\n<\/p>\n

Rehabiliteerimine<\/h4>\n

\n18:02. Saalides nr 8 (meie), 9, 10 ja 11 stabiliseerus temperatuur. \u00dches neist, mis j\u00e4\u00e4vad v\u00e4lja l\u00fclitatuks (nr 7), asub meie seadmed, ja seal temperatuur j\u00e4tkab t\u00f5usmist.
\n18:31. Antud luba seadmete k\u00e4ivitamiseks saalides nr 1 ja 3 \u2014 need saalid ei ole tulekahju puudutanud.<\/p>\n

Praegu k\u00e4ivitame servereid saalides nr 1, 3, 8, alustades k\u00f5ige kriitilisematest. Kontrollime k\u00e4ivitatud teenuste korrektset toimimist. Saalis nr 7 on endiselt probleeme.<\/i><\/p>\n

18:44. Andmekeskuse tehniline personal avastas, et saalis nr 7 (kus asub ainult meie seadmed) ei ole paljusid servereid v\u00e4lja l\u00fclitatud. Meie andmete kohaselt on seal 26 serverit sisse l\u00fclitatud. P\u00e4rast korduvkontrolli selgub, et neid on 58.
\n20:18. Andmekeskuse tehniline personal puhub \u00f5hku saalis, kus ei ole konditsioneere, mobiilsete \u00f5hukanalite kaudu, mis on paigaldatud l\u00e4bi koridoride.
\n23:08. Esimene admin saadeti koju. Keegi peab \u00f6\u00f6sel magama, et homme t\u00f6\u00f6d j\u00e4tkata. Edasi saadame veel osa adminne ja arendajaid.
\n02:56. K\u00e4ivitasime k\u00f5ik, mis oli v\u00f5imalik k\u00e4ivitada. Teeme p\u00f5hjaliku kontrolli k\u00f5igist teenustest automaatsete testidega.<\/p>\n

\"Kas
\n
\n03:02. Kliimaseade viimases, seitsmendas saalis on taastatud.
\n03:36. Suuname andmekeskuse serverite frontid DNS-i rullimisele. Sellest hetkest hakkab saabuma kasutajate liiklus.
\nSaadame suure osa adminnide meeskonnast koju. Kuid m\u00f5ned inimesed j\u00e4\u00e4vad.<\/p>\n

V\u00e4ike FAQ:
\nK: Mis juhtus ajavahemikus 18:31 kuni 02:56?
\nV: J\u00e4rgides \u201eH\u00e4daolukorra tegevuskava\u201d, k\u00e4ivitame k\u00f5ik teenused, alustades k\u00f5ige olulisematest. Sellega samal ajal annab koordinaator vestluses teenuse vabale adminile, kes kontrollib, kas operatsioonis\u00fcsteem ja rakendus k\u00e4ivitusid ning kas vigu pole ning kas n\u00e4idud on normis. P\u00e4rast k\u00e4ivitamise l\u00f5petamist teatab ta vestluses, et on vaba, ja saab koordinaatorilt uue teenuse.
\nProtsessi aeglustavad t\u00e4iendavad rikke t\u00f5ttu probleemid. Isegi kui ops\u00fcsteemi peatamine ja serverite v\u00e4ljal\u00fclitamine toimusid \u00f5igesti, ei taastu osa serveritest \u00e4kiliste rikete t\u00f5ttu ketastes, m\u00e4lus v\u00f5i \u0161assiis. Elektri kadumise korral suureneb rikkeprotsent.
\nK: Miks ei saa lihtsalt k\u00f5ike korraga k\u00e4ivitada ja p\u00e4rast parandada seda, mis monitorimisest v\u00e4lja tuleb?
\nV: K\u00f5ike tuleb teha j\u00e4rk-j\u00e4rgult, kuna teenuste vahel on s\u00f5ltuvused. Ja k\u00f5ike tuleks kontrollida kohe, mitte oodata monitorimist \u2014 sest probleemide lahendamiseks on parem minna otse, mitte oodata, et need s\u00fcvenevad.<\/p><\/blockquote>\n

\n7:40. Viimane admin (koordinaator) l\u00e4ks magama. Esimese p\u00e4eva t\u00f6\u00f6d on l\u00f5petatud.
\n8:09. Esimesed arendajad, insenerid andmekeskustes ja adminnid (sealhulgas uus koordinaator) alustasid taastamist\u00f6id.
\n09:37. Alustame saali nr 7 (viimane) \u00fclesse t\u00f5stmist.
\nSamas j\u00e4tkame taastamisega, mida pole l\u00f5petatud teistes saalides: ketaste\/m\u00e4lu\/serverite vahetamine, k\u00f5ik, mis \u201ep\u00f5leb\u201d monitorimises, rollide tagasireklaamifunktsioonide vahetamine ja teised pisiasjad, mida siiski on piisavalt palju.
\n17:08. Lubame k\u00f5ik tavalised t\u00f6\u00f6d produktsiooniga.
\n21:45. Teise p\u00e4eva t\u00f6\u00f6d on l\u00f5petatud.
\n09:45. T\u00e4na on reede. J\u00e4lgimisel on endiselt palju pisiprobleeme. Ees on n\u00e4dalavahetus, k\u00f5ik tahavad puhata. J\u00e4tkame aktiivset k\u00f5igi parandamist, mis v\u00f5imalik. Administraatorite tavap\u00e4rased \u00fclesanded, mida sai edasi l\u00fckata, on edasi l\u00fckatud. Uus koordinaator.
\n15:40. \u00dcht\u00e4kki taastus pool kogu v\u00f5rguseadmestiku Core teises andmekeskuses. Edastasime riski v\u00e4hendamiseks frontid. Kasutajatele ei olnud negatiivset m\u00f5ju. Hiljem selgus, et tegemist oli riketega \u0161assiiga. Koordinaator tegeleb kahe eriolukorra korrigeerimisega.
\n17:17. Teise andmekeskuse v\u00f5rgu t\u00f6\u00f6 on taastatud, k\u00f5ik on kontrollitud. Andmekeskus on taask\u00e4ivitamisel.
\n18:29. Kolmanda p\u00e4eva t\u00f6\u00f6d ja h\u00e4daolukorra taastamine on l\u00f5ppenud.<\/p>\n

Eess\u00f5na<\/h4>\n

\n04.04.2013, 444. vea p\u00e4eval,<\/a><\/noindex>\u00abOdnoklassniki\u00bb, koges suurimat avariid.<\/a><\/noindex> \u2014 kolme p\u00e4eva jooksul oli portaal t\u00e4ielikult v\u00f5i osaliselt k\u00e4ttesaamatu. Kogu selle aja jooksul parandasid rohkem kui 100 inimest erinevatest linnadest, erinevatest ettev\u00f5tetest (veel kord suur ait\u00e4h!), kaugt\u00f6\u00f6tades ja mitte ainult andmekeskustes, manuaalselt ja automaatiliselt, tuhandeid servereid.
\nOleme teinud j\u00e4reldused. Selleks, et sellist asja ei juhtuks, oleme l\u00e4bi viinud ja j\u00e4tkame seniajani ulatuslikke t\u00f6id.<\/p>\n

Mis on praeguse avarii peamised erinevused 404st?<\/p>\n