{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Ska man \"st\u00e4nga av\" servrar om smooktestet i datacentret \"brinner\"?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Vad skulle du k\u00e4nna om datacentret med din utrustning s\u00e5g ut s\u00e5 h\u00e4r en underbar sommardag?<\/p>\n

\"Ska
\n
\nHej alla! Jag heter Dmitrij Samsonov och arbetar som ledande systemadministrat\u00f6r p\u00e5Odnoklassniki<\/a><\/noindex>En av de fyra datacentren d\u00e4r v\u00e5r utrustning som st\u00f6der v\u00e5rt projekt \u00e4r installerad. Bakom dessa v\u00e4ggar finns cirka 4000 enheter av utrustning: servrar, lagringssystem, n\u00e4tverksutrustning osv. \u2014 n\u00e4stan en tredjedel av all v\u00e5r utrustning.
\nDe flesta servrar \u00e4r Linux. Det finns ocks\u00e5 ett par dussin servrar med Windows (MS SQL) \u2014 v\u00e5rt arv som vi gradvis har \u00f6vergett under m\u00e5nga \u00e5r.
\nS\u00e5, den 5 juni 2019 klockan 14:35 meddelade ingenj\u00f6rer fr\u00e5n ett av v\u00e5ra datacenter om en brandlarm.
\n<\/a><\/noindex><\/p>\n

F\u00f6rnekelse<\/h4>\n

\n14:45. Sm\u00e5 incidenter med r\u00f6kutveckling i datacentren sker oftare \u00e4n vad man kan tro. Indikatorerna inom hallar var normala, s\u00e5 v\u00e5r f\u00f6rsta reaktion var relativt lugn: vi inf\u00f6rde f\u00f6rbud mot arbete med produktionen, det vill s\u00e4ga alla \u00e4ndringar i konfigurationer, lansering av nya versioner och liknande, utom arbete som r\u00f6r reparation av n\u00e5got.<\/p>\n

Vrede<\/h4>\n

\nHar du n\u00e5gonsin f\u00f6rs\u00f6kt fr\u00e5ga brandm\u00e4nnen var p\u00e5 taket branden \u00e4gde rum, eller sj\u00e4lv g\u00e5 upp p\u00e5 det brinnande taket f\u00f6r att bed\u00f6ma situationen? Hur mycket f\u00f6rtroende kan man ha f\u00f6r information som g\u00e5tt genom fem personer?<\/p>\n

14:50. Det kom information om att elden n\u00e4rmar sig kylsystemet<\/b>. Men kommer den att n\u00e5 dit? Den jourhavande systemadministrat\u00f6ren omdirigerar extern trafik fr\u00e5n fronten av detta datacenter.<\/p>\n

F\u00f6r n\u00e4rvarande \u00e4r alla v\u00e5ra servicers framkanaler duplicerade i tre datacenter, och vi anv\u00e4nder lastbalansering p\u00e5 DNS-niv\u00e5, vilket g\u00f6r att vi kan ta bort adresserna f\u00f6r ett datacenter fr\u00e5n DNS, vilket skyddar anv\u00e4ndarna fr\u00e5n potentiella problem med \u00e5tkomst till tj\u00e4nster. Om det redan har intr\u00e4ffat problem i datacentret, tas det automatiskt bort fr\u00e5n rotationen. Mer kan l\u00e4sas h\u00e4r: Lastbalansering och felresiliens i 'Odnoklassniki'.<\/a><\/noindex><\/p><\/blockquote>\n

\nBranden har f\u00f6r n\u00e4rvarande inte p\u00e5verkat oss p\u00e5 n\u00e5got s\u00e4tt \u2014 varken anv\u00e4ndare eller utrustning har skadats. \u00c4r det en incident? Den f\u00f6rsta delen av dokumentet 'Handlingsplan vid incident' ger en definition av begreppet 'incident', och slutar avsnittet s\u00e5 h\u00e4r:
\n\u00abOm det r\u00e5der tvekan om huruvida det \u00e4r en incident eller inte, s\u00e5 \u00e4r det en incident!<\/u>\u00bb<\/b><\/p>\n

14:53. Utn\u00e4mning av katastrofkoordinator.<\/p>\n

Koordinatorn \u00e4r den person som \u00f6vervakar kommunikationen mellan alla akt\u00f6rer, bed\u00f6mer omf\u00e5nget av katastrofen, anv\u00e4nder \"Handlingsplan vid katastrof\", engagerar n\u00f6dv\u00e4ndig personal, \u00f6vervakar avhj\u00e4lpningen, och viktigast av allt \u2013 delegerar uppgifter. Med andra ord, det \u00e4r den personen som hanterar hela avhj\u00e4lpningsprocessen.<\/p><\/blockquote>\n

<\/p>\n

Handel<\/h4>\n

\n15:01. Vi b\u00f6rjar st\u00e4nga av servrar som inte \u00e4r kopplade till produktionen.
\n15:03. Vi st\u00e4nger av alla reserverade tj\u00e4nster p\u00e5 r\u00e4tt s\u00e4tt.
\nDetta inkluderar inte bara front-end (som anv\u00e4ndare vid denna tidpunkt redan inte g\u00e5r in p\u00e5) och deras st\u00f6djande tj\u00e4nster (aff\u00e4rslogik, cache och s\u00e5 vidare), utan \u00e4ven olika databaser med replikeringsfaktor 2 och mer (Cassandra<\/a><\/noindex>, lagring av bin\u00e4ra data<\/a><\/noindex>, kallt arkiv<\/a><\/noindex>, NewSQL<\/a><\/noindex> och annat).
\n15:06. Information har kommit in om att en brand hotar ett av datacenterhallarna.<\/b> I denna hall har vi ingen utrustning, men att elden kan sprida sig fr\u00e5n taket till hallarna f\u00f6r\u00e4ndrar dramatiskt situationen.
\n(Senare visade det sig att det inte fanns n\u00e5got fysiskt hot mot hallen, d\u00e5 den var hermetiskt isolerad fr\u00e5n taket. Hotet var endast f\u00f6r kylsystemet i den hallen.)
\n15:07. Vi till\u00e5ter att kommandon utf\u00f6rs p\u00e5 servrarna i snabbare tempo utan ytterligare kontroller (utan v\u00e5r \u00e4lskade kalkylator<\/a><\/noindex>).
\n15:08. Temperaturen i hallarna \u00e4r inom normala gr\u00e4nser.
\n15:12. Det har registrerats en temperatur\u00f6kning i hallarna.<\/b>
\n15:13. Mer \u00e4n h\u00e4lften av servrarna i datacentret \u00e4r avst\u00e4ngda. Vi forts\u00e4tter.
\n15:16. Beslut har fattats om att st\u00e4nga av all utrustning.
\n15:21. Vi b\u00f6rjar st\u00e4nga av str\u00f6mmen p\u00e5 stateless-servrar utan korrekt nedst\u00e4ngning av applikation och operativsystem.
\n15:23. En grupp ansvariga f\u00f6r MS SQL utses (de \u00e4r f\u00e5, beroendet av deras tj\u00e4nster \u00e4r inte stort, men \u00e5terst\u00e4llningsproceduren tar l\u00e4ngre tid och \u00e4r mer komplicerad \u00e4n, till exempel, f\u00f6r Cassandra).<\/p>\n

Depression<\/h4>\n

\n15:25. Information har kommit om att str\u00f6mmen har st\u00e4ngts av i fyra hallar av 16 (nr 6, 7, 8, 9).<\/b> I hallar 7 och 8 finns v\u00e5r utrustning. Det finns fortfarande ingen information om v\u00e5ra tv\u00e5 andra hallar (nr 1 och 3).
\nVanligtvis st\u00e4ngs elen av omedelbart vid br\u00e4nder, men i detta fall, tack vare det koordinerade arbetet mellan brandm\u00e4n och teknisk personal i datacentret, st\u00e4ngdes den inte \u00f6verallt och inte omedelbart, utan vid behov.
\n(Det blev senare klart att str\u00f6mmen i hallar 8 och 9 inte st\u00e4ngdes av.)
\n15:28. Vi b\u00f6rjar \u00e5terst\u00e4lla MS SQL-databaser fr\u00e5n backuper i andra datacenter.
\nHur l\u00e5ng tid kommer detta att ta? R\u00e4cker n\u00e4tverkskapaciteten l\u00e4ngs hela rutten?
\n15:37. Det har registrerats avbrott i vissa delar av n\u00e4tverket.<\/b>
\nManagement-n\u00e4tverket och produktionsn\u00e4tverket \u00e4r fysiskt isolerade fr\u00e5n varandra. Om produktionsn\u00e4tverket \u00e4r tillg\u00e4ngligt kan du logga in p\u00e5 servern, stoppa applikationen och st\u00e4nga av OS. Om det inte \u00e4r tillg\u00e4ngligt kan du logga in via IPMI, stoppa applikationen och st\u00e4nga av OS. Om ingen av n\u00e4tverken \u00e4r tillg\u00e4ngliga kan du inte g\u00f6ra n\u00e5got. 'Tack, kapten!', t\u00e4nker du.
\n'Och f\u00f6r \u00f6vrigt, det \u00e4r lite v\u00e4l mycket r\u00f6ran', kanske du ocks\u00e5 funderar.
\nAllt handlar om att servrar genererar en enorm m\u00e4ngd v\u00e4rme \u00e4ven utan brand. Mer exakt, n\u00e4r det finns kylning genererar de v\u00e4rme, och n\u00e4r det inte finns n\u00e5gon skapar de ett helvetes bakh\u00e5ll som i b\u00e4sta fall sm\u00e4lter en del av utrustningen och st\u00e4nger av en annan del, och i v\u00e4rsta fall\u2026 orsakar brand inuti hallen som praktiskt taget garanterat kommer att f\u00f6rst\u00f6ra allt.<\/p>\n

\"Ska
\n
\n15:39. Vi registrerar problem med conf-databasen.<\/p>\n

Conf-databasen \u00e4r backend f\u00f6r den med namnet tj\u00e4nsten, som anv\u00e4nds av alla produktionsapplikationer f\u00f6r att snabbt \u00e4ndra inst\u00e4llningar. Utan denna databas kan vi inte styra portalens verksamhet, men sj\u00e4lva portalen kan fortfarande fungera.<\/p><\/blockquote>\n

\n15:41. Temperaturgivarna p\u00e5 Core-n\u00e4tverksutrustningen registrerar v\u00e4rden n\u00e4ra de h\u00f6gsta till\u00e5tna. Det \u00e4r en l\u00e5da som tar upp en hel rack och m\u00f6jligg\u00f6r drift av alla n\u00e4tverk inom datacentret.<\/p>\n

\"Ska
\n
\n15:42. Issue tracker och wiki \u00e4r otillg\u00e4ngliga, vi v\u00e4xlar till standby.
\nDetta \u00e4r inte produktion, men vid en n\u00f6dsituation kan tillg\u00e5ngen till vilken kunskapsbas som helst vara kritisk.
\n15:50. Ett av \u00f6vervakningssystemen slutade fungera.
\nDet finns flera av dem, och de ansvarar f\u00f6r olika aspekter av tj\u00e4nsternas funktion. Vissa av dem \u00e4r inst\u00e4llda f\u00f6r autonom drift inom varje datacenter (det vill s\u00e4ga de \u00f6vervakar endast sitt datacenter), andra best\u00e5r av distribuerade komponenter som transparent hanterar f\u00f6rlusten av vilket datacenter som helst.
\nI detta fall slutade systemet f\u00f6r uppt\u00e4ckten av avvikelser i aff\u00e4rslogikens indikatorer<\/a><\/noindex>, som arbetar i master-standby-l\u00e4ge. Vi v\u00e4xlade till standby.<\/p>\n

Antagande<\/h4>\n

\n15:51. Vi st\u00e4ngde av alla servrar via IPMI utan korrekt avslut av arbetet, f\u00f6rutom MS SQL.
\n\u00c4r du redo f\u00f6r masshantering av servrar via IPMI om s\u00e5 beh\u00f6vs?<\/p>\n

Det \u00f6gonblick n\u00e4r r\u00e4ddningen av utrustningen i datacentret har avslutats. Allt som kunde g\u00f6ras har gjorts. Vissa kollegor kan ta en paus.<\/i>
\n16:13. Vi har f\u00e5tt information om att kylr\u00f6r p\u00e5 taket har spruckit \u2014 detta f\u00f6rsenar \u00f6ppnandet av datacentret efter att branden har \u00e5tg\u00e4rdats.<\/b>
\n16:19. Enligt uppgifter fr\u00e5n datacentrets tekniska personal har temperaturen i lokalerna slutat stiga.
\n17:10. Vi har \u00e5terst\u00e4llt driften av konfigurationsdatabasen. Nu kan vi \u00e4ndra inst\u00e4llningarna f\u00f6r applikationerna.
\nVarf\u00f6r \u00e4r detta s\u00e5 viktigt, om allt \u00e4r redundanta och fungerar \u00e4ven utan ett datacenter?
\nF\u00f6r det f\u00f6rsta \u00e4r inte allt redundanta. Det finns olika sekund\u00e4ra tj\u00e4nster som f\u00f6r n\u00e4rvarande inte klarar av att klara av ett datacenters nedg\u00e5ng tillr\u00e4ckligt bra, och det finns databaser i master-standby-l\u00e4ge. M\u00f6jligheten att hantera inst\u00e4llningarna g\u00f6r det m\u00f6jligt att vidta alla n\u00f6dv\u00e4ndiga \u00e5tg\u00e4rder f\u00f6r att minimera effekterna av en olycka p\u00e5 anv\u00e4ndarna \u00e4ven under sv\u00e5ra f\u00f6rh\u00e5llanden.
\nF\u00f6r det andra har det blivit tydligt att verksamheten i datacentret inte kommer att \u00e5terst\u00e4llas helt inom de n\u00e4rmaste timmarna, s\u00e5 det var n\u00f6dv\u00e4ndigt att vidta \u00e5tg\u00e4rder f\u00f6r att den l\u00e5ngvariga otillg\u00e4ngligheten f\u00f6r repliker inte skulle leda till ytterligare problem som \u00f6verfulla diskar i de kvarvarande datacentren.
\n17:29. Det \u00e4r pizzatid! Vi har m\u00e4nniskor som arbetar, inte robotar.<\/p>\n

\"Ska
\n<\/p>\n

Rehabilitering<\/h4>\n

\n18:02. Temperaturen i salar nr 8 (v\u00e5r), 9, 10 och 11 har stabiliserats. I ett av de som f\u00f6rblir avst\u00e4ngda (nr 7) finns v\u00e5r utrustning, och temperaturen forts\u00e4tter att stiga d\u00e4r.
\n18:31. Vi har gett klartecken f\u00f6r att starta utrustningen i salar nr 1 och 3 \u2013 dessa salar p\u00e5verkades inte av branden.<\/p>\n

F\u00f6r n\u00e4rvarande p\u00e5g\u00e5r uppstart av servrar i salar nr 1, 3 och 8, med de mest kritiska f\u00f6rst. Vi kontrollerar att alla aktiverade tj\u00e4nster fungerar korrekt. Det finns fortfarande problem med sal nr 7.<\/i><\/p>\n

18:44. Datacentrets tekniska personal har uppt\u00e4ckt att m\u00e5nga servrar i sal nr 7 (d\u00e4r endast v\u00e5r utrustning \u00e4r installerad) inte \u00e4r avst\u00e4ngda. Enligt v\u00e5ra uppgifter \u00e4r 26 servrar fortfarande p\u00e5slagna. Efter en andra kontroll uppt\u00e4cker vi 58 servrar.
\n20:18. Datacentrets tekniska personal bl\u00e5ser luft i rummet utan luftkonditionering genom mobila ventilationskanaler som \u00e4r dragna genom korridorerna.
\n23:08. Den f\u00f6rsta administrat\u00f6ren har f\u00e5tt \u00e5ka hem. N\u00e5gon m\u00e5ste sova under natten f\u00f6r att forts\u00e4tta arbetet imorgon. Vi sl\u00e4pper nu ytterligare en del av administrat\u00f6rerna och utvecklarna.
\n02:56. Vi har startat allt som g\u00e5r att starta. Vi utf\u00f6r en stor kontroll av alla tj\u00e4nster med automatiska tester.<\/p>\n

\"Ska
\n
\n03:02. Luftkonditioneringen i det sista, 7:e rummet har \u00e5terst\u00e4llts.
\n03:36. Vi har aktiverat frontarna i datacenter f\u00f6r rotation i DNS. Fr\u00e5n och med nu b\u00f6rjar anv\u00e4ndartrafik att komma in.
\nVi skickar en stor del av administrat\u00f6rsteamet hem. Men vi beh\u00e5ller n\u00e5gra personer.<\/p>\n

En liten FAQ:
\nQ: Vad h\u00e4nde mellan 18:31 och 02:56?
\nA: Enligt \"Kris\u00e5tg\u00e4rdsplanen\" startar vi alla tj\u00e4nster, med de viktigaste f\u00f6rst. Samtidigt tilldelas tj\u00e4nsten i chatten till en tillg\u00e4nglig administrat\u00f6r som kontrollerar om OS och applikationen har startat, om det finns n\u00e5gra fel och om indikatorerna \u00e4r normala. Efter att starten \u00e4r klar meddelar han i chatten att han \u00e4r tillg\u00e4nglig och f\u00e5r en ny tj\u00e4nst fr\u00e5n koordinatorn.
\nProcessen f\u00f6rdr\u00f6js ytterligare av felaktig utrustning. \u00c4ven om stopp av OS och avst\u00e4ngning av servrar har genomf\u00f6rts korrekt, \u00e5terv\u00e4nder vissa servrar inte p\u00e5 grund av pl\u00f6tsligt felaktiga diskar, minne, chassin. Vid str\u00f6mavbrott \u00f6kar avbrottsfrekvensen.
\nQ: Varf\u00f6r kan vi inte bara starta allt p\u00e5 en g\u00e5ng och sedan fixa det som dyker upp i \u00f6vervakningen?
\nA: Allt m\u00e5ste g\u00f6ras stegvis, eftersom det finns beroenden mellan tj\u00e4nsterna. Och allt b\u00f6r kontrolleras direkt, utan att v\u00e4nta p\u00e5 \u00f6vervakningen \u2014 eftersom det \u00e4r b\u00e4ttre att hantera problem omedelbart, utan att v\u00e4nta p\u00e5 att de ska f\u00f6rv\u00e4rras.<\/p><\/blockquote>\n

\n7:40. Den sista administrat\u00f6ren (koordinatorn) har g\u00e5tt och lagt sig. Arbetet f\u00f6r den f\u00f6rsta dagen \u00e4r avslutat.
\n8:09. De f\u00f6rsta utvecklarna, ingenj\u00f6rerna i datacentren och administrat\u00f6rerna (inklusive den nya koordinatorn) har p\u00e5b\u00f6rjat \u00e5terst\u00e4llningsarbetena.
\n09:37. Vi har b\u00f6rjat \u00e5teruppbygga rum nr 7 (det sista).
\nSamtidigt forts\u00e4tter vi att \u00e5terst\u00e4lla det som inte har avslutats i de andra rummen: byte av diskar\/minne\/servrar, reparation av allt som \"brinner\" i \u00f6vervakningen, byte av roller i master-standby-schema och andra sm\u00e5 saker, som \u00e4nd\u00e5 \u00e4r ganska m\u00e5nga.
\n17:08. Vi till\u00e5ter alla normala arbeten med produktionen.
\n21:45. Arbetet f\u00f6r den andra dagen \u00e4r avslutat.
\n09:45. Idag \u00e4r det fredag. Det finns fortfarande en hel del sm\u00e5problem i \u00f6vervakningen. Helgen n\u00e4rmar sig, och alla vill koppla av. Vi forts\u00e4tter att massivt reparera allt som g\u00e5r. De schemalagda administrativa uppgifterna som kunde skjutas upp har blivit uppskjutna. En ny koordinator \u00e4r p\u00e5 plats.
\n15:40. Pl\u00f6tsligt startade h\u00e4lften av Core-n\u00e4tverksutrustningen om i EN ANNAN datacenter. Vi har tagit ur rotation fronten f\u00f6r att minimera riskerna. Det har inte p\u00e5verkat anv\u00e4ndarna. Senare visade det sig att det var en felaktig chassi. Koordinatorn arbetar med att fixa tv\u00e5 incidenter samtidigt.
\n17:17. N\u00e4tverksarbetet i det andra datacentret \u00e4r \u00e5terst\u00e4llt, allt \u00e4r kontrollerat. Datacentret har nu \u00e5terg\u00e5tt till rotation.
\n18:29. Arbetet under den tredje dagen och den allm\u00e4nna \u00e5terst\u00e4llningen efter incidenten \u00e4r slutf\u00f6rt.<\/p>\n

Epilog<\/h4>\n

\n04.04.2013, p\u00e5 dagen f\u00f6r 404-felet<\/a><\/noindex>, \"Odnoklassniki\" upplevde den st\u00f6rsta incidenten<\/a><\/noindex> \u2014 under tre dagar var portalen helt eller delvis otillg\u00e4nglig. Under hela denna tid reparerade \u00f6ver 100 personer fr\u00e5n olika st\u00e4der och f\u00f6retag (stort tack igen!), b\u00e5de p\u00e5 distans och direkt i datacentren, manuellt och automatiskt tusentals servrar.
\nVi har dragit l\u00e4rdomar. F\u00f6r att n\u00e5got liknande inte ska h\u00e4nda igen har vi genomf\u00f6rt och forts\u00e4tter att genomf\u00f6ra omfattande arbeten.<\/p>\n

Vad \u00e4r de viktigaste skillnaderna mellan den nuvarande incidenten och 404?<\/p>\n