{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Ar trebui s\u0103 \"stingi\" serverele dac\u0103 a avut loc un test de fum \u00een data center?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ce a\u021bi sim\u021bi dac\u0103, \u00eentr-o zi frumoas\u0103 de var\u0103, centrul de date cu echipamentul dumneavoastr\u0103 ar ar\u0103ta astfel?<\/p>\n

\"Ar
\n
\nSalut tuturor! M\u0103 numesc Dmitri Samsonov, sunt administrator de sistem principal la \u201eOdnoklassniki<\/a><\/noindex>\u201d. \u00cen fotografie este unul dintre cele patru centre de date unde este instalat echipamentul care deserve\u0219te proiectul nostru. \u00cen spatele acestor pere\u021bi se afl\u0103 aproximativ 4.000 de unit\u0103\u021bi de echipamente: servere, sistem de stocare a datelor, echipamente de re\u021bea etc. \u2014 aproape \u2153 din tot echipamentul nostru.
\nMajoritatea serverelor sunt cu Linux. Exist\u0103 \u0219i c\u00e2teva zeci de servere cu Windows (MS SQL) \u2014 mo\u0219tenirea noastr\u0103, de care ne desfacem treptat de-a lungul anilor.
\nA\u0219adar, pe 5 iunie 2019, la ora 14:35, inginerii unuia dintre centrele noastre de date au raportat o alarm\u0103 de incendiu.
\n<\/a><\/noindex><\/p>\n

Negare<\/h4>\n

\n14:45. Incidente minore de fum \u00een centrele de date se \u00eent\u00e2mpl\u0103 mai des dec\u00e2t pare. Indicatorii din s\u0103li erau normali, a\u0219a c\u0103 prima noastr\u0103 reac\u021bie a fost relativ calm\u0103: am impus o interdic\u021bie asupra lucr\u0103rilor cu produc\u021bia, adic\u0103 asupra oric\u0103ror modific\u0103ri de configura\u021bie, lans\u0103rii de versiuni noi etc., cu excep\u021bia lucr\u0103rilor legate de repara\u021bia unor echipamente.<\/p>\n

Furie<\/h4>\n

\nA\u021bi \u00eencercat vreodat\u0103 s\u0103 \u00eentreba\u021bi pompierii exact unde pe acoperi\u0219 a avut loc incendiul sau s\u0103 ajunge\u021bi singur pe un acoperi\u0219 \u00een fl\u0103c\u0103ri pentru a evalua situa\u021bia? C\u00e2t de mare va fi gradul de \u00eencredere \u00een informa\u021biile primite prin intermediul a cinci oameni?<\/p>\n

14:50. Am primit informa\u021bii c\u0103 focul se apropie de sistemul de r\u0103cire<\/b>. Dar va ajunge? Administratorul de sistem de serviciu redirec\u021bioneaz\u0103 traficul extern de la fronturile acestui centru de date.<\/p>\n

\u00cen prezent, fronturile tuturor serviciilor noastre sunt replicate \u00een trei centre de date, folosind echilibrarea la nivel de DNS, ceea ce permite eliminarea adreselor unuia dintre centrele de date din DNS, protej\u00e2nd astfel utilizatorii de problemele poten\u021biale de acces la servicii. \u00cen cazul \u00een care problemele din centrul de date au intervenit deja, acesta iese automat din rota\u021bie. Detalii suplimentare pot fi citite aici: Echilibrarea \u00eenc\u0103rc\u0103turii \u0219i rezilien\u021ba \u00een \u201eOdnoklassniki\u201d.<\/a><\/noindex><\/p><\/blockquote>\n

\nP\u00e2n\u0103 acum, incendiul nu ne-a afectat deloc \u2014 nici utilizatorii, nici echipamentele nu au avut de suferit. Este aceasta o situa\u021bie de urgen\u021b\u0103? Primul capitol al documentului \u201ePlan de ac\u021biune \u00een caz de urgen\u021b\u0103\u201d ofer\u0103 o defini\u021bie a termenului \u201eSituatie de urgen\u021b\u0103\u201d, iar capitolul se \u00eencheie astfel:
\n\u00abDac\u0103 exist\u0103 \u00eendoieli, este situa\u021bie de urgen\u021b\u0103 sau nu, atunci este situa\u021bie de urgen\u021b\u0103!<\/u>\u00bb<\/b><\/p>\n

14:53. Se nume\u0219te coordonatorul de urgen\u021b\u0103.<\/p>\n

Coordonatorul este persoana care controleaz\u0103 comunica\u021bia \u00eentre to\u021bi participan\u021bii, evalueaz\u0103 amploarea incidentului, folose\u0219te \u201ePlanul de ac\u021biune pentru urgen\u021be\u201d, implic\u0103 personalul necesar, supravegheaz\u0103 finalizarea repara\u021biilor \u0219i, cel mai important, deleg\u0103 orice sarcini. Cu alte cuvinte, este persoana care gestioneaz\u0103 \u00eentregul proces de eliminare a incidentului.<\/p><\/blockquote>\n

<\/p>\n

Negociere<\/h4>\n

\n15:01. \u00cencepem s\u0103 oprim serverele care nu sunt legate de produc\u021bie.
\n15:03. Oprim corect toate serviciile rezervate.
\nAcestea includ nu doar fronturile (la care utilizatorii nu mai au acces \u00een acest moment) \u0219i serviciile lor auxiliare (logica de afaceri, cache-uri etc.), ci \u0219i diferite baze de date cu factor de replicare de 2 sau mai mult (Cassandra<\/a><\/noindex>, stocarea datelor binare<\/a><\/noindex>, stocare la rece<\/a><\/noindex>, NewSQL<\/a><\/noindex> \u0219i altele).
\n15:06. Am primit informa\u021bii c\u0103 un incendiu amenin\u021b\u0103 una dintre s\u0103lile centrului de date.<\/b> \u00cen aceast\u0103 sal\u0103 nu avem echipamente, dar faptul c\u0103 focul s-ar putea extinde de pe acoperi\u0219 la s\u0103li schimb\u0103 semnificativ situa\u021bia.
\n(Mai t\u00e2rziu s-a dovedit c\u0103 nu exista o amenin\u021bare fizic\u0103 pentru sal\u0103, deoarece era etan\u0219 izolat\u0103 de acoperi\u0219. Amenin\u021barea era doar pentru sistemul de r\u0103cire al acestei s\u0103li.)
\n15:07. Permitem execu\u021bia comenzilor pe servere \u00een regim accelerat, f\u0103r\u0103 verific\u0103ri suplimentare (f\u0103r\u0103 calculatorul nostru preferat<\/a><\/noindex>).
\n15:08. Temperatura \u00een s\u0103li este \u00een limite normale.
\n15:12. A fost \u00eenregistrat\u0103 o cre\u0219tere a temperaturii \u00een s\u0103li.<\/b>
\n15:13. Peste jum\u0103tate din serverele din centrul de date sunt oprite. Continu\u0103m.
\n15:16. S-a luat decizia de a opri toat\u0103 echiparea.
\n15:21. \u00cencepem s\u0103 oprim alimentarea pe serverele stateless f\u0103r\u0103 a \u00eenchide corect aplica\u021bia \u0219i sistemul de operare.
\n15:23. Se desemneaz\u0103 un grup responsabil pentru MS SQL (sunt pu\u021bini, dependen\u021ba serviciilor de ei nu este mare, dar procedura de recuperare a func\u021bionalit\u0103\u021bii dureaz\u0103 mai mult timp \u0219i este mai complex\u0103 dec\u00e2t, de exemplu, cea pentru Cassandra).<\/p>\n

Depresiune<\/h4>\n

\n15:25. Am primit informa\u021bii despre oprirea aliment\u0103rii \u00een patru s\u0103li din 16 (nr. 6, 7, 8, 9).<\/b> \u00cen s\u0103lile 7 \u0219i 8 se afl\u0103 echipamentele noastre. \u00cenc\u0103 nu avem informa\u021bii despre alte dou\u0103 s\u0103li ale noastre (nr. 1 \u0219i 3).
\nDe obicei, \u00een caz de incendii, alimentarea electric\u0103 este oprit\u0103 imediat, dar \u00een acest caz, datorit\u0103 muncii coordonate a pompierilor \u0219i personalului tehnic al centrului de date, nu a fost oprit\u0103 peste tot \u0219i nu imediat, ci \u00een func\u021bie de necesitate.
\n(S-a descoperit ulterior c\u0103 alimentarea \u00een s\u0103lile 8 \u0219i 9 nu a fost oprit\u0103.)
\n15:28. \u00cencepem desf\u0103\u0219urarea bazelor de date MS SQL din backupuri \u00een alte centre de date.
\nC\u00e2t timp va dura acest lucru? Este suficient\u0103 l\u0103\u021bimea de band\u0103 a re\u021belei pe \u00eentregul traseu?
\n15:37. Au fost \u00eenregistrate deconect\u0103ri ale unor por\u021biuni din re\u021bea.<\/b>
\nManagementul \u0219i re\u021beaua de produc\u021bie sunt izolate fizic una de cealalt\u0103. Dac\u0103 re\u021beaua de produc\u021bie este disponibil\u0103, atunci pute\u021bi accesa serverul, opri aplica\u021bia \u0219i \u00eenchide OS-ul. Dac\u0103 nu este disponibil\u0103, pute\u021bi accesa prin IPMI, opri aplica\u021bia \u0219i \u00eenchide OS-ul. Dac\u0103 niciuna dintre re\u021bele nu este disponibil\u0103, nu pute\u021bi face nimic. \u201eMul\u021bumesc, c\u0103pitane!\u201d, ve\u021bi g\u00e2ndi.
\n\u201e\u0218i, \u00een general, e un pic prea mult\u0103 agita\u021bie\u201d, a\u021bi putea g\u00e2ndi \u0219i voi.
\nIdeea este c\u0103 serverele, chiar \u0219i f\u0103r\u0103 incendiu, genereaz\u0103 o cantitate uria\u0219\u0103 de c\u0103ldur\u0103. Mai exact, c\u00e2nd exist\u0103 r\u0103cire, ele genereaz\u0103 c\u0103ldur\u0103, iar c\u00e2nd nu este, creeaz\u0103 un iad termic care, \u00een cel mai bun caz, va topi o parte din echipament \u0219i va opri o alt\u0103 parte, iar \u00een cel mai r\u0103u caz\u2026 va provoca un incendiu \u00een sal\u0103, care va distruge practic totul.<\/p>\n

\"Ar
\n
\n15:39. Fix\u0103m problemele cu baza de date conf.<\/p>\n

Baza conf este backend-ul pentru serviciul omonim, care este utilizat de toate aplica\u021biile de produc\u021bie pentru a modifica rapid set\u0103rile. F\u0103r\u0103 aceast\u0103 baz\u0103, nu putem gestiona func\u021bionarea portalului, dar portalul \u00een sine poate func\u021biona.<\/p><\/blockquote>\n

\n15:41. Senzorii de temperatur\u0103 de pe echipamentele de re\u021bea Core \u00eenregistreaz\u0103 valori apropiate de limitele admisibile. Este o cutie care ocup\u0103 un rack \u0219i asigur\u0103 func\u021bionarea tuturor re\u021belelor din interiorul centrului de date.<\/p>\n

\"Ar
\n
\n15:42. Issue tracker \u0219i wiki sunt inaccesibile, trecem pe standby.
\nAceasta nu este produc\u021bie, dar \u00eentr-o urgen\u021b\u0103, accesibilitatea oric\u0103rei baze de cuno\u0219tin\u021be poate fi critic\u0103.
\n15:50. Una dintre sistemele de monitorizare s-a oprit.
\nSunt mai multe, fiecare responsabil cu diferite aspecte ale func\u021bion\u0103rii serviciilor. O parte dintre ele sunt configurate s\u0103 func\u021bioneze autonom \u00een fiecare centru de date (adic\u0103 monitorizeaz\u0103 doar centrul lor de date), iar altele sunt compuse din componente distribuite, care pot supravie\u021bui pierderii oric\u0103rui centru de date.
\n\u00cen acest caz, a \u00eencetat s\u0103 func\u021bioneze sistemul de detectare a anomaliilor \u00een indicatorii logici de afaceri<\/a><\/noindex>, care func\u021bioneaz\u0103 \u00een modul master-standby. Am trecut pe standby.<\/p>\n

Acceptare<\/h4>\n

\n15:51. Prin IPMI, am oprit f\u0103r\u0103 a \u00eencheia corect activitatea tuturor serverelor, cu excep\u021bia MS SQL.
\nSunte\u021bi preg\u0103ti\u021bi pentru gestionarea \u00een mas\u0103 a serverelor prin IPMI, dac\u0103 va fi necesar?<\/p>\n

Exact momentul \u00een care salvarea echipamentelor din centrul de date este complet\u0103 \u00een aceast\u0103 etap\u0103. Tot ce se putea face, s-a f\u0103cut. Unii colegi pot s\u0103 se odihneasc\u0103.<\/i>
\n16:13. A fost raportat c\u0103 \u021bevile de freon de pe acoperi\u0219 s-au rupt\u2014aceasta va am\u00e2na lansarea centrului de date dup\u0103 stingerea incendiului.<\/b>
\n16:19. Conform datelor primite de la personalul tehnic al centrului de date, cre\u0219terea temperaturii \u00een s\u0103li s-a oprit.
\n17:10. Func\u021bionarea bazei conf a fost restabilit\u0103. Acum putem schimba set\u0103rile aplica\u021biilor.
\nDe ce este at\u00e2t de important, dac\u0103 totul este redundat \u0219i func\u021bioneaz\u0103 chiar \u0219i f\u0103r\u0103 un centru de date?
\n\u00cen primul r\u00e2nd, nu totul este redundant. Exist\u0103 diverse servicii secundare care momentan nu fac fa\u021b\u0103 bine la un e\u0219ec al centrului de date, iar unele baze sunt \u00een modul master-standby. Capacitatea de a gestiona set\u0103rile permite s\u0103 facem tot ce este necesar pentru a minimiza impactul consecin\u021belor accidentului asupra utilizatorilor, chiar \u0219i \u00een condi\u021bii dificile.
\n\u00cen al doilea r\u00e2nd, a devenit clar c\u0103 activitatea centrului de date nu va fi complet restabilit\u0103 \u00een urm\u0103toarele ore, a\u0219a c\u0103 era necesar s\u0103 se ia m\u0103suri pentru a preveni ca indisponibilitatea pe termen lung a replicilor s\u0103 conduc\u0103 la probleme suplimentare, cum ar fi umplerea discurilor \u00een centrele de date r\u0103mase.
\n17:29. Este timpul pentru pizza! La noi lucreaz\u0103 oameni, nu robo\u021bi.<\/p>\n

\"Ar
\n<\/p>\n

Reabilitare<\/h4>\n

\n18:02. Temperatura s-a stabilizat \u00een s\u0103lile nr. 8 (a noastr\u0103), 9, 10 \u0219i 11. \u00cen una din cele care r\u0103m\u00e2n oprite (nr. 7) se afl\u0103 echipamentele noastre, iar temperatura continu\u0103 s\u0103 creasc\u0103.
\n18:31. Am dat und\u0103 verde pentru pornirea echipamentului \u00een s\u0103lile nr. 1 \u0219i 3\u2014aceste s\u0103li nu au fost afectate de incendiu.<\/p>\n

\u00cen prezent, se desf\u0103\u0219oar\u0103 pornirea serverelor \u00een s\u0103lile nr. 1, 3, 8, \u00eencep\u00e2nd cu cele mai critice. Se verific\u0103 corectitudinea func\u021bion\u0103rii tuturor serviciilor pornite. Exist\u0103 \u00een continuare probleme cu sala nr. 7.<\/i><\/p>\n

18:44. Personalul tehnic al centrului de date a descoperit c\u0103 \u00een sala nr. 7 (unde se afl\u0103 doar echipamentele noastre) multe servere nu sunt oprite. Conform datelor noastre, acolo r\u0103m\u00e2n active 26 de servere. Dup\u0103 o nou\u0103 verificare, descoperim 58 de servere.
\n20:18. Personalul tehnic al centrului de date ventilaz\u0103 aerul din sala f\u0103r\u0103 aer condi\u021bionat prin conducte mobile, instalate prin coridoare.
\n23:08. Am trimis primul administrator acas\u0103. Cineva trebuie s\u0103 se odihneasc\u0103 noaptea pentru a continua lucr\u0103rile m\u00e2ine. Apoi, trimitem acas\u0103 \u0219i o parte din al\u021bi administratori \u0219i dezvoltatori.
\n02:56. Am pornit tot ce poate fi pornit. Facem o verificare ampl\u0103 a tuturor serviciilor cu teste automate.<\/p>\n

\"Ar
\n
\n03:02. Aerul conditionat din sala 7, ultima, a fost restabilit.
\n03:36. Am adus fronturile \u00een data center \u00een rota\u021bie \u00een DNS. De acum, \u00eencepe s\u0103 vin\u0103 traficul utilizatorilor.
\nDispers\u0103m o mare parte din echipa de administratori acas\u0103. Dar p\u0103str\u0103m c\u00e2\u021biva oameni.<\/p>\n

Un mic FAQ:
\n\u00ce: Ce s-a \u00eent\u00e2mplat \u00eentre 18:31 \u0219i 02:56?
\nR: Conform \u201ePlanului de ac\u021biune \u00een caz de urgen\u021b\u0103\u201d, pornim toate serviciile, \u00eencep\u00e2nd cu cele mai importante. \u00cen acest timp, coordonatorul din chat atribuie un serviciu administratorului disponibil, care verific\u0103 dac\u0103 OS-ul \u0219i aplica\u021bia s-au pornit corect, dac\u0103 nu sunt erori, dac\u0103 parametrii sunt normali. Dup\u0103 finalizarea pornirii, el anun\u021b\u0103 \u00een chat c\u0103 este liber \u0219i prime\u0219te de la coordonator un nou serviciu.
\nProcesul este suplimentar \u00eent\u00e2rziat de echipamentele defecte. Chiar dac\u0103 oprirea OS-ului \u0219i \u00eenchiderea serverelor s-au desf\u0103\u0219urat corect, o parte din servere nu revin din cauza discurilor, memoriei sau carcaselor care au cedat brusc. \u00cen cazul pierderii aliment\u0103rii, procentul de defec\u021biuni cre\u0219te.
\n\u00ce: De ce nu este posibil s\u0103 pornim totul dintr-o dat\u0103 \u0219i apoi s\u0103 repar\u0103m ce apare \u00een monitorizare?
\nR: Totul trebuie f\u0103cut treptat, deoarece exist\u0103 dependen\u021be \u00eentre servicii. Iar verificarea ar trebui f\u0103cut\u0103 din timp, f\u0103r\u0103 a a\u0219tepta monitorizarea \u2014 deoarece problemele trebuie rezolvate imediat, f\u0103r\u0103 a a\u0219tepta agravarea lor.<\/p><\/blockquote>\n

\n7:40. Ultimul administrator (coordonator) a plecat s\u0103 doarm\u0103. Lucr\u0103rile primei zile s-au \u00eencheiat.
\n8:09. Primii dezvoltatori, ingineri din data center \u0219i administratori (inclusiv noul coordonator) au \u00eenceput lucr\u0103rile de restaurare.
\n09:37. Am \u00eenceput ridicarea s\u0103lii nr. 7 (ultima).
\n\u00cen paralel, continu\u0103m s\u0103 restaur\u0103m ceea ce nu am reu\u0219it s\u0103 repar\u0103m \u00een celelalte s\u0103li: \u00eenlocuirea discurilor\/memoriei\/serverelor, repararea tuturor celor care \u201earde\u201d \u00een monitorizare, revenirea la schimbarea rolurilor \u00een schemele master-standby \u0219i alte mici lucruri, care de\u0219i sunt multe, totu\u0219i sunt destul de numeroase.
\n17:08. Permit toate lucr\u0103rile planificate cu produc\u021bia.
\n21:45. Lucr\u0103rile celei de-a doua zile s-au \u00eencheiat.
\n09:45. Ast\u0103zi este vineri. \u00cen monitorizare exist\u0103 \u00een continuare destul de multe probleme minore. Ne a\u0219teapt\u0103 un weekend, tuturor ne place s\u0103 ne odihnim. Continu\u0103m s\u0103 repar\u0103m masiv tot ce se poate. Sarcinile administrative planificate au fost am\u00e2nate. Avem un coordonator nou.
\n15:40. \u00centr-o \u00eentors\u0103tur\u0103 nea\u0219teptat\u0103, jum\u0103tate din stiva de echipamente de re\u021bea din ALT centru de date s-a restartat. Am scos din rota\u021bie frontend-urile pentru a minimiza riscurile. Nu exist\u0103 efecte pentru utilizatori. Mai t\u00e2rziu, s-a dovedit c\u0103 a fost un \u0219asiu defect. Coordonatorul lucreaz\u0103 la repararea a dou\u0103 avarii simultan.
\n17:17. Func\u021bionarea re\u021belei \u00een alt centru de date a fost restabilit\u0103, totul a fost verificat. Centrul de date a fost reintegrat \u00een rota\u021bie.
\n18:29. Lucr\u0103rile de recuperare de dup\u0103 avarie au fost finalizate.<\/p>\n

Cuv\u00e2nt \u00eenainte<\/h4>\n

\n04.04.2013, \u00een ziua erorii 404<\/a><\/noindex>, \u201eOdnoklassniki\u201d a suferit cea mai mare avarie<\/a><\/noindex> \u2014 timp de trei zile, portalul a fost complet sau par\u021bial inaccesibil. Pe parcursul acestei perioade, peste 100 de persoane din diferite ora\u0219e, din diferite companii (\u00eenc\u0103 o dat\u0103, mul\u021bumesc!), au reparat mii de servere, at\u00e2t de la distan\u021b\u0103, c\u00e2t \u0219i direct \u00een centrele de date, at\u00e2t manual, c\u00e2t \u0219i automat.
\nAm \u00eenv\u0103\u021bat lec\u021biile. Pentru a evita repetarea unei astfel de situa\u021bii, am realizat \u0219i continu\u0103m s\u0103 desf\u0103\u0219ur\u0103m lucr\u0103ri ample.<\/p>\n

Care sunt principalele diferen\u021be \u00eentre avaria curent\u0103 \u0219i cea 404?<\/p>\n