{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Faut-il \u00e9teindre les serveurs si le test de fum\u00e9e du data center a \u00e9chou\u00e9 ?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Que ressentiriez-vous si, un bel apr\u00e8s-midi d'\u00e9t\u00e9, le centre de donn\u00e9es avec votre \u00e9quipement ressemblait \u00e0 \u00e7a ?<\/p>\n

\"Faut-il
\n
\nBonjour \u00e0 tous ! Je m'appelle Dmitry Samsonov, je suis administrateur syst\u00e8me principal chez \u00abOdnoklassniki<\/a><\/noindex>\u00bb. Sur la photo se trouve l'un des quatre centres de donn\u00e9es o\u00f9 notre \u00e9quipement, servant notre projet, est install\u00e9. Derri\u00e8re ces murs se trouvent environ 4 000 unit\u00e9s de mat\u00e9riel : serveurs, syst\u00e8mes de stockage de donn\u00e9es, \u00e9quipements r\u00e9seau, etc. \u2014 presque \u2153 de tout notre \u00e9quipement.
\nLa majorit\u00e9 des serveurs fonctionnent sous Linux. Il y a aussi quelques dizaines de serveurs sous Windows (MS SQL) \u2014 un h\u00e9ritage dont nous nous s\u00e9parons progressivement depuis de nombreuses ann\u00e9es.
\nAinsi, le 5 juin 2019 \u00e0 14h35, les ing\u00e9nieurs de l'un de nos centres de donn\u00e9es ont signal\u00e9 une alarme incendie.
\n<\/a><\/noindex><\/p>\n

N\u00e9gation<\/h4>\n

\n14h45. De petits incidents de fum\u00e9e dans les centres de donn\u00e9es se produisent plus souvent qu'il n'y para\u00eet. Les indicateurs \u00e0 l'int\u00e9rieur des salles \u00e9taient normaux, donc notre premi\u00e8re r\u00e9action a \u00e9t\u00e9 relativement calme : nous avons impos\u00e9 une interdiction de travaux sur la production, c\u2019est-\u00e0-dire sur tout changement de configuration, le d\u00e9ploiement de nouvelles versions, etc., sauf pour les travaux li\u00e9s \u00e0 la r\u00e9paration de quoi que ce soit.<\/p>\n

Col\u00e8re<\/h4>\n

\nAvez-vous d\u00e9j\u00e0 essay\u00e9 de demander aux pompiers o\u00f9 exactement sur le toit s'est produit l'incendie, ou d'aller vous-m\u00eame sur le toit en feu pour \u00e9valuer la situation ? Quel sera le niveau de confiance dans l'information re\u00e7ue \u00e0 travers cinq personnes ?<\/p>\n

14:50. Des informations ont \u00e9t\u00e9 re\u00e7ues indiquant que le feu se rapproche du syst\u00e8me de refroidissement<\/b>. Mais atteindra-t-il ? L'administrateur syst\u00e8me de garde dirige le trafic externe depuis les fronts de ce centre de donn\u00e9es.<\/p>\n

Actuellement, tous nos services sont r\u00e9pliqu\u00e9s dans trois centres de donn\u00e9es, et un \u00e9quilibrage au niveau DNS permet de retirer les adresses d'un centre de donn\u00e9es du DNS, prot\u00e9geant ainsi les utilisateurs de probl\u00e8mes d'acc\u00e8s potentiels aux services. En cas de probl\u00e8me sur un centre de donn\u00e9es, il est automatiquement retir\u00e9 de la rotation. Vous pouvez en lire plus ici : \u00c9quilibrage de charge et r\u00e9silience chez \u00ab Odnoklassniki \u00bb.<\/a><\/noindex><\/p><\/blockquote>\n

\nPour l'instant, l'incendie ne nous a pas affect\u00e9s \u2014 ni les utilisateurs ni l'\u00e9quipement n'ont \u00e9t\u00e9 touch\u00e9s. Est-ce une urgence ? La premi\u00e8re partie du document \u00ab Plan d'action en cas d'urgence \u00bb d\u00e9finit le terme \u00ab urgence \u00bb et se termine par :
\n\u00abS'il y a des doutes, s'il s'agit d'une urgence ou non, alors c'est une urgence !<\/u>\u00bb<\/b><\/p>\n

14:53. Un coordinateur d'urgence est d\u00e9sign\u00e9.<\/p>\n

Le coordinateur est la personne qui supervise la communication entre tous les participants, \u00e9value l'ampleur de l'accident, utilise le \u00ab Plan d'action d'urgence \u00bb, fait appel au personnel n\u00e9cessaire, supervise l'ach\u00e8vement des r\u00e9parations, et, surtout, d\u00e9l\u00e8gue toutes les t\u00e2ches. En d'autres termes, c'est la personne qui g\u00e8re tout le processus de liquidation de l'accident.<\/p><\/blockquote>\n

<\/p>\n

N\u00e9gociation<\/h4>\n

\n15:01. Nous commen\u00e7ons \u00e0 \u00e9teindre les serveurs qui ne sont pas li\u00e9s \u00e0 la production.
\n15:03. Nous \u00e9teignons correctement tous les services r\u00e9serv\u00e9s.
\nCela inclut non seulement les avant-postes (auxquels les utilisateurs n'acc\u00e8dent d\u00e9j\u00e0 plus \u00e0 ce stade) et leurs services auxiliaires (logique m\u00e9tier, caches, etc.), mais aussi diverses bases de donn\u00e9es avec un facteur de r\u00e9plication de 2 ou plus (Cassandra<\/a><\/noindex>, stockage de donn\u00e9es binaires<\/a><\/noindex>, stockage \u00e0 froid<\/a><\/noindex>, NewSQL<\/a><\/noindex> etc.).
\n15:06. Nous avons re\u00e7u l'information qu'un incendie menace l'une des salles du centre de donn\u00e9es.<\/b> Dans cette salle, nous n'avons pas d'\u00e9quipement, mais le fait que le feu puisse se propager du toit aux salles change consid\u00e9rablement la situation.
\n(Il s'est av\u00e9r\u00e9 plus tard qu'il n'y avait pas de menace physique pour la salle, car elle \u00e9tait herm\u00e9tiquement isol\u00e9e du toit. La menace ne concernait que le syst\u00e8me de refroidissement de cette salle.)
\n15:07. Nous autorisons l'ex\u00e9cution des commandes sur les serveurs en mode acc\u00e9l\u00e9r\u00e9 sans v\u00e9rifications suppl\u00e9mentaires (sans notre calculatrice pr\u00e9f\u00e9r\u00e9e<\/a><\/noindex>).
\n15:08. La temp\u00e9rature dans les salles est normale.
\n15:12. Une augmentation de la temp\u00e9rature a \u00e9t\u00e9 enregistr\u00e9e dans les salles.<\/b>
\n15:13. Plus de la moiti\u00e9 des serveurs dans le centre de donn\u00e9es sont \u00e9teints. Nous continuons.
\n15:16. Une d\u00e9cision a \u00e9t\u00e9 prise d'\u00e9teindre tout l'\u00e9quipement.
\n15:21. Nous commen\u00e7ons \u00e0 couper l'alimentation des serveurs sans \u00e9tat sans \u00e9teindre correctement l'application et le syst\u00e8me d'exploitation.
\n15:23. Un groupe est d\u00e9sign\u00e9 pour g\u00e9rer MS SQL (ils sont peu nombreux, la d\u00e9pendance des services \u00e0 leur \u00e9gard n'est pas grande, mais la proc\u00e9dure de restauration de la fonctionnalit\u00e9 prend plus de temps et est plus complexe que, par exemple, celle de Cassandra).<\/p>\n

D\u00e9pression<\/h4>\n

\n15:25. Nous avons re\u00e7u des informations sur la coupure de l'alimentation dans quatre salles sur 16 (n\u00b06, 7, 8, 9).<\/b> Nos \u00e9quipements se trouvent dans les salles 7 et 8. Nous n'avons pas encore d'informations sur deux de nos salles (n\u00b01 et 3).
\nEn g\u00e9n\u00e9ral, lors des incendies, l'alimentation \u00e9lectrique est imm\u00e9diatement coup\u00e9e, mais dans ce cas, gr\u00e2ce au travail coordonn\u00e9 des pompiers et du personnel technique du centre de donn\u00e9es, elle n'a pas \u00e9t\u00e9 coup\u00e9e partout et imm\u00e9diatement, mais selon les besoins.
\n(Il a \u00e9t\u00e9 d\u00e9couvert plus tard que l'alimentation dans les salles 8 et 9 n'avait pas \u00e9t\u00e9 coup\u00e9e.)
\n15:28. Nous commen\u00e7ons \u00e0 d\u00e9ployer des bases MS SQL \u00e0 partir des sauvegardes dans d'autres centres de donn\u00e9es.
\nCombien de temps cela va-t-il prendre ? La bande passante du r\u00e9seau suffira-t-elle sur tout le trajet ?
\n15:37. Une coupure de certaines sections du r\u00e9seau a \u00e9t\u00e9 signal\u00e9e.<\/b>
\nLa gestion et le r\u00e9seau de production sont physiquement isol\u00e9s l'un de l'autre. Si le r\u00e9seau de production est accessible, vous pouvez vous connecter au serveur, arr\u00eater l'application et \u00e9teindre l'OS. Si ce n'est pas le cas, vous pouvez acc\u00e9der via IPMI, arr\u00eater l'application et \u00e9teindre l'OS. Si aucun des r\u00e9seaux n'est disponible, vous ne pourrez rien faire. \"Merci, capitaine !\", pensez-vous.
\n\u00ab Et d'ailleurs, \u00e7a fait pas mal de bruit, \u00bb pensez-vous peut-\u00eatre aussi.
\nLe probl\u00e8me, c'est que les serveurs g\u00e9n\u00e8rent une \u00e9norme quantit\u00e9 de chaleur m\u00eame sans incendie. Plus pr\u00e9cis\u00e9ment, lorsqu'il y a du refroidissement, ils g\u00e9n\u00e8rent de la chaleur, et quand il n'y en a pas, ils cr\u00e9ent un enfer atroce qui, dans le meilleur des cas, fera fondre une partie de l'\u00e9quipement et \u00e9teindra l'autre, et dans le pire des cas... causera un incendie dans la salle, ce qui d\u00e9truira tout presque in\u00e9vitablement.<\/p>\n

\"Faut-il
\n
\n15:39. Nous enregistrons des probl\u00e8mes avec la base conf.<\/p>\n

La base conf est le backend du service \u00e9ponyme, utilis\u00e9 par toutes les applications de production pour modifier dynamiquement les param\u00e8tres. Sans cette base, nous ne pouvons pas g\u00e9rer le fonctionnement du portail, mais le portail peut n\u00e9anmoins fonctionner.<\/p><\/blockquote>\n

\n15:41. Les capteurs de temp\u00e9rature sur l'\u00e9quipement r\u00e9seau Core enregistrent des valeurs proches du seuil critique. C'est une bo\u00eete qui occupe tout un rack et qui assure le fonctionnement de tous les r\u00e9seaux \u00e0 l'int\u00e9rieur du centre de donn\u00e9es.<\/p>\n

\"Faut-il
\n
\n15:42. Le tracker de probl\u00e8mes et le wiki ne sont pas accessibles, nous passons au mode de secours.
\nCe n'est pas la production, mais en cas d'accident, l'accessibilit\u00e9 de toute base de connaissances peut \u00eatre critique.
\n15:50. Un des syst\u00e8mes de monitorage s'est d\u00e9connect\u00e9.
\nIl y en a plusieurs, et elles r\u00e9pondent \u00e0 diff\u00e9rents aspects du fonctionnement des services. Certaines d'entre elles sont configur\u00e9es pour fonctionner de mani\u00e8re autonome \u00e0 l'int\u00e9rieur de chaque centre de donn\u00e9es (c'est-\u00e0-dire qu'elles ne surveillent que leur propre centre de donn\u00e9es), d'autres se composent de composants distribu\u00e9s qui passent sans probl\u00e8me la perte de n'importe quel centre de donn\u00e9es.
\nDans ce cas, le syst\u00e8me de d\u00e9tection d'anomalies des indicateurs de la logique m\u00e9tier<\/a><\/noindex>, qui fonctionne en mode master-standby. Nous avons bascul\u00e9 sur le standby.<\/p>\n

Acceptation<\/h4>\n

\n15:51. Nous avons \u00e9teint tous les serveurs via IPMI sans arr\u00eat correct, sauf pour MS SQL.
\n\u00cates-vous pr\u00eats pour la gestion de masse des serveurs via IPMI en cas de besoin ?<\/p>\n

C'est le moment o\u00f9 la sauvegarde de l'\u00e9quipement dans le data center est termin\u00e9e. Tout ce qui pouvait \u00eatre fait a \u00e9t\u00e9 fait. Certains coll\u00e8gues peuvent se reposer.<\/i>
\n16:13. Des informations sont parvenues indiquant que des tubes de frigidaire des climatiseurs sur le toit ont \u00e9clat\u00e9 - cela retardera le lancement du data center apr\u00e8s l'extinction de l'incendie.<\/b>
\n16:19. Selon les donn\u00e9es re\u00e7ues du personnel technique du data center, l'augmentation de la temp\u00e9rature dans les salles a cess\u00e9.
\n17:10. Le fonctionnement de la base conf a \u00e9t\u00e9 r\u00e9tabli. Nous pouvons maintenant modifier les param\u00e8tres des applications.
\nPourquoi est-ce si important, si tout est tol\u00e9rant aux pannes et fonctionne m\u00eame sans un data center ?
\nTout d'abord, tout n'est pas tol\u00e9rant aux pannes. Il existe divers services secondaires qui ne survivent pas encore assez bien \u00e0 la panne du data center, ainsi que des bases en mode master-standby. La possibilit\u00e9 de g\u00e9rer les param\u00e8tres permet de faire tout le n\u00e9cessaire pour minimiser les cons\u00e9quences d'une panne pour les utilisateurs, m\u00eame dans des conditions difficiles.
\nDeuxi\u00e8mement, il est devenu clair que le travail du data center ne sera pas enti\u00e8rement r\u00e9tabli dans les heures \u00e0 venir, il \u00e9tait donc n\u00e9cessaire de prendre des mesures pour que l'indisponibilit\u00e9 prolong\u00e9e des r\u00e9pliques ne conduise pas \u00e0 des probl\u00e8mes suppl\u00e9mentaires tels que le d\u00e9bordement des disques dans les autres data centers.
\n17:29. L'heure de la pizza ! Nous avons des gens qui travaillent, pas des robots.<\/p>\n

\"Faut-il
\n<\/p>\n

R\u00e9habilitation<\/h4>\n

\n18:02. La temp\u00e9rature dans les salles n\u00b08 (la n\u00f4tre), 9, 10 et 11 s'est stabilis\u00e9e. Dans l'une de celles qui restent \u00e9teintes (n\u00b07), se trouve notre \u00e9quipement, et la temp\u00e9rature continue d'augmenter.
\n18:31. Le feu vert a \u00e9t\u00e9 donn\u00e9 pour le d\u00e9marrage de l'\u00e9quipement dans les salles n\u00b01 et 3 - ces salles n'ont pas \u00e9t\u00e9 touch\u00e9es par le feu.<\/p>\n

\u00c0 l'heure actuelle, le d\u00e9marrage des serveurs dans les salles n\u00b01, 3, et 8 est en cours, en commen\u00e7ant par les plus critiques. La conformit\u00e9 de tous les services en cours d'ex\u00e9cution est v\u00e9rifi\u00e9e. Des probl\u00e8mes persistent avec la salle n\u00b07.<\/i><\/p>\n

18:44. Le personnel technique du data center a d\u00e9couvert que dans la salle n\u00b07 (o\u00f9 se trouve uniquement notre \u00e9quipement), de nombreux serveurs ne sont pas \u00e9teints. Selon nos donn\u00e9es, 26 serveurs restent allum\u00e9s. Apr\u00e8s une v\u00e9rification suppl\u00e9mentaire, nous d\u00e9couvrons 58 serveurs.
\n20:18. Le personnel technique du data center souffle de l'air dans la salle sans climatiseurs \u00e0 travers des conduits d'air mobiles, install\u00e9s \u00e0 travers les couloirs.
\n23:08. Nous avons laiss\u00e9 partir le premier administrateur chez lui. Quelqu'un doit dormir cette nuit pour pouvoir continuer demain. Nous laissons ensuite partir d'autres administrateurs et d\u00e9veloppeurs.
\n02:56. Nous avons lanc\u00e9 tout ce qui pouvait \u00eatre lanc\u00e9. Nous effectuons un grand contr\u00f4le de tous les services avec des tests automatis\u00e9s.<\/p>\n

\"Faut-il
\n
\n03:02. La climatisation de la derni\u00e8re salle, la 7e, a \u00e9t\u00e9 r\u00e9tablie.
\n03:36. Nous avons ouvert les fronts dans le centre de donn\u00e9es pour la rotation DNS. \u00c0 partir de ce moment, le trafic utilisateur commence \u00e0 arriver.
\nNous renvoyons la plupart de l'\u00e9quipe des administrateurs chez eux. Mais nous en gardons quelques-uns.<\/p>\n

Petit FAQ :
\nQ : Que s'est-il pass\u00e9 entre 18:31 et 02:56 ?
\nR : Conform\u00e9ment au \u00ab Plan d'action en cas d'urgence \u00bb, nous lan\u00e7ons tous les services, en commen\u00e7ant par les plus importants. Pendant ce temps, le coordinateur dans le chat attribue le service \u00e0 l'administrateur disponible, qui v\u00e9rifie si les OS et les applications ont d\u00e9marr\u00e9, s'il n'y a pas d'erreurs, si les indicateurs sont normaux. Une fois le lancement termin\u00e9, il informe le chat qu'il est libre et re\u00e7oit un nouveau service du coordinateur.
\nLe processus est \u00e9galement ralenti par du mat\u00e9riel d\u00e9fectueux. M\u00eame si l'arr\u00eat de l'OS et l'extinction des serveurs se sont bien d\u00e9roul\u00e9s, certaines machines ne red\u00e9marrent pas \u00e0 cause de disques, de m\u00e9moire ou de ch\u00e2ssis soudainement d\u00e9faillants. En cas de perte d'alimentation, le pourcentage de pannes augmente.
\nQ : Pourquoi ne peut-on pas simplement tout lancer en m\u00eame temps, puis r\u00e9parer ce qui appara\u00eet dans la surveillance ?
\nR : Tout doit \u00eatre fait progressivement, car il existe des d\u00e9pendances entre les services. Et il faut tout v\u00e9rifier imm\u00e9diatement, sans attendre la surveillance \u2014 car il vaut mieux r\u00e9soudre les probl\u00e8mes tout de suite, plut\u00f4t que d'attendre qu'ils s'aggravent.<\/p><\/blockquote>\n

\n7:40. Le dernier administrateur (coordinateur) est parti se coucher. Les travaux du premier jour sont termin\u00e9s.
\n8:09. Les premiers d\u00e9veloppeurs, ing\u00e9nieurs dans les centres de donn\u00e9es et administrateurs (y compris le nouveau coordinateur) ont commenc\u00e9 les travaux de r\u00e9tablissement.
\n09:37. Nous avons commenc\u00e9 \u00e0 lever la salle n\u00b07 (la derni\u00e8re).
\nEn parall\u00e8le, nous continuons \u00e0 r\u00e9tablir ce qui n'a pas \u00e9t\u00e9 termin\u00e9 dans les autres salles : remplacement de disques\/m\u00e9moire\/serveurs, r\u00e9paration de tout ce qui \u00ab br\u00fble \u00bb dans la surveillance, basculement inverse des r\u00f4les dans les sch\u00e9mas master-standby et autres d\u00e9tails, qui sont n\u00e9anmoins assez nombreux.
\n17:08. Nous autorisons toutes les op\u00e9rations normales avec le production.
\n21:45. Les travaux du deuxi\u00e8me jour sont termin\u00e9s.
\n09:45. Aujourd'hui, c'est vendredi. Il y a encore pas mal de petits probl\u00e8mes en cours de surveillance. Le week-end approche, tout le monde veut se reposer. Nous continuons \u00e0 r\u00e9parer massivement tout ce qui peut l'\u00eatre. Les t\u00e2ches administratives qui pouvaient \u00eatre report\u00e9es ont \u00e9t\u00e9 mises de c\u00f4t\u00e9. Un nouveau coordinateur.
\n15:40. Soudain, la moiti\u00e9 de la pile Core de l'\u00e9quipement r\u00e9seau dans UN AUTRE centre de donn\u00e9es a red\u00e9marr\u00e9. Nous avons retir\u00e9 les faces de la rotation pour minimiser les risques. Aucun impact pour les utilisateurs. Plus tard, il s'est av\u00e9r\u00e9 que c'\u00e9tait un ch\u00e2ssis d\u00e9fectueux. Le coordinateur travaille sur la r\u00e9paration de deux pannes simultan\u00e9ment.
\n17:17. Le fonctionnement du r\u00e9seau dans un autre centre de donn\u00e9es a \u00e9t\u00e9 r\u00e9tabli, tout a \u00e9t\u00e9 v\u00e9rifi\u00e9. Le centre de donn\u00e9es a \u00e9t\u00e9 int\u00e9gr\u00e9 \u00e0 la rotation.
\n18:29. Les travaux du troisi\u00e8me jour et la reprise globale apr\u00e8s l'accident sont d\u00e9sormais achev\u00e9s.<\/p>\n

Postface<\/h4>\n

\n04.04.2013, le jour de l'erreur 404,<\/a><\/noindex>\u00ab Odnoklassniki \u00bb a subi la plus grande panne<\/a><\/noindex> \u2014 pendant trois jours, le portail \u00e9tait compl\u00e8tement ou partiellement inaccessible. Pendant toute cette p\u00e9riode, plus de 100 personnes de diff\u00e9rentes villes et de diff\u00e9rentes entreprises (merci encore une fois !), ont r\u00e9par\u00e9 \u00e0 distance et directement dans les centres de donn\u00e9es, manuellement et automatiquement, des milliers de serveurs.
\nNous en avons tir\u00e9 des le\u00e7ons. Pour \u00e9viter que cela ne se reproduise, nous avons men\u00e9 et continuons \u00e0 mener des travaux \u00e9tendus.<\/p>\n

Quelles sont les principales diff\u00e9rences entre cet accident et le 404 ?<\/p>\n