🥇La vie quotidienne dans un datacenter : détails peu évidents sur 7 ans d'exploitation. Et la suite sur le rat

Je dirai tout de suite : ce rat dans le serveur apporté, à qui nous avons donné du thé il y a quelques années après un choc électrique, s'est très probablement échappé. Parce qu'une fois, nous avons vu son amie lors d'une tournée. Et nous avons immédiatement décidé d'installer des répulsifs à ultrasons.

Il existe désormais un territoire maudit autour du centre de données : aucun oiseau ne se posera sur le bâtiment et probablement toutes les taupes et les vers se sont échappés. Nous étions inquiets que le son peut provoquer une panne du disque dur, mais vérifié, les fréquences ne sont pas les mêmes.

L'histoire suivante est bien plus amusante. Nous avons déjà reçu un matériel pour quelques millions de roubles dans une boîte avec des capteurs d'inclinaison, de vibration et d'humidité. Tout est entier. J'ai soigneusement retiré l'emballage et le morceau de fer s'est plié. Mystique.

Le corps est droit en arc de cercle. Si beau.

détective

Nous n'y attacherions aucune importance, car le corps métallique courbé était presque une image de design. Tellement beau, pas de chips. Et sans d’autres éléments matériels similaires à proximité, nous n’aurions même pas pensé au déballage que quelque chose n’allait pas. Mais à proximité il y en avait les mêmes, mais avec une forme géométrique plus régulière.

Heureusement, le déballage d'un tel matériel est filmé (je recommande à tout le monde de prendre cette habitude), nous avons donc pu prouver au constructeur qu'il est arrivé ainsi. Un colis intact et un corps soigneusement plié ne sont pas un coup dur pour les déménageurs. Très probablement, elle a été blessée avant même de partir pour la Russie.

Le vendeur dit : « Euh, les gars, changeons-le tout de suite pour vous sous garantie. » Et puis une embuscade épique nous attendait.

Le fait est que les douanes nous permettent d'importer de tels équipements avec des documents sans droit d'exportation. Autrement dit, vous pouvez l'apporter, mais vous ne pouvez pas le revendre à quelqu'un en dehors de la Russie. Lorsque nous renvoyons par exemple une alimentation grillée, tout est clair. Il s'agit d'une pièce de rechange, d'une alimentation.

Et puis j'ai dû tout renvoyer :
- Les gars, écoutez, nous renvoyons le matériel au fabricant.
- Un équipement complet ?
- Oui.
— Modeler tel ou tel ?
- Oui.
- Peut marcher?
— On ne sait pas, on ne l'a pas allumé.
- C'est donc tout un équipement.
- Eh bien, ça ne marche pas.
- Eh bien, regardez, tout l'équipement est de ce modèle. Aucun droit de réexportation. Nous ne vous laisserons pas entrer.

En général, il y a eu beaucoup de squattage avant de comprendre que nous n’exportions pas, mais que nous le rendions. Finalement, nous avons réussi à tout faire.

Il y avait aussi des couvre-chaussures

Premièrement, il y a de nombreuses années, nous avons eu le premier système automatique, le rêve de tout administrateur. Vous y chargez un paquet de couvre-chaussures, il les déballe lui-même, les ouvre et les met dans une position où il vous suffit de marcher dessus. Chp-chpk et c'est fait.

Après environ six mois, elle a mâché une centaine de paquets de couvre-chaussures et s'est étouffée. Il s'est avéré qu'il y a tellement de pièces mobiles que nous devons soit les réparer une fois par mois à notre charge (nous avons beaucoup d'ingénieurs clients qui se promènent dans l'installation, car nous sommes un centre de données commercial), soit nous devons acheter un nouveau.

Le deuxième problème est que plus tard, lors d'un des nettoyages réguliers, nous avons trouvé un « petit chiffon bleu » accroché à la grille d'un des racks de nos tests. L'expert légiste, représenté par un ingénieur de X-Team, a identifié un fragment du corps du couvre-chaussure. Il s’est avéré qu’il était pratique de porter des couvre-chaussures à la clinique : j’ai marché pendant une demi-heure et c’est tout. Et certains ingénieurs peuvent travailler avec du matériel toute la journée. Remuer les pieds. Mélanger beaucoup. Et les couvre-chaussures s'usent en petits lambeaux qui volent autour de la salle des machines.

Nous avons presque immédiatement acheté un nouveau couvre-chaussure. Nous avons pris un étui thermique pour bottes : c'est une machine dans laquelle on charge du film, et elle thermorétracte soigneusement ce film sur le dessus de la chaussure. Beau, efficace, durable. Moins de diffusion. Nous l'avions depuis assez longtemps, mais nous devions changer le film rétractable environ une fois toutes les 1 à 2 heures, car la semelle avait tendance à tomber toute seule.

Au début, nous pensions que nous n'avions pas de chance, mais les gens résolvent ce problème d'une manière ou d'une autre. Mais non. Nous avons demandé à nos collègues occidentaux : la même histoire. En conséquence, ils ont commencé à réfléchir à la façon de le faire normalement. Revenir de la salle des machines pour de nouveaux couvre-chaussures est, franchement, une idée médiocre. Nous avons trouvé des nettoyants industriels pour les chantiers de construction et les industries. Ce sont en quelque sorte des chemins par lesquels l'équipe entre dans l'atelier. Les chemins avec un tas de rouleaux nettoient tout et sont faits de telle manière que, que vous le vouliez ou non, ils s'accrocheront et nettoieront. Ils coûtent entre un demi-million et un million de roubles. Nous avons fouillé et trouvé le même pour 200 XNUMX, mais il faut y mettre les pieds soi-même. Sa taille est similaire à celle d’une cireuse à chaussures. Vous montez, vous y mettez votre pied, elle le mâche et le rend propre. Ils l'ont placé à l'entrée du centre de données.

Cela fonctionne très bien, sauf pour deux problèmes. La première est qu’il est vite devenu évident que c’était normal pour nous, ingénieurs. Mais dans la pratique, diverses personnes viennent au centre de données pour y jeter un coup d’œil, notamment des dirigeants de grandes entreprises. Avec des chaussures en cuir d'âne de dragon. Et même pour appliquer de la crème sur les chaussures, leur pinceau coûte plus cher que mes baskets d'entraînement, ils sélectionnent spécialement les poils. Ce sont eux qui ont refusé de mettre les pieds dans notre appareil miracle. Le deuxième problème se pose en hiver : lorsque les chaussures sont vraiment en désordre, elles ne parviennent pas à tout retirer de la bande de roulement profonde. Ensuite, vous faites le tour du hall en laissant des traces d'ectoplasme.

Nous avons décidé simplement. Nous avons placé un couvre-chaussure roulé à côté. Il faut tout de même tout dupliquer selon la norme.

Un nouveau problème est apparu. En observant le comportement des ingénieurs clients, nous avons vu l'image suivante : ils ont d'abord mis leurs pieds dans la machine pour le nettoyage, puis ont accroché des couvre-chaussures à un couvre-chaussure roulé. Maintenant, ils ont mis une pancarte indiquant que c'est l'un ou l'autre, et qu'il vaut mieux se nettoyer soi-même, mais si les principes de la vie interdisent de nettoyer ses chaussures, alors portez des couvre-chaussures. Il semble que le ticket, qui durait quelques jours, mais qui durait longtemps, ait été clôturé. Voici l'appareil :

"ku" deux fois

Selon les exigences PCI DSS, vous devez être capable de distinguer visuellement les rôles des personnes situées dans le centre de données. Sans regarder de près le laissez-passer et y lire quelque chose, mais directement visuellement, comme les militaires, ils se distinguent par leurs bretelles, mais encore plus lumineuses. Nous avons décidé de ne pas nous montrer et avons utilisé la bonne vieille méthode Chatlan - différenciation des couleurs des pantalons. Concrètement, ils ont commencé à fabriquer des rubans de différentes couleurs. Nos administrateurs ont immédiatement choisi Green comme favori.

Cela semble simple, mais cela a provoqué trois effets inattendus :

Des rétracteurs étaient nécessaires pour rétracter automatiquement ces passes lorsqu'elles étaient portées (ce sont des éléments qui régulent eux-mêmes la longueur du ruban). Nous avons rédigé un cahier des charges technique qui a pris en compte tous les souhaits de tous les services. C'était une erreur stratégique. Couleur, format, matière, l'enrouleur n'est pas en plastique, la ligne de pêche est en métal pour appliquer le logo afin qu'il soit cousu dans le ruban. Les pièces se sont avérées si chères que nous avons dû réduire les exigences et modifier le format.
Une fois que la différenciation des pantalons a commencé à fonctionner, cela est devenu très pratique. Les entrepreneurs ont des rubans, les administrateurs externes en ont d'autres et nos administrateurs en ont d'autres. Vous pouvez voir qui a quel rôle. Pour l'électricité - uniquement les gris, pour la climatisation - bleu. Et puis il nous fallait des rubans pour les chauffeurs (c'est un rôle à part, ils peuvent entrer dans la zone de déchargement, mais ne peuvent en sortir qu'à l'extérieur). Les conducteurs n'ont pas besoin de laissez-passer. Au début, nous leur avons donné des rubans sans laissez-passer. Les agents de sécurité ont alors décidé que cela était complètement étrange et dégradant pour la dignité humaine des chauffeurs. Ils ont leur propre logique militaire, alors maintenant les conducteurs viennent immédiatement recevoir un laissez-passer avec un ruban, mais ce laissez-passer ne leur permet d'aller nulle part. Du point de vue de la sécurité, il s'avère que c'est un signe que la sécurité a contrôlé cette personne.
Un de nos ingénieurs a suggéré de fabriquer des pulls d'uniforme verts au lieu de rubans. Et il a envoyé une proposition de rationalisation. Ils ont fait la moitié du chemin : ils ont laissé les laissez-passer avec le ruban et ils ont cousu les pulls verts de l'uniforme. Nous avons maintenant un uniforme d'administrateur. Les agents de sécurité ont soutenu la plaisanterie et l'ont incluse dans le règlement. Désormais c'est obligatoire (pantalon, chemise, pull, mais le pull peut être retiré).

Nos clients se plaignaient également souvent des itinéraires tortueux sur les cartes avant d'entrer dans notre centre de données Compressor. Vous saisissez l'adresse, mais la route ne s'affiche pas correctement. Les visiteurs finissaient par rouler dans la mauvaise direction, car il y avait une voie ferrée là-bas, et derrière elle il y avait un embouteillage, et il n'y avait aucun moyen de faire demi-tour. Au début, nous voulions mettre des panneaux au-dessus de la route. La ville dispose d'un tel service - placez des panneaux jaunes supplémentaires sous les panneaux habituels, ils sont considérés comme de la publicité. Et leur prix est comme celui de la publicité : sur l'autoroute Entuziastov, un panneau coûte un million de roubles par an. Dans le même temps, nous avons écrit à Yandex, et ils ont même soudainement répondu. Et ils ont arrêté de faire des siennes. Vous pouvez même spécifier les diodes de la porte : entrée par certaines, sortie par d'autres.

Google, si vous nous lisez, sachez : vous avez toujours un problème, et nous ne savons pas à qui en parler pour être entendus.

Les lettres d’invitation incluaient des liens non seulement vers une adresse, mais aussi vers une adresse avec un itinéraire basé sur la géolocalisation de l’utilisateur. En conséquence, il y a eu moins d’échecs.

Projecteurs Gobo et autres petits objets

Savez-vous ce que sont les projecteurs de gobos ? Nous ne le savions pas non plus. D'une manière ou d'une autre, nous réfléchissions à la façon de marquer les rangées de racks. Les racks eux-mêmes, bien sûr, sont marqués de marquages spéciaux à dégagement rapide, mais ils sont visibles à une distance de 1 à 2 mètres. La salle elle-même fait 500 m², il y a donc beaucoup de place pour s'y perdre. Nous avons donc finalement commencé à marquer les lignes. Un brainstorming a commencé. Comment marquer, avec quoi et où ? Au sol, au mur, panneaux au plafond, etc. Et puis notre collègue a vu que chez Ikea il y avait des autocollants qui s'usaient sur le sol, et puis des flèches lumineuses sont apparues. Eh bien, nous avons décidé d'inverser la situation d'une manière simple : aller chez Ikea et éteindre l'un des projecteurs pour regarder. Nous n’avons pas pu l’obtenir : pendant que nous transportions les chaises, le vendeur nous a demandé ce que nous faisions. Et il a immédiatement aidé en disant que c'était un gobo. Il s'avère qu'il ne s'agit pas du projecteur lui-même, mais d'une plaque ou d'une lentille pour une image couleur. Ce filtre est un gobo. Un projecteur coûte 40 14 roubles (il existe une lampe puissante pour une utilisation diurne) et nous avons XNUMX rangées dans chacune des quatre salles des machines. C'est pourquoi nous y mettons des autocollants.

Nous avons aussi des schémas sur les murs qui s'estompent avec les années. Nous les avons remplacés par des laminés, avec des poches spéciales « cousues » pour les auditeurs. Dans notre cas, l'Inspecteur est l'ingénieur en chef, dont les responsabilités incluent la vérification de la pertinence de tous les schémas situés dans le data center. Ainsi, tous les programmes doivent être vérifiés chaque année et signés par un tel auditeur. Et la présence d'un petit chargeur spécial dans la pochette du schéma facilite cette procédure et ne nécessite pas de remplacer le schéma lui-même tous les trois ans. Profit!

Nous avons effectué un nettoyage rotatif du plancher surélevé à l'extérieur. Nous effectuons des nettoyages réguliers, nous avons des méthodes et des horaires de nettoyage. Mais les roues des lourds racks laissent des traces. Nous avons fait le ménage. Maintenant, nous sommes nerveux : cela n'a pas l'air beaucoup plus soigné, mais des reflets sont apparus sous certains angles pour certaines personnes, enfin, qui ont leurs propres feutres selon leurs goûts. Maintenant, nous y réfléchissons et recherchons une sorte de produit chimique qui blanchira le sol et ajoutera de la brillance. Pour que même les sélectionnés n’aient pas de questions.

Avez-vous vu les supports de console ? Ce sont comme des tables de buffet ambulantes, mais à la place des boissons, il y a un terminal pour se connecter au rack. Ainsi, sur ces rayonnages cantilever, les roues tombent et se bloquent, comme les chariots d'un supermarché. Nous en avons incroyablement marre. De ce fait, le seul moyen possible de le relancer est d’acheter une nouvelle roue. Mais il n'était plus possible de se procurer des roues spécifiques pour nos modèles, nous avons interrogé tous les entrepreneurs. En conséquence, nous avons conçu le rack nous-mêmes, en nous concentrant sur la facilité de déplacement dans la salle des machines et sur la maintenabilité. Cela a très bien fonctionné.

Il y a eu une histoire avec des chaussettes synthétiques. Il existe une telle chose : les bracelets antistatiques. C'est à ce moment-là que vous vous rendez au rack, que vous connectez le bracelet à la masse du rack, et qu'il communique avec le système d'égalisation de potentiel. Ainsi, le rack est mis à la terre, mais il se peut que l'ingénieur ne soit pas mis à la terre. Des collègues d'anciens lieux de travail nous ont raconté comment ils avaient vu à plusieurs reprises des étincelles sur la vidéosurveillance, et nous avons décidé, par péché, d'obliger tout le monde à l'utiliser directement conformément à la réglementation.

Incidents critiques

Plus sérieusement, il y a eu une situation où tous les refroidisseurs ont été coupés en même temps. Nos refroidisseurs ne sont pas protégés par un UPS, car nous croyons en la physique et nous disposons d'une piscine d'eau froide comme réserve de température. En cas de panne, vous n’avez pas besoin de piles pour alimenter les refroidisseurs qui refroidissent l’eau, mais simplement de l’eau froide elle-même, déjà prête. Pratique et simple, mais il y a une nuance. Les refroidisseurs sont équipés d'un équipement de sécurité automatique qui les éteint en cas de paramètres dangereux du réseau électrique. Si l'entrée est désactivée, nous allumons le groupe électrogène diesel, puis les refroidisseurs sont alimentés par celui-ci. Tout irait bien si nous ne vivions pas en Russie. Nous avons eu plusieurs fois des pannes de réseau, mais tout allait bien. Mais un jour, il y a eu un saut brusque, d'abord vers le bas, puis vers le haut, puis à nouveau vers le bas - en quelques secondes, les paramètres d'entrée ont changé environ 4 fois. Les refroidisseurs étaient bien sûr éteints. Nous avons d'abord essayé de les allumer à distance, mais ils se sont protégés de manière très fiable, comme en cas d'urgence. L'équipe devait marcher les pieds sur le toit et les allumer manuellement. Ce qui est important, selon la norme TierIII, c'est qu'une telle situation constitue un motif légitime de fermeture du centre de données. Nous n’avons pas eu d’arrêt, car les gens sont au sol avec la tête, et il y a des exercices avec des exercices. Pour cela, l'UI nous a simplement baisé régulièrement, pour être sûr de TIII Operational. Au contraire, nous avons réussi la recertification UI à TIII Gold - Operational Sustainability. Sur le marché commercial russe des centres de données, il n'y a rien de plus cool, à part le nôtre, un seul a le même résultat Centre de données. Je remarque que la recertification est plus difficile que d'obtenir un certificat à partir de zéro, car ils vérifient la période précédente comme si vous n'étiez pas vous-même, et beaucoup plus de preuves sont requises.

Il y a eu un incident intéressant avec les caméras. Nous avons décidé de recalculer les angles morts au cas où, dessiné des intersections, tracé des diagonales d'angles de vue sur le plan, et tout à coup nous avons trouvé un angle mort d'environ 30 centimètres sur 15 mètres en plein centre d'une des salles. Étroit et long. Il n’y a rien de tel dans la pièce voisine. Il s'est avéré que la caméra rotative s'était déplacée lentement au fil des années, de sorte qu'elle commençait à montrer environ un degré et demi vers la gauche par rapport à sa position extrême.

Il y a eu un autre gros incident dans le post à propos de la réparation et du remplacement du DDIBP.

références

Source: habr.com

Le quotidien d'un data center : des petits riens évidents pour 7 ans d'exploitation. Et une suite sur un rat