Je vais tout de suite le dire : le rat dans le serveur livré, que nous avons nourri de thé après un choc électrique il y a quelques années, s'est probablement échappé. Parce que nous avons vu un jour son amie lors de la visite. Et nous avons immédiatement décidé d'installer des répulsifs à ultrasons.
Maintenant, autour du data center, c'est une terre maudite : aucun oiseau ne se pose sur le bâtiment, et tous les taupes et vers se sont probablement enfuis. Nous étions inquiets que provoquer une défaillance du HDD, mais nous avons vérifié, les fréquences ne sont pas les bonnes.
L'histoire suivante est beaucoup plus amusante. Un jour, nous avons reçu un matériel coûtant plusieurs millions de roubles dans une boîte avec des capteurs d'inclinaison, de vibration et d'humidité. Tout était intact. Nous avons soigneusement retiré l'emballage, mais le matériel était tordu. Mystère.
Le boîtier est vraiment en arc. C'est beau.
Un détective
Nous n'y aurions pas prêté attention, car le boîtier métallique tordu était presque d'une manière design. C'est beau, sans éclats. Et s'il n'y avait pas d'autres appareils similaires à proximité, nous n'aurions même pas pensé, lors du déballage, que quelque chose n'allait pas. Mais il y avait des appareils identiques, juste d'une forme géométrique plus correcte.
Heureusement, le déballage de ce type de matériel est enregistré en vidéo (je recommande à tout le monde de prendre cette habitude), donc nous avons pu prouver au fabricant qu'il était arrivé ainsi. Un emballage entier et un boîtier soigneusement tordu — ce n'est pas un choc des manutentionnaires. Il est probable qu'il ait été endommagé avant son départ pour la Russie.
Le fournisseur dit : « Eh bien, les gars, pourquoi ne pas le remplacer tout de suite sous garantie ? » Et là, nous avons été confrontés à un épique piège.
Le fait est que la douane nous autorise à importer ce type d'équipement par les documents sans droit d'exportation. C'est-à-dire qu'on peut amener, mais on ne peut pas revendre à l'étranger. Quand nous retournons un bloc d'alimentation grillé, par exemple, c'est clair. C'est une pièce de rechange, un bloc d'alimentation.
Mais ici, il était nécessaire de renvoyer tout :
— Les gars, regardez, nous renvoyons le matériel au fabricant.
— L'équipement entier ?
— Oui.
— Le modèle est tel ?
— Oui.
— Cela peut-il fonctionner ?
— Nous ne savons pas, nous ne l'avons pas allumé.
— Donc, c'est un équipement entier.
— Mais il ne fonctionne pas.
— Eh bien, regardez, c'est un équipement entier de ce modèle. Sans droit de réexportation. Nous ne vous laisserons pas passer.
En gros, il y a eu beaucoup de contorsions avant de comprendre que nous ne l'exportons pas, mais que nous le renvoyons. Au final, tout a bien été fait.
Il y avait aussi des surchaussures.
Il y a plusieurs années, nous avions notre première machine automatique, le rêve de tout administrateur. On y mettait des surchaussures par paquet, elle les déballait toute seule, les ouvrait et les mettait en position pour qu'il ne reste qu'à enfiler. Clic-clic et c'est prêt.
Environ six mois plus tard, elle avait mâché près de cent paquets de surchaussures et s'était étouffée. Il s'est avéré qu'elle avait tellement de pièces mobiles qu'il fallait soit la réparer tous les mois à cause de notre charge de travail (nous avons beaucoup d'ingénieurs-clients sur site car nous sommes un centre de données commercial), soit acheter une nouvelle.
Le deuxième problème, c'est que lors d'un nettoyage régulier, nous avons trouvé une "petite lingette bleue" accrochée à la grille d'un de nos racks de test. L'ingénieur de l'équipe X a identifié le fragment d'une surchaussure. Il s'est avéré qu'à la clinique, avec des surchaussures, c'est pratique : on marche pendant une demi-heure — et voilà. Mais certains ingénieurs peuvent travailler toute la journée avec des appareils. En traînant les pieds. En traînant beaucoup. Et les surchaussures s'usent en petits morceaux qui volent dans la salle des machines.
Nous avons acheté presque immédiatement une nouvelle surchaussure. Nous avons opté pour une machine à thermosurchaussures : c'est un appareil où l'on charge un film, et il thermo-souffle soigneusement ce film sur la chaussure. C'est joli, efficace, solide. Ça se répand moins. Elle est restée chez nous assez longtemps, mais il fallait changer le film thermo-rétractable environ une fois toutes les 1-2 heures, car la semelle avait tendance à se décoller toute seule.
Au début, nous pensions que c'était de la malchance pour nous, mais que les autres avaient réussi à résoudre ce problème. Mais non. Nous avons demandé à des collègues occidentaux — c'était la même histoire. Au final, nous avons commencé à réfléchir à comment faire les choses correctement. Faire des allers-retours dans la salle des machines pour de nouvelles surchaussures — l'idée, disons-le, n'est pas géniale. Nous avons trouvé des nettoyeurs industriels pour chantiers et usines. C'est un peu comme des tapis sur lesquels entrent les équipes. Les tapis avec plein de rouleaux nettoient tout, et sont conçus de manière à ce qu'on le veuille ou non — ils attrapent et nettoient. Ils coûtent entre 500 000 et un million de roubles. Nous avons fouillé et trouvé un modèle similaire à 200 000, mais il faut mettre le pied dedans soi-même. Il ressemble à une machine à nettoyer des chaussures. On s'approche, on met le pied, elle le mâche et le rend propre. Nous l'avons mise à l'entrée du centre de données.
Ça fonctionne très bien à part deux nuances. La première — il est rapidement devenu évident que cela convenait aux ingénieurs. Mais en pratique, des personnes très diverses viennent au centre de données, parmi lesquelles des hauts dirigeants de grandes entreprises. Avec des chaussures en cuir de dragon. Pour eux, même le pinceau pour appliquer de la crème sur les chaussures coûte plus cher que mes baskets d'entraînement, ils choisissent spécialement le type de poils. Ce sont eux qui refusaient de mettre leurs pieds dans notre gadget miracle. Le deuxième problème est survenu en hiver : quand les chaussures sont vraiment très boueuses, elles ne peuvent pas toujours tirer tout ce qu’il y a dans les profondes rainures. Après, on marche dans le couloir et on laisse des traces d'éctoplasme.
Nous avons décidé simplement. Nous avons mis à côté un distributeur de surchaussures à rouleau. De toute façon, nous devons tout doubler par standard.
Un nouveau problème est apparu. En observant le comportement des ingénieurs-clients, nous avons vu la situation suivante : d'abord, ils mettaient leur pied dans la machine de nettoyage, puis ils prenaient des surchaussures du distributeur à rouleau. Maintenant, nous avons accroché un panneau indiquant que c'est soit l'un soit l'autre, et qu'il est préférable de se nettoyer, mais si des principes de vie interdisent de nettoyer les chaussures, alors mettez les surchaussures. Cela ressemblait à un billet qui devait prendre quelques jours, mais qui a duré longtemps, et s'est fermé. Voici l'appareil :
Deux fois « cou »
Conformément aux exigences PCI DSS, il faut être capable de distinguer visuellement les rôles des personnes présentes dans le centre de données. Sans examiner le badge et lire quoi que ce soit, mais vraiment visuellement, comme les militaires se distinguent par leurs épaulettes, mais encore plus clairement. Nous avons décidé de ne pas faire dans la sophistication et avons utilisé la bonne vieille méthode certes — la différenciation colorée des pantalons. Concrètement, nous avons commencé à faire des bandes de badges de différentes couleurs. Les administrateurs ont immédiatement pris le vert, comme leur préféré.
Cela semble simple, mais cela a provoqué trois effets inattendus :
- Nous avions besoin de rétracteurs pour autocontrôler le tirage de ces badges lorsqu'ils étaient portés (ce sont des gadgets qui régulent eux-mêmes la longueur de la bande). Nous avons rédigé un cahier des charges, en prenant en compte toutes les souhaits de tous les départements. C'était une erreur stratégique. Couleur, format, matériau, rétracteur non plastique, fil en métal, pour apposer le logo, pour qu'il soit cousu dans la bande. Ces choses sont devenues si chères que nous avons dû réduire les exigences et changer le format.
- Lorsque la différenciation des bracelets a été mise en place, c'est devenu très pratique. Les entrepreneurs ont un type de bracelet, les administrateurs externes en ont un autre, et nos administrateurs en ont un troisième. On peut voir qui a quel rôle. En électricité, seuls des bracelets gris, en climatisation, des bracelets bleus. Il a également fallu des bracelets pour les conducteurs (c'est un rôle distinct, ils peuvent entrer dans la zone de déchargement, mais ne peuvent en sortir que pour aller à l'extérieur). Les conducteurs n'ont pas besoin de passes. Au départ, nous leur donnions des bracelets sans passes. Puis, les responsables de la sécurité ont décidé que c'était très étrange et que cela portait atteinte à la dignité des conducteurs. Ils ont leur propre logique militaire, donc maintenant les conducteurs viennent chercher leur passe avec le bracelet, mais ce passe ne permet pas d'accéder à d'autres zones. Cela devient un marqueur que la sécurité a vérifié cette personne.
- Un de nos ingénieurs a proposé de remplacer le bracelet par des pulls de couleur verte. Il a envoyé une suggestion d'optimisation. Nous avons fait à moitié : nous avons laissé les passes avec le bracelet, et nous avons effectivement fait coudre des pulls verts. Maintenant, nous avons l'uniforme de l'administrateur. Les responsables de la sécurité ont soutenu la blague et l'ont intégrée aux règlements. C'est maintenant obligatoire (pantalons, chemise, pull, mais le pull peut être enlevé).
Nos clients se plaignaient souvent des itinéraires incorrects sur les cartes menant à notre centre de données « компрессор ». Vous saisissez l'adresse, mais le chemin s'affiche de manière incorrecte. Les visiteurs finissaient par se perdre, car il y avait une voie ferrée et derrière, un embouteillage où il était impossible de faire demi-tour. Au départ, nous souhaitions installer des panneaux au-dessus de la route. Il existe un service de la ville – placer des panneaux jaunes supplémentaires sous les panneaux habituels, considérés comme de la publicité. Le prix est celui de la publicité : sur l'autoroute Enthusiastov, un panneau coûte un million de roubles par an. En parallèle, nous avons écrit à Yandex, et ils ont même étonnamment répondu. Et ils ont cessé leurs abus. On peut même indiquer les diodes des portes : entrée par une, sortie par une autre.
Google, si vous nous lisez, sachez que vous avez encore un problème, et nous ne savons pas à qui le dire pour être entendus.
Dans les lettres d'invitation, nous avons inséré des liens non seulement vers l'adresse, mais vers l'adresse avec l'itinéraire établi depuis la géoposition de l'utilisateur. En conséquence, les erreurs de navigation ont diminué.
Projecteurs Gobo et autres petites choses
Savez-vous ce que sont les gobos-projecteurs ? Nous non plus. Nous avons pensé à comment marquer les rangées de racks. Les racks eux-mêmes sont naturellement marqués avec des étiquettes amovibles, mais elles ne sont visibles qu'à une distance de 1 à 2 mètres. La salle fait 500 m², donc il est facile de s'y perdre. Nous avons donc décidé de marquer les rangées. Un brainstorming a commencé. Comment marquer, avec quoi et où ? Au sol, sur le mur, des indications au plafond, etc. À ce moment-là, l'un de nos collègues a remarqué qu'avant, Ikea avait des autocollants usants au sol, et plus tard, des flèches lumineuses sont apparues. Nous avons donc décidé de faire un retour simple : aller chez Ikea et examiner l'un des projecteurs. Nous n'avons pas pu le sortir : pendant que nous déplacions des chaises, le vendeur a demandé ce que nous faisions. Et il a tout de suite aidé, en disant que c'était un gobo. En fait, ce n'est pas le projecteur lui-même, mais une plaque ou un verre pour une image colorée. Ce filtre à lumière est le gobo. Un projecteur coûte à partir de 40 000 roubles (il a une lampe puissante pour un usage diurne), et nous avons 14 rangées dans chacun des quatre ateliers. Nous avons donc appliqué des autocollants.
Nous avons également des schémas sur les murs qui se décolorent avec le temps. Nous les avons remplacés par des versions laminées, avec des petites poches 'intégrées' pour le réviseur. Le réviseur dans notre cas est l'ingénieur en chef, responsable de la vérification de la conformité de tous les schémas affichés dans le Datacenter. Tous les schémas doivent ainsi être vérifiés chaque année et signés par ce réviseur. La présence d'un petit livret spécial dans la poche du schéma simplifie cette procédure et évite de devoir remplacer le schéma tous les trois ans. Bénéfice !
Nous avons effectué un nettoyage rotatif du faux plancher à l'extérieur. Nous avons des nettoyages réguliers, avec des méthodologies et un temps de nettoyage. Mais les lourdes racks laissent des traces. Nous avons procédé au nettoyage. Maintenant, nous sommes un peu nerveux : cela n'a pas l'air beaucoup plus propre, mais il y a des reflets sous certains angles pour certaines personnes, celles qui ont leurs feutres à leur goût. Nous réfléchissons maintenant et cherchons un produit chimique qui blanchira le sol et donnera de l'éclat. Pour qu'il n'y ait même pas de questions de la part des élus.
Avez-vous vu les consoles sur pied ? Ce sont comme des tables de buffet mobiles, mais au lieu de boissons, il y a un terminal de connexion sur le stand. Eh bien, ces consoles ont des roulettes qui se détachent et se bloquent, tout comme les chariots dans un supermarché. Cela nous a énormément frustrés. En fin de compte, la seule solution pour les remettre en état était d'acheter une nouvelle roue. Malheureusement, nous n'avons pas pu trouver des roues compatibles avec nos modèles, même après avoir interrogé tous les fournisseurs. Nous avons donc conçu nous-mêmes un support en mettant l'accent sur la facilité de déplacement dans la salle de machines et la possibilité de réparation. C'est un très bon résultat.
Il y a eu une histoire avec des chaussettes synthétiques. Il existe une chose appelée bracelets antistatiques. C'est quand vous vous approchez du stand, vous connectez le bracelet à la terre sur le stand, et il se connecte à un système d'égalisation des potentiels. Eh bien, le stand est bien mis à la terre, mais il se peut que l'ingénieur ne soit pas mis à la terre. Des collègues de mes anciens lieux de travail racontaient avoir vu des étincelles sur les caméras de surveillance à quelques reprises, et chez nous, nous avons décidé par prudence d'obliger tout le monde à utiliser ces bracelets conformément à la réglementation.
Incidents critiques
En ce qui concerne les sérieux, il y a eu une situation où tous les chillers se sont arrêtés en même temps. Nos chillers ne sont pas protégés par des UPS, car nous croyons à la physique, et comme réserve de température, nous avons une piscine avec de l'eau réfrigérée. Si quelque chose se déconnecte, il ne s'agit pas de batteries pour alimenter les chillers qui refroidissent l'eau, mais simplement de l'eau froide déjà prête. C'est pratique et simple, mais il y a un petit détail. Les chillers sont équipés d'une protection automatique qui les déconnecte en cas de paramètres dangereux du réseau électrique. Si l'alimentation s'arrête, nous activons le générateur, et ensuite les chillers sont alimentés par celui-ci. Tout irait bien si nous ne vivions pas en Russie. Nous avons eu de nombreuses chutes de réseau, mais tout allait bien. Cependant, une fois, il y a eu une montée brutale d'abord vers le bas, puis brusquement vers le haut, puis à nouveau vers le bas - en quelques secondes, les paramètres d'entrée changeaient d'environ 4 fois. Les chillers se sont naturellement déconnectés. Nous avons d'abord essayé de les redémarrer à distance, mais ils se sont protégés de manière très fiable, en mode d'urgence. Il a fallu aller manuellement sur le toit pour les relancer. Ce qui est important, selon la norme Tier III, une telle situation est une raison légitime d'arrêter le Data Center. Nous n'avons pas eu d'arrêt, car les personnes sur place savent ce qu'elles font, et nous avons des exercices de formation. Pour cela, nous avons été régulièrement poussés par l'UI pour être sûrs de notre TIII Operational. Au fait, nous avons passé la récertification de l'UI pour le TIII Gold - Operational Sustainability. Sur le marché commercial russe des centres de données, rien n'est plus solide que notre réalisation, seul un autre en dispose de cette même récompense. . Je note qu'il est plus difficile de se recertifier que d'obtenir un certificat de zéro, car ils vérifient aussi la période précédente dans les détails, et il faut beaucoup plus de preuves.
Il y a eu un incident intéressant avec les caméras. Nous avons décidé de recompter les zones aveugles par précaution, tracé des intersections, construit des diagonales de champs de vision sur le plan, et soudainement, nous avons trouvé une zone morte d'environ 30 centimètres sur 15 mètres directement au centre d'une des salles. Étroit et long. Il n'y en a pas dans la salle voisine. Il s'est avéré que la caméra pivotante avait lentement bougé au fil des ans, de sorte qu'elle montrait environ un degré et demi à gauche de ce qu'elle devait montrer dans sa position extrême.
Un autre gros incident s'est produit lors du .
Liens
- et
- Mon e-mail : PGoryunov@croc.ru
Source : habr.com
