Avec mes collègues, nous avons pensé : pourquoi, avant notre fête d'horreur préférée, ne pas rappeler toutes les inquiétudes qui surgissent dans la construction de centres de données, au lieu de parler des succès et des projets intéressants ? Alors, éteignez la lumière, mettez de la musique inquiétante, voici des histoires qui nous font parfois encore nous réveiller en sueur froide.
Le fantôme du bureau
Dans un bâtiment de bureaux, nous faisions une salle serveur et toute l'automatisation des systèmes climatiques, y compris les volets avec des entraînements. Sur le toit se trouve une station météorologique qui détermine de quel côté le soleil brille et ferme les volets si c'est trop lumineux. Le projet a été livré et oublié, puis, après un certain temps, ils nous appellent et demandent :
— Pourriez-vous rétablir le fonctionnement manuel des volets ? Nous voulons tout fermer nous-mêmes.
— Pourquoi ?!
— Nos femmes de ménage ont peur. Et nous aussi — c'est comme si un fantôme était là.
C'est exactement comme ça qu'un professionnel de l'automatisation fait un cauchemar : d'abord, le client veut de l'automatisation et de l'efficacité énergétique, tu lui fais tout cela avec joie, et puis il s'avère que le responsable aime diriger lui-même. Et dans la pièce où la gestion climatique est complètement automatisée, tout fonctionne finalement en mode manuel.
Dans les bureaux de divers cadres supérieurs, nous installons souvent un panneau tactile avec lequel on peut contrôler les scénarios d'éclairage, la climatisation, la ventilation et les volets. Un cadre supérieur particulièrement conservateur a dit : je ne veux pas d'algorithmes, je veux deux boutons : « tout allumer » et « tout éteindre ». Le programmeur est venu, a pleuré en enlevant l'interface standard de contrôle, a dessiné deux boutons à la place et est rentré chez lui en pleurant.
Où sont nos générateurs ?
Par une nuit sombre et ténébreuse, dans la pièce sombre du technicien Oleg, son téléphone portable a sonné.
— Nous avons ici une température de liquide de refroidissement trop élevée dans l'unité de générateur. Je vais vous envoyer une capture d'écran.
C'était le dispatcher du centre de données que nous avons livré il y a un mois avec le cœur léger. Ni la température affichée pour le générateur ni le fait qu'il était trois heures du matin ne l'ont dérangé. Parce que ce n'était pas du tout une température, mais un code d'erreur « pas de connexion avec le capteur ». Oleg a honnêtement dit au dispatcher où il devrait aller avec de telles demandes en pleine nuit. Littéralement :
— Va voir du côté des diesels, il y a de fortes chances que la batterie du capteur soit à plat. Le module de batterie dans les diesel alimente ce panneau de contrôle, il y a un interrupteur — si quelqu'un de votre équipe l'a touché, il faut le remettre dans la bonne position.
En fait, un dispatcher est justement la personne qui doit connaître l'objet aussi bien qu'un fraiseur connaît ses trois doigts, mais là, une question étonnante a été posée :
— Et les diesels, ils sont où ?
— Monte au deuxième étage, demande aux électriciens, ils vont te montrer.
Pendant les 20 minutes suivantes, Oleg a travaillé à distance comme un guide, essayant de mettre en relation le dispatcher et les électriciens, qui n'étaient pas vraiment enthousiastes à l'idée de faire des visites au milieu de la nuit.
La circulation des soucis au Data Center
Dans un royaume lointain, dans un état éloigné, il y a eu un problème avec notre sur . Exactement trois heures avant de passer la certification auprès de Uptime Institute. Pas la peine de raconter longuement ce que sont les chillers et les convertisseurs de fréquence, si vous ne savez pas. Donc, croyez-moi sur parole : ils doivent fonctionner comme des horloges, sinon la certification se transformera en citrouille, et le client deviendra une belle-mère méchante. Et, le plus frustrant, il aura raison, car la commission facture des sommes folles pour sa visite, et si quelque chose ne va pas, personne ne vous remboursera.
Un technicien du fournisseur est arrivé, a haussé les épaules et a dit que le patient était plutôt mort, et qu'il faudrait attendre au moins un mois pour la nouvelle carte. La commission était déjà à la porte, il n'y avait pas beaucoup de solutions. La première — retirer le convertisseur de fréquence du chillier "sain" pour le mettre sur le "malade", puis faire l'échange jusqu'à ce que les tests soient terminés. Ce n'est pas de la triche, au cas où : selon le règlement de test, l'un des trois chillers est tout de même en réserve, donc le scénario est tout à fait valide. La deuxième solution — essayer de trouver un nouveau convertisseur de fréquence dans le temps qui reste d'une heure et demie. Nous avons appelé notre frigoriste à Moscou. Le frigoriste a contacté un ami chez le représentant russe du fournisseur. Ce dernier, à son tour, a pressé le fabricant aux Pays-Bas et… dans une demi-heure, nous montions déjà une nouvelle carte. La certification s'est déroulée à merveille.
Les travaux inachevés
Qu'il soit long ou court, sur un chantier, il arrive toujours un moment où tous les sous-traitants partent et restent : les travaux inachevés. Cela concerne les travaux non terminés, et non ceux qui les ont laissés, au cas où. Le dernier arrivé est celui qui doit tout déblayer.
Nous avons une fois installé un centre de données dans un sous-sol : des racks en deux rangées, alignés d'un côté pour permettre l'ouverture de la porte. Cela a créé un espace entre une rangée et le mur, et le client refusait de signer le procès-verbal de réception à cause de cet écart. Le technicien et le chef de projet sont partis tôt le matin chez 'Leroy Merlin' pour acheter de la mousse, de la peinture et des fixations, et ont soigneusement comblé l'espace pour que cela soit en harmonie avec les racks. C'était livré.
Une fois, après le départ des sous-traitants chargés du chauffage, un décalage a été découvert dans le projet : il devait y avoir 7 radiateurs, mais il n'y en avait que 6. Nous sommes allés vérifier — tout était en ordre, ils avaient effectivement omis de mettre un radiateur dans le couloir. Il était trop tard pour boire du 'Borjomi', tout était déjà installé et pressurisé. Le client se lamente car les procès-verbaux ont déjà été signés. Encore une fois, 'Leroy Merlin' a sauvé la situation — nous avons acheté un chauffage électrique, tiré un groupe de câbles dans le couloir et dimanche matin, nous avons tout installé nous-mêmes, le client est satisfait.
Une fois, on nous a laissé un rien magique à la place d'une cloison coupe-feu. Dans le centre de données, le conduit d'air de ventilation de l'étage supérieur descend dans le sous-sol, à travers une pièce qui, selon la classification incendie, appartient à une catégorie différente de celles au-dessus et en dessous. En pratique, cela signifie qu'il doit y avoir une vanne coupe-feu dans le conduit, et que tout autour doit être protégé par une cloison coupe-feu. Autour de notre conduit lumineux avec la vanne coupe-feu, il y avait un trou ; devinez qui et comment l'a colmaté ? 'Leroy Merlin' n'a pas sponsorisé ce post, quel dommage.
Dale Carnegie fume nerveusement.
Il y a longtemps, quand l'herbe était plus verte et que le dollar était à 30 et quelques, nous avons fait un centre de données pour une banque dans le centre historique de Moscou. Nous devions respecter des délais extrêmement serrés. Mais les ruelles là-bas sont étroites, les ouvertures du bâtiment aussi, soulever plusieurs tonnes d'équipement à l'étage par les escaliers est pratiquement impossible. Nous avons dit au client qu'il fallait charger la grue directement sur le toit, et le client a répondu dans le style 'si tu es un cow-boy, fais le saut'. C'est-à-dire que c'était une bonne idée, mais maintenant il fallait coordonner l'arrivée d'une grue de 120 tonnes avec des instances comme la GIBDD. Idéalement, hier. Bonne chance dans vos démarches, si vous ne réussissez pas, vous aurez une amende.
La situation est délicate, le temps presse, et nous avons décidé de prendre des risques. Après tout, les amendes de la GIBDD comparées aux pénalités pour non-respect des délais sont des broutilles. Un samedi matin, nous avons fait venir une grue de 16 mètres, espérant finir rapidement. Au bout de quelques heures, un policier de quartier est arrivé et a timidement demandé l'autorisation. Nous n'en avions bien sûr pas. Et on ne sait pas comment tout cela aurait fini si un commercial n'avait pas été présent à nos côtés, avec des compétences diplomatiques exceptionnelles.
Il a emmené le policier à l'écart, lui a expliqué quelque chose pendant 5 minutes, le policier a changé plusieurs fois d'expression pendant ce temps, mais finalement, il est monté dans son UAZ et a crié que, si quelque chose se passait, il reviendrait pour nous aider. Quels étaient ses arguments, le commercial ne se livre toujours pas.
Soulevez-moi, les gens !
Derrière les collines, au-delà des champs, mais dans les limites de la Troisième zone de transport, se tenait … non pas une chaumière, mais un véritable site gouvernemental sérieux. Un long quart de nuit, nous déchargeons le matériel. Le dernier camion avec 15 tonnes de fer dans la benne sort de l'unique carrefour du site, un bruit assourdissant éclate, et la machine s'enfonce dans la boue. 5 heures du matin, le chantier commence à s'animer, le conducteur d'un camion malaxeur derrière notre camion, se souvenant des femmes tombées, demande sans détour : n'allons-nous pas dégager la route ? Son béton est en train de durcir. Et nous aimerions bien, car à 7 heures, l'un des nombreux commandes d'un des ministres arrivera, et s'il voit ce désordre, il y aura des répercussions pour tout le monde : des ingénieurs aux dirigeants.
Le technicien court vers le grutier local, le prie de soulever la barre de métal de la benne pour que nous puissions mettre un autre camion en dessous. Mais celui-ci refuse catégoriquement, même contre de l'argent. La situation a été sauvée par notre ingénieur — il a négocié par l'intermédiaire du supérieur du grutier. Nous avons finalement réussi à amener la barre là où elle devait aller, mais nous étions déjà un peu grisonnants.
Et ensuite, nous sommes devenus très grisonnants, sur le même chantier. Une épicfail s'est produite dans le sens le plus littéral.
Il existe une chose : un chariot télescopique. On l'utilise lorsque l'espace sur un chantier est restreint, mais qu'il faut soulever une charge et la placer délicatement en hauteur. Nous avions besoin de lui pour décharger un module de 1,5 tonne par la fenêtre à travers un trou. Rien ne laissait présager cela : selon les spécifications, la machine devait supporter un peu plus de 2 tonnes. Mais quand il ne restait plus qu'un demi-mètre jusqu'à la fenêtre, les « fourchettes » du chariot se sont cassées, et le métal est tombé de la hauteur. Que faire ? Nous appelons le fabricant pour qu'il envoie quelqu'un faire des réparations. Les techniciens sont venus et... ont refusé d'entrer sur le chantier. Parce qu'il fallait passer par un sentier, où un excavateur était en train de creuser. Nous, on est habitués : j'ai attendu 10 secondes, le bras tourné dans la direction opposée au sentier, et j'ai couru. Cela a choqué l'équipe. Nous avons donc dû présenter cette particularité comme une attraction divertissante, une sorte de « Fort Boyard », et ils ont finalement réparé le module.
Karma non instantanée
Bientôt le conte sera raconté, mais le travail n'avance pas facilement, surtout lorsqu'il s'agit de signer les actes de réception des travaux réalisés. Une fois, nous avons construit un excellent centre de données pour une entreprise. Mais le roi-client a décidé de nous soumettre à une dernière épreuve :
— Vous avez écrit dans les spécifications 100 écrous pour le bac, mais j'en ai compté 97. Corrigez les spécifications et le budget ou je ne signerai rien.
Nous devions chaque fois voyager à des kilomètres, et avec le roi-client, nous comptions en chœur les fixations pour les conduits d'air, les écrous, les boulons. À chaque fois, il s'avérait qu'il y avait non pas 97, mais 99, etc. Et nous n'avions pas de paix. Finalement, nous avons accumulé tant de coûts internes que notre direction n'a pas pu le supporter. Ils ont dit : qu'ils fassent ce qu'ils veulent — plus personne n'y retourne. Ainsi, nous sommes restés sans signatures.
…Et un an plus tard, le client vient lui-même et demande poliment où il pourrait signer ? Il s'est avéré que la chambre des comptes était venue, et qu'il avait des équipements non comptabilisés d'une valeur à sept zéros.
Wingardium Leviosa !
Il était une fois un bon client qui a décidé d'acheter un vieux bâtiment pour un centre de données. Mais sa joie ne dura pas longtemps : des problèmes commencèrent dans la salle des batteries. Il nous appela à l'aide pour jeter un coup d'œil et donner des conseils. Nous arrivons chez lui, entrons dans la salle des batteries, et là… les murs flottent à une certaine hauteur du sol sur trois côtés. C'est que quatre tonnes de batteries avaient simplement été posées sur le sol — et le sol commença à s'enfoncer. C'est un problème fréquent avec les batteries : il est essentiel de calculer correctement la charge sur les structures et de prévoir des cadres de décharge pour éviter que les plafonds ne s'effondrent comme un château de cartes.
Mais la cerise sur le gâteau de cet enfer architectural était l'absence totale de fondation. Les murs reposaient simplement sur une chape de sable, sous laquelle se trouvait un sol peu accueillant. Nous avons commencé à réfléchir à comment sauver le patient, et au final, nous avons proposé un système complexe de silicatation : c'est lorsque le sol est foré à plusieurs endroits et qu'une solution de renforcement y est injectée. Cela n'a pas ramené le sol à son niveau précédent, mais au moins cela a arrêté l'enfoncement.
La bataille de deux yokozunas.
Dans un certain royaume, dans un certain État de bureaux, nous avons réalisé la supervision : pour le centre de données à un étage, pour la gestion du climat — pour l'ensemble. Des dizaines d'armoires d'automatisation, des kilomètres de câbles basse tension !
La particularité de ce bureau était son propre complexe de spa avec sauna. Lorsque nous avons conçu le projet, il était prévu que la salle de vapeur soit utilisée occasionnellement. Mais un ingénieur prévoit, et un client dispose : la direction s'est tellement engagée dans un mode de vie sain qu'ils ont cessé d'éteindre le sauna — trop long à chauffer.
Conclusion : l'automatisation détecte une augmentation de la température due au sauna — elle active la climatisation de manière plus intensive pour compenser. Cela n'aide pas vraiment. Le climatiseur continue de lutter — l'atmosphère devient tendue, car l'automatisation ne soupçonne pas que quelqu'un puisse se prélasser autant. Le climatiseur sombre dans la paranoïa et se dit : « Ce n'est pas eux, c'est moi. Tous mes efforts sont vains. J'ai l'impression d'être cassé », ce qu'il signale à la console de supervision. Le superviseur soupire et appuie sur le bouton « tâche annulée ». Et cela se produit chaque jour.
D'un simple mouvement de la main.
Nous avons encore beaucoup d'histoires dans nos tiroirs, mais elles ne tiendraient pas toutes ici. Voici trois dernières anecdotes : sur des mains maladroites.
Voici la première histoire sur la manière dont, dans un même bâtiment, nous avons créé une pression d'air pour les halls d'ascenseurs et les cheminées. Nous avons terminé les travaux, quitté le site, attendu qu'un autre entrepreneur termine les travaux de finition, puis sommes retournés pour tester le système. Lorsque nous avons lancé la pression d'air, le faux plafond s'est soudainement gonflé, les plaques se sont écrasées au sol avec un bruit assourdissant, et tout a instantanément pris un style « loft ». Il s'est avéré que les gars qui ont installé le plafond avaient oublié de mettre des plaques perforées pour l'air. Ils n'avaient même pas pensé à leur existence, prenant simplement dans un paquet ouvert - et voilà, ils n'ont pas prêté attention à l'emballage des perforés, n'ont pas consulté le projet.
La deuxième épopée concerne également le plafond. Dans un datacenter, il y avait un couloir assez étroit, et le renouvellement d'air dans la salle avec les rack de batteries devait être conséquent, donc des conduits s'étendaient le long du plafond. Les braves gars réalisant le faux plafond n'ont pas pris de précautions et… ont vissé les supports de suspensions directement dans nos malheureux conduits d'air. Chaque conduit vibre un peu déjà lors du fonctionnement des installations de ventilation, et quand il y a plein de trous et d'irrégularités, les sons de l'Apocalypse vous attendent. Nous avons alors donné à ces fiers monteurs des corrections si vivifiantes que les blessures sur les conduits se sont miraculeusement refermées. À leurs frais, bien sûr.
La troisième anecdote est survenue lorsque nous avons créé l'automatisation pour le système de climatisation technologique. Nous avons remis à l'entrepreneur du client un capteur de température et, sans arrière-pensée, lui avons demandé de l'installer sur le calorifère d'air d'entrée. Les installations d'air d'entrée ont toujours un réchauffeur pour l'air extérieur : soit à eau, soit électrique. Cette personne merveilleuse a exécuté tout cela sans sourciller. En d'autres mots, il a pris et a vissé une vis directement dans le tube du calorifère à eau, avec toutes les conséquences qui s'ensuivent (littéralement). Heureusement, sur le site, il y avait des techniciens en climatisation avec du gaz MAPP — la fuite a été rapidement soudée.
Liens :
- Écrire si besoin à : build@croc.ru
Source : habr.com
