Je dédie ce post à ceux qui ont menti sur les certificats, ce qui nous a presque amenés à installer des feux bengali dans nos salles.
L'histoire a plus de quatre ans, mais je la publie maintenant car le NDA est terminé. À l'époque, nous avons réalisé que nous avions quasiment rempli notre centre de données (que nous louons), mais son efficacité énergétique n'a pas vraiment amélioré. Auparavant, l'hypothèse était que plus nous le remplissons, mieux c'est, car l'ingénierie est répartie sur tout le monde. Mais il s'est avéré que nous nous trompions à cet égard, et qu'avec une bonne charge, il y avait des pertes quelque part. Nous avons travaillé sur de nombreux aspects, mais notre équipe courageuse s'est attaquée au refroidissement.
La vraie vie d'un centre de données est quelque peu différente de ce qu'elle est dans le projet. Des ajustements constants de la part du service d'exploitation pour améliorer l'efficacité et optimiser les paramètres pour de nouvelles tâches. Prenons l'armoire moyenne mythique. En pratique, elle n'existe pas, la charge est inégale, certains endroits sont très chargés, d'autres presque vides. Nous avons donc dû réajuster certaines choses pour une meilleure efficacité énergétique.
Notre centre de données Compressor est nécessaire pour divers clients. Par conséquent, en plein milieu de racks de deux à quatre kilowatts, on peut trouver un rack de 23 kilowatts ou plus. Les climatiseurs ont donc été configurés pour les refroidir, et l'air passait tout simplement à côté des racks moins puissants.
La deuxième hypothèse était que les couloirs chauds et froids ne se mélangent pas. Après des mesures, je peux dire que c'est une illusion, et la véritable aérodynamique diffère du modèle dans presque tous les aspects.
Inspection
Nous avons d'abord commencé à observer les flux d'air dans les salles. Pourquoi avons-nous entrepris cela ? Parce que nous savions que le datacenter est conçu pour cinq à six kW par rack, mais que, en réalité, ils varient de 0 à 25 kW. Réguler tout cela avec des dalles est presque impossible : les premières mesures ont montré qu'elles laissaient presque passer le même débit. Et il n'existe pas de dalles pour 25 kW, elles doivent non seulement être vides, mais également équipées d'un vide liquide.
Nous avons acheté un anémomètre et avons commencé à mesurer les flux entre et au-dessus des racks. En fait, il faut travailler avec lui selon la norme GOST et de nombreux standards, souvent difficilement réalisables sans arrêter la salle des machines. Ce qui nous intéressait n'était pas la précision, mais une vue d'ensemble. C'est-à-dire que nous avons mesuré approximativement.
Selon nos mesures, 60 % de l'air sortant des bouches d'aération entre dans les racks, tandis que le reste s'échappe. Cela est dû à la présence de racks lourds de 15 à 25 kW, sur lesquels le refroidissement est structuré.
Nous ne pouvons pas simplement éteindre les climatiseurs, car il fera très chaud dans les racks supérieurs. À ce moment-là, nous comprenons qu'il faut isoler quelque chose pour éviter que l'air ne circule d'un rang à l'autre et que l'échange thermique dans le bloc se produise quand même.
En parallèle, nous nous posons la question de la pertinence financière de cela.
Nous découvrons avec surprise que nous avons la consommation d'énergie du datacenter en général, mais nous ne pouvons tout simplement pas calculer les unités à air à l'intérieur d'une salle particulière. Analytiquement, c'est possible, mais dans les faits, non. Et nous ne sommes pas en mesure d'évaluer les économies. La tâche devient de plus en plus intéressante. Si nous économisons 10 % de la puissance des climatiseurs, combien d'argent peut-on mettre de côté pour l'isolation ? Comment calculer ?
Nous avons consulté des personnes qui affinaient le système de monitoring. Merci à ces gars : ils avaient tous les capteurs, il ne restait qu'à coder. Ils ont commencé à afficher séparément les refroidisseurs, les UPS et l'éclairage. Avec cette nouvelle fonctionnalité, il est devenu possible de voir comment la situation évolue selon les éléments du système.
Expériences avec des rideaux
En parallèle, nous commençons des expériences avec des rideaux (cloisons). Nous décidons de les fixer sur des poteaux de couvercles de câbles (il n'y a pas d'autres points d'attache), heureusement, ils doivent être légers. Nous avons rapidement décidé pour les abris ou les peignes.
Le problème réside dans le fait que nous avons travaillé avec de nombreux fournisseurs auparavant. Tous ont des solutions pour leurs propres datacenters, mais il n'existe pratiquement aucune solution prête pour un datacenter commercial. Nos clients entrent et sortent constamment. Nous sommes l'un des rares datacenters 'lourds' sans restriction de largeur de rack, capable de recevoir ces serveurs broyeur de 25 kW. Il n'y a aucune planification d'infrastructure à l'avance. Cela signifie que si nous adoptons des systèmes modulaires de cage de fournisseurs, il y aura toujours des lacunes de deux mois. En d'autres termes, le data center ne sera jamais énergétiquement efficace.
Nous avons décidé de le faire nous-mêmes, heureusement, nous avons nos propres ingénieurs.
La première chose que nous avons prise, ce sont des bandes de réfrigérateurs industriels. Ce sont des bandes flexibles en polyéthylène avec lesquelles on peut vraiment frapper. Vous les avez sûrement déjà vues quelque part à l'entrée du rayon viande des plus grands supermarchés. Nous avons commencé à chercher des matériaux non toxiques et ignifuges. Nous en avons trouvé, acheté pour deux rangées. Nous les avons suspendues et avons commencé à voir ce que cela donnait.
Nous savions que cela ne serait pas très réussi. Mais le résultat était vraiment très peu satisfaisant. Elles commencent, comme des pâtes, à se déployer dans les courants d’air. Nous avons trouvé des bandes magnétiques, comme celles des aimants de réfrigérateur. Nous les avons collées sur ces bandes, les avons assemblées, et le mur est devenu relativement monolithique.
Nous avons commencé à envisager ce qu'il y aurait dans la salle.
Nous sommes allés chez les constructeurs, montrant notre projet. Ils regardent et disent : vos rideaux sont très lourds. 700 kilos dans toute la salle des machines. Allez, disent-ils, chers amis, allez vous faire voir. Plus précisément, allez chez l'équipe de SKS. Qu'ils calculent combien il y a de pâtes dans les bacs, car 120 kg par mètre carré est le maximum.
SKS disent : souvenez-vous qu'un grand client est venu chez nous ? Il a des dizaines de milliers de ports dans une seule salle. Sur les bords de la salle des machines, ça va encore, mais plus près du cadre, ça ne tiendra pas : les bacs vont se détacher.
Les constructeurs ont également demandé un certificat pour le matériau. Je précise que nous avions jusqu'alors travaillé sur la seule parole du fournisseur, car c'était seulement un test. Nous avons contacté ce fournisseur et lui avons dit : OK, nous sommes prêts à entrer en bêta, envoyez-nous tous les papiers. Ils nous envoient quelque chose de pas très standard.
Nous leur avons dit : écoutez, où avez-vous obtenu ce papier ? Ils répondent : notre fabricant chinois nous l'a envoyé en réponse à nos demandes. D'après ce papier, cette chose ne brûle pas du tout.
À ce moment-là, nous avons compris qu'il était temps de s'arrêter et de vérifier les faits. Nous sommes allés voir les filles de la sécurité incendie du centre de données, elles nous ont donné le nom d'un laboratoire qui teste l'inflammabilité. Des prix et délais plutôt abordables (pourtant, nous avons maudit tout en constituant le nombre nécessaire de documents). Là, des scientifiques disent : apportez le matériau, nous ferons des tests.
Il était écrit dans la conclusion qu'à partir d'un kilogramme de substance, il reste environ 50 grammes de cendres. Le reste brûle intensément, coule et soutient très bien la combustion dans une flaque.
Nous comprenons - heureusement que nous n'avons pas acheté. Nous avons commencé à chercher un autre matériau.
Nous avons trouvé un polycarbonate. Il s'est avéré être plus rigide. La feuille transparente fait deux mm d'épaisseur, les portes sont en quatre mm. En réalité, c'est du verre acrylique. Avec le fabricant, nous commençons à discuter de la sécurité incendie : rendons-nous le certificat. Ils l'envoient. Il est signé par le même institut. Nous les appelons pour leur dire : alors, qu'est-ce que vous en pensez ?
Ils disent : oui, nous avons testé. D'abord, ils ont effectué des tests chez eux, puis seulement ils l'ont apporté pour les essais. Lors de la combustion d'un kilogramme de matériau (s'il est brûlé avec un chalumeau), il reste environ 930 grammes de cendres. Il fond et goutte, mais la flaque ne brûlera pas.
Nous vérifions immédiatement nos aimants (ils sont sur un support en polymère). À notre grande surprise, ils brûlent mal.
Assemblage
Nous commençons à assembler à partir de cela. Le polycarbonate est parfait, car il est plus léger que le polyéthylène, beaucoup moins flexible. En fait, ils livrent des feuilles de 2,5 sur 3 mètres, et le fournisseur se moque de ce qu'on doit en faire. Cependant, nous avons besoin de 2,8 de large, de 20 à 25 centimètres. Les portes ont été envoyées à des entreprises qui coupent les feuilles comme il faut. Et les lamelles, nous les avons coupées nous-mêmes. Le coût du processus de découpe est environ deux fois plus cher que celui de la feuille.
Voici ce que cela a donné :
En conclusion, le système de cage s'amortit en moins d'un an. Nous avons économisé environ 200 à 250 kWh de puissance de façon constante sur les unités de fan coil. Encore un peu sur les chillers, combien exactement, nous ne savons pas. Les serveurs absorbent à une vitesse constante, les fan coils soufflent. Les chillers s'allument et s'éteignent par paquet : il est difficile d'en extraire les données. On ne peut pas arrêter la salle de machines pour des tests.
Nous sommes ravis que, à l'époque, il y avait une règle de placer dans les modules 5x5 des racks de sorte que leur consommation moyenne ne dépasse pas six kW. Ainsi, la chaleur n'est pas concentrée en un seul endroit, mais distribuée dans la salle de machines. Cependant, il y a une situation où 10 racks de 15 kW sont côte à côte, mais en face, il y a le stockage. Il est froid. Cela s'équilibre.
Là où il n'y a pas de rack, une barrière jusqu'au sol est nécessaire.
Et nous avons aussi certains clients qui sont isolés par des grilles. Cela a également présenté quelques particularités.
Nous avons coupé les lamelles car la largeur des racks n'est pas fixe, et la périodicité des fixations de la grille est déterminée : trois à quatre cm, soit à droite, soit à gauche, cela sera toujours le cas. Si vous avez un bloc de 600 sous un emplacement de rack, il y a 85 % de chances qu'il ne tienne pas. Et les lamelles courtes et longues coexistent et se collent. Parfois, nous coupons la lamelle en forme de L selon les contours des racks.
Capteurs
Avant de réduire la puissance des fan coils, il était nécessaire de mettre en place un monitoring très précis de la température à différents endroits de la salle, afin d'éviter les surprises. C'est ainsi qu'ont vu le jour les capteurs sans fil. Les capteurs filaires nécessitent d'installer un dispositif pour le croisement de ces capteurs pour chaque rangée, et parfois des rallonges. Cela se transforme en véritable guirlande. C'est très peu pratique. Et quand ces câbles pénètrent chez les clients, les agents de sécurité s'inquiètent immédiatement et demandent des explications avec un certificat sur ce qui passe à travers ces câbles. Il faut ménager les nerfs des agents de sécurité. Curieusement, ils ne touchent pas aux capteurs sans fil.
De plus, les racks vont et viennent. Un capteur magnétique est plus facile à réinstaller, car on doit le positionner plus haut ou plus bas à chaque fois. Si les serveurs sont dans le tiers inférieur du rack, il faut installer le capteur en bas, et non à un mètre et demi du sol comme normalement prévu sur la porte du rack dans le couloir froid. Il est inutile de mesurer à cet endroit, il faut mesurer ce qui se trouve dans le matériel.
Un capteur pour trois racks est souvent suffisant. La température ne varie pas. Nous craignions un tirage d'air à travers les racks eux-mêmes, mais cela ne s'est pas produit. Cependant, nous fournissons tout de même un peu plus d'air froid que les valeurs calculées. Nous avons fait des ouvertures dans les lamelles 3, 7 et 12, et nous faisons un trou au-dessus du rack. Lors de nos visites, nous plaçons un anémomètre dans ce trou : nous vérifions que le flux d'air se dirige au bon endroit.
Ensuite, nous avons accroché des fils lumineux : une ancienne pratique pour les tireurs d'élite. Cela paraît étrange, mais cela permet de détecter d'éventuels problèmes plus rapidement.
Amusant
Pendant que nous faisions tout cela en silence, un fournisseur, qui fabrique des équipements pour les centres de données, est venu. Il a dit : venons vous parler d'efficacité énergétique. Ils arrivent, commencent à expliquer le manque d'optimisation de la salle, les flux d'air. Nous acquiesçons d'un air compréhensif. Parce que cela fait trois ans que notre système est en place.
Ils installent trois capteurs par rack. Les graphiques de monitoring sont impressionnants, magnifiques. Plus de la moitié du coût de cette solution se trouve dans le logiciel. À un niveau de type « alerte dans Zabbix », mais propriétaire et très coûteux. Le souci, c'est qu'ils ont des capteurs, un logiciel, et ensuite ils cherchent un sous-traitant sur place : ils n'ont pas de fournisseurs pour leur cage.
Il s'avère que leur prestation coûte cinq à sept fois plus cher que ce que nous avons réalisé.
Liens
- .
- .
- .
- .
- .
- Mon e-mail : PGoryunov@croc.ru
Source : habr.com
