{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Comment nous avons plong\u00e9 dans l'efficacit\u00e9 \u00e9nerg\u00e9tique du centre de donn\u00e9es","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Comment
\n
\nJe d\u00e9die ce post \u00e0 ceux qui ont menti sur les certificats, ce qui nous a presque amen\u00e9s \u00e0 installer des feux bengali dans nos salles.<\/p>\n

L'histoire a plus de quatre ans, mais je la publie maintenant car le NDA est termin\u00e9. \u00c0 l'\u00e9poque, nous avons r\u00e9alis\u00e9 que nous avions quasiment rempli notre centre de donn\u00e9es (que nous louons), mais son efficacit\u00e9 \u00e9nerg\u00e9tique n'a pas vraiment am\u00e9lior\u00e9. Auparavant, l'hypoth\u00e8se \u00e9tait que plus nous le remplissons, mieux c'est, car l'ing\u00e9nierie est r\u00e9partie sur tout le monde. Mais il s'est av\u00e9r\u00e9 que nous nous trompions \u00e0 cet \u00e9gard, et qu'avec une bonne charge, il y avait des pertes quelque part. Nous avons travaill\u00e9 sur de nombreux aspects, mais notre \u00e9quipe courageuse s'est attaqu\u00e9e au refroidissement. <\/p>\n

La vraie vie d'un centre de donn\u00e9es est quelque peu diff\u00e9rente de ce qu'elle est dans le projet. Des ajustements constants de la part du service d'exploitation pour am\u00e9liorer l'efficacit\u00e9 et optimiser les param\u00e8tres pour de nouvelles t\u00e2ches. Prenons l'armoire moyenne mythique. En pratique, elle n'existe pas, la charge est in\u00e9gale, certains endroits sont tr\u00e8s charg\u00e9s, d'autres presque vides. Nous avons donc d\u00fb r\u00e9ajuster certaines choses pour une meilleure efficacit\u00e9 \u00e9nerg\u00e9tique.<\/p>\n

Notre centre de donn\u00e9es Compressor est n\u00e9cessaire pour divers clients. Par cons\u00e9quent, en plein milieu de racks de deux \u00e0 quatre kilowatts, on peut trouver un rack de 23 kilowatts ou plus. Les climatiseurs ont donc \u00e9t\u00e9 configur\u00e9s pour les refroidir, et l'air passait tout simplement \u00e0 c\u00f4t\u00e9 des racks moins puissants. <\/p>\n

La deuxi\u00e8me hypoth\u00e8se \u00e9tait que les couloirs chauds et froids ne se m\u00e9langent pas. Apr\u00e8s des mesures, je peux dire que c'est une illusion, et la v\u00e9ritable a\u00e9rodynamique diff\u00e8re du mod\u00e8le dans presque tous les aspects. <\/a><\/noindex><\/p>\n

Inspection<\/h3>\n

\nNous avons d'abord commenc\u00e9 \u00e0 observer les flux d'air dans les salles. Pourquoi avons-nous entrepris cela ? Parce que nous savions que le datacenter est con\u00e7u pour cinq \u00e0 six kW par rack, mais que, en r\u00e9alit\u00e9, ils varient de 0 \u00e0 25 kW. R\u00e9guler tout cela avec des dalles est presque impossible : les premi\u00e8res mesures ont montr\u00e9 qu'elles laissaient presque passer le m\u00eame d\u00e9bit. Et il n'existe pas de dalles pour 25 kW, elles doivent non seulement \u00eatre vides, mais \u00e9galement \u00e9quip\u00e9es d'un vide liquide. <\/p>\n

Nous avons achet\u00e9 un an\u00e9mom\u00e8tre et avons commenc\u00e9 \u00e0 mesurer les flux entre et au-dessus des racks. En fait, il faut travailler avec lui selon la norme GOST et de nombreux standards, souvent difficilement r\u00e9alisables sans arr\u00eater la salle des machines. Ce qui nous int\u00e9ressait n'\u00e9tait pas la pr\u00e9cision, mais une vue d'ensemble. C'est-\u00e0-dire que nous avons mesur\u00e9 approximativement.<\/p>\n

Selon nos mesures, 60 % de l'air sortant des bouches d'a\u00e9ration entre dans les racks, tandis que le reste s'\u00e9chappe. Cela est d\u00fb \u00e0 la pr\u00e9sence de racks lourds de 15 \u00e0 25 kW, sur lesquels le refroidissement est structur\u00e9. <\/p>\n

Nous ne pouvons pas simplement \u00e9teindre les climatiseurs, car il fera tr\u00e8s chaud dans les racks sup\u00e9rieurs. \u00c0 ce moment-l\u00e0, nous comprenons qu'il faut isoler quelque chose pour \u00e9viter que l'air ne circule d'un rang \u00e0 l'autre et que l'\u00e9change thermique dans le bloc se produise quand m\u00eame. <\/p>\n

En parall\u00e8le, nous nous posons la question de la pertinence financi\u00e8re de cela. <\/p>\n

Nous d\u00e9couvrons avec surprise que nous avons la consommation d'\u00e9nergie du datacenter en g\u00e9n\u00e9ral, mais nous ne pouvons tout simplement pas calculer les unit\u00e9s \u00e0 air \u00e0 l'int\u00e9rieur d'une salle particuli\u00e8re. Analytiquement, c'est possible, mais dans les faits, non. Et nous ne sommes pas en mesure d'\u00e9valuer les \u00e9conomies. La t\u00e2che devient de plus en plus int\u00e9ressante. Si nous \u00e9conomisons 10 % de la puissance des climatiseurs, combien d'argent peut-on mettre de c\u00f4t\u00e9 pour l'isolation ? Comment calculer ?<\/p>\n

Nous avons consult\u00e9 des personnes qui affinaient le syst\u00e8me de monitoring. Merci \u00e0 ces gars : ils avaient tous les capteurs, il ne restait qu'\u00e0 coder. Ils ont commenc\u00e9 \u00e0 afficher s\u00e9par\u00e9ment les refroidisseurs, les UPS et l'\u00e9clairage. Avec cette nouvelle fonctionnalit\u00e9, il est devenu possible de voir comment la situation \u00e9volue selon les \u00e9l\u00e9ments du syst\u00e8me.<\/p>\n

Exp\u00e9riences avec des rideaux<\/h3>\n

\nEn parall\u00e8le, nous commen\u00e7ons des exp\u00e9riences avec des rideaux (cloisons). Nous d\u00e9cidons de les fixer sur des poteaux de couvercles de c\u00e2bles (il n'y a pas d'autres points d'attache), heureusement, ils doivent \u00eatre l\u00e9gers. Nous avons rapidement d\u00e9cid\u00e9 pour les abris ou les peignes. <\/p>\n

\"Comment
\n
\n\"Comment
\n
\nLe probl\u00e8me r\u00e9side dans le fait que nous avons travaill\u00e9 avec de nombreux fournisseurs auparavant. Tous ont des solutions pour leurs propres datacenters, mais il n'existe pratiquement aucune solution pr\u00eate pour un datacenter commercial. Nos clients entrent et sortent constamment. Nous sommes l'un des rares datacenters 'lourds' sans restriction de largeur de rack, capable de recevoir ces serveurs broyeur de 25 kW. Il n'y a aucune planification d'infrastructure \u00e0 l'avance. Cela signifie que si nous adoptons des syst\u00e8mes modulaires de cage de fournisseurs, il y aura toujours des lacunes de deux mois. En d'autres termes, le data center ne sera jamais \u00e9nerg\u00e9tiquement efficace. <\/p>\n

Nous avons d\u00e9cid\u00e9 de le faire nous-m\u00eames, heureusement, nous avons nos propres ing\u00e9nieurs. <\/p>\n

La premi\u00e8re chose que nous avons prise, ce sont des bandes de r\u00e9frig\u00e9rateurs industriels. Ce sont des bandes flexibles en poly\u00e9thyl\u00e8ne avec lesquelles on peut vraiment frapper. Vous les avez s\u00fbrement d\u00e9j\u00e0 vues quelque part \u00e0 l'entr\u00e9e du rayon viande des plus grands supermarch\u00e9s. Nous avons commenc\u00e9 \u00e0 chercher des mat\u00e9riaux non toxiques et ignifuges. Nous en avons trouv\u00e9, achet\u00e9 pour deux rang\u00e9es. Nous les avons suspendues et avons commenc\u00e9 \u00e0 voir ce que cela donnait. <\/p>\n

Nous savions que cela ne serait pas tr\u00e8s r\u00e9ussi. Mais le r\u00e9sultat \u00e9tait vraiment tr\u00e8s peu satisfaisant. Elles commencent, comme des p\u00e2tes, \u00e0 se d\u00e9ployer dans les courants d\u2019air. Nous avons trouv\u00e9 des bandes magn\u00e9tiques, comme celles des aimants de r\u00e9frig\u00e9rateur. Nous les avons coll\u00e9es sur ces bandes, les avons assembl\u00e9es, et le mur est devenu relativement monolithique. <\/p>\n

Nous avons commenc\u00e9 \u00e0 envisager ce qu'il y aurait dans la salle. <\/p>\n

Nous sommes all\u00e9s chez les constructeurs, montrant notre projet. Ils regardent et disent : vos rideaux sont tr\u00e8s lourds. 700 kilos dans toute la salle des machines. Allez, disent-ils, chers amis, allez vous faire voir. Plus pr\u00e9cis\u00e9ment, allez chez l'\u00e9quipe de SKS. Qu'ils calculent combien il y a de p\u00e2tes dans les bacs, car 120 kg par m\u00e8tre carr\u00e9 est le maximum. <\/p>\n

SKS disent : souvenez-vous qu'un grand client est venu chez nous ? Il a des dizaines de milliers de ports dans une seule salle. Sur les bords de la salle des machines, \u00e7a va encore, mais plus pr\u00e8s du cadre, \u00e7a ne tiendra pas : les bacs vont se d\u00e9tacher. <\/p>\n

Les constructeurs ont \u00e9galement demand\u00e9 un certificat pour le mat\u00e9riau. Je pr\u00e9cise que nous avions jusqu'alors travaill\u00e9 sur la seule parole du fournisseur, car c'\u00e9tait seulement un test. Nous avons contact\u00e9 ce fournisseur et lui avons dit : OK, nous sommes pr\u00eats \u00e0 entrer en b\u00eata, envoyez-nous tous les papiers. Ils nous envoient quelque chose de pas tr\u00e8s standard. <\/p>\n

Nous leur avons dit : \u00e9coutez, o\u00f9 avez-vous obtenu ce papier ? Ils r\u00e9pondent : notre fabricant chinois nous l'a envoy\u00e9 en r\u00e9ponse \u00e0 nos demandes. D'apr\u00e8s ce papier, cette chose ne br\u00fble pas du tout. <\/p>\n

\u00c0 ce moment-l\u00e0, nous avons compris qu'il \u00e9tait temps de s'arr\u00eater et de v\u00e9rifier les faits. Nous sommes all\u00e9s voir les filles de la s\u00e9curit\u00e9 incendie du centre de donn\u00e9es, elles nous ont donn\u00e9 le nom d'un laboratoire qui teste l'inflammabilit\u00e9. Des prix et d\u00e9lais plut\u00f4t abordables (pourtant, nous avons maudit tout en constituant le nombre n\u00e9cessaire de documents). L\u00e0, des scientifiques disent : apportez le mat\u00e9riau, nous ferons des tests. <\/p>\n

Il \u00e9tait \u00e9crit dans la conclusion qu'\u00e0 partir d'un kilogramme de substance, il reste environ 50 grammes de cendres. Le reste br\u00fble intens\u00e9ment, coule et soutient tr\u00e8s bien la combustion dans une flaque. <\/p>\n

Nous comprenons - heureusement que nous n'avons pas achet\u00e9. Nous avons commenc\u00e9 \u00e0 chercher un autre mat\u00e9riau. <\/p>\n

Nous avons trouv\u00e9 un polycarbonate. Il s'est av\u00e9r\u00e9 \u00eatre plus rigide. La feuille transparente fait deux mm d'\u00e9paisseur, les portes sont en quatre mm. En r\u00e9alit\u00e9, c'est du verre acrylique. Avec le fabricant, nous commen\u00e7ons \u00e0 discuter de la s\u00e9curit\u00e9 incendie : rendons-nous le certificat. Ils l'envoient. Il est sign\u00e9 par le m\u00eame institut. Nous les appelons pour leur dire : alors, qu'est-ce que vous en pensez ?<\/p>\n

Ils disent : oui, nous avons test\u00e9. D'abord, ils ont effectu\u00e9 des tests chez eux, puis seulement ils l'ont apport\u00e9 pour les essais. Lors de la combustion d'un kilogramme de mat\u00e9riau (s'il est br\u00fbl\u00e9 avec un chalumeau), il reste environ 930 grammes de cendres. Il fond et goutte, mais la flaque ne br\u00fblera pas. <\/p>\n

Nous v\u00e9rifions imm\u00e9diatement nos aimants (ils sont sur un support en polym\u00e8re). \u00c0 notre grande surprise, ils br\u00fblent mal. <\/p>\n

Assemblage<\/h3>\n

\nNous commen\u00e7ons \u00e0 assembler \u00e0 partir de cela. Le polycarbonate est parfait, car il est plus l\u00e9ger que le poly\u00e9thyl\u00e8ne, beaucoup moins flexible. En fait, ils livrent des feuilles de 2,5 sur 3 m\u00e8tres, et le fournisseur se moque de ce qu'on doit en faire. Cependant, nous avons besoin de 2,8 de large, de 20 \u00e0 25 centim\u00e8tres. Les portes ont \u00e9t\u00e9 envoy\u00e9es \u00e0 des entreprises qui coupent les feuilles comme il faut. Et les lamelles, nous les avons coup\u00e9es nous-m\u00eames. Le co\u00fbt du processus de d\u00e9coupe est environ deux fois plus cher que celui de la feuille.<\/p>\n

Voici ce que cela a donn\u00e9 :<\/p>\n

\"Comment
\n
\nEn conclusion, le syst\u00e8me de cage s'amortit en moins d'un an. Nous avons \u00e9conomis\u00e9 environ 200 \u00e0 250 kWh de puissance de fa\u00e7on constante sur les unit\u00e9s de fan coil. Encore un peu sur les chillers, combien exactement, nous ne savons pas. Les serveurs absorbent \u00e0 une vitesse constante, les fan coils soufflent. Les chillers s'allument et s'\u00e9teignent par paquet : il est difficile d'en extraire les donn\u00e9es. On ne peut pas arr\u00eater la salle de machines pour des tests. <\/p>\n

Nous sommes ravis que, \u00e0 l'\u00e9poque, il y avait une r\u00e8gle de placer dans les modules 5x5 des racks de sorte que leur consommation moyenne ne d\u00e9passe pas six kW. Ainsi, la chaleur n'est pas concentr\u00e9e en un seul endroit, mais distribu\u00e9e dans la salle de machines. Cependant, il y a une situation o\u00f9 10 racks de 15 kW sont c\u00f4te \u00e0 c\u00f4te, mais en face, il y a le stockage. Il est froid. Cela s'\u00e9quilibre.<\/p>\n

L\u00e0 o\u00f9 il n'y a pas de rack, une barri\u00e8re jusqu'au sol est n\u00e9cessaire. <\/p>\n

Et nous avons aussi certains clients qui sont isol\u00e9s par des grilles. Cela a \u00e9galement pr\u00e9sent\u00e9 quelques particularit\u00e9s. <\/p>\n

Nous avons coup\u00e9 les lamelles car la largeur des racks n'est pas fixe, et la p\u00e9riodicit\u00e9 des fixations de la grille est d\u00e9termin\u00e9e : trois \u00e0 quatre cm, soit \u00e0 droite, soit \u00e0 gauche, cela sera toujours le cas. Si vous avez un bloc de 600 sous un emplacement de rack, il y a 85 % de chances qu'il ne tienne pas. Et les lamelles courtes et longues coexistent et se collent. Parfois, nous coupons la lamelle en forme de L selon les contours des racks.<\/p>\n

\"Comment
\n<\/p>\n

Capteurs<\/h3>\n

\nAvant de r\u00e9duire la puissance des fan coils, il \u00e9tait n\u00e9cessaire de mettre en place un monitoring tr\u00e8s pr\u00e9cis de la temp\u00e9rature \u00e0 diff\u00e9rents endroits de la salle, afin d'\u00e9viter les surprises. C'est ainsi qu'ont vu le jour les capteurs sans fil. Les capteurs filaires n\u00e9cessitent d'installer un dispositif pour le croisement de ces capteurs pour chaque rang\u00e9e, et parfois des rallonges. Cela se transforme en v\u00e9ritable guirlande. C'est tr\u00e8s peu pratique. Et quand ces c\u00e2bles p\u00e9n\u00e8trent chez les clients, les agents de s\u00e9curit\u00e9 s'inqui\u00e8tent imm\u00e9diatement et demandent des explications avec un certificat sur ce qui passe \u00e0 travers ces c\u00e2bles. Il faut m\u00e9nager les nerfs des agents de s\u00e9curit\u00e9. Curieusement, ils ne touchent pas aux capteurs sans fil. <\/p>\n

De plus, les racks vont et viennent. Un capteur magn\u00e9tique est plus facile \u00e0 r\u00e9installer, car on doit le positionner plus haut ou plus bas \u00e0 chaque fois. Si les serveurs sont dans le tiers inf\u00e9rieur du rack, il faut installer le capteur en bas, et non \u00e0 un m\u00e8tre et demi du sol comme normalement pr\u00e9vu sur la porte du rack dans le couloir froid. Il est inutile de mesurer \u00e0 cet endroit, il faut mesurer ce qui se trouve dans le mat\u00e9riel. <\/p>\n

Un capteur pour trois racks est souvent suffisant. La temp\u00e9rature ne varie pas. Nous craignions un tirage d'air \u00e0 travers les racks eux-m\u00eames, mais cela ne s'est pas produit. Cependant, nous fournissons tout de m\u00eame un peu plus d'air froid que les valeurs calcul\u00e9es. Nous avons fait des ouvertures dans les lamelles 3, 7 et 12, et nous faisons un trou au-dessus du rack. Lors de nos visites, nous pla\u00e7ons un an\u00e9mom\u00e8tre dans ce trou : nous v\u00e9rifions que le flux d'air se dirige au bon endroit.<\/p>\n

\"Comment
\n
\nEnsuite, nous avons accroch\u00e9 des fils lumineux : une ancienne pratique pour les tireurs d'\u00e9lite. Cela para\u00eet \u00e9trange, mais cela permet de d\u00e9tecter d'\u00e9ventuels probl\u00e8mes plus rapidement. <\/p>\n

\"Comment
\n <\/p>\n

Amusant<\/h3>\n

\nPendant que nous faisions tout cela en silence, un fournisseur, qui fabrique des \u00e9quipements pour les centres de donn\u00e9es, est venu. Il a dit : venons vous parler d'efficacit\u00e9 \u00e9nerg\u00e9tique. Ils arrivent, commencent \u00e0 expliquer le manque d'optimisation de la salle, les flux d'air. Nous acquies\u00e7ons d'un air compr\u00e9hensif. Parce que cela fait trois ans que notre syst\u00e8me est en place. <\/p>\n

Ils installent trois capteurs par rack. Les graphiques de monitoring sont impressionnants, magnifiques. Plus de la moiti\u00e9 du co\u00fbt de cette solution se trouve dans le logiciel. \u00c0 un niveau de type \u00ab alerte dans Zabbix \u00bb, mais propri\u00e9taire et tr\u00e8s co\u00fbteux. Le souci, c'est qu'ils ont des capteurs, un logiciel, et ensuite ils cherchent un sous-traitant sur place : ils n'ont pas de fournisseurs pour leur cage.<\/p>\n

Il s'av\u00e8re que leur prestation co\u00fbte cinq \u00e0 sept fois plus cher que ce que nous avons r\u00e9alis\u00e9.<\/p>\n

Liens<\/h3>\n

<\/p>\n