🥇Hvordan vi gik all-in på energieffektiviteten i maskinrummet

Jeg dedikerer dette indlæg til de mennesker, der har løjet i certifikaterne, hvilket næsten førte til, at vi fik sat bengalske lys op i vores sale.

Historien er over fire år gammel, men jeg offentliggør den nu, fordi NDA'en er udløbet. Dengang indså vi, at vi næsten havde fyldt datacenteret (som vi lejer ud) helt op, men energieffektiviteten var ikke rigtig forbedret. Tidligere var hypotesen, at jo mere vi fyldte det op, desto bedre, fordi ingeniørarbejdet fordeles på alle. Men det viste sig, at vi havde narret os selv, og ved høj belastning var der tab et sted. Vi arbejdede på mange fronter, men vores modige team tog sig af kølingen.

Det virkelige liv i datacenteret er ikke helt som i projektet. Der er konstant justeringer fra driftsafdelingen for at forbedre effektiviteten og optimere indstillinger til nye opgaver. Tag for eksempel den mytiske gennemsnitlige rack. I praksis findes den ikke, for belastningen er uensartet, nogle steder tæt, andre steder tomt. Derfor var vi nødt til at recalibrere nogle ting for bedre energieffektivitet.

Vores datacenter Kompressor er nødvendigt for en række forskellige kunder. Derfor kan der blandt de almindelige to- til fire-kilowatts racks sagtens være en 23-kilowatts eller større. Derfor var klimaanlægget indstillet til at køle dem, og luften passerede ganske enkelt forbi gennem mindre kraftige racks.

Den anden hypotese var, at varme og kolde korridorer ikke blandes. Efter målinger kan jeg sige, at det er en illusion, og den virkelige aerodynamik adskiller sig fra modellen næsten på alle punkter.

Undersøgelse

Vi begyndte først at se på luftstrømme i sale. Hvorfor tog vi fat i det? Fordi vi vidste, at datacenteret er designet til fem-seks kW pr. rack, men vi vidste, at de i virkeligheden ligger mellem 0 og 25 kW. At regulere alt dette med plader er næsten umuligt: de første målinger viste, at de næsten alle slipper lige meget igennem. Og plader til 25 kW findes overhovedet ikke; de skal ikke bare være tomme, men med flydende vakuum.

Vi købte et anemometer og begyndte at måle strømme mellem racks og over racks. Generelt skal man arbejde med det i henhold til GOST og en masse standarder, der er vanskelige at overholde uden at stoppe maskinrummet. Vi var ikke interesserede i præcision, men i det overordnede billede. Så vi målte cirka.

If we measure 100 percent of the air that exits through the tiles, 60 percent enters the racks, while the rest passes by. This is due to the heavy racks of 15–25 kW, which are set up for cooling.

We cannot simply turn off the air conditioners because it will get quite warm in the upper server area of the warm racks. At this point, we realize we need to isolate something to prevent the air from jumping from row to row while still allowing thermal exchange within the unit.

At the same time, we ask ourselves whether this is financially viable.

We are surprised to discover that we have data on the overall energy consumption of the data center, but we simply can't calculate the fan coils for a specific room. We can do it analytically, but in practice — we can't. And we are unable to estimate the savings. The task is becoming more and more interesting. If we save 10% of the air conditioner capacity — how much money can we set aside for insulation? How do we calculate it?

We approached the automation team that was refining the monitoring system. Thanks to the guys: they had all the sensors, we just needed to write some additional code. They started displaying the chillers, UPS, and lighting separately. With the new setup, we had the ability to see how the situation changed across system elements.

Experiments with curtains

Meanwhile, we begin experiments with curtains (dividers). We decide to attach them to the cable tray pins (there's really nothing else to attach them to), luckily they should be light. We quickly decided on the canopies and combs.

The problem is that we previously worked with a variety of vendors. Everyone has solutions for their own company data centers, but there are virtually no ready-made solutions for commercial data centers. Our clients come and go constantly. We are one of the few 'heavy' data centers with no width restrictions on racks capable of accommodating these powerful servers up to 25 kW. There is no advance infrastructure planning. So if we take modular cage systems from vendors, there will always be gaps lasting two months. In other words, the machine hall will never be energy-efficient in principle.

We decided to do it ourselves, fortunately, we have our own engineers.

Det første, vi tog, var bånd fra industrielle køleskaber. Det er sådan nogle fleksible plastslanger, som man kan kaste med. I har sikkert set dem et sted ved indgangen til kødafdelingen i de største supermarkeder. Vi begyndte at lede efter giftfrie og ikke-brændbare materialer. Vi fandt nogle og købte dem til to rækker. Vi hængte dem op og begyndte at se, hvad der kom ud af det.

Vi vidste, at det ikke ville blive helt perfekt. Men det blev overhovedet meget, meget ikke perfekt. De begynder, ligesom pasta, at flagre i strømmen. Vi fandt magnetbånd, ligesom dem på køleskaber. Vi klæbte dem på disse striber, limede dem sammen, og væggen blev som den skulle være.

Vi begyndte at overveje, hvad der ville ske i hallen.

Vi gik til bygherrene og viste dem vores projekt. De kiggede og sagde: jeres gardiner er meget tunge. 700 kilo over hele maskinhallen. Gå til helvede, sagde de, eller rettere til SCS-teamet. Lad dem regne ud, hvor meget nudler de har i kasserne, for 120 kg per kvadratmeter er maksimum.

SCS sagde: husker I, at en stor kunde kom til os? Han har titusindvis af porte i én hal. I kan sætte det på kanterne af maskinhallen, men tættere på krydsfeltet kan det ikke lade sig gøre: kasserne vil falde af.

Bygherrene bad også om et certifikat på materialet. Jeg bemærker, at vi indtil da havde arbejdet på leverandørens ære, da det kun var en test- gennemgang. Vi henvendte os til denne leverandør og sagde: OK, vi er klar til at gå i beta, lad os få alle papirer. De sendte os et dokument, der ikke var helt standard.

Vi sagde: hør, hvor har I dette papir fra? De sagde: det sendte vores kinesiske producent som svar på forespørgsler. Ifølge papiret brænder dette materiale slet ikke.

På det tidspunkt indså vi, at vi måtte stoppe op og kontrollere fakta. Vi gik til pigerne fra brandbeskyttelse i datacentret, de nævnte et laboratorium, der tester brandbarhed. Det var rimelige priser og tidsrammer (det skal siges, at vi forbandede alt, mens vi samlede det nødvendige antal papirarbejder). Der sagde forskerne: bring materialet, så vil vi lave testene.

I konklusionen stod der, at der ud af et kilo stof bliver der omkring 50 gram aske tilbage. Det andet brænder lysende, smelter og understøtter brænding i en pøl meget godt.

Vi forstår - godt, at vi ikke købte det. Vi begyndte at lede efter et andet materiale.

Vi fandt polykarbonat. Det viste sig at være mere stift. Det klare lag er to mm, dørene er lavet af fire mm. Grundlæggende er det akrylglas. Sammen med producenten begynder vi at tage fat på brandsikkerheden: lad os få certifikatet. De sender det. Det er underskrevet af samme institut. Vi ringer dertil, siger: hvad så, fyre, har I testet det?

De siger: ja, vi har testet det. Først brændte de det selv, derefter bragte de det kun til test. Der bliver omkring 930 gram aske tilbage fra et kilo materiale, når man brænder det med en gasbrænder. Det smelter og drypper, men der vil ikke være nogen søle, der brænder.

Vi tjekker straks vores magneter (de er på en polymerunderlag). Overraskende nok brænder de dårligt.

Kompilering

Vi begynder at samle fra dette. Polykarbonat er fantastisk, fordi det er lettere end polyethylen, hvilket bøjer meget værre. Sandheden er, at de leverer plader på 2,5 på 3 meter, og leverandøren bryder sig ikke om, hvad man skal gøre med det. Men vi har brug for 2,8 bredde 20–25 centimeter. Døre blev sendt til virksomheder, der skærer pladerne som nødvendigt. Vi skar lamellerne selv. Selve skæringsprocessen koster to gange så meget som pladen.

Sådan blev det:

Resultatet er, at cage-systemet betaler sig på under et år. Dette har sparet os 200–250 KWh konstant på energi til fan-coilerne. Hvor meget vi sparer på chillere, ved vi ikke præcist. Serverne suger konstant, fan-coilerne blæser. Chillere tændes og slukkes i en bølger: det er svært at trække data ud af dem. Man kan ikke stoppe maskinrummet for tests.

Vi glæder os over, at der engang var en regel om at placere rackene i moduler på 5x5 således, at deres gennemsnitlige forbrug maksimalt var seks kW. Det vil sige, at varmen ikke er koncentreret på et sted, men fordelt i maskinrummet. Men der er en situation, hvor 10 stk. 15-kilowatt racks er tæt på hinanden, men lige overfor er der en kold lagerplads. Det balanceres.

Hvor der ikke er rack, er der behov for en afskærmning til gulvet.

Og vi har også nogle kunder, der er adskilt af gitre. Der var også nogle særlige forhold ved dem.

Lamellerne blev skåret, fordi bredden på rackene ikke er fast, og periodiseringen af bølgefastgørelserne er bestemt: tre-fire cm til højre eller venstre, vil altid være sådan. Hvis du har en blok på 600 under rackpladsen, er der 85 procent sandsynlighed for, at den ikke vil passe. Og korte og lange lameller sameksisterer og klæber sammen. Nogle gange skærer vi lamellen i en L-form efter konturerne af rackene.

Sensorer

Inden du reducerer kraften til ventilatorerne, skal der indstilles en meget præcis temperaturmonitorering på forskellige punkter i lokalet for at undgå overraskelser. Således opstod de trådløse sensorer. Kablede sensorer kræver, at der hænges en enhed op for hver række til krydsning af disse sensorer, og nogle gange skal der bruges forlængerkabler. Det bliver til en lyskæde. Meget dårligt. Når disse ledninger kommer ind i kundernes kabinetter, bliver sikkerhedsfolkene straks nervøse og beder om forklaringer med certifikat om, hvad der måles via disse ledninger. Man skal tage hensyn til sikkerhedspersonalets nerver. Trådløse sensorer berører de af en eller anden grund ikke.

Og så ankommer og afgår stativerne. Magnetensensoren er lettere at ommontere, fordi den hver gang skal hænges højere eller lavere. Hvis serverne er i den nederste tredjedel af stativet, skal den hænges lavere og ikke standardmæssigt 1,5 meter over gulvet på døren til stativet i det kolde korridor. Det er ikke nyttigt at måle der, man skal måle, hvad der er i udstyret.

En sensor på tre stativer — oftere kan man undvære det. Temperaturen varierer ikke. Vi var bekymrede for, at der ville være for meget luftgennemstrømning gennem selve stativerne — men det skete ikke. Men vi giver stadig lidt mere kold luft, end de beregnede værdier. Vi lavede små åbninger i lamellerne 3, 7 og 12, og over stativet laver vi et hul. I det placerer vi et anemometer under inspektionen: vi ser, at strømmen går, hvor den skal.

Derefter hængte vi farverige snore op: en gammel praksis for snigskytter. Det ser mærkeligt ud, men det gør det muligt at opdage mulige problemer hurtigere.

Morsomt

Mens vi stille og roligt gjorde dette, kom en leverandør, som producerer ingeniører til datacentre. Han sagde: lad os komme og fortælle om energieffektivitet. De ankom, begyndte at tale om det suboptimale lokale, luftstrømningerne. Vi nikker forstående, fordi vi har haft det installeret i tre år.

De hænger tre sensorer op på hvert stativ. Billederne fra monitoreringen er imponerende og smukke. Mere end halvdelen af denne løsning koster — softwaren. På niveauet "alarm i Zabbix", men proprietær og meget dyr. Problemet er, at de har sensorer, software, og derefter leder de efter en entreprenør på stedet: de har ikke deres egne leverandører til cage-opstillinger.

Det viser sig, at deres løsninger koster fem til syv gange mere, end hvad vi har gjort.