🥇Hoe we ons inzetten voor de energie-efficiëntie van de machinekamer

Ik wijd deze post aan de mensen die hebben gelogen in hun certificaten, waardoor we bijna bengalische vuurwerk in onze zalen hebben geïnstalleerd.

Het verhaal is meer dan vier jaar oud, maar ik publiceer het nu omdat de NDA is afgelopen. Toen beseften we dat we ons datacenter (dat we verhuren) bijna volledig hadden gevuld, maar de energie-efficiëntie was niet veel verbeterd. Vroeger was de hypothese dat hoe meer we het vulden, hoe beter, omdat de engineering over iedereen werd verdeeld. Maar het bleek dat we ons hierin hadden bedrogen en dat er bij hoge belasting ergens verliezen waren. We werkten in veel richtingen, maar ons dappere team richtte zich op koeling.

Het echte leven van een datacenter is iets anders dan in het project. Continu bijsturen door de exploitatie om de efficiëntie te verhogen en het optimaliseren van instellingen voor nieuwe taken. Neem bijvoorbeeld de mythische gemiddelde rack. In de praktijk bestaat deze niet; de belasting is ongelijk verdeeld, ergens heel veel, ergens heel weinig. Dus moesten we enkele dingen opnieuw instellen voor betere energie-efficiëntie.

Ons datacenter Compressor is nodig voor verschillende klanten. Daarom kan er midden in de gebruikelijke twee- tot vierkilowatt rijen gerust een rij van 23 kilowatt of meer staan. Dienovereenkomstig waren de airconditioners ingesteld om deze te koelen, en door de minder krachtige racks waaide de lucht er gewoon langs.

De tweede hypothese was dat warme en koude gangen niet mengden. Na metingen kan ik zeggen dat dit een illusie is, en de echte aerodynamica verschilt ongeveer in alles van het model.

Onderzoek

Aanvankelijk begonnen we met het bekijken van de luchtstromen in de zalen. Waarom deden we dat? Omdat we begrepen dat het datacenter was ontworpen voor vijf tot zes kW per rack, maar wisten dat ze in werkelijkheid van 0 tot 25 kW variëren. Alles met tegels reguleren is bijna onmogelijk: de eerste metingen toonden aan dat ze bijna hetzelfde doorlieten. En er zijn helemaal geen tegels van 25 kW; ze moeten niet alleen leeg zijn, maar met een vloeibare vacuum.

We hebben een anemometer gekocht en zijn begonnen met het meten van de stromen tussen en boven de racks. In feite moet je daarmee werken volgens de GOST en een heleboel normen, die moeilijk uit te voeren zijn zonder de machinekamer stil te leggen. We waren niet geïnteresseerd in precisie, maar in een principiële afbeelding. Dus we hebben ongeveer gemeten.

Volgens metingen komt 60 procent van de lucht die uit de tegels stroomt in de rekken terecht, terwijl de rest erlangs gaat. Dit komt doordat er zware rekken van 15–25 kW zijn, waarop het koelsysteem is gebouwd.

We kunnen de airconditioners niet gewoon uitschakelen, omdat het in de warmere rekken in de buurt van de bovenste servers al snel te warm zal worden. Op dat moment realiseren we ons dat we iets van iets moeten isoleren, zodat de lucht niet van rij naar rij springt en er toch warmteoverdracht in de eenheid plaatsvindt.

Tegelijkertijd stellen we de vraag of dit financieel haalbaar is.

Met verbazing ontdekken we dat we het energieverbruik van de datacenters in het algemeen hebben, maar we kunnen de fancoils per specifieke zaal gewoon niet berekenen. Dat wil zeggen, analytisch kunnen we dat, maar in de praktijk niet. En we zijn niet in staat om de besparing in te schatten. De taak wordt steeds interessanter. Als we 10% van de capaciteit van de airconditioners besparen, hoeveel geld kunnen we dan reserveren voor isolatie? Hoe moeten we dat berekenen?

We gingen naar de automatiseringsspecialisten die het monitorsysteem aan het verfijnen waren. Dank aan de jongens: ze hadden alle sensoren, er moest alleen nog wat code worden toegevoegd. Ze begonnen om de chillers, UPS en verlichting afzonderlijk weer te geven. Met deze nieuwe tool kreeg je de mogelijkheid om te zien hoe de situatie bij de systeemcomponenten veranderde.

Experimenten met schermen

Tegelijkertijd beginnen we met experimenten met schermen (afschermingen). We besluiten om ze aan de pinnen van de kabelgoten te bevestigen (er is verder toch niets anders). Gelukkig moeten ze licht zijn. We hebben snel beslist over de luifels of kammen.

Het probleem is dat we hiervoor met een aantal leveranciers hebben gewerkt. Iedereen heeft oplossingen voor hun eigen datacenters, maar voor commerciële datacenters zijn er in principe geen kant-en-klare oplossingen. Onze klanten komen en gaan voortdurend. Wij zijn een van de weinige ‘zware’ datacenters zonder beperking in de breedte van de rekken, met de mogelijkheid om deze krachtige servers tot 25 kW te accepteren. Er is geen voorafgaande infrastructuurplanning. Dat wil zeggen, als we modulaire cagesystemen van leveranciers zouden gaan gebruiken, zullen er altijd gaten van twee maanden zijn. Het datacenter zal nooit energie-efficiënt zijn in principe.

We besloten het zelf te doen, gelukkig hebben we onze eigen ingenieurs.

Het eerste dat we hebben genomen, zijn de linten van industriële koelkasten. Dit zijn flexibele polyethyleen slierten waarmee je kunt slaan. Je hebt ze waarschijnlijk ergens bij de ingang van de vleesafdeling van de grootste supermarkten gezien. We gingen op zoek naar niet-toxische en niet-brandbare materialen. We vonden ze, kochten ze voor twee rijen. We hebben ze opgehangen en keken wat het resultaat was.

We begrepen dat het niet zo goed zou gaan. Maar het was echt helemaal niet goed. Ze beginnen, net als pasta, te wapperen in de luchtstromen. We vonden magnetische banden, zoals die op de koelkast. We plakten ze op deze stroken en plakkten ze aan elkaar, de muur werd redelijk massief.

We begonnen na te denken over wat er in de zaal zou komen.

We gingen naar de bouwers, lieten ons project zien. Ze keken, zeiden: jullie gordijnen zijn behoorlijk zwaar. 700 kilo in de hele machinekamer. Ga maar, zeiden ze, naar de hel. Eigenlijk, naar het SC-team. Laat ze maar berekenen hoeveel noedels ze in de bakken hebben, want 120 kg per vierkante meter is het maximum.

Het SC-team zei: herinner je je die grote klant die bij ons kwam? Hij heeft tienduizenden poorten in één zaal. Aan de randen van de machinekamer is het nog oké, maar dichter bij de cross-over zal het niet lukken: de bakken zullen loskomen.

De bouwers vroegen ook om een certificaat van het materiaal. Ik moet opmerken dat we daarvoor op het goede woord van de leverancier vertrouwde, aangezien dit alleen maar een test-run was. We namen contact op met die leverancier en zeiden: Oké, we zijn klaar om naar de bètafase te gaan, laten we alle papieren regelen. Ze stuurden iets wat niet echt een standaardvorm had.

We zeiden: luister, waar hebben jullie dat papiertje vandaan gehaald? Ze: onze Chinese fabrikant heeft het ons gestuurd als reactie op onze verzoeken. Volgens dat papier brandt het ding helemaal niet.

Op dat moment realiseerden we ons dat het tijd was om te stoppen en de feiten te controleren. We gingen naar de dames van de brandveiligheid van de datacentra, zij noemden ons een laboratorium dat de brandbaarheid controleert. Het kostte redelijke bedragen en tijd (uiteraard vervloekten we alles terwijl we het vereiste aantal papieren samenstelden). Daar zeiden de wetenschappers: breng het materiaal mee, we zullen tests doen.

In de conclusie stond dat van één kilogram stof ongeveer 50 gram as overblijft. De rest brandt helder, druipt af en ondersteunt de verbranding in de plas heel goed.

We realiseren ons - gelukkig hebben we het niet gekocht. We begonnen naar een ander materiaal te zoeken.

We found polycarbonate. It turned out to be stiffer. The clear sheet is two mm, the doors are made from four mm. Essentially, it's plexiglass. Together with the manufacturer, we start discussions about fire safety: let's get the certificate. They send it over. It's signed by the same institute. We call them and ask: well, guys, have you checked this?

They say: yes, we checked it. First, they burned it at their facility, then only brought it for testing. From one kilogram of material, approximately 930 grams of ash remains (if you burn it with a burner). It melts and drips, but a puddle won't catch fire.

We immediately check our magnets (they are on a polymer backing). Surprisingly, they burn poorly.

Bouwen

We start assembling from this. Polycarbonate is great because it's lighter than polyethylene, which bends much worse. However, they deliver sheets that are 2.5 by 3 meters, and the supplier doesn’t care what to do with this. But we need 2.8 meters wide, 20–25 centimeters. We sent the doors to companies that cut the sheets as needed. We cut the slats ourselves. The cutting process costs about twice as much as the sheet itself.

Here’s what we ended up with:

The outcome — the caging system pays off in less than a year. This saves us about 200–250 kW constantly on the capacity of the fan coils. We save some more on chillers, but we don't know exactly how much. The servers consume power at a constant rate, and the fan coils blow. The chillers turn on and off in a staggered manner: it’s hard to extract data from them. The machine room can’t be stopped for testing.

We are glad that there was a rule at the time to install 5x5 racks so that their average consumption was a maximum of six kW. This means the heat is not concentrated in an island, but distributed across the machine room. However, there is a situation where 10 fifteen-kW racks are next to each other, but opposite — storage. It’s cold. It balances out.

Where there is no rack, a partition to the floor is needed.

Some of our clients are isolated by grids as well. There were also several peculiarities with them.

We cut the slats because the rack width is not fixed, and the staggered spacing of the fastenings is defined: three to four cm either to the right or to the left will always be the case. If you have a block of 600 under the rack space, then there is an 85 percent probability it will not fit. Short and long slats coexist and are glued together. Sometimes we cut the slat into a G shape along the contours of the racks.

Sensors

Voordat de kracht van de fancoils verlaagd kan worden, moest er een heel nauwkeurige temperatuurmonitoring op verschillende punten in de zaal worden ingesteld, om onaangename verrassingen te voorkomen. Zo ontstonden draadloze sensoren. Draadgebonden sensoren vereisen voor elke rij dat je een eigen stuk ophangt om deze sensors aan te sluiten, en soms heb je ook verlengsnoeren nodig. Dit verandert in een snoerenfestijn. Dat is heel onhandig. En wanneer deze draden naar de klantencellen gaan, raken de veiligheidsmensen meteen in paniek en vragen om uitleg met een certificaat over wat er via deze draden wordt gemeten. We moeten de zenuwen van de veiligheidsmensen sparen. Voor de een of andere reden laten ze de draadloze sensoren met rust.

Daarnaast komen en gaan de racks. Een magneet-sensor is makkelijker te verplaatsen, omdat je hem telkens hoger of lager moet ophangen. Als de servers in de onderste derde van het rack staan, moet je hem naar beneden ophangen en niet, zoals gewoonlijk, anderhalve meter boven de vloer aan de deuren van het rack in de koude gang. Het heeft geen zin om daar te meten; je moet meten wat in het apparaat zit.

Één sensor per drie racks kan vaak weggelaten worden. De temperatuur verschilt niet. We maakten ons zorgen dat er luchtstroom door de racks zou zijn, maar dat is niet gebeurd. We geven echter nog steeds iets meer koude lucht dan de berekende waarden. We hebben openingen gemaakt in de lamellen 3, 7 en 12, en boven het rack maken we een gat. Daarin plaatsen we een anemometer tijdens de inspectie: we kijken of de luchtstroom de goede kant op gaat.

Daarna hingen we felle draadjes op: een oude praktijk voor snipers. Het ziet er vreemd uit, maar maakt het mogelijk om een mogelijk probleem sneller te detecteren.

Grappig

Terwijl we dit alles in stilte deden, kwam er een leverancier langs die engineering voor datacenters produceert. Hij zei: laten we langskomen om over energie-efficiëntie te vertellen. Ze komen langs, beginnen over de suboptimale zaal en luchtstromen te vertellen. We knikken begrijpend, want we hebben het al drie jaar geleden geïnstalleerd.

Zij hangen drie sensoren aan elk rack. De monitoring beelden zijn geweldig, prachtig. Meer dan de helft van deze oplossing zit in de prijs — de software. Op het niveau van een 'alert in Zabbix', maar proprietary en erg duur. Het probleem is ook dat ze sensoren hebben, software, en verder zoeken ze een aannemer ter plaatse: ze hebben geen eigen leveranciers voor cages.

Het blijkt dat hun handwerk vijf tot zeven keer duurder is dan wat wij hebben gedaan.