🥇Hur vi satsade på energieffektiviteten i maskinrummet

Jag dedikerar det här inlägget till de personer som har ljugit i certifikat, vilket nästan ledde till att vi installerade bengaliska eldar i våra hallar.

Historien är över fyra år gammal, men jag publicerar den nu eftersom NDA:n har gått ut. Då insåg vi att vi nästan hade fyllt datacentret (som vi hyr ut) helt, men att energieffektiviteten inte riktigt hade förbättrats. Tidigare var hypotesen att ju mer vi fyllde den, desto bättre, eftersom ingenjörsmässigt fördelades belastningen på alla. Men det visade sig att vi lurade oss själva, och vid hög belastning fanns det förluster någonstans. Vi arbetade inom många områden, men vårt modiga team tog sig an kylningen.

Det verkliga livet i datacentret är en aning annorlunda än i projektet. Ständiga justeringar från driftsavdelningen för att öka effektiviteten och optimera inställningar för nya uppgifter. Ta den mytiska genomsnittliga racken. I praktiken finns den inte, belastningen är ojämnt fördelad, vissa platser är överfyllda, andra tomma. Därför var vi tvungna att återställa viss utrustning för bättre energieffektivitet.

Vårt datacenter Kompressor behövs för en mängd olika kunder. Därför kan det, mitt bland vanliga två- till fyra-kilowatt-rack, faktiskt finnas en rack på 23 kilowatt eller mer. Därför var luftkonditioneringarna inställda för att kyla dem, och genom de mindre kraftfulla racken susade luften bara förbi.

Den andra hypotesen var att varmt och kallt korridorer inte blandas. Efter mätningar kan jag säga att det är en illusion, och den verkliga aerodynamiken skiljer sig från modellen på nästan alla sätt.

Undersökning

Först började vi titta på luftflödena i hallarna. Varför gick vi dit? Eftersom vi förstod att datacentret var dimensionerat för fem-sex kW per rack, men vi visste att de i praktiken låg mellan 0 och 25 kW. Att reglera detta med plattor är nästan omöjligt: de första mätningarna visade att de nästan släppte igenom lika mycket. Och det finns inga plattor för 25 kW, de måste vara inte bara tomma utan med flytande vakuum.

Vi köpte en anemometer och började mäta flödena mellan racken och ovanför racken. Generellt sett måste man arbeta med den enligt GOST och många standarder, som är svåra att genomföra utan att stoppa maskinhallen. Det som intresserade oss var inte exakt precision, utan den övergripande bilden. Det vill säga vi mäta för ungefärligt.

Enligt mätningar av 100 procent av den luft som passerar genom plattorna, går 60 procent in i ställena, resten passerar förbi. Detta beror på att det finns tunga ställ som sträcker sig från 15 till 25 kW, kring vilka kylsystemet är byggt.

Vi kan inte bara stänga av luftkonditioneringarna, eftersom det kommer att bli för varmt på de varma ställen i området med de övre servrarna. Just då inser vi att vi behöver isolera något från något annat, så att luften inte hoppar från rad till rad, och att värmeöverföringen i enheten fortfarande sker.

Samtidigt ställer vi oss frågan om detta är ekonomiskt försvarbart.

Vi upptäcker förvånat att vi har allmän information om energiförbrukningen i datacentret, men att vi helt enkelt inte kan räkna på fläktkonvektorer för ett specifikt rum. Det vill säga, vi kan göra det analytiskt, men i praktiken går det inte. Och vi kan inte bedöma besparingen. Uppgiften blir mer intressant för varje dag. Om vi sparar 10 % av luftkonditioneringens kapacitet — hur mycket pengar kan vi lägga undan för isolering? Hur ska vi räkna?

Vi gick till automatiserarna som justerade övervakningssystemet. Tack till killarna: de hade alla sensorer, vi behövde bara skriva om koden. De började visa chiller, UPS, belysning separat. Med den nya utrustningen blev det möjligt att följa hur situationen förändras i systemets komponenter.

Experiment med gardiner

Samtidigt börjar vi experimentera med gardiner (avskiljare). Vi bestämmer oss för att fästa dem på stift av kabelkanaler (det finns inget annat att fästa dem på), särskilt eftersom de ska vara lätta. Vi kom snabbt överens om tak eller kammar.

Problemet är att vi tidigare har arbetat med många leverantörer. Alla har lösningar för sina egna företags datacenter, men det finns i praktiken inga färdiga lösningar för kommersiella datacenter. Våra kunder kommer och går hela tiden. Vi är ett av få "tunga" datacenter utan begränsningar på bredden av hyllor, med möjlighet att ta emot dessa kraftfulla servrar på upp till 25 kW. Ingen planering av infrastrukturen i förväg. Det vill säga, om vi skulle använda modulära system för cageing från leverantörer — kommer det alltid att finnas luckor på två månader. Det kommer aldrig att bli energieffektivt i princip.

Vi bestämde oss för att göra det själva, eftersom vi har våra egna ingenjörer.

Det första vi tog var band från industriella kylskåp. Det är sådana flexibla plastslangar som man kan slåss med. Ni har säkert sett dem någonstans vid ingången till köttavdelningen i de största matbutikerna. Vi började söka efter icke-toxiska och icke-brännbara material. Vi hittade, köpte dem i två rader. Vi hängde upp dem och började se vad som hände.

Vi förstod att det kanske inte skulle bli så bra. Men det blev verkligen inte särskilt bra. De börjar, likt pasta, svaja i strömmarna. Vi hittade magnetband som liknar magneter på kylskåpet. Vi klistrade dem på dessa remsor, klistrade ihop dem, väggen blev något monolitisk.

Vi började fundera på vad som skulle finnas i hallen.

Vi gick till byggarna och visade dem vårt projekt. De tittade och sa: era gardiner är något mycket tunga. 700 kilo över hela maskinhallen. Gå, sa de, snälla människor, till helvetet. Mer exakt, till SKS-teamet. Låt dem räkna ut hur mycket nudlar de har i lådorna, för 120 kg per kvadratmeter är max.

SKS säger: kom ihåg att en stor kund kom till oss? Han har tiotusentals portar i en hall. Vid kanterna av maskinhallen är det okej, men närmare korsningen går det inte: lådorna kommer att ramla av.

Byggarna bad också om ett certifikat för materialet. Jag noterar att vi tidigare arbetade på leverantörens goda ord, eftersom det bara var ett test. Vi hörde av oss till denna leverantör och sa: okej, vi är redo att gå till beta, låt oss ha alla papper. De skickade något som inte riktigt var standard.

Vi säger: lyssna, var fick ni detta papper ifrån? De svarade: vår kinesiska tillverkare skickade det som svar på våra förfrågningar. Enligt pappret brinner den här grejen inte alls.

Vid det här tillfället insåg vi att det var dags att stanna upp och kontrollera fakta. Vi gick till tjejerna från brandsäkerheten på datacentret, och de nämnde ett laboratorium som testar brännbarhet. Rimliga priser och tidsramar (förresten, vi förbannade allt medan vi sammanställde de nödvändiga papperna). Där säger forskarna: ta med materialet, så ska vi göra tester.

I slutsatsen stod det skrivet att av ett kilo ämne blir det ungefär 50 gram aska kvar. Resten brinner starkt, rinner ner och stöder mycket bra förbränning i en pöl.

Vi inser – tur att vi inte köpte. Vi började leta efter ett annat material.

Vi har hittat polykarbonat. Det visade sig vara hårdare. Den genomskinliga plattan är två mm, dörrarna är gjorda av fyra mm. I grunden är detta akryl. Tillsammans med tillverkaren börjar vi diskutera brandsäkerhet: kan vi få ett certifikat? De skickar det. Det är undertecknat av samma institut. Vi ringer dit och frågar: har ni testat detta?

De säger: ja, vi har testat. Först brände vi det själva, och först därefter tog vi det till tester. Av ett kilogram material kvarstår (om man bränner det med en brännare) ungefär 930 gram aska. Det smälter och droppar, men pölen kommer inte att brinna.

Vi kontrollerar genast våra magneter (de har en polymeerbakgrund). Överraskande nog brinner de dåligt.

Samling

Vi börjar samla från detta. Polykarbonatet är utmärkt eftersom det är lättare än polyeten, som böjer sig mycket sämre. Problemet är att plattorna levereras i storlek 2,5 på 3 meter, och leverantören bryr sig inte om vad vi ska göra med dem. Vi behöver 2,8 i bredd på 20–25 centimeter. Dörrarna skickades till företag som skär plattorna som behövs. Lamellerna skar vi själva. Själva skärprocessen är dubbelt så dyr som plattan.

Så här blev resultatet:

Resultatet är att cagesystemet betalar sig på mindre än ett år. Vi har sparat 200–250 kWh på effekten av fläktspolarna. Något mer på chillerna, exakt hur mycket vet vi inte. Servrarna drar konstant, fläktspolarna blåser. Chillrarna slås på och av successivt: det är svårt att extrahera data från dem. Man kan inte stoppa maskinhallen för tester.

Vi är glada att det tidigare fanns en regel att placera 5x5 rack så att deras genomsnittliga förbrukning var högst sex kW. Det vill säga att värmen inte är koncentrerad i en ö, utan spridd över maskinhallen. Men det finns en situation där tio stycken 15-kilowatt rack står nära varandra, men mittemot finns ett kallt lagersystem. Det balanserar.

Där det inte finns något rack behövs en avskärmning ner till golvet.

Och dessutom har vi vissa kunder som är avskilda med galler. Det fanns också flera särdrag med dem.

Vi skar lamellerna eftersom bredden på racken är variabel, och intervallet för gallerfästena är definierat: tre–fyra cm, alltid till höger eller vänster. Om du har en modul på 600 under ett rack, är det med 85 procent sannolikhet som den inte kommer att passa. Kortare och längre lameller samexisterar och klistras ihop. Ibland skär vi lameller i form av ett G efter konturerna av racken.

Sensors

Innan man minskar effekten på fläktkonvektorerna, var man tvungen att ställa in en mycket noggrann temperaturövervakning på olika punkter i rummet för att undvika överraskningar. Så uppkom de trådlösa sensorerna. Trådbundna — man måste hänga en egen enhet för varje rad för kopplingen av dessa sensorer, och ibland till dem — förlängningskablar. Det blir som en girlang. Mycket dåligt. När dessa kablar går in till kundernas enheter, blir säkerhetspersonalen genast oroliga och ber om förklaringar med certifikat om vad som övervakas via dessa kablar. Man bör vara snäll mot säkerhetspersonalen. De trådlösa sensorerna rör de av någon anledning inte.

Och dessutom kommer och går ställningar. En sensor på magnet är enklare att montera om, eftersom den varje gång måste placeras högre eller lägre. Om servrarna är i den nedre tredjedelen av ställningen måste man hänga den nedåt, istället för som standard en och en halv meter över golvet på dörren till ställningen i den kalla korridoren. Där är det meningslöst att mäta, man måste mäta det som finns i utrustningen.

En sensor på tre ställningar — oftare behöver man inte hänga dem. Temperaturen skiljer sig inte. Vi oroade oss för att det skulle bli drag av luften genom ställningarna, — men det hände inte. Men vi ger fortfarande lite mer kall luft än de beräknade värdena. Vi gjorde små öppningar i lamellerna 3, 7 och 12, och ovanför ställningen gör vi ett hål. I det sätter vi en anemometer vid inspektionen: vi kontrollerar att flödet går dit det ska.

Sedan hängde vi upp färgglada trådar: en gammal praxis för snipers. Ser konstigt ut, men gör att man snabbare kan upptäcka möjliga problem.

Roligt

Medan vi tyst gjorde allt detta kom en leverantör, som tillverkar utrustning för datacenter. De sa: låt oss komma och berätta om energieffektivitet. De kom, började prata om ett suboptimalt rum, luftflöden. Vi nickade förstående. För vi har haft det installerat i tre år nu.

De sätter tre sensorer på varje ställning. Övervakningsbilderna är otroliga, vackra. Mer än hälften av den här lösningen i pris — mjukvaran. På nivån av "alert i Zabbix", men proprietär och mycket dyr. Problemet är också att de har sensorer, mjukvaran, och sedan letar de efter en entreprenör på plats: de har inga egna leverantörer för cage.

Det visar sig att det kostar dem fem till sju gånger mer än vad vi gjorde.