Jeg dedikerer dette indlæg til de mennesker, der løj på certifikaterne, på grund af hvilke vi næsten installerede stjernekastere i vores haller.
Historien er over fire år gammel, men jeg udgiver den nu, fordi NDA er udløbet. Så gik det op for os, at datacentret (som vi lejer ud) var næsten helt fyldt, og dets energieffektivitet var ikke blevet meget bedre. Tidligere var hypotesen, at jo mere vi fylder det, jo bedre, fordi ingeniøren er fordelt på alle. Men det viste sig, at vi snød os selv i denne forbindelse, og selvom belastningen var god, var der tab et sted. Vi arbejdede på mange områder, men vores modige team fokuserede på køling.
Det virkelige liv i et datacenter er lidt anderledes end det, der er i projektet. Konstante justeringer fra driftstjenesten for at øge effektiviteten og optimere indstillinger til nye opgaver. Tag den mytiske B-søjle. I praksis sker dette ikke, lastfordelingen er ujævn, et sted tæt, et sted tomt. Så vi var nødt til at omkonfigurere nogle ting for bedre energieffektivitet.
Vores datacenterkompressor er nødvendig for en række forskellige kunder. Derfor kan der blandt de sædvanlige to-fire kilowatt stativer godt være en 23 kilowatt eller mere. Derfor blev klimaanlæggene indstillet til at køle dem, og luften strømmede simpelthen forbi gennem de mindre kraftige stativer.
Den anden hypotese var, at de varme og kolde korridorer ikke blandes. Efter målinger kan jeg sige, at dette er en illusion, og den reelle aerodynamik adskiller sig fra modellen på næsten alle måder.
undersøgelse
Først begyndte vi at se på luftstrømme i hallerne. Hvorfor gik de derhen? Fordi de forstod, at datacentret er designet til fem til seks kW pr. rack, men de vidste, at de faktisk er fra 0 til 25 kW. Det er næsten umuligt at regulere alt dette med fliser: De allerførste målinger viste, at de transmitterer næsten lige meget. Men der er ingen 25 kW fliser overhovedet, de skal ikke bare være tomme, men med væskevakuum.
Vi købte et vindmåler og begyndte at måle flowet mellem stativerne og over stativerne. Generelt skal du arbejde med det i overensstemmelse med GOST og en masse standarder, der er svære at implementere uden at lukke turbinehallen ned. Vi var ikke interesserede i nøjagtighed, men i det grundlæggende billede. Det vil sige, at de målte ca.
Ifølge målinger kommer 100 procent ud af 60 procent af den luft, der kommer ud af fliserne, ind i stativerne, resten flyver forbi. Det skyldes, at der er tunge 15–25 kW stativer, som kølingen er bygget langs.
Vi kan ikke slukke for klimaanlæggene, fordi det vil være meget varmt på de varme stativer i området af de øverste servere. I dette øjeblik forstår vi, at vi er nødt til at isolere noget fra noget andet, så luften ikke hopper fra række til række, og så der stadig opstår varmeudveksling i blokken.
Samtidig spørger vi os selv, om det er økonomisk muligt.
Vi er overraskede over at opdage, at vi har datacentrets energiforbrug som helhed, men vi kan simpelthen ikke tælle fan coil-enheder for et specifikt rum. Det vil sige, at vi analytisk kan, men det kan vi faktisk ikke. Og vi er ikke i stand til at estimere besparelsen. Opgaven bliver mere og mere interessant. Hvis vi sparer 10 % af klimaanlægget, hvor mange penge kan vi så lægge til side til isolering? Hvordan tæller man?
Vi gik til automatiseringsspecialisterne, som var ved at færdiggøre overvågningssystemet. Tak til fyrene: de havde alle sensorerne, de skulle bare tilføje koden. De begyndte at installere kølere, UPS og belysning separat. Med den nye gadget blev det muligt at se, hvordan situationen ændrer sig blandt elementerne i systemet.
Eksperimenter med gardiner
Samtidig begynder vi eksperimenter med gardiner (hegn). Vi beslutter os for at montere dem på stifterne på kabelbakkerne (der er alligevel ikke andet nødvendigt), da de skal være lette. Vi besluttede os hurtigt for baldakiner eller kamme.
Fangsten er, at vi tidligere havde arbejdet med en flok leverandører. Alle har løsninger til virksomheders egne datacentre, men der er stort set ingen færdige løsninger til et kommercielt datacenter. Vores kunder kommer og går hele tiden. Vi er et af de få "tunge" datacentre uden begrænsninger på rackbredde med mulighed for at hoste disse kværnservere op til 25 kW. Ingen infrastrukturplanlægning på forhånd. Det vil sige, at hvis vi tager modulære bursystemer fra leverandører, vil der altid være huller i to måneder. Det vil sige, at møllehallen i princippet aldrig bliver energieffektiv.
Vi besluttede at gøre det selv, da vi har vores egne ingeniører.
Det første, de tog, var bånd fra industrielle køleskabe. Disse er fleksibel polyethylen snot, som du kan ramme. Du har sikkert set dem et sted ved indgangen til kødafdelingen i de største dagligvarebutikker. De begyndte at lede efter ikke-giftige og ikke-brændbare materialer. Vi fandt den og købte den til to rækker. Vi lagde den på og begyndte at se, hvad der skete.
Vi forstod, at det ikke ville være særlig godt. Men alt i alt viste det sig meget, meget ikke særlig godt. De begynder at flagre i vandløbene som pasta. Vi fandt magnetbånd som køleskabsmagneter. Vi limede dem på disse strimler, limede dem til hinanden, og væggen viste sig at være ret monolitisk.
Vi begyndte at finde ud af, hvad der ville være i vente for publikum.
Lad os gå til bygherrerne og vise dig vores projekt. De kigger og siger: dine gardiner er meget tunge. 700 kilo i hele møllehallen. Gå ad helvede til, siger de, gode mennesker. Mere præcist til SKS-holdet. Lad dem tælle, hvor mange nudler de har i bakkerne, for 120 kg pr. kvadratmeter er maks.
SKS siger: husk, der kom en stor kunde til os? Det har titusindvis af havne i ét rum. Langs kanterne af turbinerummet er det stadig ok, men det vil ikke være muligt at fastgøre det tættere på tværrummet: bakkerne vil falde af.
Bygherrerne bad også om en attest for materialet. Jeg bemærker, at vi før dette arbejdede på leverandørens æresord, da dette kun var en testkørsel. Vi kontaktede denne leverandør og sagde: OK, vi er klar til at gå i beta, giv os alt papirarbejdet. De sender noget, der ikke er af et meget etableret mønster.
Vi siger: hør her, hvor har du fået det her stykke papir fra? De: vores kinesiske producent sendte dette til os som svar på anmodninger. Ifølge avisen brænder denne ting slet ikke.
På dette tidspunkt indså vi, at det var tid til at stoppe op og tjekke fakta. Vi går til pigerne fra brandsikkerhedsafdelingen i datacentret, de fortæller os laboratoriet, der tester brandbarhed. Helt jordiske penge og deadlines (selvom vi forbandede alt, mens vi kompilerede det nødvendige antal stykker papir). Forskere der siger: medbring materialet, vi vil lave test.
Afslutningsvis blev det skrevet, at fra et kilo stof er der ca. 50 gram aske tilbage. Resten brænder stærkt, flyder ned og holder forbrændingen rigtig godt i vandpytten.
Vi forstår - det er godt, at vi ikke købte det. Vi begyndte at lede efter andet materiale.
Vi fandt polycarbonat. Han viste sig at være hårdere. Den gennemsigtige plade er to mm, dørene er lavet af fire mm. I bund og grund er det plexiglas. Sammen med producenten begynder vi en samtale med brandsikkerhed: giv os et certifikat. De sender. Underskrevet af samme institut. Vi ringer dertil og siger: Nå, gutter, har I tjekket det her?
De siger: ja, de tjekkede. Først brændte de det derhjemme, så tog de det kun med til test. Der er der, ud af et kilogram materiale, cirka 930 gram aske tilbage (hvis du brænder det med en brænder). Det smelter og drypper, men vandpytten brænder ikke.
Vi tjekker straks vores magneter (de er på en polymerforing). Overraskende nok brænder de dårligt.
samling
Fra dette begynder vi at samle. Polycarbonat er fantastisk, fordi det er lettere end polyethylen og bøjer meget mindre let. Sandt nok medbringer de ark på 2,5 gange 3 meter, og leverandøren er ligeglad med, hvad de skal gøre med det. Men vi har brug for 2,8 med en bredde på 20-25 centimeter. Dørene blev sendt til kontorer, der klippede pladerne efter behov. Og vi skærer selv lamellerne. Selve skæreprocessen koster dobbelt så meget som et ark.
Her er hvad der skete:
Resultatet er, at bursystemet tjener sig selv tilbage på mindre end et år. Sådan sparede vi konstant 200–250 kW på fancoileffekt. Vi ved ikke, hvor meget der stadig er på kølere, præcis hvor meget. Serverne suger med konstant hastighed, ventilatorspolerne blæser. Og chillerne tændes og slukkes med en kam: det er svært at udtrække data fra det. Turbinehallen kan ikke stoppes til test.
Vi er glade for, at der på et tidspunkt var en regel om at installere 5x5 stativer i moduler, så deres gennemsnitlige forbrug var maksimalt seks kW. Det vil sige, at det varme ikke koncentreres af øen, men fordeles i hele møllerummet. Men der er en situation, hvor der er 10 stykker 15-kilowatt stativer ved siden af hinanden, men der er en stak af dem overfor. Han er kold. Balanceret.
Hvor der ikke er tæller, har du brug for et hegn i gulvlængde.
Og nogle af vores kunder er isoleret med riste. Der var også flere ejendommeligheder ved dem.
De skærer i lameller, fordi bredden af stolperne ikke er fastgjort, og hyppigheden af kammen af fastgørelserne bestemmes: tre eller fire cm enten til højre eller til venstre vil altid være. Hvis du har en 600 blok til rackplads, så er der 85 procents chance for, at den ikke passer. Og korte og lange lameller sameksisterer og hænger sammen. Nogle gange skærer vi lamellen med bogstavet G langs stativernes konturer.
sensorer
Før man reducerede fancoil-enhedernes effekt, var det nødvendigt at opsætte meget nøjagtig temperaturovervågning forskellige steder i hallen, for ikke at fange nogen overraskelser. Sådan opstod trådløse sensorer. Kablet - på hver række skal du hænge dine egne ting for at krydsforbinde disse sensorer og nogle gange forlængerledninger på den. Dette bliver til en guirlande. Meget dårligt. Og når disse ledninger går ind i kundernes bure, bliver sikkerhedsvagterne straks begejstrede og beder om at forklare med et certifikat, hvad der fjernes langs disse ledninger. Sikkerhedsvagternes nerver skal beskyttes. Af en eller anden grund rører de ikke trådløse sensorer.
Og flere stande kommer og går. Det er nemmere at genmontere en sensor på en magnet, fordi den skal hænges højere eller lavere hver gang. Hvis serverne er i den nederste tredjedel af racket, skal de hænge nedad, og ikke efter standarden halvanden meter fra gulvet på rackdøren i en kold gang. Det er nytteløst at måle der; du skal måle, hvad der er i jernet.
En sensor til tre stativer - oftere behøver du ikke at hænge den. Temperaturen er ikke anderledes. Vi var bange for, at der ville blive trukket luft gennem selve stiverne, men det skete ikke. Men vi giver stadig lidt mere kold luft end de beregnede værdier. Vi lavede vinduer i sprosser 3, 7 og 12, og lavede et hul over stativet. Når vi går rundt, sætter vi et vindmåler i det: vi ser, at flowet går, hvor det skal.
Så hang de lyse snore: en gammel praksis for snigskytter. Det ser mærkeligt ud, men det giver dig mulighed for at opdage et muligt problem hurtigere.
sjov
Mens vi gjorde alt dette i stilhed, ankom en leverandør, som producerer ingeniørudstyr til datacentre. Han siger: lad os komme og fortælle dig om energieffektivitet. De ankommer og begynder at tale om den suboptimale hal og luftstrømme. Vi nikker forstående. For vi har tre år som etableret.
De hænger tre sensorer på hvert stativ. Overvågningsbillederne er fantastiske og smukke. Mere end halvdelen af prisen på denne løsning er software. På Zabbix alarmniveau, men proprietær og meget dyr. Problemet er, at de har sensorer, software, og så leder de efter en entreprenør på stedet: de har ikke deres egne leverandører til cadging.
Det viser sig, at deres hænder kostede fem til syv gange mere, end hvad vi gjorde.
RЎSЃS <P "RєRё
- .
- .
- .
- .
- .
- Min mail: [e-mail beskyttet]
Kilde: www.habr.com