Jag tillägnar det här inlägget till de människor som ljög på certifikaten, på grund av vilka vi nästan installerade tomtebloss i våra hallar.
Berättelsen är över fyra år gammal, men jag publicerar den nu eftersom NDA har löpt ut. Sedan insåg vi att datacentret (som vi hyr ut) var nästan helt laddat, och dess energieffektivitet hade inte förbättrats särskilt mycket. Tidigare var hypotesen att ju mer vi fyller den desto bättre, eftersom ingenjören är fördelad på alla. Men det visade sig att vi lurade oss själva i det här avseendet, och även om belastningen var bra blev det förluster någonstans. Vi arbetade inom många områden, men vårt modiga team fokuserade på kylning.
Det verkliga livet för ett datacenter är lite annorlunda än vad som finns i projektet. Ständiga justeringar från drifttjänsten för att öka effektiviteten och optimera inställningar för nya uppgifter. Ta den mytomspunna B-stolpen. I praktiken sker detta inte, lastfördelningen är ojämn, någonstans tät, någonstans tom. Så vi var tvungna att konfigurera om vissa saker för bättre energieffektivitet.
Vår datacenterkompressor behövs för en mängd olika kunder. Därför kan det, bland de vanliga två till fyra kilowattställen, mycket väl finnas ett 23 kilowatt eller mer. Följaktligen var luftkonditioneringsapparaterna inställda för att kyla dem, och luften rusade helt enkelt förbi genom de mindre kraftfulla ställen.
Den andra hypotesen var att de varma och kalla korridorerna inte blandas. Efter mätningar kan jag säga att detta är en illusion, och den verkliga aerodynamiken skiljer sig från modellen på nästan alla sätt.
Undersökning
Först började vi titta på luftflöden i hallarna. Varför åkte de dit? Eftersom de förstod att datacentret är designat för fem till sex kW per rack, men de visste att de faktiskt är från 0 till 25 kW. Det är nästan omöjligt att reglera allt detta med plattor: de allra första mätningarna visade att de sänder nästan lika mycket. Men det finns inga 25 kW-plattor alls, de måste inte bara vara tomma, utan med vätskevakuum.
Vi köpte en vindmätare och började mäta flödena mellan stativen och ovanför stativen. I allmänhet måste du arbeta med det i enlighet med GOST och en massa standarder som är svåra att implementera utan att stänga av turbinhallen. Vi var inte intresserade av noggrannhet, utan av den grundläggande bilden. Dvs de mätte ungefär.
Enligt mätningar, av 100 procent av luften som kommer ut ur plattorna, kommer 60 procent in i hyllorna, resten flyger förbi. Det beror på att det finns tunga 15–25 kW-ställ längs vilka kylningen byggs.
Vi kan inte stänga av luftkonditioneringarna, eftersom det kommer att bli väldigt varmt på de varma racken i området för de övre servrarna. I det här ögonblicket förstår vi att vi behöver isolera något från något annat så att luften inte hoppar från rad till rad och så att värmeväxling i blocket ändå uppstår.
Samtidigt frågar vi oss om detta är ekonomiskt genomförbart.
Vi är förvånade över att upptäcka att vi har energiförbrukningen för datacentret som helhet, men vi kan helt enkelt inte räkna fläktkonvektorer för ett specifikt rum. Det vill säga, analytiskt kan vi, men i själva verket kan vi inte. Och vi kan inte uppskatta besparingarna. Uppgiften blir mer och mer intressant. Om vi sparar 10 % av luftkonditioneringen, hur mycket pengar kan vi lägga undan för isolering? Hur ska man räkna?
Vi gick till automationsspecialisterna som höll på att färdigställa övervakningssystemet. Tack vare killarna: de hade alla sensorer, de var bara tvungna att lägga till koden. De började installera kylaggregat, UPS och belysning separat. Med den nya prylen blev det möjligt att se hur situationen förändras bland elementen i systemet.
Experiment med gardiner
Samtidigt börjar vi experiment med gardiner (staket). Vi bestämmer oss för att montera dem på stiften på kabelrännorna (det behövs ändå inget annat), eftersom de ska vara lätta. Vi bestämde oss snabbt för kapell eller kammar.
Haken är att vi tidigare hade arbetat med ett gäng leverantörer. Alla har lösningar för företags egna datacenter, men det finns i princip inga färdiga lösningar för ett kommersiellt datacenter. Våra kunder kommer och går hela tiden. Vi är ett av få "tunga" datacenter utan restriktioner för rackbredd med möjligheten att vara värd för dessa grinderservrar upp till 25 kW. Ingen infrastrukturplanering i förväg. Det vill säga om vi tar modulära bursystem från leverantörer kommer det alltid att finnas hål i två månader. Det vill säga att turbinhallen i princip aldrig blir energieffektiv.
Vi bestämde oss för att göra det själva, eftersom vi har våra egna ingenjörer.
Det första de tog var tejper från industrikylskåp. Dessa är flexibel polyeten snott som du kan slå. Du har säkert sett dem någonstans vid ingången till köttavdelningen på de största livsmedelsbutikerna. De började leta efter giftfria och icke brandfarliga material. Vi hittade den och köpte den för två rader. Vi la på och började se vad som hände.
Vi förstod att det inte skulle bli särskilt bra. Men totalt sett blev det väldigt, väldigt inte särskilt bra. De börjar fladdra i bäckarna som pasta. Vi hittade magnetband som kylskåpsmagneter. Vi limmade dem på dessa remsor, limmade dem till varandra, och väggen visade sig vara ganska monolitisk.
Vi började fundera ut vad som skulle väntas för publiken.
Låt oss gå till byggarna och visa er vårt projekt. De tittar och säger: dina gardiner är väldigt tunga. 700 kilo i hela turbinhallen. Dra åt helvete, säger de, gott folk. Närmare bestämt till SKS-teamet. Låt dem räkna hur många nudlar de har i brickorna, för 120 kg per kvadratmeter är max.
SKS säger: kom ihåg att en stor kund kom till oss? Den har tiotusentals hamnar i ett rum. Längs kanterna på turbinrummet är det fortfarande ok, men det kommer inte att vara möjligt att fästa det närmare tvärrummet: brickorna kommer att falla av.
Byggarna bad också om ett intyg för materialet. Jag noterar att vi innan detta arbetade med leverantörens hedersord, eftersom detta bara var en testkörning. Vi kontaktade den här leverantören och sa: OK, vi är redo att gå in i beta, ge oss alla papper. De skickar något som inte är av ett särskilt etablerat mönster.
Vi säger: lyssna, var fick du tag i den här lappen? De: vår kinesiska tillverkare skickade detta till oss som svar på förfrågningar. Enligt tidningen brinner den här saken inte alls.
Vid det här laget insåg vi att det var dags att stanna upp och kontrollera fakta. Vi går till tjejerna från brandsäkerhetsavdelningen på datacentret, de berättar för laboratoriet som testar brandfarlighet. Ganska jordiska pengar och deadlines (även om vi förbannade allt medan vi sammanställde det nödvändiga antalet papperslappar). Forskare där säger: ta med materialet, vi kommer att göra tester.
Avslutningsvis skrevs det att från ett kilo ämne återstår cirka 50 gram aska. Resten brinner starkt, rinner ner och bibehåller förbränningen mycket bra i pölen.
Vi förstår - det är bra att vi inte köpte det. Vi började leta efter annat material.
Vi hittade polykarbonat. Han visade sig vara tuffare. Det genomskinliga arket är två mm, dörrarna är gjorda av fyra mm. I huvudsak är det plexiglas. Tillsammans med tillverkaren inleder vi ett samtal med brandsäkerhet: ge oss ett certifikat. De skickar. Signerad av samma institut. Vi ringer dit och säger: ja, killar, har ni kollat detta?
De säger: ja, de kollade. Först brände de den hemma, sedan tog de bara in den för tester. Där, av ett kilo material, återstår cirka 930 gram aska (om du bränner den med en brännare). Det smälter och droppar, men pölen bränns inte.
Vi kontrollerar omedelbart våra magneter (de är på ett polymerfoder). Överraskande nog brinner de dåligt.
aggregatet
Från detta börjar vi samla. Polykarbonat är bra eftersom det är lättare än polyeten och böjs mycket mindre lätt. Det är sant att de tar med ark på 2,5 gånger 3 meter, och leverantören bryr sig inte om vad de ska göra med det. Men vi behöver 2,8 med en bredd på 20–25 centimeter. Dörrarna skickades till kontor som kapade arken efter behov. Och vi skär lamellerna själva. Själva skärprocessen kostar dubbelt så mycket som ett ark.
Här är vad som hände:
Resultatet är att bursystemet betalar sig själv på mindre än ett år. Så här sparade vi konstant 200–250 kW på fläktkonvektoreffekt. Vi vet inte hur mycket som finns kvar på kylarna, exakt hur mycket. Servrarna suger med konstant hastighet, fläktkonvektorerna blåser. Och kylaggregaten slås på och av med en kam: det är svårt att extrahera data från det. Turbinhallen kan inte stoppas för tester.
Vi är glada över att det en gång i tiden fanns en regel att installera 5x5 rack i moduler så att deras genomsnittliga förbrukning var max sex kW. Det vill säga att det varma inte koncentreras av ön, utan fördelas i hela turbinrummet. Men det finns en situation där det finns 10 stycken 15-kilowatt-ställ bredvid varandra, men det finns en hög av dem mittemot. Han är kall. Balanserad.
Där det inte finns någon disk behöver du ett golvlångt staket.
Och några av våra kunder är isolerade med galler. Det fanns också flera egenheter med dem.
De skär i lameller, eftersom stolparnas bredd inte är fixerad, och frekvensen av fästkammen bestäms: tre eller fyra cm antingen till höger eller till vänster kommer alltid att vara. Om du har ett 600-block för rackutrymme, så är det 85 procents chans att det inte får plats. Och korta och långa lameller samexisterar och håller ihop. Ibland skär vi lamellen med bokstaven G längs konturerna av stativen.
sensorer
Innan man minskade kraften hos fläktkonvektorerna var det nödvändigt att ställa in mycket noggrann temperaturövervakning på olika ställen i hallen för att inte fånga några överraskningar. Så här uppstod trådlösa sensorer. Kabelansluten - på varje rad måste du hänga din egen sak för att korskoppla dessa sensorer och ibland förlängningssladdar på den. Detta förvandlas till en krans. Väldigt dåligt. Och när dessa sladdar går in i kundernas burar, blir säkerhetsvakterna omedelbart upphetsade och ber att få förklara med ett certifikat vad som tas bort längs dessa vajrar. Säkerhetsvakternas nerver måste skyddas. Av någon anledning rör de inte trådlösa sensorer.
Och fler läktare kommer och går. Det är lättare att montera om en sensor på en magnet eftersom den måste hängas högre eller lägre varje gång. Om servrarna är i den nedre tredjedelen av racket ska de hängas nedåt, och inte enligt standarden en och en halv meter från golvet på rackdörren i en kall korridor. Det är värdelöst att mäta där, du måste mäta vad som finns i järnet.
En sensor för tre ställ - oftare behöver du inte hänga den. Temperaturen är inte annorlunda. Vi var rädda att luft skulle dras genom själva strävorna, men så blev det inte. Men vi ger ändå lite mer kall luft än de beräknade värdena. Vi gjorde fönster i spjälorna 3, 7 och 12, och gjorde ett hål ovanför stativet. När vi går runt lägger vi en vindmätare i den: vi ser att flödet går dit det ska.
Sedan hängde de ljusa snören: en gammal praxis för krypskyttar. Det ser konstigt ut, men det låter dig upptäcka ett eventuellt problem snabbare.
rolig
Medan vi gjorde allt detta i tysthet kom en leverantör som tillverkar teknisk utrustning för datacenter. Han säger: låt oss komma och berätta om energieffektivitet. De kommer fram och börjar prata om den suboptimala hallen och luftflöden. Vi nickar förstående. Eftersom vi har tre år som etablerat.
De hänger tre sensorer på varje stativ. Övervakningsbilderna är fantastiska och vackra. Mer än hälften av priset för denna lösning är mjukvara. På Zabbix varningsnivå, men proprietär och mycket dyr. Problemet är att de har sensorer, mjukvara och sedan letar de efter en entreprenör på plats: de har inte sina egna leverantörer för cadging.
Det visar sig att deras händer kostade fem till sju gånger mer än vad vi gjorde.
referenser
- .
- .
- .
- .
- .
- Min post: [e-postskyddad]
Källa: will.com