Ovu objavu posvećujem onim ljudima koji su lagali na sertifikatima, zbog kojih smo umalo ugradili svjetlucave u naše sale.
Priča je stara više od četiri godine, ali je sada objavljujem jer je NDA istekao. Tada smo shvatili da je data centar (koji iznajmljujemo) skoro u potpunosti popunjen, a njegova energetska efikasnost se nije mnogo poboljšala. Ranije je bila hipoteza da što ga više napunimo, to bolje, jer je inženjer raspoređen na sve. Ali ispostavilo se da smo se u tom pogledu varali, i iako je opterećenje bilo dobro, negdje je bilo gubitaka. Radili smo u mnogim oblastima, ali naš hrabri tim se fokusirao na hlađenje.
Stvarni život data centra je malo drugačiji od onoga što je u projektu. Stalna prilagođavanja operativne usluge radi povećanja efikasnosti i optimizacije postavki za nove zadatke. Uzmite mitski B-stub. U praksi se to ne događa; raspodjela opterećenja je neravnomjerna, negdje gusta, negdje prazna. Tako da smo morali da rekonfigurišemo neke stvari za bolju energetsku efikasnost.
Kompresor našeg data centra je potreban za različite korisnike. Stoga, tamo, među uobičajenim regalima od dva do četiri kilovata, može se naći i jedan od 23 kilovata ili više. U skladu s tim, klima-uređaji su postavljeni da ih hlade, a zrak je jednostavno prolazio kroz manje snažne police.
Druga hipoteza je bila da se topli i hladni hodnici ne miješaju. Nakon mjerenja, mogu reći da je ovo iluzija, a prava aerodinamika se razlikuje od modela u gotovo svakom pogledu.
Ispit
Prvo smo počeli da posmatramo strujanja vazduha u halama. Zašto su otišli tamo? Zato što su shvatili da je data centar projektovan za pet do šest kW po reku, ali su znali da su u stvari od 0 do 25 kW. Gotovo je nemoguće sve to regulisati pločicama: već prva mjerenja su pokazala da prenose gotovo podjednako. Ali pločice od 25 kW uopće ne postoje, one moraju biti ne samo prazne, već s tekućim vakuumom.
Kupili smo anemometar i počeli da mjerimo protoke između regala i iznad regala. Općenito, s njim morate raditi u skladu s GOST-om i gomilom standarda koje je teško implementirati bez gašenja turbinske hale. Nije nas zanimala tačnost, već osnovna slika. Odnosno, izmjerili su otprilike.
Prema mjerenjima, od 100 posto zraka koji izlazi iz pločica, 60 posto uđe u police, ostatak proleti. To je zbog činjenice da postoje teški regali od 15-25 kW duž kojih je ugrađeno hlađenje.
Ne možemo isključiti klima-uređaje, jer će na toplim regalima u području gornjih servera biti veoma toplo. U ovom trenutku shvaćamo da treba nešto izolirati od nečeg drugog kako zrak ne bi skakao iz reda u red i kako bi i dalje došlo do razmjene topline u bloku.
Istovremeno se pitamo da li je to finansijski izvodljivo.
Iznenađeni smo kada otkrijemo da imamo potrošnju energije za podatkovni centar u cjelini, ali jednostavno ne možemo računati ventilator konvektore za određenu prostoriju. Odnosno, analitički možemo, ali u stvari ne možemo. A uštede nismo u mogućnosti procijeniti. Zadatak postaje sve zanimljiviji. Ako uštedimo 10% energije klima uređaja, koliko novca možemo izdvojiti za izolaciju? Kako brojati?
Otišli smo kod stručnjaka za automatizaciju, koji su završavali nadzorni sistem. Hvala momcima: imali su sve senzore, samo su morali dodati kod. Počeli su zasebno instalirati rashladne uređaje, UPS i rasvjetu. Sa novim gadgetom postalo je moguće vidjeti kako se mijenja situacija među elementima sistema.
Eksperimenti sa zavjesama
Istovremeno počinjemo eksperimente sa zavjesama (ogradama). Odlučujemo da ih montiramo na igle nosača kablova (ionako ništa drugo nije potrebno), jer bi trebali biti lagani. Brzo smo se odlučili za nadstrešnice ili češljeve.
Kvaka je u tome što smo ranije radili sa gomilom dobavljača. Svi imaju rješenja za vlastite podatkovne centre kompanije, ali u suštini ne postoje gotova rješenja za komercijalni podatkovni centar. Naši klijenti stalno dolaze i odlaze. Mi smo jedan od rijetkih “teških” podatkovnih centara bez ograničenja u širini rack-a s mogućnošću smještaja ovih grinder servera do 25 kW. Bez planiranja infrastrukture unaprijed. Odnosno, ako uzmemo modularne sisteme kaveza od dobavljača, uvijek će biti rupa za dva mjeseca. Odnosno, turbinska hala u principu nikada neće biti energetski efikasna.
Odlučili smo da to uradimo sami, jer imamo svoje inženjere.
Prvo što su uzeli bile su trake iz industrijskih frižidera. Ovo su fleksibilne polietilenske šmrklje koje možete udariti. Vjerovatno ste ih vidjeli negdje na ulazu u odjel za meso u najvećim trgovinama. Počeli su tražiti netoksične i nezapaljive materijale. Našli smo ga i kupili za dva reda. Otkačili smo slušalicu i počeli da vidimo šta se desilo.
Shvatili smo da to neće biti dobro. Ali sveukupno je ispalo vrlo, vrlo ne baš dobro. Počinju lepršati u potocima poput tjestenine. Pronašli smo magnetne trake poput magneta za frižider. Zalijepili smo ih na ove trake, zalijepili ih jedno za drugo, a zid se pokazao prilično monolitan.
Počeli smo da smišljamo šta bi čekalo publiku.
Idemo do graditelja i pokažimo vam naš projekat. Gledaju i kažu: zavese su vam veoma teške. 700 kilograma po cijeloj turbinskoj hali. Idite dođavola, kažu dobri ljudi. Tačnije, ekipi SKS. Neka prebroje koliko jufki imaju u tacnama, jer 120 kg po kvadratu je maksimum.
SKS kaže: sjećate se, došao nam je jedan veliki kupac? Ima desetine hiljada luka u jednoj prostoriji. Uz rubove turbinske prostorije još je u redu, ali se neće moći pričvrstiti bliže poprečnoj prostoriji: tacni će otpasti.
Građevinari su tražili i sertifikat za materijal. Napominjem da smo prije ovoga radili na časnoj riječi dobavljača, jer je ovo bila samo probna vožnja. Kontaktirali smo ovog dobavljača i rekli: OK, spremni smo za beta verziju, dajte nam svu papirologiju. Oni šalju nešto što nije baš ustaljenog obrasca.
Mi kažemo: slušaj, odakle ti ovo parče papira? Oni: naš kineski proizvođač nam je ovo poslao kao odgovor na zahtjeve. Prema pisanju lista, ova stvar uopšte ne gori.
U ovom trenutku smo shvatili da je vrijeme da stanemo i provjerimo činjenice. Idemo do djevojaka iz odjela protivpožarne sigurnosti data centra, kažu nam laboratoriju koja ispituje zapaljivost. Sasvim ovozemaljski novac i rokovi (mada smo sve psovali dok smo sastavljali potreban broj papirića). Tamošnji naučnici kažu: donesite materijal, uradićemo testove.
U zaključku je napisano da od kilograma tvari ostaje oko 50 grama pepela. Ostatak gori jako, teče prema dolje i odlično održava sagorijevanje u lokvi.
Razumemo - dobro je da ga nismo kupili. Počeli smo tražiti drugi materijal.
Našli smo polikarbonat. Ispostavilo se da je čvršći. Prozirni lim je dva mm, vrata su od četiri mm. U suštini, to je pleksiglas. Zajedno s proizvođačem započinjemo razgovor o sigurnosti od požara: dajte nam certifikat. Oni šalju. Potpisan od strane istog instituta. Zovemo tamo i kažemo: dobro, ljudi, jeste li ovo provjerili?
Kažu: da, provjerili su. Prvo su je spalili kod kuće, a onda su je donijeli samo na testove. Tu od kilograma materijala ostane otprilike 930 grama pepela (ako ga spalite gorionikom). Topi se i kaplje, ali lokva neće izgorjeti.
Odmah provjeravamo naše magnete (na polimernoj podlozi). Iznenađujuće, slabo gore.
Montaža
Od ovoga počinjemo da prikupljamo. Polikarbonat je odličan jer je lakši od polietilena i mnogo se teže savija. Istina, donose listove 2,5 sa 3 metra, a dobavljača nije briga šta će s tim. Ali trebamo 2,8 širine 20-25 centimetara. Vrata su poslana u kancelarije koje su po potrebi sekle čaršave. I sami smo izrezali lamele. Sam proces rezanja košta dvostruko više od lima.
Evo šta se dogodilo:
Rezultat je da se kavezni sistem isplati za manje od godinu dana. Tako smo stalno uštedjeli 200–250 kW na snazi ventilator konvektora. Ne znamo koliko je još na rashladnim uređajima, koliko tačno. Serveri usisavaju konstantnom brzinom, ventilatori duvaju. A rashladni uređaji se uključuju i isključuju češljem: teško je izvući podatke iz njega. Turbinska hala se ne može zaustaviti radi testiranja.
Drago nam je da je svojevremeno postojalo pravilo da se regali 5x5 ugrađuju u module tako da je njihova prosječna potrošnja bila maksimalno šest kW. Odnosno, toplota se ne koncentriše na ostrvu, već se distribuira po turbinskoj prostoriji. Ali postoji situacija u kojoj postoji 10 komada regala od 15 kilovata jedan pored drugog, ali postoji hrpa njih nasuprot. Hladno mu je. Balansirano.
Tamo gdje nema šaltera potrebna vam je ograda do poda.
A neki od naših kupaca su izolovani rešetkama. Kod njih je bilo i nekoliko posebnosti.
Režu se na lamele, jer širina stupova nije fiksna, a učestalost češlja za pričvršćivanje je određena: uvijek će biti tri ili četiri cm desno ili lijevo. Ako imate blok od 600 za prostor u regalu, postoji šansa od 85 posto da neće stati. A kratke i dugačke lamele koegzistiraju i drže se zajedno. Ponekad režemo lamelu sa slovom G duž kontura regala.
Senzori
Prije smanjenja snage ventilatorskih konvektora, bilo je potrebno postaviti vrlo precizan nadzor temperature na različitim mjestima hale, kako ne bi došlo do iznenađenja. Tako su nastali bežični senzori. Ožičeni - na svaki red morate okačiti svoju stvar da biste ukrštali ove senzore, a ponekad i produžne kablove na njemu. Ovo se pretvara u vijenac. Veoma loše. A kada ove žice uđu u kaveze kupaca, zaštitari se odmah uzbude i traže da im se potvrdom objasne šta se skida duž ovih žica. Nervi zaštitara moraju biti zaštićeni. Iz nekog razloga ne dodiruju bežične senzore.
I više štandova dolazi i odlazi. Lakše je ponovo montirati senzor na magnet jer se svaki put mora objesiti više ili niže. Ako se serveri nalaze u donjoj trećini rek-a, treba ih okačiti nadole, a ne po standardnom metar i po od poda na vratima reka u hladnom hodniku. Tu je beskorisno mjeriti; morate mjeriti ono što je u gvožđu.
Jedan senzor za tri stalka - češće ga ne morate vješati. Temperatura se ne razlikuje. Plašili smo se da će se vazduh uvući kroz same podupirače, ali to se nije dogodilo. Ali ipak dajemo malo više hladnog zraka od izračunatih vrijednosti. Napravili smo prozore u letvicama 3, 7 i 12, te napravili rupu iznad postolja. Kada idemo okolo, u njega stavljamo anemometar: vidimo da tok ide tamo gdje treba.
Zatim su okačili sjajne konce: stara praksa za snajperiste. Izgleda čudno, ali vam omogućava da brže otkrijete mogući problem.
smiješno
Dok smo sve to radili u tišini, stigao je prodavac koji proizvodi inženjersku opremu za data centre. Kaže: hajde da dođemo i pričamo o energetskoj efikasnosti. Dolaze i počinju pričati o neoptimalnoj sali i protoku zraka. Klimamo s razumijevanjem. Jer imamo tri godine kao što je ustanovljeno.
Okače po tri senzora na svaki stalak. Slike praćenja su zapanjujuće i prelijepe. Više od polovine cijene ovog rješenja je softver. Na nivou upozorenja Zabbixa, ali vlasnički i vrlo skup. Problem je što imaju senzore, softver, a onda traže izvođača na licu mjesta: nemaju svoje dobavljače za cadging.
Ispostavilo se da njihove ruke koštaju pet do sedam puta više od onoga što smo mi radili.
reference
- .
- .
- .
- .
- .
- moj mail: [email zaštićen]
izvor: www.habr.com