Ovaj post posvećujem onim ljudima koji su lagali na certifikatima, zbog kojih smo zamalo postavili prskalice u dvorane.
Priča je stara više od četiri godine, ali sada je objavljujem jer je NDA istekao. Tada smo shvatili da je podatkovni centar (koji iznajmljujemo) gotovo potpuno opterećen, a njegova energetska učinkovitost nije se puno poboljšala. Prije je bila hipoteza da što ga više punimo, to bolje, jer je inženjer raspoređen na sve. No, pokazalo se da smo se u tom pogledu zavaravali, a iako je opterećenje bilo dobro, negdje je bilo gubitaka. Radili smo na mnogim područjima, ali naš hrabri tim fokusirao se na hlađenje.
Stvarni život podatkovnog centra je malo drugačiji od onoga što je u projektu. Stalne prilagodbe operativne službe za povećanje učinkovitosti i optimizaciju postavki za nove zadatke. Uzmite mitski B-stup. U praksi se to ne događa, raspodjela opterećenja je neravnomjerna, negdje gusto, negdje prazno. Stoga smo morali rekonfigurirati neke stvari za bolju energetsku učinkovitost.
Naš kompresor za podatkovni centar potreban je raznim kupcima. Stoga, među uobičajenim regalima od dva do četiri kilovata, može se naći i onaj od 23 kilovata ili više. Sukladno tome, klima uređaji su bili postavljeni da ih hlade, a zrak je jednostavno projurio kroz manje snažne police.
Druga hipoteza bila je da se topli i hladni hodnici ne miješaju. Nakon mjerenja mogu reći da je to iluzija, a stvarna aerodinamika gotovo u svemu odudara od modela.
pregled
Prvo smo počeli promatrati strujanje zraka u dvoranama. Zašto su otišli tamo? Zato što su razumjeli da je podatkovni centar projektiran za pet do šest kW po racku, ali su znali da su zapravo od 0 do 25 kW. Sve je to gotovo nemoguće regulirati pločicama: već prva mjerenja pokazala su da propuštaju gotovo jednako. Ali uopće nema pločica od 25 kW, one moraju biti ne samo prazne, već s tekućim vakuumom.
Kupili smo anemometar i počeli mjeriti protoke između regala i iznad regala. Općenito, morate raditi s njim u skladu s GOST-om i hrpom standarda koje je teško implementirati bez zatvaranja turbinske dvorane. Nije nas zanimala točnost, već temeljna slika. Odnosno mjerili su otprilike.
Prema mjerenjima, od 100 posto zraka koji izađe iz pločica, 60 posto dospije u police, ostatak proleti. To je zbog činjenice da postoje teški regali od 15–25 kW duž kojih je izgrađeno hlađenje.
Ne možemo isključiti klima uređaje, jer će na toplim policama u području gornjih poslužitelja biti vrlo toplo. U ovom trenutku shvaćamo da moramo izolirati nešto od nečeg drugog kako zrak ne bi skakao iz reda u red i kako bi se ipak dogodila izmjena topline u bloku.
Pritom se pitamo je li to financijski izvedivo.
Iznenađeni smo kada otkrijemo da imamo potrošnju energije podatkovnog centra kao cjeline, ali jednostavno ne možemo računati ventilokonvektore za određenu prostoriju. Odnosno, analitički možemo, ali zapravo ne možemo. A uštede nismo u mogućnosti procijeniti. Zadatak postaje sve zanimljiviji. Ako uštedimo 10% struje klima uređaja, koliko novca možemo izdvojiti za izolaciju? Kako brojati?
Otišli smo do stručnjaka za automatizaciju koji su dovršavali sustav nadzora. Hvala dečkima: imali su sve senzore, samo su morali dodati kod. Počeli su odvojeno instalirati rashladne uređaje, UPS i rasvjetu. S novim gadgetom postalo je moguće vidjeti kako se mijenja situacija među elementima sustava.
Eksperimenti sa zavjesama
Istodobno započinjemo eksperimente sa zavjesama (ogradama). Odlučili smo ih montirati na klinove nosača kabela (ionako ništa drugo nije potrebno), jer bi trebali biti lagani. Brzo smo se odlučili za nadstrešnice ili češljeve.
Kvaka je u tome što smo prethodno radili s hrpom dobavljača. Svatko ima rješenja za vlastite podatkovne centre tvrtki, ali u suštini ne postoje gotova rješenja za komercijalne podatkovne centre. Naši kupci dolaze i odlaze cijelo vrijeme. Mi smo jedan od rijetkih "teških" podatkovnih centara bez ograničenja širine regala s mogućnošću ugošćavanja ovih grinder poslužitelja do 25 kW. Bez planiranja infrastrukture unaprijed. To jest, ako uzmemo modularne kavezne sustave od dobavljača, uvijek će biti rupa dva mjeseca. Odnosno turbinska dvorana u principu nikada neće biti energetski učinkovita.
Odlučili smo to napraviti sami, jer imamo svoje inženjere.
Prvo što su uzeli bile su trake s industrijskih hladnjaka. Ovo su savitljivi polietilenski baleri koje možete pogoditi. Vjerojatno ste ih vidjeli negdje na ulazu u mesne odjele najvećih trgovina mješovitom robom. Počeli su tražiti neotrovne i nezapaljive materijale. Našli smo ga i kupili za dva reda. Objesili smo ga i počeli vidjeti što se dogodilo.
Shvatili smo da to neće biti baš dobro. Ali sveukupno je ispalo jako, jako ne baš dobro. Počinju lepršati u potocima poput tjestenine. Pronašli smo magnetske trake poput magneta za hladnjake. Zalijepili smo ih na ove trake, zalijepili ih jednu za drugu, a zid je ispao prilično monolitan.
Počeli smo smišljati što će biti spremno za publiku.
Idemo do građevinara i pokažemo vam naš projekt. Gledaju i kažu: jako su vam teške zavjese. 700 kilograma u cijeloj turbinskoj dvorani. Idi k vragu, kažu, dobri ljudi. Točnije, ekipi SKS. Neka prebroje koliko imaju jufki u plehovima, jer 120 kg po kvadratu je maksimum.
SKS kaže: sjećate se, došao nam je jedan veliki kupac? Ima desetke tisuća priključaka u jednoj prostoriji. Uz rubove komore s turbinama i dalje je u redu, ali neće biti moguće pričvrstiti ga bliže poprečnoj prostoriji: ladice će otpasti.
Građevinci su tražili i atest za materijal. Napominjem da smo prije ovoga radili na časnoj riječi dobavljača, budući da je ovo bio samo probni rad. Kontaktirali smo ovog dobavljača i rekli: OK, spremni smo za beta verziju, dajte nam svu papirologiju. Šalju nešto što nije baš ustaljenog obrasca.
Mi kažemo: čujte, odakle vam ovaj papir? Oni: naš kineski proizvođač poslao nam je ovo kao odgovor na zahtjeve. Prema novinama, ova stvar uopće ne gori.
U ovom smo trenutku shvatili da je vrijeme da stanemo i provjerimo činjenice. Idemo kod cura iz protupožarnog odjela podatkovnog centra, kažu nam laboratorij koji ispituje zapaljivost. Sasvim ovozemaljski novac i rokovi (iako smo sve psovali dok smo sastavljali potreban broj papirića). Znanstvenici tamo kažu: donesite materijal, mi ćemo napraviti ispitivanja.
Zaključno je napisano da od kilograma tvari ostaje oko 50 grama pepela. Ostatak jako gori, slijeva se i vrlo dobro održava izgaranje u lokvi.
Razumijemo - dobro je što ga nismo kupili. Počeli smo tražiti drugi materijal.
Našli smo polikarbonat. Ispao je tvrđi. Prozirni lim je dva mm, vrata su četiri mm. U biti, to je pleksiglas. Zajedno s proizvođačem započinjemo razgovor o sigurnosti od požara: dajte nam certifikat. Šalju. U potpisu isti institut. Zovemo tamo i kažemo: dobro, ljudi, jeste li ovo provjerili?
Kažu: da, provjerili su. Prvo su ga spalili kod kuće, a onda su ga donijeli samo na testiranje. Tu od kilograma materijala ostane otprilike 930 grama pepela (ako ga spaljujete plamenikom). Topi se i kaplje, ali lokvica neće izgorjeti.
Odmah provjeravamo naše magnete (oni su na polimernoj podstavi). Začudo, slabo gore.
zbor
Od ovoga počinjemo prikupljati. Polikarbonat je odličan jer je lakši od polietilena i mnogo se teže savija. Istina, donose listove od 2,5 do 3 metra, a dobavljača nije briga što će s tim. Ali trebamo 2,8 širine 20–25 centimetara. Vrata su poslana u urede koji su krojili plahte po potrebi. A lamele smo sami rezali. Sam proces rezanja košta dvostruko više od lista.
Evo što se dogodilo:
Rezultat je da se kavezni sustav isplati za manje od godinu dana. Tako smo uštedjeli 200–250 kW konstantno na snazi ventilokonvektora. Ne znamo koliko je još na rashladnim uređajima, točno koliko. Poslužitelji usisavaju konstantnom brzinom, ventilokonvektori pušu. A rashladni uređaji se uključuju i isključuju češljem: teško je iz njega izvući podatke. Turbinska dvorana se ne može zaustaviti radi ispitivanja.
Drago nam je da je jedno vrijeme postojalo pravilo da se u module ugrađuju rekovi 5x5 tako da im je prosječna potrošnja bila najviše šest kW. To jest, toplina se ne koncentrira na otoku, već se raspoređuje po cijeloj turbinskoj sobi. Ali postoji situacija da postoji 10 komada regala od 15 kilovata jedan do drugog, ali ih je hrpa nasuprot. Hladno mu je. Uravnotežen.
Gdje nema šaltera, treba vam ograda do poda.
A neki od naših kupaca su izolirani rešetkama. I kod njih je bilo nekoliko posebnosti.
Režu se na lamele, jer širina stupova nije fiksna, a određuje se učestalost češlja pričvršćivanja: uvijek će biti tri ili četiri cm desno ili lijevo. Ako imate blok od 600 za stalak, tada postoji 85 posto šanse da neće stati. A kratke i duge lamele koegzistiraju i drže se zajedno. Ponekad izrežemo lamelu slovom G duž obrisa regala.
senzori
Prije smanjenja snage ventilokonvektora bilo je potrebno postaviti vrlo točan nadzor temperature na različitim točkama hale, kako ne bi došlo do iznenađenja. Tako su se pojavili bežični senzori. Žičano - na svaki red morate objesiti svoju stvar za unakrsno povezivanje ovih senzora, a ponekad i produžnih kabela na njoj. Ovo se pretvara u vijenac. Jako loše. A kad te žice uđu u kaveze kupaca, zaštitari se odmah uzbude i traže da se uz potvrdu objasni što se po tim žicama uklanja. Moraju se čuvati živci zaštitara. Iz nekog razloga ne diraju bežične senzore.
I više postolja dolazi i odlazi. Lakše je ponovno montirati senzor na magnet jer se svaki put mora objesiti više ili niže. Ako su poslužitelji u donjoj trećini stalka, trebali bi biti obješeni prema dolje, a ne prema standardu metar i pol od poda na vratima stalka u hladnom hodniku. Tu je beskorisno mjeriti; morate mjeriti ono što je u željezu.
Jedan senzor za tri police - češće ga ne morate vješati. Temperatura se ne razlikuje. Bojali smo se da će zrak biti uvučen kroz same podupirače, ali to se nije dogodilo. Ali ipak dajemo malo više hladnog zraka od izračunatih vrijednosti. Prozore smo napravili u letvicama 3, 7 i 12, te napravili rupu iznad postolja. Kad idemo okolo, stavimo anemometar: vidimo da protok ide tamo gdje treba.
Zatim su objesili svijetle konce: stara praksa za snajperiste. Izgleda čudno, ali omogućuje brže otkrivanje mogućeg problema.
smiješno
Dok smo sve to radili u tišini, stigao je prodavač koji proizvodi inženjersku opremu za podatkovne centre. Kaže: hajde da dođemo i pričamo vam o energetskoj učinkovitosti. Dolaze i počinju pričati o neoptimalnoj dvorani i strujanjima zraka. Kimamo s razumijevanjem. Jer imamo tri godine kako je utvrđeno.
Na svaki stalak vješaju tri senzora. Slike praćenja su zapanjujuće i lijepe. Više od polovice cijene ovog rješenja čini softver. Na razini upozorenja Zabbixa, ali vlasnički i vrlo skup. Problem je što imaju senzore, softver, a onda traže izvođača na licu mjesta: nemaju svoje dobavljače za cadging.
Ispada da njihove ruke koštaju pet do sedam puta više od onoga što smo mi napravili.
reference
- .
- .
- .
- .
- .
- Moj mail: [e-pošta zaštićena]
Izvor: www.habr.com