🥇Ako sme sa zbláznili z energetickej účinnosti strojovne

Tento príspevok venujem tým, ktorí klamali v certifikátoch, kvôli čomu sme takmer nainštalovali v našich priestoroch bengálske ohňe.

Príbehy sú staršie viac ako štyri roky, ale publikujem ich teraz, pretože skončila NDA. Vtedy sme pochopili, že sme takmer úplne naplnili dátové centrum (ktoré prenajímame), a energetická účinnosť nebola zvlášť zlepšená. Predtým sme mali hypotézu, že čím viac ho zaplníme, tým lepšie, pretože inžinierstvo sa rozdeľuje medzi všetkých. Ale ukázalo sa, že sme sa v tom klamali a pri dobrej zaťaženosti dochádzalo k stratám. Pracovali sme v mnohých oblastiach, ale náš statečný tím sa venoval chladeniu.

Skutočný život dátového centra je trochu iný ako v projekte. Neustále ladenie zo strany obsluhy na zvýšenie efektivity a optimalizácia nastavení pre nové úlohy. Dať príklad mytologickej priemernej skriniek. V praxi neexistuje, zaťaženie je nerovnomerné, niekde je plno, niekde prázdno. Museli sme niečo prekonfigurovať pre lepšiu energetickú účinnosť.

Naše dátové centrum Kompresor je určené pre najrôznejších zákazníkov. Preto tam medzi bežnými dvou–štyroch kW skrinkami môže byť aj 23-kW alebo viac. Zodpovedajúce klimatizácie boli nastavené na chladenie, a vzduch cez menej výkonné skrinky jednoducho prechádzal.

Druhá hypotéza bola, že teplé a studené chodby sa nemiešajú. Po meraniach môžem povedať, že je to ilúzia, a skutočná aerodynamika sa od modelu líši takmer vo všetkom.

Prieskum

Najprv sme sa začali pozerať na vzduchové toky v priestoroch. Prečo sme tam išli? Pretože sme chápali, že dátové centrum je navrhnuté na päť až šesť kW na skrinku, ale vedeli sme, že v skutočnosti sú od 0 do 25 kW. Regulovať to všetko dlaždicami je takmer nemožné: prvé merania ukázali, že takmer rovnako prepúšťajú. Dlaždice na 25 kW vôbec neexistujú, mali by byť nielen prázdne, ale aj s kvapalným vákuom.

Kúpili sme anemometer a začali merať prúdenie medzi skriniek a nad skriniek. S ním je vo všeobecnosti potrebné pracovať podľa GOST a množstva noriem, ťažko splniteľných bez zastavenia strojovne. Zaujímala nás nie presnosť, ale zásadný obraz. Merali sme teda rámcovo.

Podľa merania zo 100 percent vzduchu, ktorý vychádza z jednotiek, sa 60 percent dostáva do stojanov, zvyšok preletí okolo. Je to kvôli tomu, že máme ťažké stojany na 15–25 kW, na ktorých je vybudované chladenie.

Nemôžeme len tak vypnúť klimatizácie, pretože na teplých stojanoch v oblasti horných serverov bude úplne teplo. V tomto momente si uvedomujeme, že musíme niečo izolovať, aby vzduch neskočil z radu do radu a aby termoregulácia v bloku prebiehala predsa len.

Zároveň sa pýtame, či je to finančne účelné.

S prekvapením zisťujeme, že máme celkové energetické spotreby dátového centra, ale nemôžeme zostaviť počítanie fan coilov pre konkrétnu miestnosť. Teda analyticky môžeme, no v praxi — nie. A oceniť úspory sme neschopní. Úloha sa stáva čoraz zaujímavejšou. Ak by sme ušetrili 10 % kapacity klimatizácií — koľko peňazí by sme mohli odložiť na izoláciu? Ako to počítať?

Zamierili sme k automatizátorom, ktorí doladili systém monitorovania. Ďakujeme chlapcom: mali všetky senzory, len bolo treba dopísať kód. Začali prenášať jednotlivé chillery, UPS, osvetlenie. S novou vychytávkou vznikla možnosť sledovať, ako sa situácia mení v prvkoch systému.

Experimenti so závesmi

Zároveň začíname experimenty so závesmi (prehrádky). Rozhodujeme sa ich upevniť na tyče káblových žľabov (iné možnosti nemáme), našťastie by mali byť ľahké. Rýchlo sme sa dohodli na strechách alebo hrebeňoch.

Problém je v tom, že sme predtým pracovali s množstvom dodávateľov. Všetci majú riešenia pre svoje dátové centrá, ale pre komerčné dátové centrum v podstate nie existujú žiadne hotové riešenia. Naši klienti prichádzajú a odchádzajú neustále. Sme jedným z mála „ťažkých“ dátových centier bez obmedzení na šírku stojana s možnosťou prijímať servery typu hammer až do 25 kW. Žiadne plánovanie infraštruktúry vopred. Ak by sme prevzali modulárne systémy cageingu od dodávateľov — vždy budú diery na dva mesiace. Teda nikdy nebude strojovňa energeticky efektívna.

Rozhodli sme sa to robiť sami, našťastie máme vlastných inžinierov.

Prvé, čo sme získali, sú pásy z priemyselných chladničiek. Sú to flexibilné polyetylénové pásy, ktorými sa dá zasiahnuť. Určite ste ich videli niekde na vchode do mäsového oddelenia najväčších obchodov. Hľadali sme netoxické a nehorľavé materiály. Našli sme, kúpili na dva rady. Zavesili sme ich a začali pozorovať, čo sa deje.

Chápali sme, že to nebude práve najlepšie. Ale výsledok bol naozaj veľmi zlý. Začali sa, ako cestoviny, rozviť na prúdoch. Našli sme magnetické pásy ako na chladničku. Nalepili sme ich na tieto pásy a prilepili ich k sebe, vytvorila sa celkom monolitická stena.

Začali sme uvažovať, čo bude na halu.

Išli sme k staviteľom, ukazujeme náš projekt. Tí sa pozerajú, hovoria: vaše závesy sú veľmi ťažké. 700 kilogramov po celej výrobnej hale. Idite, hovoria, dobrí ľudia, k čertu. Presnejšie k tímu SKS. Nech si spočítajú, koľko majú rezancov v košíkoch, pretože 120 kg na štvorcový meter — maximum.

SKS hovoria: pamätáte, prišiel k nám jeden veľký zákazník? Má desiatky tisíc portov v jednej hale. Na okrajoch výrobnej haly je to ešte v poriadku, ale bližšie k krížovému bodu sa už nepripne: košíky sa odtrhnú.

Stavitelia tiež požiadali o certifikát na materiál. Poznamenám, že predtým sme pracovali na úprimnom slove dodávateľa, keďže to bol iba testovací beh. Obrátili sme sa na tohto dodávateľa, hovoríme: OK, sme pripravení prejsť do beta verzie, poďme na všetky dokumenty. Poslali nám niečo, čo nie je veľmi štandardného vzoru.

Hovoríme: počujte, kde ste túto papierovú vec získali? Oni: to nám náš čínsky výrobca poslal v odpovedi na požiadavky. Podľa papiera tento materiál vôbec nehorí.

V tom momente sme si uvedomili, že je čas zastaviť sa a overiť skutočnosti. Ideme k dievčatám z požiarnej bezpečnosti datacentra, tie nám uvádzajú laboratórium, ktoré testuje horľavosť. Celkom rozumné peniaze a termíny (pravdaže, všetko sme prekleli, kým sme pripravovali potrebné množstvo papierov). Tam nás vedci informujú: priveďte materiál, budeme robiť testy.

V závere bolo napísané, že z jedného kilogramu látky zostáva popola približne 50 gramov. Ostatné jasne horí, steká a veľmi dobre podporuje horenie v kaluži.

Chápeme — dobre, že sme si to neobjednali. Začali sme hľadať iný materiál.

Našli sme polykarbonát. Ukázal sa ako tvrdší. Priesvitný list má hrúbku dva mm, dvere sú zo štyroch milimetrov. V podstate ide o akrylát. Spolu s výrobcom začíname rozhovor o protipožiarnych opatreniach: pošlite nám certifikát. Posielajú ho. Podpísal ho ten istý inštitút. Voláme tam, hovoríme: čo, chlapi, kontrolovali ste to?

Hovoria: áno, kontrolovali. Najskôr to spálili u seba a až potom to priniesli na testy. Z kilogramu materiálu ostáva (ak ho spaľujeme plameňom) približne 930 gramov popola. Taje a kvapká, ale kaluž sa nespáli.

Hneď kontrolujeme naše magnety (sú na polymérnej podložke). Na prekvapenie horia zle.

Zostavenie

Začíname z toho zbierať. Polykarbonát je skvelý, pretože je ľahší ako polyetylén a oveľa slabšie sa ohýba. Pravda, dodávajú listy 2,5 na 3 metre a dodávateľovi je jedno, čo s tým robiť. Potrebujeme 2,8 široké 20–25 centimetrov. Dvere sme posielali do firiem, ktoré rozrezávajú list ako treba. A lamely sme rezy robili sami. Samotný proces rezania stojí dvakrát viac ako samotný list.

Tu je, čo sa nám podarilo:

Výsledok — systém káždžovania sa zaplatí za menej ako rok. Ušetrili sme po 200–250 KWh neustále na výkone fan coilov. Koľko ešte na chilleroch, presne nevieme. Servery nasávajú neustálym tempom, fan coily fúkajú. A chillery sa zapínajú a vypínajú ako hrebeň: ťažko sa z nich získavajú dáta. Nemôžeme zastaviť strojovňu na testy.

Tešíme sa, že vtedy bolo pravidlo umiestniť v moduloch 5x5 stojany tak, aby ich priemerná spotreba bola maximálne šesť kW. Teda teplota nie je sústredená na jednom mieste, ale rozložená po strojovni. Ale je situácia, kde je 10 kusov 15-kilowatových stojanov vedľa seba, ale naproti — storage. Je studený. Vyváži sa.

Kde nie je stojan — potrebná je príčka až po podlahu.

A ešte máme niektorých zákazníkov izolovaných mrežami. S nimi boli tiež niektoré zvláštnosti.

Na lamely sme rezy robili, pretože šírka stojanov nie je fixná a periodicita upevnenia hrebeňa je stanovená: vždy bude tri-štyri cm buď doprava, alebo doľava. Ak máš blok 600 pod stanovišťom, je s pravdepodobnosťou 85 percent neumiestniteľný. A krátke a dlhé lamely sú spolu a lepia sa. Niekedy režeme lamelu do písmena G podľa kontúr stojanov.

Senzory

Predtým, ako sa začalo znižovať výkon fancoilov, bolo potrebné nastaviť veľmi presný monitoring teploty na rôznych miestach v miestnosti, aby sme sa vyhli prekvapeniam. Tak sa objavili bezdrôtové senzory. Drôtové — pre každý rad je potrebné pripevniť vlastný kúsok na prepojenie týchto senzorov a občas na to — predlžovačky. Premení sa to na girlandu. Veľmi zle. A keď tieto drôty idú do klietok zákazníkom, bezpečnostní pracovníci sa okamžite rozrušujú a žiadajú vysvetlenie so certifikátom, čo sa po týchto drôtoch meria. Nerves bezpečnostných pracovníkov je potrebné chrániť. Bezdrôtové senzory akosi nedotýkajú.

A ešte aj racky prichádzajú-odchádzajú. Senzor na magnete je jednoduchšie preinštalovať, pretože ho každý raz treba zavesiť vyššie alebo nižšie. Ak sú servery v dolnej tretine racku — treba zavesiť nižšie, a nie podľa štandardu na jeden a pol metra od podlahy na dverách racku v chladnom koridore. Tam meranie nedáva zmysel, je potrebné merať to, čo je v železe.

Jeden senzor na tri racky — častejšie ho netreba zavesiť. Teplota sa nelíši. Obávali sme sa, že dôjde k nadmernému prúdeniu vzduchu skrz samotné racky, — nestalo sa. Ale aj tak dávame trochu viac studeného vzduchu, ako sú výpočtové hodnoty. Urobili sme otvorčeky v lamelách 3, 7 a 12, nad rackom robíme otvor. Do neho pri obchode dávame anemometer: pozeráme, že prúd ide kam treba.

Potom sme zavesili jasné nitky: stará prax pre ostrostrelcov. Vyzerá to zvláštne, ale umožňuje rýchlejšie detekovať možné problémy.

Zábavné

Kým sme toto všetko mlčky robili, prišiel dodávateľ, ktorý vyrába inžinierske riešenia pre dátové centrá. Hovorí: poďte, prídeme a porozprávame o energetickej efektívnosti. Prichádzajú, začínajú rozprávať o suboptimálnom priestore, vzdušných prúdoch. So porozumením kývame. Pretože u nás je to už tri roky nastavené.

Na každý rack zavesia tri senzory. Monitorovacie obrázky sú ohromujúce, krásne. Viac ako polovica tejto riešenia je v cene — softvér. Na úrovni „alarm v Zabbixu“, ale proprietárny a veľmi drahý. Problém je ešte v tom, že majú senzory, softvér, a potom hľadajú dodávateľa na mieste: nemajú svojich dodávateľov na cageing.

Ukazuje sa, že ich práca stojí päť–sedemkrát viac, ako sme urobili my.