🥇Jak jsme se zaměřili na energetickou efektivitu strojovny

Tento příspěvek věnuji lidem, kteří lhali v certifikátech, kvůli čemuž jsme málem nainstalovali v našich prostorách bengálské ohně.

Příběh je starý více než čtyři roky, ale nyní ho publikuji, protože nám vypršelo NDA. Tehdy jsme si uvědomili, že jsme téměř zcela zaplnili datové centrum (které pronajímáme), ale energetická efektivita se nějak nezlepšila. Dříve byla hypotéza, že čím více ho zaplníme, tím lépe, protože inženýrství je rozloženo mezi všechny. Ale ukázalo se, že jsme se v tom klamali a při dobrém zatížení někde byly ztráty. Pracovali jsme na mnoha směrech, ale náš odvážný tým se zabýval chlazením.

Skutečný život datového centra je trochu jiný než v projektu. Neustálé doladění od provozní služby pro zvýšení efektivity a optimalizace nastavení pro nové úkoly. Vezměte si například mytickou průměrnou skříň. V praxi taková neexistuje, zatížení je nerovnoměrné, někde je to husté, jinde prázdné. Takže jsme museli některé věci pře nastavit pro lepší energetickou účinnost.

Naše datové centrum Kompressor je určeno pro různé zákazníky. Proto může uprostřed běžných dvou až čtyřkilowattových skříní být klidně 23kilowattová nebo i více. Odpovídajícím způsobem byly klimatizace nastaveny tak, aby je chladily, a vzduch jednoduše procházel okolo méně výkonných skříní.

Druhá hypotéza byla, že teplé a studené koridory se nemíchají. Po měřeních mohu říct, že to je iluze, a skutečná aerodynamika se od modelu liší prakticky vším.

Průzkum

Nejprve jsme začali sledovat vzdušné toky v prostorách. Proč jsme do toho šli? Protože jsme věděli, že datové centrum je navrženo na pět až šest kW na skříň, ale víme, že ve skutečnosti se pohybují od 0 do 25 kW. Regulace toho všeho dlaždicemi je téměř nemožná: první měření ukázala, že propouští téměř stejně. A dlaždice na 25 kW vůbec neexistují, měly by být nejen prázdné, ale také s tekutým vakuem.

Koupili jsme anemometr a začali měřit toky mezi skříněmi a nad skříněmi. S ním by se vůbec mělo pracovat podle GOST a mnoha standardů, což je těžko proveditelné bez zastavení strojovny. Zajímala nás ne přesnost, ale principální obraz. To znamená, že jsme přibližně měřili.

Podle měření ze 100 procent vzduchu, který vychází z panelů, se do stojanů dostává 60 procent, zbytek proletí mimo. To je důsledkem těžkých stojanů na 15–25 kW, na kterých je postaveno chlazení.

Nemůžeme vypnout klimatizace, protože na teplých stojanech v oblasti horních serverů by bylo příliš teplo. V tu chvíli chápeme, že je potřeba něco izolovat, aby vzduch nepřeskakoval z řady do řady a aby docházelo k tepelné výměně v bloku.

Současně se ptáme, zda je to finančně rozumné.

S překvapením zjišťujeme, že máme celkové energetické nároky datového centra, ale vypočítat fan coily pro konkrétní sál prostě nemůžeme. Tedy analyticky to zvládneme, ale ve skutečnosti – ne. A posoudit úspory nejsme schopni. Úkol se stává stále zajímavějším. Pokud ušetříme 10 % výkonu klimatizací – kolik peněz můžeme odložit na izolaci? Jak to počítat?

Šli jsme k automatizátorům, kteří ladili systém monitorování. Děkuji klukům: měli všechny senzory, stačilo jen doplnit kód. Začali zobrazovat samostatně chillery, UPS a osvětlení. S novou vychytávkou se objevila možnost sledovat, jak se situace mění v rámci prvků systému.

Experimenty s závěsy

Současně zahajujeme experimenty se závěsy (přepážkami). Rozhodujeme se je upevnit na tyče kabelových žlabů (jinak to stejně nejde), protože by měly být lehké. S markýzami nebo hřebínky jsme se rychle dohodli.

Problém je, že jsme předtím pracovali s množstvím dodavatelů. Všichni mají řešení pro své vlastní datové centrum, ale pro komerční datové centrum téměř neexistují hotová řešení. Naši klienti stále přicházejí a odcházejí. Jsme jedním z mála „těžkých“ datových center bez omezení šířky stojanů s možností přijímat tyto servery-hřebíky až do 25 kW. Žádné plánování infrastruktury dopředu. To znamená, že pokud bychom brali modulární systémy od dodavatelů – vždy budou mezery na dva měsíce. Takže nikdy nebude strojovna z principu energeticky efektivní.

Rozhodli jsme se to udělat sami, naštěstí máme své inženýry.

První, co jsme vzali, byly pásky z průmyslových chladniček. Jsou to takové flexibilní polyetylenové pruhy, kterými se dají zklamat. Určitě jste je viděli někde na vchodu do masného oddělení největších supermarketů. Hledali jsme netoxické a nehořlavé materiály. Našli jsme, koupili na dva pruhy. Pověsili jsme je a začali sledovat, co se děje.

Chápali jsme, že to nebude moc dobré. Ale nakonec to dopadlo dost špatně. Začali se rozpadat jako těstoviny. Našli jsme magnetické pásky, jako jsou magnety na ledničky. Přilepili jsme je na tyto proužky, přilepili je k sobě, stěna se stala docela monolitní.

Začali jsme přemýšlet, co bude na sále.

Šli jsme k stavitelům a ukázali jsme jim náš projekt. Ti se podívali a řekli: vaše závěsy jsou nějak moc těžké. 700 kilogramů po celé strojovně. Říkají, jděte, dobří lidé, k čertu. Přesněji, k týmu SCS. Ať spočítají, kolik tam mají nudlí v panelech, protože 120 kg na čtvereční metr – to je maximum.

SCS říká: pamatujete, jak k nám přišel jeden velký zákazník? Má desetitisíce portů v jednom sále. Na okrajích strojovny to ještě jde, ale blíže ke krosně už to nepůjde: panely se utrhnou.

Stavitelé také požádali o certifikát materiálu. Podotýkám, že jsme do té doby pracovali na čestném slovu dodavatele, protože to byla jen testovací fáze. Oslovili jsme tohoto dodavatele, říkáme: OK, jsme připraveni na beta verzi, dejte nám všechny papíry. Poslali nám něco, co není právě standardní.

Říkáme: poslouchejte, kde jste tu papír získali? Oni: to nám náš čínský výrobce poslal jako odpověď na dotazy. Podle papíru ten materiál vůbec nehoří.

V tuto chvíli jsme pochopili, že je čas zastavit se a ověřit fakta. Jdeme k holkám z požární bezpečnosti datového centra, ty nám doporučují laboratoř, která zkoumá hořlavost. Docela rozumné peníze a termíny (pravda, proklínali jsme všechno, když jsme skládali potřebné papíry). Tam nám vědci říkají: přivezte materiál, uděláme testy.

V závěru bylo napsáno, že z kilogramu látky zůstává popela asi 50 gramů. Zbytek jasně hoří, stéká a velmi dobře podporuje hoření v loužičce.

Chápeme – dobře, že jsme nekoupili. Začali jsme hledat jiný materiál.

Našli jsme polykarbonát. Byl tvrdší. Průhledný list – dva mm, dveře – ze čtyř mm. Vždyť to je vlastně akrylát. Spolu s výrobcem začínáme jednání o protipožární bezpečnosti: dejte nám certifikát. Posílají ho. Podepsal ho tentýž ústav. Voláme tam, říkáme: co, kluci, zkoušeli jste to?

Oni říkají: ano, zkoušeli jsme. Nejdříve u sebe zapálili a teprve pak přinesli na zkoušky. Z kilogramu materiálu (pokud ho pálíme hořákem) zbývá přibližně 930 gramů popela. Tají a kape, ale louže nebude hořet.

Hned zkontrolujeme naše magnety (jsou na polymerové podložce). Kupodivu špatně hoří.

Sestavení

Z toho začínáme skládat. Polykarbonát je skvělý, protože je lehčí než polyetylén a hůř se ohýbá. Pravda, dodávají listy 2,5 na 3 metry a dodavateli je jedno, co s tím dělat. A my potřebujeme 2,8 šířky 20–25 centimetrů. Dveře posíláme do firem, které listy nařežou, jak je potřeba. A lamely jsme si nařezali sami. Celý proces řezání stojí dvakrát tolik než list.

Tady je, co jsme vytvořili:

Výsledek — systém kagingu se vyplatí za méně než rok. Ušetřili jsme 200–250 kW neustále na výkonu fan coilů. Ještě něco na chladičích, ale kolik přesně — nevíme. Servery nasávají stálou rychlostí, fan coily foukají. A chladiče se zapínají a vypínají jako hřebínek: data z nich se těžko vyndávají. Strojovnu nelze zastavit na testy.

Těšíme se, že v době, kdy jsme měli pravidlo umísťovat v modulech 5x5 stojany tak, aby jejich průměrná spotřeba nepřesahovala šest kW. To znamená, že teplo není soustředěné v jednom místě, ale rozptýlené po strojovně. Ale je situace, kde je deset kusů 15kW stojanů spolu, a naproti je úložiště. To je studené. Vyvažuje se.

Kde není stojan – potřebujeme zástěnu až k podlaze.

A máme také některé zakázníky izolované mřížemi. S těmi bylo také několik specifik.

Na lamely jsme řezali, protože šířka stojanů není pevná, a periodicita hřebínkového upevnění je určena: tři-čtyři cm buď doprava, nebo doleva vždy. Pokud máš blok 600 pod stanovištěm, je pravděpodobnost 85 procent, že se nevejde. A krátké a dlouhé lamely koexistují a lepí se. Někdy řežeme lamelu do tvaru L podle obrysů stojanů.

Senzory

Než jsme začali snižovat výkon fan coilů, bylo nutné nastavit velmi přesné monitorování teploty v různých částech haly, abychom se vyhnuli překvapením. Tak vznikly bezdrátové senzory. U drátových je nutné každou řadu vybavit vlastním zařízením pro křížení těchto senzorů a někdy na něj dávat prodlužovače. To se stává směsí. Velmi špatné. A když tyto dráty vstupují do skříní zákazníkům, bezpečnostní pracovníci okamžitě zpozorní a požadují vysvětlení s certifikátem, co přesně se po těchto drátech měří. Nervy bezpečnostních pracovníků je třeba šetřit. Bezdrátové senzory z nepochopitelných důvodů ignorují.

A ještě stojany neustále přijíždějí a odjíždějí. Senzor na magnetu se lépe přemontovává, protože ho musí pokaždé připevnit výše nebo níže. Pokud jsou servery v dolní třetině stojanu, musíme ho umístit dolů, a ne podle standardu jeden a půl metru nad podlahou na dveřích stojanu v chladném koridoru. Tam je měření k ničemu, je třeba měřit to, co je v železe.

Jeden senzor na tři skříně — častěji se nemusí instalovat. Teplota se neliší. Obávali jsme se, že dojde k přetahování vzduchu skrz samotné skříně, — ale to se nestalo. Přesto poskytujeme o něco více chladného vzduchu, než jsou vypočítané hodnoty. U vytváříme otvor v lamelách 3, 7 a 12, nad skříní děláme otvor. Do něj při obchůzce umisťujeme anemometr: sledujeme, že proud jde tam, kam má.

Pak jsme pověsili jasné nitě: stará praxe pro ostřelovače. Vypadá to zvláštně, ale umožňuje detekci možného problému rychleji.

Zajímavé

Zatímco jsme toto všechno tiše dělali, přijel dodavatel, který vyrábí inženýrské vybavení pro datová centra. Říká: pojďte, přijdeme a povíme vám o energetické účinnosti. Přijedou, začnou vyprávět o neoptimální hale, vzdušných tocích. Chápavě kýveme. Protože máme již tři roky zařízení nainstalováno.

Na každou skříň instalují tři senzory. Monitorovací obrázky jsou úžasné, krásné. Více než polovina této řešení je v ceně — software. Na úrovni "alert v Zabbixu", ale proprietární a velmi drahý. Problém je také v tom, že mají senzory, software a stále hledají dodavatele na místě: nemají své dodavatele pro cage.

Ukazuje se, že jejich zřízení je pět až sedmkrát dražší, než co jsme vytvořili.