Tento příspěvek věnuji těm lidem, kteří lhali na certifikátech, kvůli kterým jsme málem nainstalovali prskavky do našich sálů.
Příběh je starý více než čtyři roky, ale nyní ho zveřejňuji, protože platnost NDA vypršela. Pak jsme si uvědomili, že datové centrum (které pronajímáme) je téměř úplně vytížené a jeho energetická účinnost se příliš nezlepšila. Dříve byla hypotéza, že čím více toho naplníme, tím lépe, protože inženýr je rozdělen mezi všechny. Ale ukázalo se, že jsme v tomto ohledu klamali sami sebe a i když byla zátěž dobrá, někde byly ztráty. Pracovali jsme v mnoha oblastech, ale náš statečný tým se zaměřil na chlazení.
Reálný život datového centra je trochu odlišný od toho, co je v projektu. Neustálé úpravy z provozní služby pro zvýšení efektivity a optimalizaci nastavení pro nové úkoly. Vezměte si mýtický sloupek B. V praxi se to nestává, rozložení zátěže je nerovnoměrné, někde husté, někde prázdné. Takže jsme museli překonfigurovat některé věci pro lepší energetickou účinnost.
Náš kompresor datového centra potřebuje řada zákazníků. Proto mezi obvyklými stojany se dvěma až čtyřmi kilowatty může být klidně jeden 23 kilowattový nebo více. V souladu s tím byly klimatizace nastaveny tak, aby je ochlazovaly, a vzduch prostě procházel méně výkonnými stojany.
Druhá hypotéza byla, že se teplé a studené chodby nemíchají. Po měření mohu říci, že jde o iluzi a skutečná aerodynamika se od modelu liší téměř ve všech směrech.
Průzkum
Nejprve jsme se začali zabývat prouděním vzduchu v halách. Proč tam šli? Protože pochopili, že datové centrum je navrženo pro pět až šest kW na rack, ale věděli, že ve skutečnosti jsou od 0 do 25 kW. To vše je téměř nemožné regulovat dlaždicemi: hned první měření ukázala, že propouštějí téměř stejně. Ale nejsou tam vůbec žádné 25 kW dlaždice, ty musí být nejen prázdné, ale s vakuem kapaliny.
Koupili jsme anemometr a začali měřit průtoky mezi regály a nad regály. Obecně s tím musíte pracovat v souladu s GOST a řadou norem, které je obtížné implementovat bez vypnutí turbínové haly. Nezajímala nás přesnost, ale základní obraz. To znamená, že měřili přibližně.
Podle měření se ze 100 procent vzduchu, který vychází z dlaždic, dostane 60 procent do stojanů, zbytek proletí. Je to dáno tím, že tam jsou těžké 15–25 kW rozvaděče, podél kterých je postaveno chlazení.
Nemůžeme vypnout klimatizace, protože na teplých stojanech v oblasti horních serverů bude velmi teplo. V tuto chvíli chápeme, že musíme něco izolovat od něčeho jiného, aby vzduch nepřeskakoval z řady na řadu a aby stále docházelo k výměně tepla v bloku.
Zároveň si klademe otázku, zda je to finančně únosné.
S překvapením zjišťujeme, že máme energetickou spotřebu datového centra jako celku, ale fancoilové jednotky pro konkrétní místnost prostě počítat nemůžeme. To znamená, že analyticky můžeme, ale ve skutečnosti nemůžeme. A úsporu nejsme schopni odhadnout. Úkol je čím dál tím zajímavější. Pokud ušetříme 10 % výkonu klimatizace, kolik peněz můžeme dát stranou na izolaci? Jak počítat?
Šli jsme ke specialistům na automatizaci, kteří dokončovali monitorovací systém. Díky chlapům: měli všechny senzory, jen museli přidat kód. Začali samostatně instalovat chladiče, UPS a osvětlení. S novým gadgetem bylo možné vidět, jak se mění situace mezi prvky systému.
Experimenty se závěsy
Zároveň začínáme experimenty se závěsy (ploty). Rozhodli jsme se je namontovat na kolíky kabelových žlabů (stejně nic jiného není potřeba), protože by měly být lehké. Rychle jsme se rozhodli pro stříšky nebo hřebeny.
Háček je v tom, že jsme předtím spolupracovali s partou prodejců. Každý má řešení pro vlastní datová centra společností, ale v podstatě neexistují žádná hotová řešení pro komerční datová centra. Naši zákazníci neustále přicházejí a odcházejí. Jsme jedním z mála „těžkých“ datových center bez omezení šířky racku s možností hostovat tyto grinder servery až do 25 kW. Žádné plánování infrastruktury předem. To znamená, že pokud vezmeme modulární klecové systémy od prodejců, budou tam vždy dva měsíce díry. To znamená, že strojovna nebude z principu nikdy energeticky účinná.
Rozhodli jsme se to udělat sami, protože máme vlastní inženýry.
První věc, kterou vzali, byly pásky z průmyslových lednic. Jedná se o pružné polyetylenové šneky, do kterých se můžete trefit. Pravděpodobně jste je viděli někde u vchodu do oddělení masa největších obchodů s potravinami. Začali hledat netoxické a nehořlavé materiály. Našli jsme to a koupili na dvě řady. Zavěsili jsme a začali zjišťovat, co se stalo.
Pochopili jsme, že to nebude moc dobré. Ale celkově to dopadlo velmi, velmi ne příliš dobře. Začnou se třepetat v potocích jako těstoviny. Našli jsme magnetické pásky jako magnety na ledničku. Nalepili jsme je na tyto pásy, slepili je k sobě a zeď se ukázala jako docela monolitická.
Začali jsme zjišťovat, co bude pro diváky připraveno.
Pojďme ke stavitelům a ukážeme vám náš projekt. Dívají se a říkají: vaše záclony jsou velmi těžké. 700 kilogramů v celé turbínové hale. Jděte do háje, říkají, dobří lidé. Přesněji do týmu SKS. Ať si spočítají, kolik nudlí mají ve vaničkách, protože 120 kg na metr čtvereční je maximum.
SKS říká: pamatujete, přišel k nám jeden velký zákazník? Má desítky tisíc portů v jedné místnosti. Podél okrajů turbínové místnosti je stále v pořádku, ale nebude možné ji připevnit blíže k příčné místnosti: zásobníky spadnou.
Stavaři si vyžádali i certifikát na materiál. Podotýkám, že předtím jsme pracovali na čestném slově dodavatele, protože to byl jen zkušební provoz. Kontaktovali jsme tohoto dodavatele a řekli: OK, jsme připraveni přejít do beta verze, dejte nám veškerou dokumentaci. Posílají něco, co není příliš zavedené.
Říkáme: poslouchej, kde jsi vzal tento kus papíru? Oni: náš čínský výrobce nám to poslal jako odpověď na požadavky. Podle listu tato věc vůbec nehoří.
V tuto chvíli jsme si uvědomili, že je čas zastavit se a ověřit si fakta. Jdeme za děvčaty z požárního oddělení datového centra, říkají nám laboratoř, která testuje hořlavost. Docela pozemské peníze a termíny (i když jsme při sestavování potřebného počtu papírků na všechno proklínali). Tamní vědci říkají: přineste materiál, uděláme testy.
Závěrem bylo napsáno, že z kilogramu hmoty zůstane asi 50 gramů popela. Zbytek jasně hoří, stéká dolů a velmi dobře udržuje spalování v louži.
Chápeme - je dobře, že jsme to nekoupili. Začali jsme shánět jiný materiál.
Našli jsme polykarbonát. Ukázalo se, že je tvrdší. Průhledný plech je dvoumm, dvířka čtyřmm. V podstatě je to plexisklo. Společně s výrobcem začínáme rozhovor s požární bezpečností: dejte nám certifikát. Oni posílají. Podepsáno stejným institutem. Voláme tam a říkáme: no, kluci, zkontrolovali jste to?
Říkají: ano, zkontrolovali. Nejdřív to doma spálili, pak to přinesli jen na testy. Tam z kilogramu materiálu zůstane přibližně 930 gramů popela (pokud ho spálíte hořákem). Roztaje a stéká, ale loužička se nepřipálí.
Ihned zkontrolujeme naše magnety (jsou na polymerové výstelce). Překvapivě špatně hoří.
shromáždění
Od toho začneme sbírat. Polykarbonát je skvělý, protože je lehčí než polyetylén a mnohem hůře se ohýbá. Je pravda, že přinášejí listy 2,5 x 3 metry a dodavatel se nestará, co s tím má dělat. Potřebujeme ale 2,8 o šířce 20–25 centimetrů. Dveře byly zaslány do kanceláří, které podle potřeby stříhaly listy. A lamely si řežeme sami. Samotný proces řezání stojí dvakrát tolik než list.
Zde je to, co se stalo:
Výsledkem je, že klecový systém se zaplatí za méně než rok. Takto jsme trvale ušetřili 200–250 kW na výkonu fancoilu. Nevíme, kolik je ještě na chladičích, přesně kolik. Servery sají konstantní rychlostí, fancoily foukají. A chladiče se zapínají a vypínají hřebenem: je obtížné z něj extrahovat data. Turbinovnu nelze zastavit kvůli zkouškám.
Jsme rádi, že svého času platilo pravidlo instalovat rozvaděče 5x5 do modulů tak, aby jejich průměrná spotřeba byla maximálně šest kW. To znamená, že teplo není koncentrováno ostrůvkem, ale distribuováno po celé místnosti s turbínou. Ale nastává situace, kdy je vedle sebe 10 kusů 15kilowattových stojanů, ale naproti je stoh. Je mu zima. Vyrovnaný.
Tam, kde není pult, potřebujete plot v délce podlahy.
A někteří naši zákazníci jsou izolováni mřížkami. Bylo s nimi také několik zvláštností.
Řežou se na lamely, protože šířka sloupků není pevná a četnost hřebenu zapínání je určena: tři nebo čtyři cm vpravo nebo vlevo budou vždy. Pokud máte blok 600 pro prostor v racku, pak je 85procentní šance, že se nevejde. A krátké a dlouhé lamely koexistují a drží spolu. Někdy řežeme lamelu s písmenem G podél obrysů regálů.
Senzory
Před snížením výkonu fancoilových jednotek bylo nutné nastavit velmi přesné sledování teploty v různých bodech haly, aby nedošlo k překvapení. Tak vznikly bezdrátové senzory. Drátové - na každou řadu je třeba zavěsit vlastní věc, abyste na ni křížově propojili tyto senzory a někdy i prodlužovací kabely. To se změní na girlandu. Velmi špatný. A když tyto dráty vstoupí do klecí zákazníků, ochranka se okamžitě vzruší a požádá o vysvětlení pomocí certifikátu, co se podél těchto drátů odstraňuje. Nervy ochranky musí být chráněny. Z nějakého důvodu se nedotýkají bezdrátových senzorů.
A další stánky přicházejí a odcházejí. Je jednodušší znovu namontovat senzor na magnet, protože musí být pokaždé zavěšen výše nebo níže. Pokud jsou servery ve spodní třetině rozvaděče, měly by být zavěšeny směrem dolů a ne standardně jeden a půl metru od podlahy na dveřích rozvaděče ve studené chodbě. Tam je zbytečné měřit, musíte měřit, co je v žehličce.
Jeden senzor pro tři stojany - častěji jej nemusíte zavěšovat. Teplota se neliší. Báli jsme se, že vzduch bude nasáván samotnými vzpěrami, ale to se nestalo. Stále ale poskytujeme o něco více studeného vzduchu, než jsou vypočtené hodnoty. Vyrobili jsme okna v lištách 3, 7 a 12 a udělali jsme otvor nad stojanem. Při obcházení do ní vložíme anemometr: vidíme, že proud jde tam, kam má.
Pak zavěsili jasné provázky: stará praxe pro ostřelovače. Vypadá to zvláštně, ale umožňuje rychleji odhalit případný problém.
legrační
Zatímco jsme to všechno dělali v tichosti, přišel prodejce, který vyrábí inženýrská zařízení pro datová centra. Říká: pojďme a povíme vám o energetické účinnosti. Přijedou a začnou mluvit o neoptimální hale a proudění vzduchu. Chápavě přikývneme. Protože máme tři roky, jak je stanoveno.
Na každý stojan zavěšují tři senzory. Monitorovací snímky jsou úžasné a krásné. Více než polovinu ceny tohoto řešení tvoří software. Na úrovni výstrahy Zabbix, ale proprietární a velmi drahé. Problém je v tom, že mají senzory, software, a pak hledají dodavatele na místě: nemají vlastní dodavatele pro cadging.
Ukázalo se, že jejich ruce stojí pětkrát až sedmkrát víc než to, co jsme dělali my.
reference
- .
- .
- .
- .
- .
- Můj mail: [chráněno e-mailem]
Zdroj: www.habr.com