Tento príspevok venujem tým ľuďom, ktorí klamali na vysvedčeniach, kvôli ktorým sme takmer nainštalovali prskavky do našich sál.
Príbeh je starý viac ako štyri roky, ale teraz ho zverejňujem, pretože platnosť NDA vypršala. Potom sme si uvedomili, že dátové centrum (ktoré prenajímame) je takmer úplne vyťažené a jeho energetická účinnosť sa príliš nezlepšila. Predtým bola hypotéza, že čím viac ho naplníme, tým lepšie, pretože inžinier je rozdelený medzi všetkých. Ale ukázalo sa, že v tomto smere klameme samých seba a aj keď náklad bol dobrý, niekde boli straty. Pracovali sme v mnohých oblastiach, ale náš odvážny tím sa zameral na chladenie.
Reálny život dátového centra je trochu odlišný od toho, čo je v projekte. Neustále úpravy z prevádzkovej služby na zvýšenie efektivity a optimalizáciu nastavení pre nové úlohy. Vezmite si mýtický B-stĺpik. V praxi sa to nestáva, rozloženie zaťaženia je nerovnomerné, niekde husté, niekde prázdne. Preto sme museli prekonfigurovať niektoré veci pre lepšiu energetickú účinnosť.
Náš kompresor dátového centra je potrebný pre rôznych zákazníkov. Preto medzi bežnými stojanmi s dvomi až štyrmi kilowattmi môže byť jeden 23-kilowattový alebo viac. V súlade s tým boli klimatizácie nastavené tak, aby ich ochladzovali, a vzduch sa jednoducho prehnal cez menej výkonné stojany.
Druhá hypotéza bola, že teplé a studené chodby sa nemiešajú. Po meraniach môžem povedať, že ide o ilúziu a reálna aerodynamika sa od modelu líši takmer vo všetkých smeroch.
Prieskum
Najprv sme sa začali zaoberať prúdením vzduchu v halách. Prečo tam išli? Pretože pochopili, že dátové centrum je navrhnuté pre päť až šesť kW na rack, ale vedeli, že v skutočnosti sú od 0 do 25 kW. To všetko je takmer nemožné regulovať dlaždicami: už prvé merania ukázali, že prepúšťajú takmer rovnako. Ale nie sú tam žiadne dlaždice s výkonom 25 kW, musia byť nielen prázdne, ale musia byť podtlakové.
Kúpili sme anemometer a začali sme merať prietoky medzi stojanmi a nad stojanmi. Vo všeobecnosti s ním musíte pracovať v súlade s GOST a množstvom noriem, ktoré je ťažké implementovať bez vypnutia turbínovej haly. Nás nezaujímala presnosť, ale zásadný obraz. To znamená, že merali približne.
Podľa meraní sa zo 100 percent vzduchu, ktorý vychádza z kachličiek, dostane 60 percent do stojanov, zvyšok preletí. Je to spôsobené tým, že sú tam ťažké 15–25 kW racky, pozdĺž ktorých je postavené chladenie.
Klimatizácie nemôžeme vypnúť, pretože na teplých stojanoch v oblasti horných serverov bude veľmi teplo. V tejto chvíli chápeme, že musíme niečo izolovať od niečoho iného, aby vzduch nepreskakoval z radu na riadok a aby stále dochádzalo k výmene tepla v bloku.
Zároveň si kladieme otázku, či je to finančne únosné.
S prekvapením zistíme, že máme energetickú spotrebu dátového centra ako celku, ale jednoducho nemôžeme počítať fancoilové jednotky pre konkrétnu miestnosť. To znamená, že analyticky môžeme, ale v skutočnosti nemôžeme. A úspory nevieme odhadnúť. Úloha sa stáva čoraz zaujímavejšou. Ak ušetríme 10 % výkonu klimatizácie, koľko peňazí môžeme odložiť na izoláciu? Ako počítať?
Išli sme k špecialistom na automatizáciu, ktorí dokončovali monitorovací systém. Vďaka chlapcom: mali všetky senzory, len museli pridať kód. Samostatne začali inštalovať chladiče, UPS a osvetlenie. S novým gadgetom bolo možné vidieť, ako sa mení situácia medzi prvkami systému.
Experimenty so závesmi
Zároveň začíname experimenty so závesmi (ploty). Rozhodli sme sa ich namontovať na kolíky káblových žľabov (aj tak nič iné netreba), keďže by mali byť ľahké. Rýchlo sme sa rozhodli pre baldachýny alebo hrebene.
Háčik je v tom, že sme predtým spolupracovali s partiou predajcov. Každý má riešenia pre vlastné dátové centrá spoločností, ale v podstate neexistujú žiadne hotové riešenia pre komerčné dátové centrá. Naši zákazníci neustále prichádzajú a odchádzajú. Sme jedným z mála „ťažkých“ dátových centier bez obmedzenia šírky racku s možnosťou hostiť tieto grinder servery až do 25 kW. Žiadne plánovanie infraštruktúry vopred. To znamená, že ak vezmeme modulárne klietkové systémy od predajcov, vždy tam budú dva mesiace diery. To znamená, že turbína nebude v zásade nikdy energeticky efektívna.
Rozhodli sme sa to urobiť sami, keďže máme vlastných inžinierov.
Prvé, čo zobrali, boli pásky z priemyselných chladničiek. Jedná sa o flexibilné polyetylénové snopy, ktoré môžete udrieť. Určite ste ich už videli niekde pri vchode do oddelenia mäsa najväčších obchodov s potravinami. Začali hľadať netoxické a nehorľavé materiály. Našli sme to a kúpili na dva riadky. Zavesili sme to a začali sa pozerať, čo sa stalo.
Pochopili sme, že to nebude veľmi dobré. Ale celkovo to dopadlo veľmi, veľmi nie veľmi dobre. Začnú sa trepotať v potokoch ako cestoviny. Našli sme magnetické pásky ako magnety na chladničku. Prilepili sme ich na tieto pásy, prilepili ich k sebe a stena sa ukázala ako pomerne monolitická.
Začali sme zisťovať, čo bude pre divákov pripravené.
Poďme k staviteľom a ukážeme vám náš projekt. Vyzerajú a hovoria: vaše záclony sú veľmi ťažké. 700 kilogramov v celej turbínovej hale. Choďte do čerta, hovoria, dobrí ľudia. Presnejšie do tímu SKS. Nech si spočítajú, koľko rezancov majú vo vaničkách, veď 120 kg na meter štvorcový je maximum.
SKS hovorí: pamätáte, prišiel k nám jeden veľký zákazník? Má desaťtisíce portov v jednej miestnosti. Pozdĺž okrajov turbínovej miestnosti je stále v poriadku, ale nebude možné ju pripevniť bližšie ku krížovej miestnosti: tácky spadnú.
Stavbári žiadali aj certifikát na materiál. Všimol som si, že predtým sme pracovali na čestnom slove dodávateľa, pretože to bola len skúšobná prevádzka. Kontaktovali sme tohto dodávateľa a povedali sme: OK, sme pripravení ísť do beta verzie, dajte nám všetky papiere. Posielajú niečo, čo nie je príliš zaužívané.
Hovoríme: počúvaj, odkiaľ máš tento papier? Oni: náš čínsky výrobca nám to poslal ako odpoveď na požiadavky. Podľa novín táto vec vôbec nehorí.
V tomto bode sme si uvedomili, že je čas zastaviť sa a overiť si fakty. Ideme za dievčatami z oddelenia požiarnej bezpečnosti dátového centra, povedia nám laboratórium, ktoré testuje horľavosť. Celkom pozemské peniaze a termíny (hoci sme pri zostavovaní potrebného počtu papierikov na všetko prekliali). Tamojší vedci hovoria: prineste materiál, urobíme testy.
Na záver sa písalo, že z kilogramu hmoty zostáva asi 50 gramov popola. Zvyšok jasne horí, steká a veľmi dobre udržuje horenie v mláke.
Rozumieme - je dobré, že sme to nekúpili. Začali sme hľadať iný materiál.
Našli sme polykarbonát. Ukázalo sa, že je tvrdší. Priehľadný plech má dva mm, dvierka štyri mm. V podstate ide o plexisklo. Spolu s výrobcom začíname rozhovor s požiarnou bezpečnosťou: dajte nám certifikát. Posielajú. Podpísané rovnakým inštitútom. Voláme tam a hovoríme: dobre, chlapci, skontrolovali ste to?
Hovoria: áno, skontrolovali. Najprv to doma spálili, potom to priniesli len na testy. Tam z kilogramu materiálu zostane približne 930 gramov popola (ak ho spálite horákom). Roztopí sa a kvapká, ale kaluž neprihorí.
Ihneď skontrolujeme naše magnety (sú na polymérovej výstelke). Prekvapivo horia zle.
zhromaždenia
Z toho začneme zbierať. Polykarbonát je skvelý, pretože je ľahší ako polyetylén a oveľa menej ľahko sa ohýba. Je pravda, že prinášajú listy 2,5 x 3 metre a dodávateľ sa nestará, čo s tým má robiť. Potrebujeme však 2,8 so šírkou 20–25 centimetrov. Dvere boli poslané do kancelárií, ktoré strihali listy podľa potreby. A lamely si narežeme sami. Samotný proces rezania stojí dvakrát toľko ako list.
Tu sa stalo:
Výsledkom je, že klietkový systém sa zaplatí za menej ako rok. Takto sme neustále ušetrili 200–250 kW na výkone fancoilu. Nevieme, koľko je ešte na chladičoch, presne koľko. Servery sajú konštantnou rýchlosťou, fancoily fúkajú. A chladiče sa zapínajú a vypínajú hrebeňom: je ťažké z neho extrahovať údaje. Turbína sa nedá zastaviť kvôli skúškam.
Sme radi, že kedysi platilo pravidlo inštalovať rozvádzače 5x5 do modulov tak, aby ich priemerná spotreba bola maximálne šesť kW. To znamená, že teplo nie je sústredené ostrovom, ale distribuované po celej miestnosti s turbínou. Ale nastáva situácia, keď je vedľa seba 10 kusov 15-kilowattových stojanov, ale oproti je ich stoh. Je mu zima. Vyvážený.
Tam, kde nie je pult, potrebujete plot na dĺžku podlahy.
A niektorí naši zákazníci sú izolovaní mriežkami. Bolo s nimi aj niekoľko zvláštností.
Režú na lamely, pretože šírka stĺpikov nie je pevná a frekvencia hrebeňa spojovacích prvkov je určená: tri alebo štyri cm vpravo alebo vľavo budú vždy. Ak máte 600 blok na miesto v racku, potom je 85-percentná šanca, že sa nezmestí. A krátke a dlhé lamely koexistujú a držia spolu. Niekedy prerezávame lamelu s písmenom G pozdĺž obrysov regálov.
senzory
Pred znížením výkonu fancoilových jednotiek bolo potrebné nastaviť veľmi presné sledovanie teploty v rôznych bodoch haly, aby nedošlo k prekvapeniu. Takto vznikli bezdrôtové senzory. Káblové - na každý riadok musíte zavesiť svoju vlastnú vec, aby ste prepojili tieto snímače a niekedy aj predlžovacie káble. Toto sa zmení na girlandu. Veľmi zle. A keď tieto drôty vstúpia do klietok zákazníkov, ochrankári sa okamžite vzrušia a požiadajú o vysvetlenie pomocou certifikátu, čo sa na týchto drôtoch odstraňuje. Nervy ochrankárov treba chrániť. Z nejakého dôvodu sa nedotýkajú bezdrôtových senzorov.
A ďalšie stánky prichádzajú a odchádzajú. Je jednoduchšie znovu namontovať snímač na magnet, pretože musí byť zakaždým zavesený vyššie alebo nižšie. Ak sú servery v spodnej tretine stojana, mali by byť zavesené smerom nadol a nie podľa štandardu jeden a pol metra od podlahy na dverách stojana v studenej chodbe. Tam je zbytočné merať, musíte merať, čo je v žehličke.
Jeden senzor pre tri stojany - častejšie ho nemusíte zavesiť. Teplota sa nelíši. Báli sme sa, že vzduch bude nasávaný cez samotné vzpery, ale to sa nestalo. Ale stále poskytujeme o niečo viac studeného vzduchu, ako sú vypočítané hodnoty. Vyrobili sme okná v lištách 3, 7 a 12, nad stojan sme urobili otvor. Keď ideme okolo, vložíme do nej anemometer: vidíme, že prúd ide tam, kam má.
Potom zavesili svetlé šnúry: stará prax ostreľovačov. Vyzerá to zvláštne, ale umožňuje rýchlejšie odhaliť prípadný problém.
vtipný
Kým sme to všetko v tichosti robili, prišiel predajca, ktorý vyrába inžinierske zariadenia pre dátové centrá. Hovorí: dovoľte nám prísť a povedať vám o energetickej účinnosti. Prídu a začnú hovoriť o neoptimálnej hale a prúdení vzduchu. Chápavo prikývneme. Pretože máme stanovené tri roky.
Na každý stojan zavesia tri senzory. Monitorovacie obrázky sú úžasné a krásne. Viac ako polovicu ceny tohto riešenia tvorí softvér. Na úrovni výstrahy Zabbix, ale proprietárne a veľmi drahé. Problém je v tom, že majú senzory, softvér a potom hľadajú dodávateľa na mieste: nemajú vlastných predajcov na kliešte.
Ukázalo sa, že ich ruky stoja päť až sedemkrát viac ako to, čo sme robili my.
referencie
- .
- .
- .
- .
- .
- Môj mail: [chránené e-mailom]
Zdroj: hab.com