To objavo posvečam tistim, ki so lagali na certifikatih, zaradi katerih smo skoraj namestili iskrice v svoje hale.
Zgodba je stara več kot štiri leta, vendar jo objavljam zdaj, ker je NDA potekel. Nato smo ugotovili, da je podatkovni center (ki ga oddajamo) skoraj popolnoma obremenjen, energetska učinkovitost pa se ni kaj dosti izboljšala. Prej je veljala hipoteza, da bolj ko ga napolnimo, bolje je, ker je inženir porazdeljen med vse. A izkazalo se je, da smo se pri tem zavajali, in čeprav je bila obremenitev dobra, so bile nekje izgube. Delovali smo na številnih področjih, naša pogumna ekipa pa se je osredotočila na hlajenje.
Resnično življenje podatkovnega centra je nekoliko drugačno od tega, kar je v projektu. Nenehne prilagoditve operativne službe za povečanje učinkovitosti in optimizacijo nastavitev za nove naloge. Vzemite mitski B-stebriček. V praksi se to ne dogaja, obremenitev je razporejena neenakomerno, nekje na gosto, nekje prazno. Zato smo morali nekatere stvari preoblikovati za boljšo energetsko učinkovitost.
Kompresor našega podatkovnega centra potrebujejo različne stranke. Zato se tam med običajnimi dve- do štirikilovatnimi regali lahko najde tudi 23-kilovatni ali več. Temu primerno so bile klimatske naprave nastavljene tako, da jih hladijo, zrak pa je preprosto drvel mimo skozi manj zmogljive regale.
Druga hipoteza je bila, da se topli in hladni koridorji ne mešajo. Po meritvah lahko rečem, da je to iluzija, realna aerodinamika pa se skoraj v vseh pogledih razlikuje od modela.
Anketa
Najprej smo začeli opazovati zračne tokove v dvoranah. Zakaj so šli tja? Ker so razumeli, da je podatkovni center zasnovan za pet do šest kW na rack, vedeli pa so, da so v resnici od 0 do 25 kW. Vse to je s ploščicami skoraj nemogoče regulirati: že prve meritve so pokazale, da prepuščajo skoraj enako. Toda ploščic 25 kW sploh ni, ne smejo biti samo prazne, ampak s tekočim vakuumom.
Kupili smo anemometer in začeli meriti pretoke med regali in nad regali. Na splošno morate z njim delati v skladu z GOST in kopico standardov, ki jih je težko izvajati, ne da bi zaprli turbinsko dvorano. Ni nas zanimala natančnost, ampak temeljna slika. Se pravi, merili so približno.
Po meritvah gre od 100 odstotkov zraka, ki pride iz ploščic, 60 odstotkov v regale, ostalo odleti mimo. To je posledica dejstva, da obstajajo težka stojala 15–25 kW, vzdolž katerih je zgrajeno hlajenje.
Klimatskih naprav ne moremo izklopiti, ker bo na toplih regalih v predelu zgornjih strežnikov zelo toplo. V tem trenutku razumemo, da moramo nekaj izolirati od nečesa drugega, da zrak ne skače iz vrste v vrsto in da še vedno prihaja do izmenjave toplote v bloku.
Ob tem se sprašujemo, ali je to finančno izvedljivo.
Presenečeni smo, ko odkrijemo, da imamo porabo energije podatkovnega centra kot celote, vendar preprosto ne moremo šteti ventilatorskih konvektorjev za določen prostor. Se pravi, analitično lahko, dejansko pa ne moremo. In ne moremo oceniti prihrankov. Naloga postaja vse bolj zanimiva. Če prihranimo 10 % energije klimatske naprave, koliko denarja lahko damo na stran za izolacijo? Kako šteti?
Šli smo do strokovnjakov za avtomatizacijo, ki so dokončevali nadzorni sistem. Hvala fantom: imeli so vse senzorje, samo kodo so morali dodati. Ločeno so začeli vgrajevati hladilnike, UPS in razsvetljavo. Z novim pripomočkom je postalo mogoče videti, kako se spreminja stanje med elementi sistema.
Poskusi z zavesami
Hkrati začnemo eksperimentirati z zavesami (ograjami). Odločimo se, da jih namestimo na zatiče kabelskih nosilcev (drugega itak ni potrebno), saj naj bodo lahki. Na hitro smo se odločili za nadstreške oziroma glavnike.
Ulov je v tem, da smo pred tem sodelovali s kupom prodajalcev. Vsakdo ima rešitve za lastne podatkovne centre podjetij, vendar v bistvu ni pripravljenih rešitev za komercialne podatkovne centre. Naše stranke prihajajo in odhajajo ves čas. Smo eden redkih »težkih« podatkovnih centrov brez omejitev glede širine stojal z možnostjo gostovanja teh grinder strežnikov do 25 kW. Brez vnaprejšnjega načrtovanja infrastrukture. Se pravi, če vzamemo modularne kletke od prodajalcev, bodo vedno luknje dva meseca. Se pravi, turbinska dvorana načeloma nikoli ne bo energetsko učinkovita.
Odločili smo se, da to naredimo sami, saj imamo svoje inženirje.
Prva stvar, ki so jo vzeli, so bili trakovi iz industrijskih hladilnikov. To so fleksibilni polietilenski smrklji, ki jih lahko udarite. Verjetno ste jih že videli kje na vhodu v mesne oddelke največjih živilskih trgovin. Začeli so iskati nestrupene in negorljive materiale. Našli smo ga in kupili za dve vrsti. Obesili smo ga in začeli opazovati, kaj se je zgodilo.
Razumeli smo, da ne bi bilo zelo dobro. Toda na splošno se je izkazalo zelo, zelo ne zelo dobro. Začnejo plapolati v potokih kot testenine. Našli smo magnetne trakove kot magnete za hladilnik. Prilepili smo jih na te trakove, jih prilepili drug na drugega in stena je bila precej monolitna.
Začeli smo ugotavljati, kaj bo pripravljeno za občinstvo.
Pojdimo do gradbenikov in vam pokažemo naš projekt. Pogledajo in rečejo: vaše zavese so zelo težke. 700 kilogramov po celotni turbinski dvorani. Pojdi k vragu, pravijo, dobri ljudje. Natančneje ekipi SKS. Naj preštejejo, koliko rezancev imajo v pladnjih, saj je 120 kg na kvadratni meter največ.
SKS pravijo: se spomnite, ena velika stranka je prišla k nam? V eni sobi ima več deset tisoč priključkov. Ob robovih turbinskega prostora je še vedno v redu, vendar ga ne bo mogoče pritrditi bližje prečnemu prostoru: pladnji bodo odpadli.
Gradbinci so zahtevali tudi certifikat za material. Opažam, da smo pred tem delali na častni besedi dobavitelja, saj je šlo le za testno vožnjo. Stopili smo v stik s tem dobaviteljem in rekli: V redu, pripravljeni smo na beta različico, dajte nam vso dokumentacijo. Pošiljajo nekaj, kar ni zelo ustaljenega vzorca.
Pravimo: poslušajte, kje ste dobili ta papir? Oni: naš kitajski proizvajalec nam je to poslal kot odgovor na zahteve. Glede na časopis ta stvar sploh ne gori.
Na tej točki smo ugotovili, da je čas, da se ustavimo in preverimo dejstva. Gremo k dekletom iz oddelka za požarno varnost podatkovnega centra, povedo nam laboratorij, ki testira vnetljivost. Kar zemeljski denar in roki (čeprav smo vse preklinjali, medtem ko smo sestavljali potrebno število papirčkov). Tamkajšnji znanstveniki pravijo: prinesite material, naredili bomo teste.
V zaključku so zapisali, da od kilograma snovi ostane približno 50 gramov pepela. Ostalo močno gori, teče navzdol in zelo dobro vzdržuje zgorevanje v mlaki.
Razumemo - dobro je, da ga nismo kupili. Začeli smo iskati drugo gradivo.
Našli smo polikarbonat. Izkazalo se je, da je trši. Prozorna folija je dva mm, vratca so štiri mm. V bistvu je to pleksi steklo. Skupaj s proizvajalcem začnemo pogovor s požarno varnostjo: dajte nam certifikat. Pošljejo. Podpisal isti zavod. Pokličemo tja in rečemo: no, fantje, ste to preverili?
Pravijo: ja, preverili so. Najprej so ga zažgali doma, nato so ga prinesli le na teste. Tam od kilograma materiala ostane približno 930 gramov pepela (če ga kuriš z gorilnikom). Topi se in kaplja, a luža ne bo gorela.
Takoj preverimo naše magnete (so na polimerni oblogi). Presenetljivo slabo gorijo.
Skupščina
Od tega začnemo zbirati. Polikarbonat je odličen, ker je lažji od polietilena in se veliko težje upogne. Res je, da prinesejo liste velikosti 2,5 krat 3 metre in dobavitelju je vseeno, kaj naj z njim. Potrebujemo pa 2,8 s širino 20–25 centimetrov. Vrata so bila poslana v pisarne, ki so po potrebi razrezale pločevino. In lamele smo rezali sami. Sam postopek rezanja stane dvakrat več kot list.
Evo, kaj se je zgodilo:
Rezultat tega je, da se sistem kletk povrne v manj kot enem letu. Tako smo konstantno prihranili 200–250 kW pri moči ventilatorskih konvektorjev. Ne vemo, koliko je še na hladilnih napravah, točno koliko. Strežniki sesajo s konstantno hitrostjo, ventilatorski konvektorji pihajo. Hladilne naprave pa se vklapljajo in izklapljajo z glavnikom: iz njega je težko izvleči podatke. Turbinske dvorane ni mogoče ustaviti zaradi testiranj.
Veseli nas, da je nekoč veljalo pravilo, da se v module vgrajujejo regali 5x5, tako da je bila njihova povprečna poraba največ šest kW. To pomeni, da se toplota ne koncentrira na otoku, ampak se porazdeli po turbinski sobi. Obstaja pa situacija, ko je 10 kosov 15-kilovatnih regalov drug poleg drugega, nasproti pa jih je kup. Hladen je. Uravnotežen.
Kjer ni pulta, potrebujete ograjo do tal.
In nekatere naše stranke so izolirane z rešetkami. Pri njih je bilo tudi več posebnosti.
Razrežejo na lamele, ker širina stebrov ni določena, in pogostost glavnika pritrdilnih elementov je določena: tri ali štiri cm na desno ali levo bo vedno. Če imate blok 600 za prostor v omari, obstaja 85-odstotna verjetnost, da ne bo ustrezal. In kratke in dolge lamele sobivajo in se držijo skupaj. Včasih lamelo izrežemo s črko G vzdolž obrisov regalov.
Senzorji
Pred zmanjšanjem moči ventilatorskih konvektorjev je bilo treba vzpostaviti zelo natančen nadzor temperature na različnih točkah hale, da ne bi prišlo do kakšnih presenečenj. Tako so se pojavili brezžični senzorji. Žično - na vsako vrstico morate obesiti svojo stvar, da navzkrižno povežete te senzorje in včasih podaljške na njej. To se spremeni v girlando. Zelo slabo. In ko te žice pridejo v kletke strank, se varnostniki takoj vznemirijo in zahtevajo pojasnilo s potrdilom, kaj se odstranjuje po teh žicah. Treba je zaščititi živce varnostnikov. Iz neznanega razloga se ne dotikajo brezžičnih senzorjev.
In več stojal pride in gre. Senzor je lažje znova namestiti na magnet, ker ga je treba vsakič obesiti višje ali nižje. Če so strežniki v spodnji tretjini omare, jih je treba obesiti navzdol in ne po standardu meter in pol od tal na vratih omare v hladnem hodniku. Tam je neuporabno meriti; izmeriti morate, kar je v železu.
En senzor za tri stojala - pogosteje vam ga ni treba obesiti. Temperatura ni nič drugačna. Bali smo se, da bo zrak šel skozi same opornike, a se to ni zgodilo. Še vedno pa zagotavljamo nekoliko več hladnega zraka od izračunanih vrednosti. Izdelali smo okna v letvicah 3, 7 in 12, ter naredili luknjo nad stojalom. Ko gremo naokoli, postavimo vanj vetromer: vidimo, da gre pretok, kamor mora.
Potem so obesili svetle vrvice: stara praksa za ostrostrelce. Videti je nenavadno, vendar vam omogoča hitrejše odkrivanje morebitne težave.
smešno
Medtem ko smo vse to počeli v tišini, je prišel prodajalec, ki proizvaja inženirsko opremo za podatkovne centre. Pravi: pridemo in vam povemo o energetski učinkovitosti. Pridejo in začnejo govoriti o neoptimalni dvorani in pretokih zraka. Razumevajoče prikimamo. Ker imamo tri leta kot ustaljeno.
Na vsako stojalo obesijo tri senzorje. Slike spremljanja so osupljive in lepe. Več kot polovico cene te rešitve predstavlja programska oprema. Na ravni opozorila Zabbix, vendar lasten in zelo drag. Težava je v tem, da imajo senzorje, programsko opremo, potem pa na kraju samem iščejo izvajalca: nimajo svojih prodajalcev za cadging.
Izkazalo se je, da njihove roke stanejo pet do sedemkrat več kot mi.
reference
- .
- .
- .
- .
- .
- Moj mail: [e-pošta zaščitena]
Vir: www.habr.com