I dedicate this post to those people who lied on certificates, which almost led to us installing Bengal lights in our halls.
This story is over four years old, but I'm publishing it now because the NDA has expired. Back then, we realized that we had nearly filled our data center (which we rent out), and its energy efficiency wasn't improving much. Previously, the hypothesis was that the more we filled it up, the better it would be, as the engineering load would be distributed among all. But it turned out that we were deceiving ourselves in this regard, and with good load, there were losses somewhere. We worked in many areas, but our brave team took on the cooling.
The real life of a data center is somewhat different from the project. Constant adjustments by the operations team to improve efficiency and optimize settings for new tasks. Take the mythical average rack. In practice, it doesn't exist; the load distribution is uneven, it's dense in some areas and empty in others. So we had to readjust some things for better energy efficiency.
Our Kompressor data center is needed for a variety of customers. Therefore, amidst regular two to four kilowatt racks, there can be quite a few 23-kilowatt ones or even more. Consequently, the air conditioning was set up to cool them, and air simply rushed past the less powerful racks.
The second hypothesis was that warm and cold corridors do not mix. After measurements, I can say that this is an illusion, and real aerodynamics differs from the model by almost everything.
Survey
Initially, we started looking at air flows in the halls. Why did we dive into this? Because we understood that the data center is designed for five to six kW per rack, but we knew that they actually ranged from 0 to 25 kW. Regulating all this with tiles is almost impossible: the first measurements showed that they pass almost the same amount. And there are no tiles for 25 kW, they shouldn't just be empty, but should have a liquid vacuum.
We bought an anemometer and started measuring flows between racks and above them. In general, it should be used according to GOST and many standards, which are difficult to meet without stopping the machine hall. We were interested not in accuracy, but in the principle picture. That is, we measured approximately.
Nga matjet e 100 pĂ«rqind tĂ« ajrit qĂ« del nga pllakat, 60 pĂ«rqind arrin nĂ« stendat, ndĂ«rsa pjesa tjetĂ«r kalon pĂ«rpara. Kjo ndodh sepse ka stenda tĂ« r heavy 15â25 kW, pĂ«r tĂ« cilat Ă«shtĂ« ndĂ«rtuar ftohja.
Nuk mund të fikim kondicionerët, sepse në stendat e ngrohta pranë serverëve të sipërm do të bëhet shumë nxehtë. Në atë moment kuptojmë se duhet të izolojmë diçka nga diçka, që ajri të mos kalojë nga rradha në rradhe dhe që shkëmbimi termik në bllok të ndodhte.
Paralelisht me këtë, shqetësohemi nëse kjo është e arsyeshme financiarisht.
Me habi zbulojmĂ« se konsumi i energjisĂ« sĂ« QendravĂ« tĂ« tĂ« DhĂ«nave (QTD) nĂ« tĂ«rĂ«si e kemi, por pĂ«r tĂ« llogaritur fancoil-t pĂ«r njĂ« sallĂ« tĂ« caktuar thjesht nuk mundemi. Pra, analitikisht mundemi, por nĂ« fakt â jo. Dhe nuk jemi nĂ« gjendje tĂ« vlerĂ«sojmĂ« kursimin. Detyra bĂ«het mĂ« interesante e mĂ« interesante. NĂ«se kursejmĂ« 10% tĂ« fuqisĂ« sĂ« kondicionerĂ«ve â sa para mund tĂ« kursejmĂ« pĂ«r izolim? Si ta llogarisim?
Shkuam te automatizuesit, të cilët ishin përmirësuar sistemin e monitorimit. Falë djemve: të gjithë sensorët i kishin, na duhej vetëm të shkruanim kod. Ata filluan të nxjerrin veçmas chillera, UPS, ndriçim. Me pajisjen e re u krijua mundësia për të parë si ndryshon situata sipas elementeve të sistemit.
Eksperimente me perde
Paralelisht fillojmë eksperimente me perde (ndarëse). Vendosim t'i ngjisim ato në stulat e kanaleve të kabllove (më shumë nuk kemi ku tjetër t'i ngjisim), fatmirësisht ato duhet të jenë të lehta. U dakordësuam shpejt për çadra ose grepa.
Problemi Ă«shtĂ« se mĂ« parĂ« kishim punuar me shumĂ« furnizues. TĂ« gjithĂ« kanĂ« zgjidhje pĂ«r Qendrat e tyre tĂ« tĂ« DhĂ«nave, por pĂ«r Qendrat e DhĂ«nave komerciale nuk ka zgjidhje tĂ« gatshme nĂ« thelb. KlientĂ«t tanĂ« hyjnĂ« dhe dalin vazhdimisht. Ne jemi njĂ« nga pak Qendrat e 'rĂ«nda' tĂ« tĂ« DhĂ«nave pa kufizim nĂ« gjerĂ«sinĂ« e stendave me mundĂ«sinĂ« pĂ«r tĂ« pranuar kĂ«to serverĂ«-gĂ«rmues deri nĂ« 25 kW. Nuk ka planifikim tĂ« infrastrukturĂ«s paraprakisht. Pra, nĂ«se do tĂ« marrim sisteme modulare tĂ« kafazeve nga furnizuesit â gjithmonĂ« do tĂ« ketĂ« boshllĂ«qe pĂ«r dy muaj. Pra, asnjĂ«herĂ« makina nuk do tĂ« jetĂ« nĂ« thelb efikase energjitike.
Vendosëm të bëjmë vetë, fatmirësisht kemi inxhinierët tanë.
E para, që morëm, ishin shirita nga frigoriferët industrialë. Këto janë ato lëndë plastike fleksibël, me të cilat mund të godasësh. Gjithsigurisht i keni parë ndonjëherë në hyrje të seksionit të mishit në supermarketet më të mëdha. Filluam të kërkojmë materiale jo toksike dhe të pa zjarrit. I gjetëm, e blejmë për dy rreshta. I varëm, filluam të shohim se çfarë po dalim.
E dinim se do të ishte disi e komplikuar. Por rezultoi shumë, në të vërtetë shumë e komplikuar. Ata filluan, si makarona, të fluturojnë në rrjedhat. Gjetëm shirita magnetikë, si ato që përdoren për frigoriferë. I ngjitëm në këto shirita, i ngjitëm njëri me tjetrin, dhe muri rezultoi mjaft monolit.
Filluam të mendojmë se do të ndodhte në sallë.
Shkuam te ndërtuesit, u treguam projektin tonë. Ata shikojnë dhe thonë: lëvizjet tuaja janë shumë të rënda. 700 kilogramë në të gjithë sallën e makinerive. Shkoni, thonë, o njerëz të mirë, në djall. Më saktë, te ekipi i SKS. Le të llogarisin sa shtrëngime kanë në kuti, sepse 120 kg për metër katror është maksimumi.
SKS thotë: a e mbani mend, një klient i madh erdhi te ne? Ai kishte dhjetëra mijëra porta në një sallë. Në anët e sallës së makinerive ende është në rregull, por më afër krosovës nuk do të mund të ngjitemi: kutitë do të bien.
Po ashtu, ndërtuesit kërkuan një sertifikatë për materialin. Dua të theksoj që deri atëherë kishim punuar në fjalën e nderit të furnizuesit, ndoshta vetëm për një test. U drejtuam tek ky furnizues, e themi: OK, jemi gati të kalojmë në beta, le të sjellim të gjitha dokumentet. Ata na dërgojnë diçka të defektshme.
Them: dëgjoni, ku e gjetët këtë dokument? Ata: na e dërgoi prodhuesi ynë kinez në përgjigje të kërkesave. Në dokument thuhet se ky material nuk digjet fare.
NĂ« kĂ«tĂ« moment kuptuam se ishte koha tĂ« ndalonim dhe tĂ« verifikonim faktet. Shkuam te vajzat nga siguria e zjarrit tĂ« QendrĂ«s tĂ« tĂ« DhĂ«nave, ato na treguan njĂ« laborator qĂ« kontrollon digjen. Ămimet dhe afatet ishin shumĂ« tĂ« arsyeshme (pĂ«rkundrazi, e mallkuam tĂ« gjithĂ« derisa pĂ«rgatitĂ«m sasinĂ« e duhur tĂ« dokumenteve). Atje shkencĂ«tarĂ«t thonĂ«: sillni materialin, do tĂ« bĂ«jmĂ« provat.
Në përfundim u shkrua se nga një kilogram substance mbetet dhjetë gram pluhur. E gjithë e tjera digjet ndjeshëm, derdhët dhe mbështet shumë mirë djegien në një llak.
Kuptojmë - është mirë që nuk blenë. Filluam të kërkojmë një material tjetër.
GjetĂ«m polikarbonatin. Ai doli tĂ« ishte mĂ« i fortĂ«. FletĂ« transparente â dy mm, dyer â nga katĂ«r mm. NĂ« thelb, kjo Ă«shtĂ« akril. SĂ« bashku me prodhuesin fillojmĂ« bisedĂ«n pĂ«r sigurinĂ« nga zjarri: le tĂ« sillni certifikatĂ«n. Ata e dĂ«rgojnĂ«. NĂ«nshkruar nga e njĂ«jta institucion. Ne i telefonojmĂ« atje, themi: çfarĂ«, shokĂ«, a e keni testuar kĂ«tĂ«?
Ata thonë: po, e kemi testuar. Fillimisht e dogjëm vetë, pastaj e sollëm për teste. Nga një kilogram materiale, nëse e djegim me flakë, mbeten rreth 930 gram pluhuri. Ai shkrin dhe pikëllon, por pusi nuk do të digjet.
Menjëherë kontrollojmë magnetët tanë (ata janë mbi një mbështetje polimeri). Për habi, djegin keq.
Ndërtimi
Nga kjo fillojmĂ« tĂ« mblidhemi. Polikarbonati Ă«shtĂ« i shkĂ«lqyer, sepse Ă«shtĂ« mĂ« i lehtĂ« se polietileni, shumĂ« mĂ« keq pĂ«r t'u palosur. MegjithatĂ«, ata sjellin fletĂ« 2,5 me 3 metra, dhe furnizuesit nuk u intereson se çfarĂ« tĂ« bĂ«jnĂ« me kĂ«tĂ«. Na nevojitet 2,8 me 20â25 centimetra. Dyerat u dĂ«rguan nĂ« zyrat qĂ« e presin fletĂ«n siç duhet. NdĂ«rsa lamelat i presim vetĂ«. Procesi i prerjes Ă«shtĂ« dy herĂ« mĂ« i shtrenjtĂ« se fleta.
Ja çfarë doli:
Rezultati â sistemi i keshikjes kthehet pas mĂ« pak se njĂ« viti. Kemi kursyer rreth 200â250 kWh vazhdimisht nĂ« fuqinĂ« e fan-coil-eve. Sa mĂ« shumĂ« nĂ« chillers, sa saktĂ« â nuk e dimĂ«. ServerĂ«t thithin me njĂ« shpejtĂ«si konstante, fan-coil-et fryjnĂ«. Chillera ndizet dhe ndizet me ndihmĂ«n e njĂ« grupe: Ă«shtĂ« e vĂ«shtirĂ« tĂ« nxjerrĂ«sh tĂ« dhĂ«na nga ajo. Nuk lejohet tĂ« ndalosh dhomĂ«n e makinave pĂ«r teste.
KĂ«naqemi qĂ« nĂ« atĂ« kohĂ« kishte njĂ« rregull pĂ«r tĂ« vendosur nĂ« modulet 5x5 raftesh nĂ« mĂ«nyrĂ« qĂ« konsumimi i tyre mesatar tĂ« ishte maksimumi gjashtĂ« kW. KĂ«shtu qĂ« nxehtĂ«sia nuk Ă«shtĂ« e pĂ«rqendruar, por e shpĂ«rndarĂ« nĂ« dhomĂ«n e makinave. Por ka njĂ« situatĂ« ku 10 pjese 15-kilovatsh janĂ« afĂ«r, por pĂ«rballĂ« â ka magazinĂ«. Ai Ă«shtĂ« i ftohtĂ«. Balancohet.
Atje ku nuk ka raft â nevojitet njĂ« mur deri nĂ« dysheme.
Dhe gjithashtu disa klientë tanë janë të izoluar me rrjeta. Kishim disa veçori me ta gjithashtu.
Për lamelat u prenë, sepse gjerësia e raftit nuk është fikse, ndërsa periodiciteti i grupeve të ngjitësve është i përcaktuar: gjithmonë do të jetë tre-katër cm në të majtë ose të djathtë. Nëse keni një bllok 600 nën vendin e raftit, ka një probabilitet 85 përqind që ai nuk do të vendoset. Dhe lamelat e shkurtra dhe të gjata bashkëjetojnë dhe ngjiten. Nganjëherë i presim lamelat në formën e gërmës G sipas konturave të raftit.
Sensorë
Para se pĂ«r tĂ« reduktuar fuqinĂ« e fancoil-ave, duhej tĂ« bĂ«hej njĂ« monitorim shumĂ« tĂ« saktĂ« tĂ« temperaturĂ«s nĂ« pika tĂ« ndryshme tĂ« sallĂ«s, pĂ«r tĂ« mos u pĂ«rballur me surpriza. KĂ«shtu lindĂ«n sensorĂ«t pa tela. Me tela â pĂ«r çdo rresht duhej tĂ« vendosej njĂ« gjĂ« pĂ«r kryqĂ«zimin e kĂ«tyre sensorĂ«ve dhe ndonjĂ«herĂ« mbi tĂ« â zgjatĂ«s. Kjo shndĂ«rrohet nĂ« njĂ« varg. ShumĂ« keq. Dhe kur kĂ«to telat hyjnĂ« nĂ« qeliza, siguria menjĂ«herĂ« shqetĂ«sohet dhe kĂ«rkon tĂ« shpjegojnĂ« me njĂ« certifikatĂ« se çfarĂ« po monitorohet pĂ«rmes atyre telave. Duhet tĂ« ruajmĂ« nervat e sigurisĂ«. Te sensorĂ«t pa tela, pĂ«r ndonjĂ« arsye nuk shqetĂ«sohen.
Dhe gjithashtu, rafte vijnĂ« dhe shkojnĂ«. SensorĂ«t me magnet janĂ« mĂ« tĂ« lehtĂ« pĂ«r t'u rimontuar, sepse çdo herĂ« duhet t'i vendosni ata mĂ« lart ose mĂ« poshtĂ«. NĂ«se serverat janĂ« nĂ« tretĂ«sirĂ«n e poshtme tĂ« rafteve â duhet tĂ« vendosen poshtĂ«, dhe jo sipas standardit njĂ« metĂ«r e gjysmĂ« nga toka nĂ« derĂ«n e rafteve nĂ« korridorin e ftohtĂ«. Atje Ă«shtĂ« e padobishme tĂ« matĂ«sh, duhet tĂ« matĂ«sh atĂ« qĂ« ndodhet nĂ« pajisje.
NjĂ« sensor pĂ«r tri rafte â shpesh nuk Ă«shtĂ« e nevojshme tĂ« vendoset mĂ« shumĂ«. Temperatura nuk ndryshon. Kishim frikĂ« se do tĂ« ndodhte njĂ« kalim ajri pĂ«rmes vetĂ« rafteve, â nuk ndodhi. Por ne e japim pak mĂ« shumĂ« ajĂ«r tĂ« ftohtĂ« sesa vlerat e llogaritura. BĂ«mĂ« hapje nĂ« lamela 3, 7 dhe 12, mbi raft bĂ«jmĂ« njĂ« vrimĂ«. NĂ« tĂ« vendosim anemometrin gjatĂ« inspektimit: shikojmĂ« nĂ«se rrjedha shkon nĂ« drejtimin e duhur.
Pastaj vendosëm fije të ndritshme: një praktikë e vjetër për snajperët. Duket e çuditshme, por lejon të zbulohet një problem i mundshëm më shpejt.
E çuditshme
Ndërkohë që ne po bënim gjithçka në heshtje, erdhi një furnizues që prodhon inxhinierinë për Qendrat e të Dhënave. Thotë: le të vijmë dhe të flasim për efikasitetin energjetik. Vijnë, fillojnë të flasin për sallë jo optimale, rrjedhat ajrore. Ne pajtohemi me kokë. Sepse ne e kemi instaluar atë tre vjet më parë.
Ata vendosin nga tre sensorĂ« nĂ« çdo raft. Pamjet e monitorimit janĂ« fenomenale, tĂ« bukura. MĂ« shumĂ« se gjysma e kĂ«tij zgjidhjeje Ă«shtĂ« çmimi â software. NĂ« nivelin e âalert nĂ« Zabbixâ, por pronar dhe shumĂ« i shtrenjtĂ«. Problemi Ă«shtĂ« se ata kanĂ« sensorĂ«t, software-n, dhe mĂ« pas kĂ«rkojnĂ« njĂ« kontraktues nĂ« vend: nuk kanĂ« furnizues tĂ« vetin pĂ«r cage-ing.
Mësojmë se puna e tyre është pesë deri në shtatë herë më e shtrenjtë se ajo që bëmë ne.
Linket
- .
- .
- .
- .
- .
- Emaili im: PGoryunov@croc.ru
Burimi: habr.com
