I dedicate this post to those who lied on their certificates, which almost led us to install Bengal lights in our halls.
The story is more than four years old, but Iâm publishing it now because the NDA has expired. Back then, we realized we had almost entirely filled the data center (which we lease), but its energy efficiency didn't really improve. The hypothesis was that the more we filled it, the better it would be, as the engineering load would be distributed among all. However, it turned out we were deceiving ourselves in that regard, and with good loading, there were some losses. We worked on many fronts, but our brave team focused on cooling.
The real life of a data center is a bit different from whatâs in the project. Constant adjustments from the operations team to increase efficiency and optimization of settings for new tasks. Take the mythical average rack, for example. In practice, it doesnât exist; the load distribution is uneven, with some areas dense and others sparse. Thus, we had to reconfigure some things for better energy efficiency.
Qendra jonë të dhënash Kompressor është e nevojshme për një gamë të gjerë klientësh. Prandaj, aty, mes raftesh normale prej dy deri në katër kilovat, mund të gjeni plotësisht një raft prej 23 kilovatësh ose më shumë. Si pasojë, kondicionerët ishin rregulluar për t'i ftohur ata, dhe ajri, përmes raftesh më pak të fuqishëm, thjesht kalonte përmes.
Hipoteza e dytë ishte se korridoret e ngrohta dhe të ftohta nuk përzihen. Pas matjeve, mund të them se kjo është një iluzion, dhe aerodinamika e vërtetë ndryshon nga modeli në çdo aspekt.
Inspektimi
Fillimisht, ne filluam të shqyrtonim rrjedhat e ajrit në sallat. Pse shkuam atje? Sepse e kuptonim se Qendra e të Dhënave është projektuar për pesë deri në gjashtë kW për raft, por e dinim se ato në fakt variojnë nga 0 deri në 25 kW. Rregullimi i gjithë kësaj me pllaka është pothuajse e pamundur: matjet e para treguan se ato lëshonin pothuajse njësoj. Ndërsa pllakat për 25 kW në të vërtetë nuk ekzistojnë, ato duhet të jenë jo thjesht të zbrazëta, por me vakum të lëngshëm.
Kemi blerë një anemometër dhe filluam të matim flukset midis rafteve dhe mbi raftet. Në të vërtetë, duket se duhet të punosh sipas GOST-it dhe shumë standardeve, të cilat janë të vështira për t'u realizuar pa ndaluar sallën e makinave. Na interesonte jo saktësia, por pamja parimore. Pra, matëm përafërsisht.
Nga matja e 100 pĂ«rqind tĂ« ajrit qĂ« del nga pllaket, 60 pĂ«rqind arrin nĂ« rafte, ndĂ«rsa e gjitha e tjera kalon pĂ«rmes. Kjo ndodh pĂ«r shkak tĂ« stativĂ«ve tĂ« rĂ«ndĂ« me 15â25 kW, mbi tĂ« cilat Ă«shtĂ« ndĂ«rtuar ftohja.
Nuk mund të ndalim kondicionerët, sepse mbi stativët e ngrohtë në zonën e serverëve të sipërm do të bëhet krejtësisht nxehtë. Në atë moment kuptojmë se duhet të izolojmë diçka nga diçka tjetër, që ajri të mos kërcente nga një radhë në një tjetër dhe që transferimi i nxehtësisë në bllok të ndodhte gjithsesi.
Përveç kësaj, shqetësohemi për pyetjen, a është kjo financiare të arsyeshme.
Me befas nĂ« mĂ«nyrĂ« tĂ« papritur se konsumi i energjisĂ« sĂ« QendrĂ«s sĂ« TĂ« DhĂ«nave nĂ« pĂ«rgjithĂ«si e kemi, por thjesht nuk mund tĂ« llogarisim fancoil-at pĂ«r sallĂ«n specifike. DomethĂ«nĂ«, analitikisht mundemi, por nĂ« fakt â jo. Dhe nuk jemi nĂ« gjendje tĂ« vlerĂ«sojmĂ« kursimin. Detyra bĂ«het gjithnjĂ« e mĂ« interesante. NĂ«se kursejmĂ« 10% tĂ« fuqisĂ« sĂ« kondicionerĂ«ve â sa para mund tĂ« ndajmĂ« pĂ«r izolimin? Si ta llogarisim?
Shkuam tek automatizuesit, të cilët kishin përfunduar sistemin e monitorimit. Faleminderit djemve: të gjitha sensorët i kishin, duhej vetëm të shkruhej kodi. Ata filluan të nxjerrin veçmas chillernat, UPS, ndriçimin. Me pajisjen e re pati mundësinë të shihnim se si ndryshonte situata sipas elementëve të sistemit.
Eksperimente me perde
Paralelisht fillojmĂ« eksperimente me perde (ndarje). Vendosim tâi montojmĂ« ato nĂ« shtylla tĂ« kanaleve tĂ« kabllove (nuk kemi vend tjetĂ«r), fatmirĂ«sisht ato duhet tĂ« jenĂ« tĂ« lehta. Shpejt u vendosĂ«m pĂ«r mbulesat ose shiritat.
Problemi është se deri tani kemi punuar me shumë furnizues. Të gjithë kanë zgjidhje për DC-të e tyre, por për DC-të komerciale, në thelb nuk ka zgjidhje të gatshme. Klientët tanë vazhdojnë të vijnë e ikin vazhdimisht. Ne jemi një nga pak DC-të 'të rënda' pa kufizime në gjerësinë e raftit, me mundësinë për të pranuar këta serverë-gjakësit deri në 25 kW. Asnjë planifikim të infrastrukturës paraprakisht. Pra, nëse do të merrnim sisteme modulare të kafazëve nga furnizuesit, gjithmonë do të kishim boshllëqe për dy muaj. Kështu që asnjëherë sallat tona nuk do të jenë energjikisht efikase në thelb.
Vendosëm ta bëjmë vetë, fatmirësisht kemi inxhinierët tanë.
E para që morëm, ishin shirita nga frigoriferët industrialë. Këto janë disa copëza të fleksibël poliethylene që mund t'i përdorësh. Sigurisht i keni parë diku në hyrje të seksionit të mishit të dyqaneve më të mëdha. Filluam të kërkojmë materiale jo toksike dhe jo të ndezshme. Gjetëm, blenë për dy rreshta. I varëm, filluam të shihnim se çfarë rezultati kishte.
Kishim, se ishte ndryshe. Por doli krejt shumë, tamam shumë ndryshe. Ata fillojnë, si makarona, të shpërndahen në rrjedha. Gjetëm bandat magnetike si ato për frigoriferin. I ngjitëm ato në këto banda, i ngjitëm njëri me tjetrin, muri doli mjaft monolit.
Filluan të mendojnë se çfarë do të ishte në sallë.
Shkuam te ndërtuesit, u treguam projektin tonë. Ata shikojnë, thonë: perdet tuaja janë disi shumë të rënda. 700 kilogramë në të gjithë sallën e makinave. Shkoni, thonë, njerëz të mirë, te djalli. Më saktë, te ekipi i SCS-së. Le të llogarisin sa noodles kanë në shporta, sepse 120 kg për metër katror është maksimumi.
SCS thotë: kujtoni, erdhi një klient i madh te ne? Ai ka dhjetëra mijëra porte në një sallë. Në skajet e sallës së makinave është mirë, por më afër lidhjes nuk do funksionojë: shportat do bien.
Ndërtuesit kërkuan gjithashtu një certifikat për materialin. Do të theksoj se ne deri atëherë kishim punuar me fjalën e ndershme të furnizuesit, pasi ishte vetëm një test. Kërkuam nga ky furnizues, i thamë: OK, jemi gati për beta, le të marrim të gjitha dokumentet. Ata dërgojnë diçka që nuk është në format të caktuar.
Ne heqim: dëgjojmë, por nga e keni marrë këtë dokument? Ata: na e ka dërguar prodhuesi ynë kinez si përgjigje ndaj kërkesave. Nga ky dokument, ky materiale nuk digjet fare.
NĂ« atĂ« moment e kuptuam se ishte koha pĂ«r tĂ« ndaluar dhe pĂ«r tĂ« kontrolluar faktet. ShkruajmĂ« te vajzat e sigurisĂ« zjarrmore tĂ« QendrĂ«s sĂ« DatanĂ«, ato na pĂ«rmendin laboratorin qĂ« kontrollon djegshmĂ«rinĂ«. Ămimet dhe afatet janĂ« mjaft tĂ« arsyeshme (nĂ« tĂ« vĂ«rtetĂ«, ne e mallkuam gjithçka derisa bĂ«mĂ« dokumentacionin e nevojshĂ«m). Aty shkencĂ«tarĂ«t thonĂ«: sillni materialin dhe do tĂ« bĂ«jmĂ« prova.
Në përfundim të provave shkruhet se nga një kilogram substance mbetet pluhur rreth 50 gram. E gjithë e tjerat digjet fort, rrjedh dhe përkrah shumë mirë djegien në një pishinë.
E kuptojmĂ« â mirĂ« qĂ« nuk e blejmĂ«. FillojmĂ« tĂ« kĂ«rkojmĂ« njĂ« material tjetĂ«r.
GjetĂ«m polikarbonat. Ai doli mĂ« i fortĂ«. Fleta transparente â dy mm, dyert â prej katĂ«r mm. NĂ« thelb, Ă«shtĂ« akrilik. SĂ« bashku me prodhuesin fillojmĂ« bisedĂ«n pĂ«r sigurinĂ« ndaj zjarrit: na jepni njĂ« certifikatĂ«. Ata e dĂ«rgojnĂ«. NĂ«nshkruar nga i njĂ«jti institut. Ne i telefonojmĂ« atyre, themi: ç'a bĂ«ni, njerĂ«z, a e keni provuar kĂ«tĂ«?
Ata thonë: po, e kontrolluan. Fillimisht e dogjën te vetja, pastaj e sollën vetëm për teste. Nga një kilogram material, nëse e digjni me një piskatore, mbetet rreth 930 gram pluhur. Ai shkrihet dhe rrjedh, por një pellg nuk do të digjet.
Menjëherë kontrollojmë magnetët tanë (ata janë në një mbështjellës polimer). Për habi, digjen keq.
Ndërtimi
Nga kjo fillojmĂ« tĂ« mbledhim. Polikarbonati Ă«shtĂ« i shkĂ«lqyer, sepse Ă«shtĂ« mĂ« i lehtĂ« se polietileni, i cili Ă«shtĂ« shumĂ« mĂ« i vĂ«shtirĂ« pĂ«r t'u pĂ«rkulur. MegjithatĂ«, ata sjellin fletĂ«t 2.5 me 3 metra, dhe furnizuesi nuk i intereson çfarĂ« tĂ« bĂ«ni me to. Ne kemi nevojĂ« pĂ«r 2.8 me gjerĂ«si 20â25 centimetra. Dyert i dĂ«rguam nĂ« zyrat qĂ« presin fletĂ«t siç duhet. Dhe lamelat i preknim vetĂ«. Procesi i prerjes Ă«shtĂ« rreth dy herĂ« mĂ« i shtrenjtĂ« se fletĂ«t.
Këtu është rezultati:
PĂ«rfundimi â sistemi i kafazimit rikuperohet pĂ«r mĂ« pak se njĂ« vit. Kjo Ă«shtĂ«, ne kursejmĂ« rreth 200â250 KWt vazhdimisht nga fuqia e fankojeve. Akoma diçka nĂ« chillere, sa saktĂ«sisht â nuk e dimĂ«. ServerĂ«t thithin me njĂ« shpejtĂ«si konstante, fankojet fryjnĂ«. Chillernat ndizĂ«n dhe fikĂ«n si njĂ« grebĂ«z: Ă«shtĂ« e vĂ«shtirĂ« tĂ« nxjerrĂ«sh tĂ« dhĂ«nat nga ajo. Nuk mund tĂ« ndalosh sallĂ«n e makinerisĂ« pĂ«r teste.
Jemi të lumtur që në atë kohë kishte një rregull që modulat 5x5 të vendoseshin në mënyrë që konsumimi i tyre mesatar të ishte maksimumi gjashtë kW. Kështu, ngrohja nuk është e përqendruar në një ishull, por e shpërndarë në sallën e makinerive. Por ka një situatë ku 10 shtylla 15-kilovatësh janë pranë, por përballë ka një ruajtës. Ai është i ftohtë. Balancimi është.
Kudo ku nuk ka shtyllĂ« â nevojitet njĂ« ndarje deri nĂ« dysheme.
Dhe gjithashtu disa nga klientët tanë janë të izoluar me grila. Me ta gjithashtu kishte disa veçori.
Në lamelë priteshin, sepse gjerësia e shtyllave nuk është fikse, dhe periodiciteti i grebërthëve të montimit është i përcaktuar: tre-katër cm ose djathtas, ose majtas gjithmonë do të ketë. Nëse ke një bllok 600 nën vendin për shtyllë, ka 85 për qind gjasa që ai të mos rrijë. Dhe lamelët e shkurtra dhe të gjata bashkëjetojnë dhe ngjiten. Ndonjëherë e presim lamelën në formën e shkronjës G sipas konturëve të shtyllave.
Sensorët
Para tĂ« reduktosh fuqinĂ« e fancoil-ve, duhej tĂ« kishim vendosur njĂ« monitorim tĂ« saktĂ« tĂ« temperaturĂ«s nĂ« pika tĂ« ndryshme tĂ« sallĂ«s, pĂ«r tĂ« evituar surprizat. KĂ«shtu lindi ideja pĂ«r sensorĂ«t pa tel. Me tel â pĂ«r çdo rresht duhej tĂ« vendosnim njĂ« pajisje pĂ«r kryqĂ«zimin e kĂ«tyre sensorĂ«ve dhe ndonjĂ«herĂ« pĂ«r kĂ«tĂ« â zgjatje. Kjo shndĂ«rrohet nĂ« njĂ« garlandĂ«. ĂshtĂ« shumĂ« e keqe. Dhe kur kĂ«to tela hyjnĂ« nĂ« kafazet e klientĂ«ve, siguruarĂ«t menjĂ«herĂ« shqetĂ«sohen dhe kĂ«rkojnĂ« shpjegim me njĂ« certifikatĂ« pĂ«r atĂ« qĂ« kalon nĂ«pĂ«r kĂ«to tela. Duhet tĂ« kemi parasysh nervat e siguruarĂ«ve. PĂ«r çudinĂ« time, ata nuk shqetĂ«sohen pĂ«r sensorĂ«t pa tel.
Dhe akoma, raftet arrijnĂ« dhe largohen. NjĂ« sensor me magnet Ă«shtĂ« mĂ« i lehtĂ« pĂ«r t'u rimontuar, sepse duhet ta varim çdo herĂ« mĂ« lart ose mĂ« poshtĂ«. NĂ«se serverĂ«t janĂ« nĂ« tre tĂ« tretat e poshtme tĂ« raftit â duhet ta varim mĂ« poshtĂ«, dhe jo sipas standartit nĂ« njĂ« metĂ«r e gjysmĂ« nga toka nĂ« derĂ«n e raftit nĂ« koridori tĂ« ftohtĂ«. Atje, matja Ă«shtĂ« e kotĂ«, duhet tĂ« matim atĂ« qĂ« Ă«shtĂ« nĂ« pajisje.
NjĂ« sensor pĂ«r tre rafte â mĂ« shpesh nuk Ă«shtĂ« e nevojshme tĂ« vendoset tjetĂ«r. Temperatura nuk ndryshon. Kishim frikĂ« se do tĂ« kishte kalim ajri pĂ«rmes vetĂ« rafteve, â kjo nuk ndodhi. Por megjithatĂ« ofrojmĂ« pak mĂ« shumĂ« ajĂ«r tĂ« ftohtĂ« se vlerat e llogaritura. BĂ«mĂ« hapje nĂ« lamela 3, 7 dhe 12, mbi raft krijojmĂ« njĂ« vrimĂ«. NĂ« tĂ« vendosim anemometrin gjatĂ« kontrollit: shikojmĂ« se fluksi shkon aty ku duhet.
Më pas vendosëm fije të ndritshme: një praktikë e vjetër për snajperët. Duket e çuditshme, por lejon të zbuloni një problem të mundshëm më shpejt.
Argëtues
Ndërsa ne po bënim të gjitha këto në heshtje, erdhi furnizuesi që prodhon inxhinierinë për Qendrat e të Dhënave. Thotë: le të vijmë dhe t'ju flasim për efikasitetin energjetik. Vijnë, fillojnë të flasin për sallën jo optimale, flukset e ajrit. Ne bëjmë një kokë në shenjë miratimi. Sepse e kemi instaluar që tre vjet.
Ataçik, pĂ«r çdo raft vendosin tre sensorĂ«. Pamjet e monitorimit janĂ« fantastike, shumĂ« tĂ« bukura. MĂ« shumĂ« se gjysma e kĂ«saj zgjidhjeje Ă«shtĂ« çmimi â softi. NĂ« nivelin e 'alarmit nĂ« Zabbix', por pronĂ«sor dhe shumĂ« i shtrenjtĂ«. Problemi Ă«shtĂ« se ata kanĂ« sensorĂ«t, softin, dhe pastaj kĂ«rkojnĂ« njĂ« kontraktor nĂ« vend: nuk kanĂ« ofrues tĂ« tyre pĂ«r kase.
Zbulohet se punimet e tyre kushtojnë pesë deri në shtatë herë më shumë se sa kemi bërë ne.
Linke
- .
- .
- .
- .
- .
- Emaili im: PGoryunov@croc.ru
Burimi: habr.com
