Dedic această postare acelor oameni care au mințit pe certificate, din cauza cărora aproape că am instalat scânteietori în holurile noastre.
Povestea are peste patru ani, dar o public acum pentru că NDA a expirat. Apoi ne-am dat seama că centrul de date (pe care îl închiriem) era aproape complet încărcat, iar eficiența energetică a acestuia nu se îmbunătățise prea mult. Anterior, ipoteza era că cu cât îl umplem mai mult, cu atât mai bine, pentru că inginerul este distribuit între toți. Dar s-a dovedit că ne înșelam pe noi înșine în acest sens și, deși încărcătura era bună, undeva au fost pierderi. Am lucrat în multe domenii, dar echipa noastră curajoasă s-a concentrat pe răcire.
Viața reală a unui centru de date este puțin diferită de ceea ce este în proiect. Ajustări constante de la serviciul de operare pentru a crește eficiența și a optimiza setările pentru sarcini noi. Luați miticul stâlp B. În practică, acest lucru nu se întâmplă; distribuția sarcinii este neuniformă, undeva densă, undeva goală. Așa că a trebuit să reconfigurem unele lucruri pentru o mai bună eficiență energetică.
Centrul nostru de date Compresor este necesar pentru o varietate de clienți. Prin urmare, acolo, printre rafturile obișnuite de doi până la patru kilowați, ar putea fi unul de 23 de kilowați sau mai mult. În consecință, aparatele de aer condiționat au fost setate să le răcească, iar aerul a trecut pur și simplu prin rafturile mai puțin puternice.
A doua ipoteză a fost că coridoarele calde și reci nu se amestecă. După măsurători, pot spune că aceasta este o iluzie, iar aerodinamica reală diferă de model în aproape toate punctele de vedere.
studiu
Mai întâi am început să ne uităm la fluxurile de aer din holuri. De ce s-au dus acolo? Pentru că au înțeles că centrul de date este proiectat pentru cinci până la șase kW pe rack, dar știau că de fapt sunt de la 0 la 25 kW. Este aproape imposibil să reglezi toate acestea cu plăci: primele măsurători au arătat că transmit aproape în mod egal. Dar nu există deloc plăci de 25 kW; acestea trebuie să fie nu doar goale, ci și cu vid de lichid.
Am cumpărat un anemometru și am început să măsurăm debitele dintre rafturi și deasupra rafturii. În general, trebuie să lucrați cu acesta în conformitate cu GOST și cu o grămadă de standarde care sunt dificil de implementat fără a închide sala turbinei. Nu ne-a interesat acuratețea, ci imaginea fundamentală. Adică au măsurat aproximativ.
Conform măsurătorilor, din 100 la sută din aerul care iese din plăci, 60 la sută intră în rafturi, restul zboară. Acest lucru se datorează faptului că există rafturi grele de 15-25 kW de-a lungul cărora este construită răcirea.
Nu putem opri aparatele de aer condiționat, deoarece va fi foarte cald pe rafturile calde din zona serverelor superioare. În acest moment înțelegem că trebuie să izolăm ceva de altceva pentru ca aerul să nu sară din rând în rând și pentru ca schimbul de căldură să aibă loc în continuare.
În același timp, ne întrebăm dacă acest lucru este fezabil din punct de vedere financiar.
Suntem surprinși să descoperim că avem consumul de energie al centrului de date în ansamblu, dar pur și simplu nu putem număra unitățile ventiloconvectoare pentru o anumită cameră. Adică putem din punct de vedere analitic, dar de fapt nu putem. Și nu putem estima economiile. Sarcina devine din ce în ce mai interesantă. Dacă economisim 10% din puterea aerului condiționat, câți bani putem pune deoparte pentru izolare? Cum să numere?
Am mers la specialiștii în automatizări, care terminau sistemul de monitorizare. Mulțumesc băieților: aveau toți senzorii, trebuiau doar să adauge codul. Au început să instaleze separat răcitoare, UPS și iluminat. Cu noul gadget, a devenit posibil să vedem cum se schimbă situația între elementele sistemului.
Experimente cu perdele
În același timp, începem experimentele cu perdele (garduri). Decidem să le montăm pe știfturile jgheaburilor de cablu (oricum nu este nevoie de altceva), deoarece ar trebui să fie ușoare. Ne-am hotărât rapid asupra copertinelor sau pieptenilor.
Problema este că am lucrat anterior cu o grămadă de vânzători. Toată lumea are soluții pentru centrele de date proprii ale companiilor, dar în esență nu există soluții gata făcute pentru un centru de date comercial. Clienții noștri vin și pleacă tot timpul. Suntem unul dintre puținele centre de date „grele” fără restricții privind lățimea rack-urilor, cu capacitatea de a găzdui aceste servere de șlefuit de până la 25 kW. Fără planificare în avans a infrastructurii. Adică, dacă luăm sisteme modulare de cușcă de la vânzători, vor exista întotdeauna găuri timp de două luni. Adică, hala de turbine nu va fi niciodată eficientă energetic în principiu.
Am decis să o facem singuri, deoarece avem proprii noștri ingineri.
Primul lucru pe care l-au luat au fost benzi de la frigiderele industriale. Acestea sunt muci flexibili din polietilenă pe care le puteți lovi. Probabil le-ați văzut undeva la intrarea în departamentul de carne al celor mai mari magazine alimentare. Au început să caute materiale netoxice și neinflamabile. L-am găsit și l-am cumpărat pentru două rânduri. Am închis-o și am început să vedem ce s-a întâmplat.
Am înțeles că nu va fi prea bine. Dar, per total, a ieșit foarte, foarte nu foarte bine. Încep să fluture în râuri ca pastele. Am găsit benzi magnetice precum magneți de frigider. Le-am lipit pe aceste benzi, le-am lipit una de alta, iar peretele s-a dovedit a fi destul de monolitic.
Am început să ne dăm seama ce ar fi pregătit pentru public.
Să mergem la constructori și să vă arătăm proiectul nostru. Se uită și spun: draperiile tale sunt foarte grele. 700 de kilograme în toată hala de turbine. Du-te dracului, se spune, oameni buni. Mai exact, echipei SKS. Lasă-i să numere câți tăiței au în tăvi, pentru că 120 kg pe metru pătrat este maxim.
SKS spune: țineți minte, un client mare a venit la noi? Are zeci de mii de porturi într-o singură cameră. De-a lungul marginilor camerei turbinelor este încă în regulă, dar nu va fi posibil să o atașați mai aproape de camera de cruce: tăvile vor cădea.
Constructorii au cerut și un certificat pentru material. Observ că înainte de aceasta am lucrat la cuvântul de onoare al furnizorului, deoarece acesta a fost doar un test. Am contactat acest furnizor și i-am spus: OK, suntem gata să intrăm în beta, dă-ne toate documentele. Ei trimit ceva care nu are un tipar foarte stabilit.
Noi spunem: ascultă, de unde ai această bucată de hârtie? Ei: producătorul nostru chinez ne-a trimis acest lucru ca răspuns la solicitări. Conform ziarului, chestia asta nu arde deloc.
În acest moment ne-am dat seama că era timpul să ne oprim și să verificăm faptele. Mergem la fetele de la secția de securitate la incendiu a centrului de date, ne spun la laboratorul care testează inflamabilitatea. Bani și termene destul de pământești (deși am blestemat totul în timp ce compilam numărul necesar de bucăți de hârtie). Oamenii de știință de acolo spun: aduceți materialul, vom face teste.
În concluzie, s-a scris că dintr-un kilogram de substanță au rămas aproximativ 50 de grame de cenușă. Restul arde puternic, curge in jos si mentine foarte bine arderea in balta.
Înțelegem - este bine că nu l-am cumpărat. Am început să căutăm alt material.
Am găsit policarbonat. S-a dovedit a fi mai dur. Foaia transparentă este de doi mm, ușile sunt din patru mm. În esență, este plexiglas. Împreună cu producătorul, începem o conversație cu securitatea la incendiu: dă-ne un certificat. Ei trimit. Semnat de acelasi institut. Sunăm acolo și spunem: bine, băieți, ați verificat asta?
Ei spun: da, au verificat. Mai întâi au ars-o acasă, apoi au adus-o doar pentru teste. Acolo, dintr-un kilogram de material, rămân aproximativ 930 de grame de cenușă (dacă o ardeți cu arzătorul). Se topește și picură, dar balta nu se va arde.
Ne verificăm imediat magneții (sunt pe o căptușeală polimerică). În mod surprinzător, ard prost.
asamblare
De aici începem să colectăm. Policarbonatul este grozav pentru că este mai ușor decât polietilena și se îndoaie mult mai puțin ușor. Adevărat, aduc foi de 2,5 pe 3 metri, iar furnizorului nu îi pasă ce să facă cu el. Dar avem nevoie de 2,8, 20–25 de centimetri lățime. Ușile au fost trimise la birouri care tăiau foile la nevoie. Și tăiem singuri lamelele. Procesul de tăiere în sine costă de două ori mai mult decât o foaie.
Iată ce s-a întâmplat:
Rezultatul este că sistemul de înghețare se amortizează singur în mai puțin de un an. Așa am economisit 200–250 kW în mod constant la puterea ventilo-convectorului. Nu știm cât mai este încă pe răcitoare, exact cât. Serverele suge cu o viteză constantă, ventiloconvectorul suflă. Și răcitoarele sunt pornite și oprite cu un pieptene: este dificil să extragi date din el. Sala turbinelor nu poate fi oprită pentru teste.
Ne bucurăm că la un moment dat a existat o regulă de a instala rafturi 5x5 în module, astfel încât consumul mediu al acestora să fie de maximum șase kW. Adică căldura nu este concentrată de insulă, ci distribuită în toată camera turbinelor. Dar există o situație în care există 10 bucăți de rafturi de 15 kilowați unul lângă celălalt, dar există un teanc de ele vizavi. Îi este frig. Echilibrat.
Acolo unde nu există tejghea, aveți nevoie de un gard până la podea.
Iar unii dintre clienții noștri sunt izolați cu grătare. Au existat și câteva particularități cu ei.
Se taie în lamele, deoarece lățimea stâlpilor nu este fixă, iar frecvența pieptenelor de prindere este determinată: trei sau patru cm fie la dreapta, fie la stânga vor fi întotdeauna. Dacă aveți un bloc de 600 pentru spațiu de rack, atunci există o șansă de 85% ca acesta să nu se potrivească. Și lamelele scurte și lungi coexistă și se lipesc împreună. Uneori tăiem lamele cu litera G de-a lungul contururilor suporturilor.
senzori
Înainte de a reduce puterea unităților ventiloconvectoare, a fost necesar să se realizeze o monitorizare foarte precisă a temperaturii în diferite puncte ale holului, pentru a nu prinde surprize. Așa au apărut senzorii wireless. Cablat - pe fiecare rând trebuie să agățați propriul lucru pentru a conecta acești senzori și uneori prelungitoare pe el. Aceasta se transformă într-o ghirlandă. Foarte rău. Și când aceste fire intră în cuștile clienților, agenții de pază se entuziasmează imediat și cer să explice printr-un certificat ce se îndepărtează de-a lungul acestor fire. Nervii securiștilor trebuie protejați. Din anumite motive, nu ating senzorii wireless.
Și mai multe standuri vin și pleacă. Este mai ușor să remontați un senzor pe un magnet, deoarece acesta trebuie agățat mai sus sau mai jos de fiecare dată. Dacă serverele sunt în treimea inferioară a rack-ului, acestea ar trebui să fie atârnate în jos și nu conform standardului la un metru și jumătate de podea pe ușa rack-ului într-un coridor rece. Este inutil să măsori acolo; trebuie să măsori ce este în fier.
Un senzor pentru trei rafturi - mai des nu trebuie să-l agățați. Temperatura nu este diferită. Ne-a fost teamă că aerul va fi atras prin barele în sine, dar asta nu s-a întâmplat. Dar tot oferim puțin mai mult aer rece decât valorile calculate. Am făcut ferestre în șipcile 3, 7 și 12 și am făcut o gaură deasupra suportului. Când ocolim, punem un anemometru în el: vedem că fluxul merge unde trebuie.
Apoi au atârnat sfori strălucitoare: o veche practică pentru lunetişti. Pare ciudat, dar vă permite să detectați mai rapid o posibilă problemă.
amuzant
În timp ce făceam toate acestea în tăcere, a sosit un furnizor care produce echipamente de inginerie pentru centrele de date. El spune: hai să venim să vă vorbim despre eficiența energetică. Ei ajung și încep să vorbească despre sala suboptimă și fluxurile de aer. Dăm din cap cu înțelegere. Pentru că avem trei ani așa cum a fost stabilit.
Ei atârnă trei senzori pe fiecare suport. Imaginile de monitorizare sunt uluitoare și frumoase. Mai mult de jumătate din prețul acestei soluții este software. La nivelul de alertă Zabbix, dar proprietar și foarte scump. Problema este că au senzori, software și apoi caută un antreprenor la fața locului: nu au proprii lor furnizori pentru cadging.
Se pare că mâinile lor costă de cinci până la șapte ori mai mult decât am făcut noi.
referințe
- .
- .
- .
- .
- .
- Poșta mea: [e-mail protejat]
Sursa: www.habr.com