🥇Cum ne-am dat peste cap pentru eficiența energetică a mașinii

Dedic acest post acelor persoane care au mințit în certificate, din cauza cărora aproape că am instalat artificii bengaleze în sălile noastre.

Povestea are mai mult de patru ani, dar o public acum, pentru că a expirat NDA-ul. Atunci am realizat că am încărcat centrul de date (pe care îl închiriem) aproape complet, dar eficiența energetică nu a crescut foarte mult. În trecut, ipoteza era că cu cât îl umplem mai mult, cu atât este mai bine, deoarece ingineria se împarte între toți. Dar s-a dovedit că ne-am înșelat în acest sens și la o încărcare bună erau pierderi. Am lucrat pe mai multe direcții, dar echipa noastră curajoasă s-a ocupat de răcire.

Viața reală a centrului de date este puțin diferită de proiect. Ajustări constante din partea echipei de exploație pentru a îmbunătăți eficiența și optimizarea setărilor pentru noi sarcini. Să luăm rack-ul mitic mediu. În practică, acesta nu există, distribuția sarcinii este inegală, în unele locuri dens, în altele gol. Așa că a trebuit să reconfigurăm unele lucruri pentru o mai bună eficiență energetică.

Centrul nostru de date Comprisor este necesar pentru diferiți clienți. Așadar, în mijlocul rack-urilor obișnuite de două–patru kilowați poate apărea un rack de 23 de kilowați sau chiar mai mult. În consecință, aerul condiționat a fost setat să le răcească, iar prin rack-urile mai puțin puternice, aerul pur și simplu ocolește.

A doua ipoteză era că coridoarele calde și reci nu se amestecă. După măsurători, pot spune că aceasta este o iluzie, iar adevărata aerodinamică diferă de model cu aproximativ tot.

Inspecție

La început, am început să studiem fluxurile de aer din săli. De ce ne-am apucat de asta? Pentru că ne-am dat seama că centrul de date este proiectat pentru cinci-șase KW pe rack, dar știm că, de fapt, acestea variază de la 0 la 25 KW. Reglementarea tuturor acestor lucruri cu plăci este aproape imposibilă: primele măsurători au arătat că acestea permit aproape la fel. Iar plăcile de 25 KW nu există, ele trebuie să fie nu doar goale, ci cu vacuum lichid.

Am cumpărat un anemometru și am început să măsurăm fluxurile între rack-uri și deasupra acestora. Este important să lucrăm conform standardelor și normelor de calitate, ceea ce este dificil de realizat fără a opri sala de mașini. A fost important pentru noi nu atât precizia, cât imaginea de ansamblu. Adică, am măsurat aproximativ.

În urma măsurătorilor, din 100% din aerul care iese din grile, 60% ajunge în rack-uri, restul trec pe lângă. Acest lucru se datorează rack-urilor grele de 15–25 kW, pe care este construit sistemul de răcire.

Nu putem pur și simplu să stingem aerul condiționat, deoarece rack-urile calde din zona serverelor superioare vor deveni foarte calde. În acel moment, realizăm că trebuie să izolăm ceva pentru a evita fluctuațiile aerului între rânduri și pentru a permite schimbul termic în unitate.

În paralel, ne punem întrebarea dacă este fezabil din punct de vedere financiar.

Cu surprindere descoperim că avem consumul de energie al datacenter-ului, însă nu putem calcula cantitatea de energie pentru fancoils în sala specifică. Teoretic, putem, dar practic nu. Astfel, nu putem estima economiile. Sarcina devine din ce în ce mai interesantă. Dacă economisim 10% din puterea aerului condiționat, câți bani putem economisi pentru izolare? Cum se face calculul?

Am mers la automatizatori, care ajustau sistemul de monitorizare. Le mulțumim băieților: aveau toate senzorii necesari, trebuia doar să scriem codul. Au început să afișeze separat chillere, UPS-uri, iluminat. Cu noua facilitate, am avut posibilitatea de a vedea cum se schimbă situația în funcție de elementele sistemului.

Experimente cu separatoare

În paralel, începem experimente cu separatoare. Decidem să le fixăm pe stâlpii de bază ai canalelor de cablu (nu avem cu ce altceva), având în vedere că acestea trebuie să fie ușoare. Ne-am hotărât rapid asupra cortinelor sau grătarului.

Problema este că anterior lucrasem cu mulți furnizori. Toți au soluții pentru centrele de date proprii ale companiilor, dar nu există soluții gata făcute pentru un centru de date comercial. Clienții noștri vin și pleacă constant. Suntem unul dintre puținele centre de date „grele” fără restricții de lățime a rack-ului, cu posibilitatea de a accepta aceste servere-mulinete de până la 25 kW. Nu există planificare a infrastructurii din timp. Asta înseamnă că dacă ne-am lua sisteme modulare de cage din partea furnizorilor - întotdeauna vor fi goluri de două luni. Adică mașina nu va fi niciodată eficientă energetic în principiu.

Am decis să facem noi, căci avem ingineri pe cont propriu.

Primul lucru pe care l-am luat au fost benzi de la frigidere industriale. Acestea sunt niște fâșii flexibile de polietilenă cu care poți face multe. Le-ai văzut cu siguranță undeva la intrarea în secția de carne a celor mai mari magazine. Am început să căutăm materiale netoxice și ignifuge. Am găsit, am cumpărat pentru două rânduri. Le-am agățat și am început să vedem ce iese.

Știam că nu va fi foarte bine. Dar a ieșit chiar foarte, foarte prost. Încep să se desfacă pe fluxuri, ca niște paste. Am găsit benzi magnetice, de tipul celor de pe frigider. Le-am lipit pe aceste benzi, le-am îmbinat între ele și a rezultat un perete în mare parte monolitic.

Am început să ne imaginăm cum va arăta sala.

Am mers la constructori, le-am arătat proiectul nostru. Aceștia se uită și spun: cortinile voastre sunt prea grele. 700 de kilograme pe tot sala mașinilor. Mergeți, spun ei, oameni buni, la dracu. Mai exact, la echipa SCS. Lăsați-i să calculeze câte „tăvăle” au în canale, pentru că 120 kg pe metrul pătrat este maxim.

SCS spun: țineți minte că la noi a venit un client mare? Are zeci de mii de porturi într-o singură sală. Pe marginile sălii mașinilor mai este totul în regulă, dar mai aproape de cruce nu se va putea prinde: canalele se vor desprinde.

Constructorii au cerut și un certificat pentru material. Menționez că anterior lucrasem pe baza bunelor intenții ale furnizorului, deoarece a fost doar un test. Ne-am adresat acestui furnizor, spunând: OK, suntem gata să intrăm în beta, haideți să avem toate actele. Ei ne trimit ceva care nu este foarte bine standardizat.

Noi spunem: ascultați, de unde ați luat acest document? Ei: ni l-a trimis producătorul nostru chinez ca răspuns la solicitările noastre. Conform documentului, acest material nu arde deloc.

În acel moment, ne-am dat seama că este timpul să ne oprim și să verificăm faptele. Ne îndreptăm către fetele de la securitatea împotriva incendiilor din centrul de date, care ne indică un laborator care testează combustibilitatea. Prețurile și termenele sunt rezonabile (de fapt, am blestemat totul în timp ce completam câte acte erau necesare). Acolo, oamenii de știință ne spun: aduceți materialul, vom face teste.

În concluzie, s-a scris că dintr-un kilogram de material rămân aproximativ 50 de grame de cenușă. Restul arde puternic, se scurge și susține foarte bine arderea într-o băltoacă.

Înțelegem – bine că nu am cumpărat. Am început să căutăm un alt material.

Am găsit policarbonat. S-a dovedit a fi mai rigid. Placa transparentă are două mm, iar ușile sunt din patru mm. Practic, este plexiglass. Începem discuția cu producătorul pe tema securității împotriva incendiilor: haideți cu certificatul. Ni-l trimit. Este semnat de aceeași instituție. Sunăm acolo, întrebăm: ce ziceți, oameni buni, ați testat așa ceva?

Ei spun: da, am testat. Mai întâi au ars la ei, apoi au adus la teste. Acolo, dintr-un kilogram de material rămân (dacă e ars cu un brichetă) aproximativ 930 de grame de cenușă. Se topesc și picură, dar băltoaca nu va lua foc.

Imediat verificăm magneții noștri (sunt pe o bază din polimer). Spre surprinderea noastră, ard prost.

Compilare

De aici începem să asamblăm. Policarbonatul este minunat, deoarece este mai ușor decât polietilena, care se îndoaie mult mai greu. Totuși, aduc plăci de 2,5 pe 3 metri, iar furnizorului îi pasă puțin de ce facem cu ele. Iar noi avem nevoie de 2,8 lățime de 20–25 de centimetri. Ușile le-am trimis la firme care taie plăcile cum trebuie. Iar lamelele le-am tăiat noi. Procesul de tăiere costă de două ori mai mult decât placa.

Iată ce a ieșit:

Concluzia – sistemul de închidere se amortizează în mai puțin de un an. Am economisit câte 200–250 KWh constant la puterea ventiloconvectoarelor. Încă ceva la chillere, dar nu știm exact cât. Serverele absorb constant, ventiloconvectoarele suflă. Chillerele se pornesc și se opresc în grupuri: este greu să extragi date din ele. Nu putem opri sala de mașini pentru teste.

Ne bucurăm că a existat o regulă de a plasa module de 5x5 rack-uri astfel încât consumul mediu să fie de maximum șase kW. Adică, căldura nu este concentrată într-un singur loc, ci este distribuită în întreaga sală de mașini. Totuși, există situații în care sunt 10 rack-uri de 15 kW alăturate, dar în fața lor se află un stocaj. Acesta este rece. Se face un echilibru.

Acolo unde nu există rack-uri - este necesară o paravan până la podea.

De asemenea, avem unii clienți care sunt izolați cu gratii. Cu aceștia au existat câteva particularități.

Am tăiat lamelile deoarece lățimea rack-urilor nu este fixă, iar periodicitatea prinderii este definită: la trei-patru cm, întotdeauna spre dreapta sau spre stânga. Dacă ai un bloc de 600 sub un loc pentru rack, probabilitatea că nu se va potrivi este de 85%. Lamelile scurte și lungi coexistă și se lipesc. Uneori tăiem lamela în formă de L conform conturului rack-urilor.

Senzori

Înainte de a reduce puterea ventilatoarelor, era necesar să configurăm un monitorizat foarte precis al temperaturii în diferite puncte ale sălii, pentru a nu avea surprize. Așa au apărut senzorii wireless. Cei cu fir - trebuie să aibă câte un dispozitiv pentru fiecare rând pentru a face legătura între acești senzori, iar uneori, la aceasta, se adaugă extensii. Aceasta se transformă într-o ghirlandă. Foarte rău. Și când aceste fire intră în celulele clienților, cei de la securitate devin imediat alertat și cer explicații cu certificat despre ce se măsoară prin aceste fire. Nervii securitatii trebuie protejați. De senzorii wireless, dintr-un motiv oarecare, nu se ating.

Și rack-urile sosesc și pleacă. Senzorul cu magnet este mai ușor de reposat, deoarece trebuie să fie plasat de fiecare dată mai sus sau mai jos. Dacă serverele sunt în treimea inferioară a rack-ului, trebuie să fie plasat mai jos, și nu conform standardului la un metru și jumătate de la podea pe ușa rack-ului în coridorul rece. Măsurarea acolo este inutilă, trebuie să măsurăm ce este în echipament.

Un senzor pe trei rack-uri - adesea nu trebuie să fie plasat. Temperatura nu diferă. Ne-am temut că va exista o tragere a aerului prin rack-uri - nu s-a întâmplat. Totuși, oferim puțin mai mult aer rece decât valorile calculate. Am realizat orificii în lamelile 3, 7 și 12, deasupra rack-ului facem o deschidere. În aceasta, când o inspectăm, punem anemometrul: ne uităm dacă fluxul este direcționat unde trebuie.

Apoi am agățat fire colorate: o practică veche pentru sniperi. Arată ciudat, dar permite detectarea rapidă a unei posibile probleme.

Amuzant

În timp ce noi făceam toate acestea în tăcere, a venit un furnizor care produce echipamente pentru centrele de date. Spune: haideți să venim și să vorbim despre eficiența energetică. Vin, încep să vorbească despre sala neoptimizată, fluxurile de aer. Noi dăm din cap înțelegători. Pentru că la noi s-a instalat de trei ani.

Ei pun câte trei senzori pe fiecare rack. Imaginile de monitorizare sunt uimitoare, frumoase. Peste jumătate din această soluție este costul — software-ul. La nivelul „alertă în Zabbix”, dar proprietar și foarte scump. Problema este că ei au senzori, software, și apoi caută un contractor local: nu au furnizori proprii pentru cage-uri.

Se dovedește că munca lor costă de cinci–șapte ori mai mult decât am realizat noi.