{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Cum ne-am angajat \u00een eficien\u021ba energetic\u0103 a s\u0103lii de servere","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Cum
\n
\nDedic acest post acelor persoane care au min\u021bit \u00een certificate, din cauza c\u0103rora aproape c\u0103 am instalat artificii bengaleze \u00een s\u0103lile noastre.<\/p>\n

Povestea are mai mult de patru ani, dar o public acum, pentru c\u0103 a expirat NDA-ul. Atunci am realizat c\u0103 am \u00eenc\u0103rcat centrul de date (pe care \u00eel \u00eenchiriem) aproape complet, dar eficien\u021ba energetic\u0103 nu a crescut foarte mult. \u00cen trecut, ipoteza era c\u0103 cu c\u00e2t \u00eel umplem mai mult, cu at\u00e2t este mai bine, deoarece ingineria se \u00eemparte \u00eentre to\u021bi. Dar s-a dovedit c\u0103 ne-am \u00een\u0219elat \u00een acest sens \u0219i la o \u00eenc\u0103rcare bun\u0103 erau pierderi. Am lucrat pe mai multe direc\u021bii, dar echipa noastr\u0103 curajoas\u0103 s-a ocupat de r\u0103cire. <\/p>\n

Via\u021ba real\u0103 a centrului de date este pu\u021bin diferit\u0103 de proiect. Ajust\u0103ri constante din partea echipei de exploa\u021bie pentru a \u00eembun\u0103t\u0103\u021bi eficien\u021ba \u0219i optimizarea set\u0103rilor pentru noi sarcini. S\u0103 lu\u0103m rack-ul mitic mediu. \u00cen practic\u0103, acesta nu exist\u0103, distribu\u021bia sarcinii este inegal\u0103, \u00een unele locuri dens, \u00een altele gol. A\u0219a c\u0103 a trebuit s\u0103 reconfigur\u0103m unele lucruri pentru o mai bun\u0103 eficien\u021b\u0103 energetic\u0103.<\/p>\n

Centrul nostru de date Comprisor este necesar pentru diferi\u021bi clien\u021bi. A\u0219adar, \u00een mijlocul rack-urilor obi\u0219nuite de dou\u0103\u2013patru kilowa\u021bi poate ap\u0103rea un rack de 23 de kilowa\u021bi sau chiar mai mult. \u00cen consecin\u021b\u0103, aerul condi\u021bionat a fost setat s\u0103 le r\u0103ceasc\u0103, iar prin rack-urile mai pu\u021bin puternice, aerul pur \u0219i simplu ocole\u0219te. <\/p>\n

A doua ipotez\u0103 era c\u0103 coridoarele calde \u0219i reci nu se amestec\u0103. Dup\u0103 m\u0103sur\u0103tori, pot spune c\u0103 aceasta este o iluzie, iar adev\u0103rata aerodinamic\u0103 difer\u0103 de model cu aproximativ tot. <\/a><\/noindex><\/p>\n

Inspec\u021bie<\/h3>\n

\nLa \u00eenceput, am \u00eenceput s\u0103 studiem fluxurile de aer din s\u0103li. De ce ne-am apucat de asta? Pentru c\u0103 ne-am dat seama c\u0103 centrul de date este proiectat pentru cinci-\u0219ase KW pe rack, dar \u0219tim c\u0103, de fapt, acestea variaz\u0103 de la 0 la 25 KW. Reglementarea tuturor acestor lucruri cu pl\u0103ci este aproape imposibil\u0103: primele m\u0103sur\u0103tori au ar\u0103tat c\u0103 acestea permit aproape la fel. Iar pl\u0103cile de 25 KW nu exist\u0103, ele trebuie s\u0103 fie nu doar goale, ci cu vacuum lichid. <\/p>\n

Am cump\u0103rat un anemometru \u0219i am \u00eenceput s\u0103 m\u0103sur\u0103m fluxurile \u00eentre rack-uri \u0219i deasupra acestora. Este important s\u0103 lucr\u0103m conform standardelor \u0219i normelor de calitate, ceea ce este dificil de realizat f\u0103r\u0103 a opri sala de ma\u0219ini. A fost important pentru noi nu at\u00e2t precizia, c\u00e2t imaginea de ansamblu. Adic\u0103, am m\u0103surat aproximativ.<\/p>\n

\u00cen urma m\u0103sur\u0103torilor, din 100% din aerul care iese din grile, 60% ajunge \u00een rack-uri, restul trec pe l\u00e2ng\u0103. Acest lucru se datoreaz\u0103 rack-urilor grele de 15\u201325 kW, pe care este construit sistemul de r\u0103cire. <\/p>\n

Nu putem pur \u0219i simplu s\u0103 stingem aerul condi\u021bionat, deoarece rack-urile calde din zona serverelor superioare vor deveni foarte calde. \u00cen acel moment, realiz\u0103m c\u0103 trebuie s\u0103 izol\u0103m ceva pentru a evita fluctua\u021biile aerului \u00eentre r\u00e2nduri \u0219i pentru a permite schimbul termic \u00een unitate. <\/p>\n

\u00cen paralel, ne punem \u00eentrebarea dac\u0103 este fezabil din punct de vedere financiar. <\/p>\n

Cu surprindere descoperim c\u0103 avem consumul de energie al datacenter-ului, \u00eens\u0103 nu putem calcula cantitatea de energie pentru fancoils \u00een sala specific\u0103. Teoretic, putem, dar practic nu. Astfel, nu putem estima economiile. Sarcina devine din ce \u00een ce mai interesant\u0103. Dac\u0103 economisim 10% din puterea aerului condi\u021bionat, c\u00e2\u021bi bani putem economisi pentru izolare? Cum se face calculul?<\/p>\n

Am mers la automatizatori, care ajustau sistemul de monitorizare. Le mul\u021bumim b\u0103ie\u021bilor: aveau toate senzorii necesari, trebuia doar s\u0103 scriem codul. Au \u00eenceput s\u0103 afi\u0219eze separat chillere, UPS-uri, iluminat. Cu noua facilitate, am avut posibilitatea de a vedea cum se schimb\u0103 situa\u021bia \u00een func\u021bie de elementele sistemului.<\/p>\n

Experimente cu separatoare<\/h3>\n

\n\u00cen paralel, \u00eencepem experimente cu separatoare. Decidem s\u0103 le fix\u0103m pe st\u00e2lpii de baz\u0103 ai canalelor de cablu (nu avem cu ce altceva), av\u00e2nd \u00een vedere c\u0103 acestea trebuie s\u0103 fie u\u0219oare. Ne-am hot\u0103r\u00e2t rapid asupra cortinelor sau gr\u0103tarului. <\/p>\n

\"Cum
\n
\n\"Cum
\n
\nProblema este c\u0103 anterior lucrasem cu mul\u021bi furnizori. To\u021bi au solu\u021bii pentru centrele de date proprii ale companiilor, dar nu exist\u0103 solu\u021bii gata f\u0103cute pentru un centru de date comercial. Clien\u021bii no\u0219tri vin \u0219i pleac\u0103 constant. Suntem unul dintre pu\u021binele centre de date \u201egrele\u201d f\u0103r\u0103 restric\u021bii de l\u0103\u021bime a rack-ului, cu posibilitatea de a accepta aceste servere-mulinete de p\u00e2n\u0103 la 25 kW. Nu exist\u0103 planificare a infrastructurii din timp. Asta \u00eenseamn\u0103 c\u0103 dac\u0103 ne-am lua sisteme modulare de cage din partea furnizorilor - \u00eentotdeauna vor fi goluri de dou\u0103 luni. Adic\u0103 ma\u0219ina nu va fi niciodat\u0103 eficient\u0103 energetic \u00een principiu. <\/p>\n

Am decis s\u0103 facem noi, c\u0103ci avem ingineri pe cont propriu. <\/p>\n

Primul lucru pe care l-am luat au fost benzi de la frigidere industriale. Acestea sunt ni\u0219te f\u00e2\u0219ii flexibile de polietilen\u0103 cu care po\u021bi face multe. Le-ai v\u0103zut cu siguran\u021b\u0103 undeva la intrarea \u00een sec\u021bia de carne a celor mai mari magazine. Am \u00eenceput s\u0103 c\u0103ut\u0103m materiale netoxice \u0219i ignifuge. Am g\u0103sit, am cump\u0103rat pentru dou\u0103 r\u00e2nduri. Le-am ag\u0103\u021bat \u0219i am \u00eenceput s\u0103 vedem ce iese. <\/p>\n

\u0218tiam c\u0103 nu va fi foarte bine. Dar a ie\u0219it chiar foarte, foarte prost. \u00cencep s\u0103 se desfac\u0103 pe fluxuri, ca ni\u0219te paste. Am g\u0103sit benzi magnetice, de tipul celor de pe frigider. Le-am lipit pe aceste benzi, le-am \u00eembinat \u00eentre ele \u0219i a rezultat un perete \u00een mare parte monolitic. <\/p>\n

Am \u00eenceput s\u0103 ne imagin\u0103m cum va ar\u0103ta sala. <\/p>\n

Am mers la constructori, le-am ar\u0103tat proiectul nostru. Ace\u0219tia se uit\u0103 \u0219i spun: cortinile voastre sunt prea grele. 700 de kilograme pe tot sala ma\u0219inilor. Merge\u021bi, spun ei, oameni buni, la dracu. Mai exact, la echipa SCS. L\u0103sa\u021bi-i s\u0103 calculeze c\u00e2te \u201et\u0103v\u0103le\u201d au \u00een canale, pentru c\u0103 120 kg pe metrul p\u0103trat este maxim. <\/p>\n

SCS spun: \u021bine\u021bi minte c\u0103 la noi a venit un client mare? Are zeci de mii de porturi \u00eentr-o singur\u0103 sal\u0103. Pe marginile s\u0103lii ma\u0219inilor mai este totul \u00een regul\u0103, dar mai aproape de cruce nu se va putea prinde: canalele se vor desprinde. <\/p>\n

Constructorii au cerut \u0219i un certificat pentru material. Men\u021bionez c\u0103 anterior lucrasem pe baza bunelor inten\u021bii ale furnizorului, deoarece a fost doar un test. Ne-am adresat acestui furnizor, spun\u00e2nd: OK, suntem gata s\u0103 intr\u0103m \u00een beta, haide\u021bi s\u0103 avem toate actele. Ei ne trimit ceva care nu este foarte bine standardizat. <\/p>\n

Noi spunem: asculta\u021bi, de unde a\u021bi luat acest document? Ei: ni l-a trimis produc\u0103torul nostru chinez ca r\u0103spuns la solicit\u0103rile noastre. Conform documentului, acest material nu arde deloc. <\/p>\n

\u00cen acel moment, ne-am dat seama c\u0103 este timpul s\u0103 ne oprim \u0219i s\u0103 verific\u0103m faptele. Ne \u00eendrept\u0103m c\u0103tre fetele de la securitatea \u00eempotriva incendiilor din centrul de date, care ne indic\u0103 un laborator care testeaz\u0103 combustibilitatea. Pre\u021burile \u0219i termenele sunt rezonabile (de fapt, am blestemat totul \u00een timp ce completam c\u00e2te acte erau necesare). Acolo, oamenii de \u0219tiin\u021b\u0103 ne spun: aduce\u021bi materialul, vom face teste. <\/p>\n

\u00cen concluzie, s-a scris c\u0103 dintr-un kilogram de material r\u0103m\u00e2n aproximativ 50 de grame de cenu\u0219\u0103. Restul arde puternic, se scurge \u0219i sus\u021bine foarte bine arderea \u00eentr-o b\u0103ltoac\u0103. <\/p>\n

\u00cen\u021belegem \u2013 bine c\u0103 nu am cump\u0103rat. Am \u00eenceput s\u0103 c\u0103ut\u0103m un alt material. <\/p>\n

Am g\u0103sit policarbonat. S-a dovedit a fi mai rigid. Placa transparent\u0103 are dou\u0103 mm, iar u\u0219ile sunt din patru mm. Practic, este plexiglass. \u00cencepem discu\u021bia cu produc\u0103torul pe tema securit\u0103\u021bii \u00eempotriva incendiilor: haide\u021bi cu certificatul. Ni-l trimit. Este semnat de aceea\u0219i institu\u021bie. Sun\u0103m acolo, \u00eentreb\u0103m: ce zice\u021bi, oameni buni, a\u021bi testat a\u0219a ceva?<\/p>\n

Ei spun: da, am testat. Mai \u00eent\u00e2i au ars la ei, apoi au adus la teste. Acolo, dintr-un kilogram de material r\u0103m\u00e2n (dac\u0103 e ars cu un brichet\u0103) aproximativ 930 de grame de cenu\u0219\u0103. Se topesc \u0219i picur\u0103, dar b\u0103ltoaca nu va lua foc. <\/p>\n

Imediat verific\u0103m magne\u021bii no\u0219tri (sunt pe o baz\u0103 din polimer). Spre surprinderea noastr\u0103, ard prost. <\/p>\n

Compilare<\/h3>\n

\nDe aici \u00eencepem s\u0103 asambl\u0103m. Policarbonatul este minunat, deoarece este mai u\u0219or dec\u00e2t polietilena, care se \u00eendoaie mult mai greu. Totu\u0219i, aduc pl\u0103ci de 2,5 pe 3 metri, iar furnizorului \u00eei pas\u0103 pu\u021bin de ce facem cu ele. Iar noi avem nevoie de 2,8 l\u0103\u021bime de 20\u201325 de centimetri. U\u0219ile le-am trimis la firme care taie pl\u0103cile cum trebuie. Iar lamelele le-am t\u0103iat noi. Procesul de t\u0103iere cost\u0103 de dou\u0103 ori mai mult dec\u00e2t placa.<\/p>\n

Iat\u0103 ce a ie\u0219it:<\/p>\n

\"Cum
\n
\nConcluzia \u2013 sistemul de \u00eenchidere se amortizeaz\u0103 \u00een mai pu\u021bin de un an. Am economisit c\u00e2te 200\u2013250 KWh constant la puterea ventiloconvectoarelor. \u00cenc\u0103 ceva la chillere, dar nu \u0219tim exact c\u00e2t. Serverele absorb constant, ventiloconvectoarele sufl\u0103. Chillerele se pornesc \u0219i se opresc \u00een grupuri: este greu s\u0103 extragi date din ele. Nu putem opri sala de ma\u0219ini pentru teste. <\/p>\n

Ne bucur\u0103m c\u0103 a existat o regul\u0103 de a plasa module de 5x5 rack-uri astfel \u00eenc\u00e2t consumul mediu s\u0103 fie de maximum \u0219ase kW. Adic\u0103, c\u0103ldura nu este concentrat\u0103 \u00eentr-un singur loc, ci este distribuit\u0103 \u00een \u00eentreaga sal\u0103 de ma\u0219ini. Totu\u0219i, exist\u0103 situa\u021bii \u00een care sunt 10 rack-uri de 15 kW al\u0103turate, dar \u00een fa\u021ba lor se afl\u0103 un stocaj. Acesta este rece. Se face un echilibru.<\/p>\n

Acolo unde nu exist\u0103 rack-uri - este necesar\u0103 o paravan p\u00e2n\u0103 la podea. <\/p>\n

De asemenea, avem unii clien\u021bi care sunt izola\u021bi cu gratii. Cu ace\u0219tia au existat c\u00e2teva particularit\u0103\u021bi. <\/p>\n

Am t\u0103iat lamelile deoarece l\u0103\u021bimea rack-urilor nu este fix\u0103, iar periodicitatea prinderii este definit\u0103: la trei-patru cm, \u00eentotdeauna spre dreapta sau spre st\u00e2nga. Dac\u0103 ai un bloc de 600 sub un loc pentru rack, probabilitatea c\u0103 nu se va potrivi este de 85%. Lamelile scurte \u0219i lungi coexist\u0103 \u0219i se lipesc. Uneori t\u0103iem lamela \u00een form\u0103 de L conform conturului rack-urilor.<\/p>\n

\"Cum
\n<\/p>\n

Senzori<\/h3>\n

\n\u00cenainte de a reduce puterea ventilatoarelor, era necesar s\u0103 configur\u0103m un monitorizat foarte precis al temperaturii \u00een diferite puncte ale s\u0103lii, pentru a nu avea surprize. A\u0219a au ap\u0103rut senzorii wireless. Cei cu fir - trebuie s\u0103 aib\u0103 c\u00e2te un dispozitiv pentru fiecare r\u00e2nd pentru a face leg\u0103tura \u00eentre ace\u0219ti senzori, iar uneori, la aceasta, se adaug\u0103 extensii. Aceasta se transform\u0103 \u00eentr-o ghirland\u0103. Foarte r\u0103u. \u0218i c\u00e2nd aceste fire intr\u0103 \u00een celulele clien\u021bilor, cei de la securitate devin imediat alertat \u0219i cer explica\u021bii cu certificat despre ce se m\u0103soar\u0103 prin aceste fire. Nervii securitatii trebuie proteja\u021bi. De senzorii wireless, dintr-un motiv oarecare, nu se ating. <\/p>\n

\u0218i rack-urile sosesc \u0219i pleac\u0103. Senzorul cu magnet este mai u\u0219or de reposat, deoarece trebuie s\u0103 fie plasat de fiecare dat\u0103 mai sus sau mai jos. Dac\u0103 serverele sunt \u00een treimea inferioar\u0103 a rack-ului, trebuie s\u0103 fie plasat mai jos, \u0219i nu conform standardului la un metru \u0219i jum\u0103tate de la podea pe u\u0219a rack-ului \u00een coridorul rece. M\u0103surarea acolo este inutil\u0103, trebuie s\u0103 m\u0103sur\u0103m ce este \u00een echipament. <\/p>\n

Un senzor pe trei rack-uri - adesea nu trebuie s\u0103 fie plasat. Temperatura nu difer\u0103. Ne-am temut c\u0103 va exista o tragere a aerului prin rack-uri - nu s-a \u00eent\u00e2mplat. Totu\u0219i, oferim pu\u021bin mai mult aer rece dec\u00e2t valorile calculate. Am realizat orificii \u00een lamelile 3, 7 \u0219i 12, deasupra rack-ului facem o deschidere. \u00cen aceasta, c\u00e2nd o inspect\u0103m, punem anemometrul: ne uit\u0103m dac\u0103 fluxul este direc\u021bionat unde trebuie.<\/p>\n

\"Cum
\n
\nApoi am ag\u0103\u021bat fire colorate: o practic\u0103 veche pentru sniperi. Arat\u0103 ciudat, dar permite detectarea rapid\u0103 a unei posibile probleme. <\/p>\n

\"Cum
\n <\/p>\n

Amuzant<\/h3>\n

\n\u00cen timp ce noi f\u0103ceam toate acestea \u00een t\u0103cere, a venit un furnizor care produce echipamente pentru centrele de date. Spune: haide\u021bi s\u0103 venim \u0219i s\u0103 vorbim despre eficien\u021ba energetic\u0103. Vin, \u00eencep s\u0103 vorbeasc\u0103 despre sala neoptimizat\u0103, fluxurile de aer. Noi d\u0103m din cap \u00een\u021beleg\u0103tori. Pentru c\u0103 la noi s-a instalat de trei ani. <\/p>\n

Ei pun c\u00e2te trei senzori pe fiecare rack. Imaginile de monitorizare sunt uimitoare, frumoase. Peste jum\u0103tate din aceast\u0103 solu\u021bie este costul \u2014 software-ul. La nivelul \u201ealert\u0103 \u00een Zabbix\u201d, dar proprietar \u0219i foarte scump. Problema este c\u0103 ei au senzori, software, \u0219i apoi caut\u0103 un contractor local: nu au furnizori proprii pentru cage-uri.<\/p>\n

Se dovede\u0219te c\u0103 munca lor cost\u0103 de cinci\u2013\u0219apte ori mai mult dec\u00e2t am realizat noi.<\/p>\n

Linkuri<\/h3>\n

<\/p>\n