{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Hur vi blev besatta av energieffektivitet i serverhallen","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hur
\n
\nJag dedikerar det h\u00e4r inl\u00e4gget till de personer som har ljugit i certifikat, vilket n\u00e4stan ledde till att vi installerade bengaliska eldar i v\u00e5ra hallar.<\/p>\n

Historien \u00e4r \u00f6ver fyra \u00e5r gammal, men jag publicerar den nu eftersom NDA:n har g\u00e5tt ut. D\u00e5 ins\u00e5g vi att vi n\u00e4stan hade fyllt datacentret (som vi hyr ut) helt, men att energieffektiviteten inte riktigt hade f\u00f6rb\u00e4ttrats. Tidigare var hypotesen att ju mer vi fyllde den, desto b\u00e4ttre, eftersom ingenj\u00f6rsm\u00e4ssigt f\u00f6rdelades belastningen p\u00e5 alla. Men det visade sig att vi lurade oss sj\u00e4lva, och vid h\u00f6g belastning fanns det f\u00f6rluster n\u00e5gonstans. Vi arbetade inom m\u00e5nga omr\u00e5den, men v\u00e5rt modiga team tog sig an kylningen. <\/p>\n

Det verkliga livet i datacentret \u00e4r en aning annorlunda \u00e4n i projektet. St\u00e4ndiga justeringar fr\u00e5n driftsavdelningen f\u00f6r att \u00f6ka effektiviteten och optimera inst\u00e4llningar f\u00f6r nya uppgifter. Ta den mytiska genomsnittliga racken. I praktiken finns den inte, belastningen \u00e4r oj\u00e4mnt f\u00f6rdelad, vissa platser \u00e4r \u00f6verfyllda, andra tomma. D\u00e4rf\u00f6r var vi tvungna att \u00e5terst\u00e4lla viss utrustning f\u00f6r b\u00e4ttre energieffektivitet.<\/p>\n

V\u00e5rt datacenter Kompressor beh\u00f6vs f\u00f6r en m\u00e4ngd olika kunder. D\u00e4rf\u00f6r kan det, mitt bland vanliga tv\u00e5- till fyra-kilowatt-rack, faktiskt finnas en rack p\u00e5 23 kilowatt eller mer. D\u00e4rf\u00f6r var luftkonditioneringarna inst\u00e4llda f\u00f6r att kyla dem, och genom de mindre kraftfulla racken susade luften bara f\u00f6rbi. <\/p>\n

Den andra hypotesen var att varmt och kallt korridorer inte blandas. Efter m\u00e4tningar kan jag s\u00e4ga att det \u00e4r en illusion, och den verkliga aerodynamiken skiljer sig fr\u00e5n modellen p\u00e5 n\u00e4stan alla s\u00e4tt. <\/a><\/noindex><\/p>\n

Unders\u00f6kning<\/h3>\n

\nF\u00f6rst b\u00f6rjade vi titta p\u00e5 luftfl\u00f6dena i hallarna. Varf\u00f6r gick vi dit? Eftersom vi f\u00f6rstod att datacentret var dimensionerat f\u00f6r fem-sex kW per rack, men vi visste att de i praktiken l\u00e5g mellan 0 och 25 kW. Att reglera detta med plattor \u00e4r n\u00e4stan om\u00f6jligt: de f\u00f6rsta m\u00e4tningarna visade att de n\u00e4stan sl\u00e4ppte igenom lika mycket. Och det finns inga plattor f\u00f6r 25 kW, de m\u00e5ste vara inte bara tomma utan med flytande vakuum. <\/p>\n

Vi k\u00f6pte en anemometer och b\u00f6rjade m\u00e4ta fl\u00f6dena mellan racken och ovanf\u00f6r racken. Generellt sett m\u00e5ste man arbeta med den enligt GOST och m\u00e5nga standarder, som \u00e4r sv\u00e5ra att genomf\u00f6ra utan att stoppa maskinhallen. Det som intresserade oss var inte exakt precision, utan den \u00f6vergripande bilden. Det vill s\u00e4ga vi m\u00e4ta f\u00f6r ungef\u00e4rligt.<\/p>\n

Enligt m\u00e4tningar av 100 procent av den luft som passerar genom plattorna, g\u00e5r 60 procent in i st\u00e4llena, resten passerar f\u00f6rbi. Detta beror p\u00e5 att det finns tunga st\u00e4ll som str\u00e4cker sig fr\u00e5n 15 till 25 kW, kring vilka kylsystemet \u00e4r byggt. <\/p>\n

Vi kan inte bara st\u00e4nga av luftkonditioneringarna, eftersom det kommer att bli f\u00f6r varmt p\u00e5 de varma st\u00e4llen i omr\u00e5det med de \u00f6vre servrarna. Just d\u00e5 inser vi att vi beh\u00f6ver isolera n\u00e5got fr\u00e5n n\u00e5got annat, s\u00e5 att luften inte hoppar fr\u00e5n rad till rad, och att v\u00e4rme\u00f6verf\u00f6ringen i enheten fortfarande sker. <\/p>\n

Samtidigt st\u00e4ller vi oss fr\u00e5gan om detta \u00e4r ekonomiskt f\u00f6rsvarbart. <\/p>\n

Vi uppt\u00e4cker f\u00f6rv\u00e5nat att vi har allm\u00e4n information om energif\u00f6rbrukningen i datacentret, men att vi helt enkelt inte kan r\u00e4kna p\u00e5 fl\u00e4ktkonvektorer f\u00f6r ett specifikt rum. Det vill s\u00e4ga, vi kan g\u00f6ra det analytiskt, men i praktiken g\u00e5r det inte. Och vi kan inte bed\u00f6ma besparingen. Uppgiften blir mer intressant f\u00f6r varje dag. Om vi sparar 10 % av luftkonditioneringens kapacitet \u2014 hur mycket pengar kan vi l\u00e4gga undan f\u00f6r isolering? Hur ska vi r\u00e4kna?<\/p>\n

Vi gick till automatiserarna som justerade \u00f6vervakningssystemet. Tack till killarna: de hade alla sensorer, vi beh\u00f6vde bara skriva om koden. De b\u00f6rjade visa chiller, UPS, belysning separat. Med den nya utrustningen blev det m\u00f6jligt att f\u00f6lja hur situationen f\u00f6r\u00e4ndras i systemets komponenter.<\/p>\n

Experiment med gardiner<\/h3>\n

\nSamtidigt b\u00f6rjar vi experimentera med gardiner (avskiljare). Vi best\u00e4mmer oss f\u00f6r att f\u00e4sta dem p\u00e5 stift av kabelkanaler (det finns inget annat att f\u00e4sta dem p\u00e5), s\u00e4rskilt eftersom de ska vara l\u00e4tta. Vi kom snabbt \u00f6verens om tak eller kammar. <\/p>\n

\"Hur
\n
\n\"Hur
\n
\nProblemet \u00e4r att vi tidigare har arbetat med m\u00e5nga leverant\u00f6rer. Alla har l\u00f6sningar f\u00f6r sina egna f\u00f6retags datacenter, men det finns i praktiken inga f\u00e4rdiga l\u00f6sningar f\u00f6r kommersiella datacenter. V\u00e5ra kunder kommer och g\u00e5r hela tiden. Vi \u00e4r ett av f\u00e5 \"tunga\" datacenter utan begr\u00e4nsningar p\u00e5 bredden av hyllor, med m\u00f6jlighet att ta emot dessa kraftfulla servrar p\u00e5 upp till 25 kW. Ingen planering av infrastrukturen i f\u00f6rv\u00e4g. Det vill s\u00e4ga, om vi skulle anv\u00e4nda modul\u00e4ra system f\u00f6r cageing fr\u00e5n leverant\u00f6rer \u2014 kommer det alltid att finnas luckor p\u00e5 tv\u00e5 m\u00e5nader. Det kommer aldrig att bli energieffektivt i princip. <\/p>\n

Vi best\u00e4mde oss f\u00f6r att g\u00f6ra det sj\u00e4lva, eftersom vi har v\u00e5ra egna ingenj\u00f6rer. <\/p>\n

Det f\u00f6rsta vi tog var band fr\u00e5n industriella kylsk\u00e5p. Det \u00e4r s\u00e5dana flexibla plastslangar som man kan sl\u00e5ss med. Ni har s\u00e4kert sett dem n\u00e5gonstans vid ing\u00e5ngen till k\u00f6ttavdelningen i de st\u00f6rsta matbutikerna. Vi b\u00f6rjade s\u00f6ka efter icke-toxiska och icke-br\u00e4nnbara material. Vi hittade, k\u00f6pte dem i tv\u00e5 rader. Vi h\u00e4ngde upp dem och b\u00f6rjade se vad som h\u00e4nde. <\/p>\n

Vi f\u00f6rstod att det kanske inte skulle bli s\u00e5 bra. Men det blev verkligen inte s\u00e4rskilt bra. De b\u00f6rjar, likt pasta, svaja i str\u00f6mmarna. Vi hittade magnetband som liknar magneter p\u00e5 kylsk\u00e5pet. Vi klistrade dem p\u00e5 dessa remsor, klistrade ihop dem, v\u00e4ggen blev n\u00e5got monolitisk. <\/p>\n

Vi b\u00f6rjade fundera p\u00e5 vad som skulle finnas i hallen. <\/p>\n

Vi gick till byggarna och visade dem v\u00e5rt projekt. De tittade och sa: era gardiner \u00e4r n\u00e5got mycket tunga. 700 kilo \u00f6ver hela maskinhallen. G\u00e5, sa de, sn\u00e4lla m\u00e4nniskor, till helvetet. Mer exakt, till SKS-teamet. L\u00e5t dem r\u00e4kna ut hur mycket nudlar de har i l\u00e5dorna, f\u00f6r 120 kg per kvadratmeter \u00e4r max. <\/p>\n

SKS s\u00e4ger: kom ih\u00e5g att en stor kund kom till oss? Han har tiotusentals portar i en hall. Vid kanterna av maskinhallen \u00e4r det okej, men n\u00e4rmare korsningen g\u00e5r det inte: l\u00e5dorna kommer att ramla av. <\/p>\n

Byggarna bad ocks\u00e5 om ett certifikat f\u00f6r materialet. Jag noterar att vi tidigare arbetade p\u00e5 leverant\u00f6rens goda ord, eftersom det bara var ett test. Vi h\u00f6rde av oss till denna leverant\u00f6r och sa: okej, vi \u00e4r redo att g\u00e5 till beta, l\u00e5t oss ha alla papper. De skickade n\u00e5got som inte riktigt var standard. <\/p>\n

Vi s\u00e4ger: lyssna, var fick ni detta papper ifr\u00e5n? De svarade: v\u00e5r kinesiska tillverkare skickade det som svar p\u00e5 v\u00e5ra f\u00f6rfr\u00e5gningar. Enligt pappret brinner den h\u00e4r grejen inte alls. <\/p>\n

Vid det h\u00e4r tillf\u00e4llet ins\u00e5g vi att det var dags att stanna upp och kontrollera fakta. Vi gick till tjejerna fr\u00e5n brands\u00e4kerheten p\u00e5 datacentret, och de n\u00e4mnde ett laboratorium som testar br\u00e4nnbarhet. Rimliga priser och tidsramar (f\u00f6rresten, vi f\u00f6rbannade allt medan vi sammanst\u00e4llde de n\u00f6dv\u00e4ndiga papperna). D\u00e4r s\u00e4ger forskarna: ta med materialet, s\u00e5 ska vi g\u00f6ra tester. <\/p>\n

I slutsatsen stod det skrivet att av ett kilo \u00e4mne blir det ungef\u00e4r 50 gram aska kvar. Resten brinner starkt, rinner ner och st\u00f6der mycket bra f\u00f6rbr\u00e4nning i en p\u00f6l. <\/p>\n

Vi inser \u2013 tur att vi inte k\u00f6pte. Vi b\u00f6rjade leta efter ett annat material. <\/p>\n

Vi har hittat polykarbonat. Det visade sig vara h\u00e5rdare. Den genomskinliga plattan \u00e4r tv\u00e5 mm, d\u00f6rrarna \u00e4r gjorda av fyra mm. I grunden \u00e4r detta akryl. Tillsammans med tillverkaren b\u00f6rjar vi diskutera brands\u00e4kerhet: kan vi f\u00e5 ett certifikat? De skickar det. Det \u00e4r undertecknat av samma institut. Vi ringer dit och fr\u00e5gar: har ni testat detta?<\/p>\n

De s\u00e4ger: ja, vi har testat. F\u00f6rst br\u00e4nde vi det sj\u00e4lva, och f\u00f6rst d\u00e4refter tog vi det till tester. Av ett kilogram material kvarst\u00e5r (om man br\u00e4nner det med en br\u00e4nnare) ungef\u00e4r 930 gram aska. Det sm\u00e4lter och droppar, men p\u00f6len kommer inte att brinna. <\/p>\n

Vi kontrollerar genast v\u00e5ra magneter (de har en polymeerbakgrund). \u00d6verraskande nog brinner de d\u00e5ligt. <\/p>\n

Samling<\/h3>\n

\nVi b\u00f6rjar samla fr\u00e5n detta. Polykarbonatet \u00e4r utm\u00e4rkt eftersom det \u00e4r l\u00e4ttare \u00e4n polyeten, som b\u00f6jer sig mycket s\u00e4mre. Problemet \u00e4r att plattorna levereras i storlek 2,5 p\u00e5 3 meter, och leverant\u00f6ren bryr sig inte om vad vi ska g\u00f6ra med dem. Vi beh\u00f6ver 2,8 i bredd p\u00e5 20\u201325 centimeter. D\u00f6rrarna skickades till f\u00f6retag som sk\u00e4r plattorna som beh\u00f6vs. Lamellerna skar vi sj\u00e4lva. Sj\u00e4lva sk\u00e4rprocessen \u00e4r dubbelt s\u00e5 dyr som plattan.<\/p>\n

S\u00e5 h\u00e4r blev resultatet:<\/p>\n

\"Hur
\n
\nResultatet \u00e4r att cagesystemet betalar sig p\u00e5 mindre \u00e4n ett \u00e5r. Vi har sparat 200\u2013250 kWh p\u00e5 effekten av fl\u00e4ktspolarna. N\u00e5got mer p\u00e5 chillerna, exakt hur mycket vet vi inte. Servrarna drar konstant, fl\u00e4ktspolarna bl\u00e5ser. Chillrarna sl\u00e5s p\u00e5 och av successivt: det \u00e4r sv\u00e5rt att extrahera data fr\u00e5n dem. Man kan inte stoppa maskinhallen f\u00f6r tester. <\/p>\n

Vi \u00e4r glada att det tidigare fanns en regel att placera 5x5 rack s\u00e5 att deras genomsnittliga f\u00f6rbrukning var h\u00f6gst sex kW. Det vill s\u00e4ga att v\u00e4rmen inte \u00e4r koncentrerad i en \u00f6, utan spridd \u00f6ver maskinhallen. Men det finns en situation d\u00e4r tio stycken 15-kilowatt rack st\u00e5r n\u00e4ra varandra, men mittemot finns ett kallt lagersystem. Det balanserar.<\/p>\n

D\u00e4r det inte finns n\u00e5got rack beh\u00f6vs en avsk\u00e4rmning ner till golvet. <\/p>\n

Och dessutom har vi vissa kunder som \u00e4r avskilda med galler. Det fanns ocks\u00e5 flera s\u00e4rdrag med dem. <\/p>\n

Vi skar lamellerna eftersom bredden p\u00e5 racken \u00e4r variabel, och intervallet f\u00f6r gallerf\u00e4stena \u00e4r definierat: tre\u2013fyra cm, alltid till h\u00f6ger eller v\u00e4nster. Om du har en modul p\u00e5 600 under ett rack, \u00e4r det med 85 procent sannolikhet som den inte kommer att passa. Kortare och l\u00e4ngre lameller samexisterar och klistras ihop. Ibland sk\u00e4r vi lameller i form av ett G efter konturerna av racken.<\/p>\n

\"Hur
\n<\/p>\n

Sensors<\/h3>\n

\nInnan man minskar effekten p\u00e5 fl\u00e4ktkonvektorerna, var man tvungen att st\u00e4lla in en mycket noggrann temperatur\u00f6vervakning p\u00e5 olika punkter i rummet f\u00f6r att undvika \u00f6verraskningar. S\u00e5 uppkom de tr\u00e5dl\u00f6sa sensorerna. Tr\u00e5dbundna \u2014 man m\u00e5ste h\u00e4nga en egen enhet f\u00f6r varje rad f\u00f6r kopplingen av dessa sensorer, och ibland till dem \u2014 f\u00f6rl\u00e4ngningskablar. Det blir som en girlang. Mycket d\u00e5ligt. N\u00e4r dessa kablar g\u00e5r in till kundernas enheter, blir s\u00e4kerhetspersonalen genast oroliga och ber om f\u00f6rklaringar med certifikat om vad som \u00f6vervakas via dessa kablar. Man b\u00f6r vara sn\u00e4ll mot s\u00e4kerhetspersonalen. De tr\u00e5dl\u00f6sa sensorerna r\u00f6r de av n\u00e5gon anledning inte. <\/p>\n

Och dessutom kommer och g\u00e5r st\u00e4llningar. En sensor p\u00e5 magnet \u00e4r enklare att montera om, eftersom den varje g\u00e5ng m\u00e5ste placeras h\u00f6gre eller l\u00e4gre. Om servrarna \u00e4r i den nedre tredjedelen av st\u00e4llningen m\u00e5ste man h\u00e4nga den ned\u00e5t, ist\u00e4llet f\u00f6r som standard en och en halv meter \u00f6ver golvet p\u00e5 d\u00f6rren till st\u00e4llningen i den kalla korridoren. D\u00e4r \u00e4r det meningsl\u00f6st att m\u00e4ta, man m\u00e5ste m\u00e4ta det som finns i utrustningen. <\/p>\n

En sensor p\u00e5 tre st\u00e4llningar \u2014 oftare beh\u00f6ver man inte h\u00e4nga dem. Temperaturen skiljer sig inte. Vi oroade oss f\u00f6r att det skulle bli drag av luften genom st\u00e4llningarna, \u2014 men det h\u00e4nde inte. Men vi ger fortfarande lite mer kall luft \u00e4n de ber\u00e4knade v\u00e4rdena. Vi gjorde sm\u00e5 \u00f6ppningar i lamellerna 3, 7 och 12, och ovanf\u00f6r st\u00e4llningen g\u00f6r vi ett h\u00e5l. I det s\u00e4tter vi en anemometer vid inspektionen: vi kontrollerar att fl\u00f6det g\u00e5r dit det ska.<\/p>\n

\"Hur
\n
\nSedan h\u00e4ngde vi upp f\u00e4rgglada tr\u00e5dar: en gammal praxis f\u00f6r snipers. Ser konstigt ut, men g\u00f6r att man snabbare kan uppt\u00e4cka m\u00f6jliga problem. <\/p>\n

\"Hur
\n <\/p>\n

Roligt<\/h3>\n

\nMedan vi tyst gjorde allt detta kom en leverant\u00f6r, som tillverkar utrustning f\u00f6r datacenter. De sa: l\u00e5t oss komma och ber\u00e4tta om energieffektivitet. De kom, b\u00f6rjade prata om ett suboptimalt rum, luftfl\u00f6den. Vi nickade f\u00f6rst\u00e5ende. F\u00f6r vi har haft det installerat i tre \u00e5r nu. <\/p>\n

De s\u00e4tter tre sensorer p\u00e5 varje st\u00e4llning. \u00d6vervakningsbilderna \u00e4r otroliga, vackra. Mer \u00e4n h\u00e4lften av den h\u00e4r l\u00f6sningen i pris \u2014 mjukvaran. P\u00e5 niv\u00e5n av \"alert i Zabbix\", men propriet\u00e4r och mycket dyr. Problemet \u00e4r ocks\u00e5 att de har sensorer, mjukvaran, och sedan letar de efter en entrepren\u00f6r p\u00e5 plats: de har inga egna leverant\u00f6rer f\u00f6r cage.<\/p>\n

Det visar sig att det kostar dem fem till sju g\u00e5nger mer \u00e4n vad vi gjorde.<\/p>\n

L\u00e4nkar<\/h3>\n

<\/p>\n