{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Hvordan vi er g\u00e5et amok med energieffektiviteten i datacenteret","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hvordan
\n
\nJeg dedikerer dette indl\u00e6g til de mennesker, der har l\u00f8jet i certifikaterne, hvilket n\u00e6sten f\u00f8rte til, at vi fik sat bengalske lys op i vores sale.<\/p>\n

Historien er over fire \u00e5r gammel, men jeg offentligg\u00f8r den nu, fordi NDA'en er udl\u00f8bet. Dengang inds\u00e5 vi, at vi n\u00e6sten havde fyldt datacenteret (som vi lejer ud) helt op, men energieffektiviteten var ikke rigtig forbedret. Tidligere var hypotesen, at jo mere vi fyldte det op, desto bedre, fordi ingeni\u00f8rarbejdet fordeles p\u00e5 alle. Men det viste sig, at vi havde narret os selv, og ved h\u00f8j belastning var der tab et sted. Vi arbejdede p\u00e5 mange fronter, men vores modige team tog sig af k\u00f8lingen. <\/p>\n

Det virkelige liv i datacenteret er ikke helt som i projektet. Der er konstant justeringer fra driftsafdelingen for at forbedre effektiviteten og optimere indstillinger til nye opgaver. Tag for eksempel den mytiske gennemsnitlige rack. I praksis findes den ikke, for belastningen er uensartet, nogle steder t\u00e6t, andre steder tomt. Derfor var vi n\u00f8dt til at recalibrere nogle ting for bedre energieffektivitet.<\/p>\n

Vores datacenter Kompressor er n\u00f8dvendigt for en r\u00e6kke forskellige kunder. Derfor kan der blandt de almindelige to- til fire-kilowatts racks sagtens v\u00e6re en 23-kilowatts eller st\u00f8rre. Derfor var klimaanl\u00e6gget indstillet til at k\u00f8le dem, og luften passerede ganske enkelt forbi gennem mindre kraftige racks. <\/p>\n

Den anden hypotese var, at varme og kolde korridorer ikke blandes. Efter m\u00e5linger kan jeg sige, at det er en illusion, og den virkelige aerodynamik adskiller sig fra modellen n\u00e6sten p\u00e5 alle punkter. <\/a><\/noindex><\/p>\n

Unders\u00f8gelse<\/h3>\n

\nVi begyndte f\u00f8rst at se p\u00e5 luftstr\u00f8mme i sale. Hvorfor tog vi fat i det? Fordi vi vidste, at datacenteret er designet til fem-seks kW pr. rack, men vi vidste, at de i virkeligheden ligger mellem 0 og 25 kW. At regulere alt dette med plader er n\u00e6sten umuligt: de f\u00f8rste m\u00e5linger viste, at de n\u00e6sten alle slipper lige meget igennem. Og plader til 25 kW findes overhovedet ikke; de skal ikke bare v\u00e6re tomme, men med flydende vakuum. <\/p>\n

Vi k\u00f8bte et anemometer og begyndte at m\u00e5le str\u00f8mme mellem racks og over racks. Generelt skal man arbejde med det i henhold til GOST og en masse standarder, der er vanskelige at overholde uden at stoppe maskinrummet. Vi var ikke interesserede i pr\u00e6cision, men i det overordnede billede. S\u00e5 vi m\u00e5lte cirka.<\/p>\n

If we measure 100 percent of the air that exits through the tiles, 60 percent enters the racks, while the rest passes by. This is due to the heavy racks of 15\u201325 kW, which are set up for cooling. <\/p>\n

We cannot simply turn off the air conditioners because it will get quite warm in the upper server area of the warm racks. At this point, we realize we need to isolate something to prevent the air from jumping from row to row while still allowing thermal exchange within the unit. <\/p>\n

At the same time, we ask ourselves whether this is financially viable. <\/p>\n

We are surprised to discover that we have data on the overall energy consumption of the data center, but we simply can't calculate the fan coils for a specific room. We can do it analytically, but in practice \u2014 we can't. And we are unable to estimate the savings. The task is becoming more and more interesting. If we save 10% of the air conditioner capacity \u2014 how much money can we set aside for insulation? How do we calculate it?<\/p>\n

We approached the automation team that was refining the monitoring system. Thanks to the guys: they had all the sensors, we just needed to write some additional code. They started displaying the chillers, UPS, and lighting separately. With the new setup, we had the ability to see how the situation changed across system elements.<\/p>\n

Experiments with curtains<\/h3>\n

\nMeanwhile, we begin experiments with curtains (dividers). We decide to attach them to the cable tray pins (there's really nothing else to attach them to), luckily they should be light. We quickly decided on the canopies and combs. <\/p>\n

\"Hvordan
\n
\n\"Hvordan
\n
\nThe problem is that we previously worked with a variety of vendors. Everyone has solutions for their own company data centers, but there are virtually no ready-made solutions for commercial data centers. Our clients come and go constantly. We are one of the few 'heavy' data centers with no width restrictions on racks capable of accommodating these powerful servers up to 25 kW. There is no advance infrastructure planning. So if we take modular cage systems from vendors, there will always be gaps lasting two months. In other words, the machine hall will never be energy-efficient in principle. <\/p>\n

We decided to do it ourselves, fortunately, we have our own engineers. <\/p>\n

Det f\u00f8rste, vi tog, var b\u00e5nd fra industrielle k\u00f8leskaber. Det er s\u00e5dan nogle fleksible plastslanger, som man kan kaste med. I har sikkert set dem et sted ved indgangen til k\u00f8dafdelingen i de st\u00f8rste supermarkeder. Vi begyndte at lede efter giftfrie og ikke-br\u00e6ndbare materialer. Vi fandt nogle og k\u00f8bte dem til to r\u00e6kker. Vi h\u00e6ngte dem op og begyndte at se, hvad der kom ud af det. <\/p>\n

Vi vidste, at det ikke ville blive helt perfekt. Men det blev overhovedet meget, meget ikke perfekt. De begynder, ligesom pasta, at flagre i str\u00f8mmen. Vi fandt magnetb\u00e5nd, ligesom dem p\u00e5 k\u00f8leskaber. Vi kl\u00e6bte dem p\u00e5 disse striber, limede dem sammen, og v\u00e6ggen blev som den skulle v\u00e6re. <\/p>\n

Vi begyndte at overveje, hvad der ville ske i hallen. <\/p>\n

Vi gik til bygherrene og viste dem vores projekt. De kiggede og sagde: jeres gardiner er meget tunge. 700 kilo over hele maskinhallen. G\u00e5 til helvede, sagde de, eller rettere til SCS-teamet. Lad dem regne ud, hvor meget nudler de har i kasserne, for 120 kg per kvadratmeter er maksimum. <\/p>\n

SCS sagde: husker I, at en stor kunde kom til os? Han har titusindvis af porte i \u00e9n hal. I kan s\u00e6tte det p\u00e5 kanterne af maskinhallen, men t\u00e6ttere p\u00e5 krydsfeltet kan det ikke lade sig g\u00f8re: kasserne vil falde af. <\/p>\n

Bygherrene bad ogs\u00e5 om et certifikat p\u00e5 materialet. Jeg bem\u00e6rker, at vi indtil da havde arbejdet p\u00e5 leverand\u00f8rens \u00e6re, da det kun var en test- gennemgang. Vi henvendte os til denne leverand\u00f8r og sagde: OK, vi er klar til at g\u00e5 i beta, lad os f\u00e5 alle papirer. De sendte os et dokument, der ikke var helt standard. <\/p>\n

Vi sagde: h\u00f8r, hvor har I dette papir fra? De sagde: det sendte vores kinesiske producent som svar p\u00e5 foresp\u00f8rgsler. If\u00f8lge papiret br\u00e6nder dette materiale slet ikke. <\/p>\n

P\u00e5 det tidspunkt inds\u00e5 vi, at vi m\u00e5tte stoppe op og kontrollere fakta. Vi gik til pigerne fra brandbeskyttelse i datacentret, de n\u00e6vnte et laboratorium, der tester brandbarhed. Det var rimelige priser og tidsrammer (det skal siges, at vi forbandede alt, mens vi samlede det n\u00f8dvendige antal papirarbejder). Der sagde forskerne: bring materialet, s\u00e5 vil vi lave testene. <\/p>\n

I konklusionen stod der, at der ud af et kilo stof bliver der omkring 50 gram aske tilbage. Det andet br\u00e6nder lysende, smelter og underst\u00f8tter br\u00e6nding i en p\u00f8l meget godt. <\/p>\n

Vi forst\u00e5r - godt, at vi ikke k\u00f8bte det. Vi begyndte at lede efter et andet materiale. <\/p>\n

Vi fandt polykarbonat. Det viste sig at v\u00e6re mere stift. Det klare lag er to mm, d\u00f8rene er lavet af fire mm. Grundl\u00e6ggende er det akrylglas. Sammen med producenten begynder vi at tage fat p\u00e5 brandsikkerheden: lad os f\u00e5 certifikatet. De sender det. Det er underskrevet af samme institut. Vi ringer dertil, siger: hvad s\u00e5, fyre, har I testet det?<\/p>\n

De siger: ja, vi har testet det. F\u00f8rst br\u00e6ndte de det selv, derefter bragte de det kun til test. Der bliver omkring 930 gram aske tilbage fra et kilo materiale, n\u00e5r man br\u00e6nder det med en gasbr\u00e6nder. Det smelter og drypper, men der vil ikke v\u00e6re nogen s\u00f8le, der br\u00e6nder. <\/p>\n

Vi tjekker straks vores magneter (de er p\u00e5 en polymerunderlag). Overraskende nok br\u00e6nder de d\u00e5rligt. <\/p>\n

Kompilering<\/h3>\n

\nVi begynder at samle fra dette. Polykarbonat er fantastisk, fordi det er lettere end polyethylen, hvilket b\u00f8jer meget v\u00e6rre. Sandheden er, at de leverer plader p\u00e5 2,5 p\u00e5 3 meter, og leverand\u00f8ren bryder sig ikke om, hvad man skal g\u00f8re med det. Men vi har brug for 2,8 bredde 20\u201325 centimeter. D\u00f8re blev sendt til virksomheder, der sk\u00e6rer pladerne som n\u00f8dvendigt. Vi skar lamellerne selv. Selve sk\u00e6ringsprocessen koster to gange s\u00e5 meget som pladen.<\/p>\n

S\u00e5dan blev det:<\/p>\n

\"Hvordan
\n
\nResultatet er, at cage-systemet betaler sig p\u00e5 under et \u00e5r. Dette har sparet os 200\u2013250 KWh konstant p\u00e5 energi til fan-coilerne. Hvor meget vi sparer p\u00e5 chillere, ved vi ikke pr\u00e6cist. Serverne suger konstant, fan-coilerne bl\u00e6ser. Chillere t\u00e6ndes og slukkes i en b\u00f8lger: det er sv\u00e6rt at tr\u00e6kke data ud af dem. Man kan ikke stoppe maskinrummet for tests. <\/p>\n

Vi gl\u00e6der os over, at der engang var en regel om at placere rackene i moduler p\u00e5 5x5 s\u00e5ledes, at deres gennemsnitlige forbrug maksimalt var seks kW. Det vil sige, at varmen ikke er koncentreret p\u00e5 et sted, men fordelt i maskinrummet. Men der er en situation, hvor 10 stk. 15-kilowatt racks er t\u00e6t p\u00e5 hinanden, men lige overfor er der en kold lagerplads. Det balanceres.<\/p>\n

Hvor der ikke er rack, er der behov for en afsk\u00e6rmning til gulvet. <\/p>\n

Og vi har ogs\u00e5 nogle kunder, der er adskilt af gitre. Der var ogs\u00e5 nogle s\u00e6rlige forhold ved dem. <\/p>\n

Lamellerne blev sk\u00e5ret, fordi bredden p\u00e5 rackene ikke er fast, og periodiseringen af \u200b\u200bb\u00f8lgefastg\u00f8relserne er bestemt: tre-fire cm til h\u00f8jre eller venstre, vil altid v\u00e6re s\u00e5dan. Hvis du har en blok p\u00e5 600 under rackpladsen, er der 85 procent sandsynlighed for, at den ikke vil passe. Og korte og lange lameller sameksisterer og kl\u00e6ber sammen. Nogle gange sk\u00e6rer vi lamellen i en L-form efter konturerne af rackene.<\/p>\n

\"Hvordan
\n<\/p>\n

Sensorer<\/h3>\n

\nInden du reducerer kraften til ventilatorerne, skal der indstilles en meget pr\u00e6cis temperaturmonitorering p\u00e5 forskellige punkter i lokalet for at undg\u00e5 overraskelser. S\u00e5ledes opstod de tr\u00e5dl\u00f8se sensorer. Kablede sensorer kr\u00e6ver, at der h\u00e6nges en enhed op for hver r\u00e6kke til krydsning af disse sensorer, og nogle gange skal der bruges forl\u00e6ngerkabler. Det bliver til en lysk\u00e6de. Meget d\u00e5rligt. N\u00e5r disse ledninger kommer ind i kundernes kabinetter, bliver sikkerhedsfolkene straks nerv\u00f8se og beder om forklaringer med certifikat om, hvad der m\u00e5les via disse ledninger. Man skal tage hensyn til sikkerhedspersonalets nerver. Tr\u00e5dl\u00f8se sensorer ber\u00f8rer de af en eller anden grund ikke. <\/p>\n

Og s\u00e5 ankommer og afg\u00e5r stativerne. Magnetensensoren er lettere at ommontere, fordi den hver gang skal h\u00e6nges h\u00f8jere eller lavere. Hvis serverne er i den nederste tredjedel af stativet, skal den h\u00e6nges lavere og ikke standardm\u00e6ssigt 1,5 meter over gulvet p\u00e5 d\u00f8ren til stativet i det kolde korridor. Det er ikke nyttigt at m\u00e5le der, man skal m\u00e5le, hvad der er i udstyret. <\/p>\n

En sensor p\u00e5 tre stativer \u2014 oftere kan man undv\u00e6re det. Temperaturen varierer ikke. Vi var bekymrede for, at der ville v\u00e6re for meget luftgennemstr\u00f8mning gennem selve stativerne \u2014 men det skete ikke. Men vi giver stadig lidt mere kold luft, end de beregnede v\u00e6rdier. Vi lavede sm\u00e5 \u00e5bninger i lamellerne 3, 7 og 12, og over stativet laver vi et hul. I det placerer vi et anemometer under inspektionen: vi ser, at str\u00f8mmen g\u00e5r, hvor den skal.<\/p>\n

\"Hvordan
\n
\nDerefter h\u00e6ngte vi farverige snore op: en gammel praksis for snigskytter. Det ser m\u00e6rkeligt ud, men det g\u00f8r det muligt at opdage mulige problemer hurtigere. <\/p>\n

\"Hvordan
\n <\/p>\n

Morsomt<\/h3>\n

\nMens vi stille og roligt gjorde dette, kom en leverand\u00f8r, som producerer ingeni\u00f8rer til datacentre. Han sagde: lad os komme og fort\u00e6lle om energieffektivitet. De ankom, begyndte at tale om det suboptimale lokale, luftstr\u00f8mningerne. Vi nikker forst\u00e5ende, fordi vi har haft det installeret i tre \u00e5r. <\/p>\n

De h\u00e6nger tre sensorer op p\u00e5 hvert stativ. Billederne fra monitoreringen er imponerende og smukke. Mere end halvdelen af denne l\u00f8sning koster \u2014 softwaren. P\u00e5 niveauet \"alarm i Zabbix\", men propriet\u00e6r og meget dyr. Problemet er, at de har sensorer, software, og derefter leder de efter en entrepren\u00f8r p\u00e5 stedet: de har ikke deres egne leverand\u00f8rer til cage-opstillinger.<\/p>\n

Det viser sig, at deres l\u00f8sninger koster fem til syv gange mere, end hvad vi har gjort.<\/p>\n

Links<\/h3>\n

<\/p>\n