{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Jak zadbali\u015bmy o efektywno\u015b\u0107 energetyczn\u0105 naszego centrum danych","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jak
\n
\nTen post dedykuj\u0119 osobom, kt\u00f3re k\u0142ama\u0142y w certyfikatach, przez co prawie wprowadzili\u015bmy do naszego obiektu bengalskie ogni.<\/p>\n

To historia sprzed ponad czterech lat, ale publikuj\u0119 j\u0105 teraz, poniewa\u017c wygas\u0142a umowa o poufno\u015bci. Wtedy zrozumieli\u015bmy, \u017ce prawie ca\u0142kowicie zape\u0142nili\u015bmy wynajmowane centrum danych, a jego efektywno\u015b\u0107 energetyczna nie poprawi\u0142a si\u0119 w znacz\u0105cy spos\u00f3b. Wcze\u015bniej s\u0105dzili\u015bmy, \u017ce im bardziej je zape\u0142nimy, tym lepiej, poniewa\u017c in\u017cynieria rozk\u0142ada si\u0119 na wszystkich. Okaza\u0142o si\u0119, \u017ce w ten spos\u00f3b oszukiwali\u015bmy si\u0119, a przy du\u017cym obci\u0105\u017ceniu wyst\u0119powa\u0142y straty. Pracowali\u015bmy w wielu obszarach, ale nasz odwa\u017cny zesp\u00f3\u0142 zaj\u0105\u0142 si\u0119 ch\u0142odzeniem. <\/p>\n

Realne \u017cycie centrum danych to troch\u0119 co\u015b innego ni\u017c projekt. Ci\u0105g\u0142e dostosowywanie ze strony zespo\u0142u operacyjnego w celu zwi\u0119kszenia efektywno\u015bci i optymalizacja ustawie\u0144 pod nowe zadania. W przypadku wirtualnej \u015bredniej szafki to nie istnieje, poniewa\u017c obci\u0105\u017cenie jest nier\u00f3wnomierne \u2014 gdzie\u015b jest g\u0119sto, a gdzie indziej pusto. Dlatego musieli\u015bmy dostosowa\u0107 niekt\u00f3re rzeczy, aby poprawi\u0107 efektywno\u015b\u0107 energetyczn\u0105.<\/p>\n

Nasze centrum danych Kompresor jest potrzebne dla r\u00f3\u017cnych klient\u00f3w. Dlatego po\u015br\u00f3d zwyk\u0142ych stojak\u00f3w o mocy dw\u00f3ch\u2013czterech kilowat\u00f3w mo\u017ce si\u0119 znale\u017a\u0107 ca\u0142kiem solidny stojak o mocy 23 kilowat\u00f3w lub wi\u0119cej. Odpowiednio, klimatyzatory zosta\u0142y dostosowane do ich ch\u0142odzenia, a przez mniej wydajne stojaki powietrze po prostu przelatywa\u0142o obok. <\/p>\n

Druga hipoteza zak\u0142ada\u0142a, \u017ce ciep\u0142e i zimne korytarze si\u0119 nie mieszaj\u0105. Po pomiarach mog\u0119 stwierdzi\u0107, \u017ce to iluzja, a rzeczywista aerodynamika r\u00f3\u017cni si\u0119 od modelu praktycznie we wszystkim. <\/a><\/noindex><\/p>\n

Badanie<\/h3>\n

\nNajpierw zacz\u0119li\u015bmy analizowa\u0107 przep\u0142ywy powietrza w salach. Dlaczego to zrobili\u015bmy? Poniewa\u017c rozumieli\u015bmy, \u017ce centrum danych jest zaprojektowane na pi\u0119\u0107-trzy kilowaty na stojak, ale wiedzieli\u015bmy, \u017ce w rzeczywisto\u015bci mieszcz\u0105 si\u0119 one w przedziale od 0 do 25 kilowat\u00f3w. Regulacja tego wszystkiego za pomoc\u0105 p\u0142ytek jest prawie niemo\u017cliwa: pierwsze pomiary pokaza\u0142y, \u017ce przepuszczaj\u0105 one praktycznie tej samej wielko\u015bci. A p\u0142ytek o mocy 25 kilowat\u00f3w w\u0142a\u015bciwie nie ma, musz\u0105 by\u0107 nie tylko puste, ale z ciecz\u0105 w pr\u00f3\u017cni. <\/p>\n

Kupili\u015bmy anemometr i zacz\u0119li\u015bmy mierzy\u0107 przep\u0142ywy mi\u0119dzy stojakami i nad nimi. W\u0142a\u015bciwie do pracy z nim trzeba stosowa\u0107 si\u0119 do norm i wielu standard\u00f3w, co jest trudne do zrealizowania bez zatrzymywania pomieszczenia maszynowego. Interesowa\u0142a nas nie tyle dok\u0142adno\u015b\u0107, co og\u00f3lny obraz. Mierzyli\u015bmy mniej wi\u0119cej.<\/p>\n

Z pomiaru wynika, \u017ce z 100 procent powietrza, kt\u00f3re wydobywa si\u0119 z kratek, 60 procent trafia do stojak\u00f3w, a reszta przelatuje obok. To z powodu ci\u0119\u017ckich stojak\u00f3w o mocy od 15 do 25 kW, na kt\u00f3rych zbudowane jest ch\u0142odzenie. <\/p>\n

Nie mo\u017cemy po prostu wy\u0142\u0105czy\u0107 klimatyzator\u00f3w, poniewa\u017c na ciep\u0142ych stojakach w okolicy g\u00f3rnych serwer\u00f3w b\u0119dzie zbyt ciep\u0142o. W tym momencie rozumiemy, \u017ce trzeba co\u015b od czego\u015b izolowa\u0107, aby powietrze nie przeskakiwa\u0142o z rz\u0119du do rz\u0119du i aby wymiana ciep\u0142a w bloku jednak nast\u0119powa\u0142a. <\/p>\n

R\u00f3wnocze\u015bnie zadajemy sobie pytanie, czy jest to op\u0142acalne finansowo. <\/p>\n

Z zadziwieniem odkrywamy, \u017ce og\u00f3lne zu\u017cycie energii w naszym centrum danych jest znane, ale nie potrafimy oszacowa\u0107 zu\u017cycia fancoil\u00f3w dla konkretnej sali. To znaczy, mo\u017cemy to zrobi\u0107 analitycznie, ale w praktyce \u2014 nie. Nie jeste\u015bmy w stanie oceni\u0107 oszcz\u0119dno\u015bci. Zadanie staje si\u0119 coraz ciekawsze. Je\u015bli zaoszcz\u0119dzimy 10% mocy klimatyzator\u00f3w \u2014 ile pieni\u0119dzy mo\u017cna od\u0142o\u017cy\u0107 na izolacj\u0119? Jak to policzy\u0107?<\/p>\n

Poszli\u015bmy do automatyk\u00f3w, kt\u00f3rzy dostosowywali system monitorowania. Dzi\u0119kujemy ch\u0142opakom: mieli wszystkie czujniki, trzeba by\u0142o tylko dopisa\u0107 kod. Zacz\u0119li wyprowadza\u0107 dane dla ch\u0142odziarek, UPS-\u00f3w czy o\u015bwietlenia. Dzi\u0119ki nowemu urz\u0105dzeniu pojawi\u0142a si\u0119 mo\u017cliwo\u015b\u0107 obserwacji, jak zmienia si\u0119 sytuacja w poszczeg\u00f3lnych elementach systemu.<\/p>\n

Eksperymenty z zas\u0142onami<\/h3>\n

\nR\u00f3wnolegle zaczynamy eksperymenty z zas\u0142onami (przegrodami). Decydujemy si\u0119 je przymocowa\u0107 do wspornik\u00f3w koryt kablowych (bo do niczego innego ich nie przymocujemy), na szcz\u0119\u015bcie musz\u0105 by\u0107 lekkie. Szybko zdecydowali\u015bmy o daszkach lub grzebieniach. <\/p>\n

\"Jak
\n
\n\"Jak
\n
\nProblem polega na tym, \u017ce wcze\u015bniej pracowali\u015bmy z wieloma dostawcami. Wszyscy maj\u0105 rozwi\u0105zania dla w\u0142asnych centr\u00f3w danych, ale w zasadzie nie ma gotowych rozwi\u0105za\u0144 dla komercyjnych centr\u00f3w danych. Nasi klienci ci\u0105gle przyje\u017cd\u017caj\u0105 i odje\u017cd\u017caj\u0105. Jeste\u015bmy jednym z nielicznych \"ci\u0119\u017ckich\" centr\u00f3w danych bez ogranicze\u0144 co do szeroko\u015bci szafy serwerowej, mog\u0105cych przyjmowa\u0107 te serwery o mocy do 25 kW. \u017badne planowanie infrastruktury z wyprzedzeniem. Oznacza to, \u017ce je\u015bli zdecydujemy si\u0119 na modu\u0142owe systemy od dostawc\u00f3w, zawsze b\u0119d\u0105 op\u00f3\u017anienia o co najmniej dwa miesi\u0105ce. Nasz magazyn wi\u0119c nigdy nie b\u0119dzie zasadniczo energoefektywny. <\/p>\n

Postanowili\u015bmy zrobi\u0107 to samodzielnie, na szcz\u0119\u015bcie mamy w\u0142asnych in\u017cynier\u00f3w. <\/p>\n

Pierwsze, co zrobili\u015bmy, to zam\u00f3wienie ta\u015bm od przemys\u0142owych ch\u0142odziarek. To elastyczne folie polietylenowe, kt\u00f3rymi mo\u017cna si\u0119 pos\u0142u\u017cy\u0107. Z pewno\u015bci\u0105 widzieli\u015bcie je gdzie\u015b na wej\u015bciu do dzia\u0142u mi\u0119snego w najwi\u0119kszych supermarketach. Zacz\u0119li\u015bmy szuka\u0107 nietoksycznych i niepalnych materia\u0142\u00f3w. Znale\u017ali\u015bmy, kupili\u015bmy na dwa rz\u0119dy. Powiesili\u015bmy je i zacz\u0119li\u015bmy ogl\u0105da\u0107, co z tego wysz\u0142o. <\/p>\n

Zdawali\u015bmy sobie spraw\u0119, \u017ce nie b\u0119dzie \u0142atwo. Ale wysz\u0142o naprawd\u0119 bardzo \u017ale. Zacz\u0119li si\u0119 rozwiewa\u0107 jak makarony w strugach powietrza. Znale\u017ali\u015bmy ta\u015bmy magnetyczne, jak na lod\u00f3wk\u0119. Przykleili\u015bmy je do tych pas\u00f3w i do siebie, wi\u0119c \u015bciana wysz\u0142a w miar\u0119 monolityczna. <\/p>\n

Zacz\u0119li\u015bmy zastanawia\u0107 si\u0119, co b\u0119dzie w sali. <\/p>\n

Poszli\u015bmy do budowniczych, pokazujemy nasz projekt. Oni patrz\u0105 i m\u00f3wi\u0105: wasze zas\u0142ony s\u0105 bardzo ci\u0119\u017ckie. 700 kilogram\u00f3w w ca\u0142ej maszynowni. Id\u017acie, m\u00f3wi\u0105, dobrzy ludzie, do diab\u0142a. A dok\u0142adniej, do zespo\u0142u SCS. Niech policz\u0105, ile maj\u0105 tam makaronu w korytach, bo 120 kg na metr kwadratowy to maksimum. <\/p>\n

SCS m\u00f3wi: pami\u0119tajcie, \u017ce przyjecha\u0142 do nas jeden du\u017cy klient? Ma dziesi\u0105tki tysi\u0119cy port\u00f3w w jednej sali. Na kraw\u0119dziach maszynowni jeszcze w porz\u0105dku, ale bli\u017cej do krosk\u00f3w ju\u017c nie da si\u0119 przymocowa\u0107: koryta odpadn\u0105. <\/p>\n

Budowniczowie poprosili te\u017c o certyfikat materia\u0142u. Zaznacz\u0119, \u017ce wcze\u015bniej pracowali\u015bmy na dobre s\u0142owo dostawcy, poniewa\u017c to by\u0142 tylko test. Skontaktowali\u015bmy si\u0119 z tym dostawc\u0105, m\u00f3wimy: OK, jeste\u015bmy gotowi do wersji beta, dajcie wszystkie dokumenty. Przesy\u0142aj\u0105 co\u015b nie do ko\u0144ca zgodnego z norm\u0105. <\/p>\n

Zadajemy pytanie: s\u0142uchajcie, sk\u0105d wzi\u0119li\u015bcie ten dokument? Oni: to nasz chi\u0144ski producent przes\u0142a\u0142 w odpowiedzi na zapytania. Na tym dokumencie ta substancja w og\u00f3le nie pali si\u0119. <\/p>\n

W tym momencie zrozumieli\u015bmy, \u017ce pora si\u0119 zatrzyma\u0107 i sprawdzi\u0107 fakty. Idziemy do dziewczyn z dzia\u0142u bezpiecze\u0144stwa po\u017carowego, kt\u00f3re podaj\u0105 nam laboratorium zajmuj\u0105ce si\u0119 badaniem palno\u015bci. Koszty i terminy s\u0105 jak najbardziej w porz\u0105dku (cho\u0107 naprawd\u0119 przeklinali\u015bmy wszystko, przygotowuj\u0105c potrzebn\u0105 ilo\u015b\u0107 dokument\u00f3w). Tam naukowcy m\u00f3wi\u0105: przynie\u015bcie materia\u0142, zrobimy testy. <\/p>\n

W podsumowaniu napisano, \u017ce z kilograma substancji zostaje oko\u0142o 50 gram\u00f3w popio\u0142u. Reszta intensywnie p\u0142onie, sp\u0142ywa i bardzo dobrze podtrzymuje ogie\u0144 w ka\u0142u\u017cy. <\/p>\n

Rozumiemy \u2014 dobrze, \u017ce nie zdecydowali\u015bmy si\u0119 na zakup. Zacz\u0119li\u015bmy szuka\u0107 innego materia\u0142u. <\/p>\n

Znale\u017ali\u015bmy poliw\u0119glan. Okaza\u0142 si\u0119 twardszy. Przezroczysta blacha ma dwa mm, a drzwi \u2014 cztery milimetry. W zasadzie to plexi. Z producentem zaczynamy rozmow\u0119 o bezpiecze\u0144stwie po\u017carowym: dajcie nam certyfikat. Przesy\u0142aj\u0105 go. Podpisany przez t\u0119 sam\u0105 instytucj\u0119. Dzwonimy tam, m\u00f3wimy: no c\u00f3\u017c, panowie, czy to by\u0142o u was badane?<\/p>\n

M\u00f3wi\u0105, \u017ce tak, sprawdzali. Najpierw spalili u siebie, a potem tylko przynie\u015bli na testy. Z kilograma materia\u0142u pozostaje (je\u015bli pali\u0107 go palnikiem) oko\u0142o 930 gram\u00f3w popio\u0142u. Topnieje i kapie, ale ka\u0142u\u017ca nie b\u0119dzie si\u0119 pali\u0107. <\/p>\n

Natychmiast sprawdzamy nasze magnesy (s\u0105 na polimerowej podstawie). Ku naszemu zaskoczeniu pal\u0105 si\u0119 s\u0142abo. <\/p>\n

Monta\u017c<\/h3>\n

\nZaczynamy od tego. Poliw\u0119glan jest wspania\u0142y, poniewa\u017c jest l\u017cejszy od polietylenu, a jednocze\u015bnie du\u017co gorzej si\u0119 wygina. Prawda jest taka, \u017ce dostarczaj\u0105 arkusze 2,5 na 3 metry, a dostawcy nie obchodzi, co z tym zrobi\u0107. A nam potrzebne s\u0105 szeroko\u015bci 2,8 na 20\u201325 centymetr\u00f3w. Drzwi wysy\u0142ali\u015bmy do biur, kt\u00f3re tn\u0105 arkusze tak, jak trzeba. A listewki poci\u0119li\u015bmy sami. Sam proces ci\u0119cia kosztuje dwa razy wi\u0119cej ni\u017c arkusz.<\/p>\n

Oto co uzyskali\u015bmy:<\/p>\n

\"Jak
\n
\nWynik \u2014 system cage'owania zwraca si\u0119 w mniej ni\u017c rok. Dzi\u0119ki temu zaoszcz\u0119dzili\u015bmy 200\u2013250 kWh mocy wentylator\u00f3w. Ile jeszcze na chillera, dok\u0142adnie nie wiemy. Serwery pobieraj\u0105 z sta\u0142\u0105 pr\u0119dko\u015bci\u0105, wentylatory dmuchaj\u0105. A chillery w\u0142\u0105czaj\u0105 si\u0119 i wy\u0142\u0105czaj\u0105 falami: trudno jest wydoby\u0107 z nich dane. Nie mo\u017cna zatrzyma\u0107 maszyny na testy. <\/p>\n

Cieszymy si\u0119, \u017ce w swoim czasie obowi\u0105zywa\u0142a zasada umieszczania modu\u0142\u00f3w 5x5 w szafach w taki spos\u00f3b, aby ich \u015brednie zu\u017cycie wynosi\u0142o maksymalnie sze\u015b\u0107 kW. Oznacza to, \u017ce ciep\u0142o nie koncentruje si\u0119 w jednym miejscu, ale jest roz\u0142o\u017cone w ca\u0142ej sali maszyn. Istniej\u0105 jednak sytuacje, gdzie obok siebie stoi 10 sztuk 15-kilowatowych szaf, ale naprzeciwko znajduje si\u0119 miejsce na przechowywanie. Tam jest zimno. Dokonywany jest bilans.<\/p>\n

Gdzie nie ma szafy \u2014 potrzebna jest przegroda do pod\u0142ogi. <\/p>\n

Mamy te\u017c niekt\u00f3rych klient\u00f3w, kt\u00f3rzy s\u0105 odizolowani kratkami. Z nimi r\u00f3wnie\u017c by\u0142y pewne szczeg\u00f3lne wymagania. <\/p>\n

Kleili\u015bmy listwy, poniewa\u017c szeroko\u015b\u0107 szaf nie jest sta\u0142a, a okresowo\u015b\u0107 mocowa\u0144 jest okre\u015blona: zawsze b\u0119dzie od trzech do czterech centymetr\u00f3w w prawo lub w lewo. Je\u015bli masz blok 600 pod miejscem na szaf\u0119, istnieje 85% prawdopodobie\u0144stwo, \u017ce si\u0119 nie zmie\u015bci. Kr\u00f3tkie i d\u0142ugie listwy wsp\u00f3\u0142istniej\u0105 i s\u0105 klejone. Czasami przycinamy listw\u0119 w kszta\u0142cie litery G zgodnie z konturami szaf.<\/p>\n

\"Jak
\n<\/p>\n

Czujniki<\/h3>\n

\nZanim zaczniemy obni\u017ca\u0107 moc klimatyzator\u00f3w, trzeba by\u0142o bardzo dok\u0142adnie ustawi\u0107 monitorowanie temperatury w r\u00f3\u017cnych punktach sali, aby nie z\u0142apa\u0107 niespodzianek. Tak powsta\u0142y czujniki bezprzewodowe. Przewodowe \u2014 przy ka\u017cdym rz\u0119dzie trzeba zawiesi\u0107 osobny element do skrzy\u017cowania tych czujnik\u00f3w, a czasem jeszcze przed\u0142u\u017cacze. To zamienia si\u0119 w girland\u0119. Bardzo \u017ale. A kiedy te kable trafiaj\u0105 do szafek klient\u00f3w, specjali\u015bci ds. bezpiecze\u0144stwa natychmiast si\u0119 interesuj\u0105 i prosz\u0105 o wyja\u015bnienia z certyfikatem, co tam przez te przewody jest mierzone. Nerwy specjalist\u00f3w ds. bezpiecze\u0144stwa trzeba oszcz\u0119dza\u0107. Bezprzewodowych czujnik\u00f3w dlaczego\u015b nie dotykaj\u0105. <\/p>\n

I jeszcze serwery przyje\u017cd\u017caj\u0105 i wyje\u017cd\u017caj\u0105. Czujnik na magnesie \u0142atwiej przymocowa\u0107, poniewa\u017c za ka\u017cdym razem trzeba go zawiesi\u0107 wy\u017cej lub ni\u017cej. Je\u015bli serwery s\u0105 w dolnej cz\u0119\u015bci szafy \u2014 trzeba go zawiesi\u0107 ni\u017cej, a nie wed\u0142ug standardu 1,5 metra od pod\u0142ogi na drzwiach szafy w zimnym korytarzu. Tam pomiar jest bezu\u017cyteczny, trzeba mierzy\u0107 to, co w sprz\u0119cie. <\/p>\n

Czujnik na trzy stela\u017ce \u2014 cz\u0119\u015bciej nie trzeba wiesza\u0107 wi\u0119cej. Temperatura nie r\u00f3\u017cni si\u0119. Obawiali\u015bmy si\u0119, \u017ce powietrze b\u0119dzie przep\u0142ywa\u0107 przez stela\u017ce, ale tak si\u0119 nie sta\u0142o. Mimo to dostarczamy nieco wi\u0119cej zimnego powietrza ni\u017c warto\u015bci obliczeniowe. Zrobili\u015bmy otwory w lamelach 3, 7 i 12, nad stela\u017cem wykonujemy otw\u00f3r. Wk\u0142adamy w niego anemometr podczas obchodu: sprawdzamy, czy przep\u0142yw idzie tam, gdzie powinien.<\/p>\n

\"Jak
\n
\nPotem zawiesili\u015bmy jasne nitki: stara praktyka dla snajper\u00f3w. Wygl\u0105da dziwnie, ale pozwala szybko wykry\u0107 potencjalny problem. <\/p>\n

\"Jak
\n <\/p>\n

Zabawne<\/h3>\n

\nPodczas gdy to wszystko robili\u015bmy w milczeniu, przyjecha\u0142 dostawca, kt\u00f3ry produkuje infrastruktur\u0119 dla centr\u00f3w danych. M\u00f3wi: przyjed\u017amy, opowiemy o efektywno\u015bci energetycznej. Przyje\u017cd\u017caj\u0105, zaczynaj\u0105 opowiada\u0107 o nieoptymalnym pomieszczeniu, przep\u0142ywach powietrza. Skin\u0119li\u015bmy g\u0142owami ze zrozumieniem. Poniewa\u017c mamy to zainstalowane od trzech lat. <\/p>\n

Na ka\u017cd\u0105 szaf\u0119 montuj\u0105 po trzy czujniki. Obrazy monitoringu s\u0105 niesamowite, pi\u0119kne. Wi\u0119kszo\u015b\u0107 koszt\u00f3w tego rozwi\u0105zania to oprogramowanie. Na poziomie alert\u00f3w w Zabbixie, ale w\u0142asno\u015bciowe i bardzo drogie. Problem polega jeszcze na tym, \u017ce maj\u0105 czujniki, oprogramowanie, a potem szukaj\u0105 lokalnego wykonawcy: nie ma w\u0142asnych dostawc\u00f3w do casingu.<\/p>\n

Okazuje si\u0119, \u017ce koszty ich pracy s\u0105 pi\u0119\u0107\u2013siedem razy wy\u017csze ni\u017c to, co zrobili\u015bmy.<\/p>\n

Linki<\/h3>\n

<\/p>\n