{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Jak zaanga\u017cowali\u015bmy si\u0119 w efektywno\u015b\u0107 energetyczn\u0105 centr\u00f3w danych","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jak
\n
\nDedykowany ten post tym ludziom, kt\u00f3rzy k\u0142amali w certyfikatach, przez co prawie nie zainstalowali\u015bmy w naszych halach bengalskich ogni.<\/p>\n

Historia ma ponad cztery lata, ale publikuj\u0119 j\u0105 teraz, poniewa\u017c zako\u0144czy\u0142 si\u0119 NDA. Wtedy zrozumieli\u015bmy, \u017ce prawie ca\u0142kowicie zape\u0142nili\u015bmy centrum danych (kt\u00f3re wynajmujemy), a jego efektywno\u015b\u0107 energetyczna jako\u015b nie poprawi\u0142a si\u0119. Wcze\u015bniej hipoteza zak\u0142ada\u0142a, \u017ce im bardziej go zape\u0142niamy, tym lepiej, poniewa\u017c in\u017cynieria rozk\u0142ada si\u0119 na wszystkich. Okaza\u0142o si\u0119 jednak, \u017ce oszukiwali\u015bmy si\u0119 w tym wzgl\u0119dzie, i przy dobrej obci\u0105\u017calno\u015bci gdzie\u015b by\u0142y straty. Pracowali\u015bmy w wielu kierunkach, ale nasz odwa\u017cny zesp\u00f3\u0142 zaj\u0105\u0142 si\u0119 ch\u0142odzeniem. <\/p>\n

Prawdziwe \u017cycie centrum danych to troch\u0119 nie to, co w projekcie. Ci\u0105g\u0142e dostosowania ze strony s\u0142u\u017cby eksploatacji dla zwi\u0119kszenia efektywno\u015bci i optymalizacja ustawie\u0144 pod nowe zadania. We\u017amy na przyk\u0142ad mityczn\u0105 \u015bredni\u0105 szaf\u0119. W praktyce jej nie ma, obci\u0105\u017cenie jest nier\u00f3wnomierne, gdzie\u015b g\u0119sto, gdzie indziej pusto. Trzeba by\u0142o wi\u0119c dostosowa\u0107 niekt\u00f3re rzeczy dla lepszej efektywno\u015bci energetycznej.<\/p>\n

Nasze centrum danych Kompresor jest potrzebne dla bardzo r\u00f3\u017cnych klient\u00f3w. Dlatego po\u015br\u00f3d zwyk\u0142ych szaf o mocy dw\u00f3ch\u2013czterech kilowat\u00f3w mo\u017ce si\u0119 znale\u017a\u0107 ca\u0142kiem 23-kilowatowa lub nawet wi\u0119ksza. W zwi\u0105zku z tym klimatyzatory by\u0142y zaprogramowane, aby je sch\u0142adza\u0107, a przez mniej mocne szafy powietrze po prostu przechodzi\u0142o obok. <\/p>\n

Druga hipoteza zak\u0142ada\u0142a, \u017ce ciep\u0142e i zimne korytarze si\u0119 nie mieszaj\u0105. Po pomiarach mog\u0119 powiedzie\u0107, \u017ce to iluzja, a prawdziwa aerodynamika r\u00f3\u017cni si\u0119 od modelu prawie wszystkim. <\/a><\/noindex><\/p>\n

Badanie<\/h3>\n

\nNajpierw zacz\u0119li\u015bmy obserwowa\u0107 przep\u0142ywy powietrza w halach. Dlaczego tam weszli\u015bmy? poniewa\u017c rozumieli\u015bmy, \u017ce centrum danych jest zaplanowane na pi\u0119\u0107\u2013sze\u015b\u0107 kW na szaf\u0119, ale wiedzieli\u015bmy, \u017ce w rzeczywisto\u015bci s\u0105 one od 0 do 25 kW. Regulacja tego wszystkiego p\u0142ytkami jest prawie niemo\u017cliwa: pierwsze pomiary pokaza\u0142y, \u017ce prawie jednakowo przepuszczaj\u0105 powietrze. A p\u0142yty na 25 kW w og\u00f3le nie istniej\u0105, powinny by\u0107 nie tylko puste, ale z cieczy w pr\u00f3\u017cni. <\/p>\n

Kupili\u015bmy anemometr i zacz\u0119li\u015bmy mierzy\u0107 przep\u0142ywy mi\u0119dzy szafami i nad szafami. W og\u00f3le trzeba z nim pracowa\u0107 zgodnie z GOST i mn\u00f3stwem standard\u00f3w, trudnych do zrealizowania bez zatrzymania maszynowni. Interesowa\u0142a nas nie precyzja, a zasadniczy obraz. Czyli zmierzyli\u015bmy mniej wi\u0119cej.<\/p>\n

Z przeprowadzonego pomiaru z 100 procent\u00f3w powietrza, kt\u00f3re wychodzi z p\u0142ytek, do szafek trafia 60 procent, reszta przelatuje obok. Dzieje si\u0119 tak z powodu ci\u0119\u017ckich szafek na 15\u201325 kW, dla kt\u00f3rych zaprojektowano ch\u0142odzenie. <\/p>\n

Nie mo\u017cemy po prostu wy\u0142\u0105czy\u0107 klimatyzator\u00f3w, poniewa\u017c w ciep\u0142ych szafkach w rejonie g\u00f3rnych serwer\u00f3w b\u0119dzie zbyt gor\u0105co. W takim momencie rozumiemy, \u017ce musimy co\u015b od czego\u015b izolowa\u0107, aby powietrze nie przeskakiwa\u0142o z rz\u0119du w rz\u0105d i aby wymiana ciep\u0142a w bloku jednak mia\u0142a miejsce. <\/p>\n

Jednocze\u015bnie zadajemy sobie pytanie, czy to jest finansowo op\u0142acalne. <\/p>\n

Zdziwieniem odkrywamy, \u017ce zu\u017cycie energii w centrum danych w ca\u0142o\u015bci mamy, ale nie mo\u017cemy obliczy\u0107 funkcyj na konkretnej sali. To znaczy, \u017ce analitycznie mo\u017cemy, ale w praktyce \u2013 nie. I nie jeste\u015bmy w stanie oceni\u0107 oszcz\u0119dno\u015bci. Zadanie staje si\u0119 coraz ciekawsze. Je\u015bli zaoszcz\u0119dzimy 10% mocy klimatyzator\u00f3w \u2013 ile pieni\u0119dzy mo\u017cna od\u0142o\u017cy\u0107 na izolacj\u0119? Jak to obliczy\u0107?<\/p>\n

Zwr\u00f3cili\u015bmy si\u0119 do automatyk\u00f3w, kt\u00f3rzy poprawiali system monitorowania. Dzi\u0119kujemy ch\u0142opakom: mieli wszystkie czujniki, trzeba by\u0142o tylko dopisa\u0107 kod. Zacz\u0119li wyodr\u0119bnia\u0107 osobno chillery, UPS, o\u015bwietlenie. Dzi\u0119ki nowemu sprz\u0119towi pojawi\u0142a si\u0119 mo\u017cliwo\u015b\u0107 patrzenia, jak zmienia si\u0119 sytuacja w elementach systemu.<\/p>\n

Eksperymenty z zas\u0142onami<\/h3>\n

\nR\u00f3wnolegle zaczynamy eksperymenty z zas\u0142onami (parcelami). Postanawiamy je przymocowa\u0107 do pr\u0119t\u00f3w korytek kablowych (w ko\u0144cu nie ma si\u0119 do czego innego przyczepi\u0107), dobrze, \u017ce powinny by\u0107 lekkie. Szybko zdecydowali\u015bmy si\u0119 na zadaszenia lub grzebienie. <\/p>\n

\"Jak
\n
\n\"Jak
\n
\nProblem polega na tym, \u017ce wcze\u015bniej pracowali\u015bmy z wieloma dostawcami. Ka\u017cdy ma rozwi\u0105zania dla w\u0142asnych centr\u00f3w danych firm, ale dla komercyjnego centrum danych praktycznie nie ma gotowych rozwi\u0105za\u0144. Nasi klienci regularnie przyje\u017cd\u017caj\u0105 i wyje\u017cd\u017caj\u0105. Jeste\u015bmy jednym z nielicznych \"ci\u0119\u017ckich\" centr\u00f3w danych bez ogranicze\u0144 szeroko\u015bci szafki, z mo\u017cliwo\u015bciami przyjmowania tych serwer\u00f3w do 25 kW. \u017badne planowanie infrastruktury na zapas. Oznacza to, \u017ce je\u015bli b\u0119dziemy bra\u0107 modu\u0142owe systemy cage od dostawc\u00f3w \u2013 zawsze b\u0119d\u0105 dziury na dwa miesi\u0105ce. W zasadzie nigdy nie b\u0119dzie to efektywne energetycznie. <\/p>\n

Postanowili\u015bmy zrobi\u0107 to sami, dobrze, \u017ce mamy swoich in\u017cynier\u00f3w. <\/p>\n

Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 wzi\u0119li\u015bmy, by\u0142y ta\u015bmy z przemys\u0142owych lod\u00f3wek. To takie gi\u0119tkie poliuretanowe pasy, kt\u00f3rymi mo\u017cna obla\u0107. Na pewno je gdzie\u015b widzieli\u015bcie przy wej\u015bciu do dzia\u0142u mi\u0119snego w najwi\u0119kszych supermarketach. Zacz\u0119li\u015bmy szuka\u0107 nietoksycznych i niepalnych materia\u0142\u00f3w. Znale\u017ali\u015bmy, kupili\u015bmy na dwa rz\u0119dy. Powiesili\u015bmy, zacz\u0119li\u015bmy patrze\u0107, co z tego wyjdzie. <\/p>\n

Zdawali\u015bmy sobie spraw\u0119, \u017ce nie b\u0119dzie zbyt dobrze. Ale wysz\u0142o w\u0142a\u015bciwie bardzo, zdecydowanie nie bardzo. Zaczynaj\u0105, jak makaron, rozwiewa\u0107 si\u0119 na strumieniach. Znale\u017ali\u015bmy ta\u015bmy magnetyczne, takie jak magnesy na lod\u00f3wk\u0119. Przykleili\u015bmy je do tych pask\u00f3w, sklei\u0142y si\u0119 ze sob\u0105, powsta\u0142a \u015bciana w miar\u0119 monolityczna. <\/p>\n

Zacz\u0119li\u015bmy przemy\u015bla\u0107, co b\u0119dzie w sali. <\/p>\n

Poszli\u015bmy do budowniczych, pokazujemy nasz projekt. Oni patrz\u0105, m\u00f3wi\u0105: wasze zas\u0142ony s\u0105 bardzo ci\u0119\u017ckie. 700 kilogram\u00f3w w ca\u0142ej hali maszyn. Id\u017acie, m\u00f3wi\u0105, dobrzy ludzie, do diab\u0142a. Dok\u0142adniej, do zespo\u0142u SCS. Niech policz\u0105, ile maj\u0105 makaronu w skrzynkach, bo 120 kg na metr kwadratowy \u2014 to maksymalna warto\u015b\u0107. <\/p>\n

SCS m\u00f3wi\u0105: pami\u0119tacie, przyszed\u0142 do nas jeden du\u017cy klient? Ma dziesi\u0105tki tysi\u0119cy port\u00f3w w jednej sali. Na brzegach hali maszyn jest jeszcze w porz\u0105dku, ale bli\u017cej do krosna ju\u017c nie b\u0119dzie si\u0119 da\u0142o przymocowa\u0107: skrzynki si\u0119 odklej\u0105. <\/p>\n

Budowniczy poprosili r\u00f3wnie\u017c o certyfikat materia\u0142u. Zaznacz\u0119, \u017ce wcze\u015bniej pracowali\u015bmy na dobre s\u0142owo dostawcy, poniewa\u017c to by\u0142 tylko test. Zwr\u00f3cili\u015bmy si\u0119 do tego dostawcy, m\u00f3wimy: OK, jeste\u015bmy gotowi do wersji beta, dajcie wszystkie papiery. Przesy\u0142aj\u0105 nam co\u015b, co nie jest do ko\u0144ca zgodne z normami. <\/p>\n

M\u00f3wimy: s\u0142uchajcie, a gdzie wzi\u0119li\u015bcie ten papier? Oni: to nam nasz chi\u0144ski producent przys\u0142a\u0142 w odpowiedzi na zapytania. Wed\u0142ug papieru ten materia\u0142 w og\u00f3le si\u0119 nie pali. <\/p>\n

W tym momencie zrozumieli\u015bmy, \u017ce trzeba si\u0119 zatrzyma\u0107 i sprawdzi\u0107 fakty. Idziemy do dziewczyn z bezpiecze\u0144stwa po\u017carowego w centrum danych, podaj\u0105 nam laboratorium, kt\u00f3re sprawdza palno\u015b\u0107. Ca\u0142kiem przyst\u0119pne pieni\u0105dze i terminy (chocia\u017c przeklinali\u015bmy wszystko, zanim zebrali\u015bmy potrzebn\u0105 ilo\u015b\u0107 dokument\u00f3w). Tam naukowcy m\u00f3wi\u0105: przywie\u017acie materia\u0142, zrobimy testy. <\/p>\n

W podsumowaniu napisano, \u017ce z kilograma substancji zostaje oko\u0142o 50 gram\u00f3w popio\u0142u. Reszta wyra\u017anie si\u0119 pali, sp\u0142ywa i bardzo dobrze podtrzymuje palenie w ka\u0142u\u017cy. <\/p>\n

Zdajemy sobie spraw\u0119 \u2014 dobrze, \u017ce nie kupili\u015bmy. Zacz\u0119li\u015bmy szuka\u0107 innego materia\u0142u. <\/p>\n

Znale\u017ali\u015bmy poliw\u0119glan. Okaza\u0142 si\u0119 bardziej sztywny. Przezroczysta p\u0142yta \u2014 dwa mm, drzwi \u2014 z czteromilimetrowego. W zasadzie to jest pleksi. Razem z producentem zaczynamy rozmow\u0119 na temat bezpiecze\u0144stwa po\u017carowego: poprosimy o certyfikat. Przesy\u0142aj\u0105 go. Podpisany przez ten sam instytut. Dzwonimy tam, m\u00f3wimy: no co, panowie, sprawdzali\u015bcie to?<\/p>\n

Oni m\u00f3wi\u0105: tak, sprawdzali\u015bmy. Najpierw spalili\u015bmy u siebie, dopiero potem przynie\u015bli\u015bmy na testy. Z kilograma materia\u0142u zostaje (je\u015bli go pali\u0107 palnikiem) oko\u0142o 930 gram\u00f3w popio\u0142u. Topnieje i kapie, ale ka\u0142u\u017ca nie b\u0119dzie si\u0119 pali\u0107. <\/p>\n

Od razu sprawdzamy nasze magnesy (s\u0105 na polimerowej podk\u0142adce). Ku naszemu zdziwieniu, pal\u0105 si\u0119 s\u0142abo. <\/p>\n

Kompilacja<\/h3>\n

\nZ tego zaczynamy sk\u0142adanie. Poliw\u0119glan jest wspania\u0142y, poniewa\u017c jest l\u017cejszy od polietylenu, kt\u00f3ry znacznie gorzej si\u0119 wygina. Prawda jest taka, \u017ce przywo\u017c\u0105 p\u0142yty 2,5 na 3 metry, a dostawcy jest oboj\u0119tne, co z tym zrobi\u0107. A nam potrzeba 2,8 szeroko\u015bci 20\u201325 centymetr\u00f3w. Drzwi wys\u0142ali\u015bmy do firm, kt\u00f3re tn\u0105 p\u0142yty, jak potrzeba. A lamele poci\u0119li\u015bmy sami. Sam proces ci\u0119cia kosztuje dwa razy dro\u017cej ni\u017c sama p\u0142yta.<\/p>\n

Oto co wysz\u0142o:<\/p>\n

\"Jak
\n
\nEfekt \u2014 system cage\u2019owania zwraca si\u0119 w czasie kr\u00f3tszym ni\u017c rok. Oszcz\u0119dzamy po 200\u2013250 kW na mocy fancoili. Jeszcze ile\u015b na chillers, ile dok\u0142adnie \u2014 nie wiemy. Serwery ci\u0105gn\u0105 z sta\u0142\u0105 pr\u0119dko\u015bci\u0105, fancoile dmuchaj\u0105. A chille w\u0142\u0105czaj\u0105 si\u0119 i wy\u0142\u0105czaj\u0105 jak grzebie\u0144: z niej trudno wyci\u0105gn\u0105\u0107 dane. Nie mo\u017cna zatrzyma\u0107 maszyny dla test\u00f3w. <\/p>\n

Cieszymy si\u0119, \u017ce w swoim czasie by\u0142a zasada, by w modu\u0142ach 5x5 stela\u017cy tak ustawia\u0107, aby ich \u015brednie zu\u017cycie wynios\u0142o maksymalnie sze\u015b\u0107 kW. To znaczy, \u017ce ciep\u0142o nie koncentruje si\u0119 w jednym miejscu, lecz jest roz\u0142o\u017cone po sali maszynowej. Ale jest sytuacja, gdzie obok siebie jest 10 sztuk stela\u017cy 15-kilowatowych, ale naprzeciwko \u2014 cold storage. Jest zimny. Balansuje to.<\/p>\n

Gdzie nie ma stela\u017ca, potrzebna jest os\u0142ona do pod\u0142ogi. <\/p>\n

A jeszcze mamy niekt\u00f3rych klient\u00f3w izolowanych kratkami. Z nimi r\u00f3wnie\u017c by\u0142y pewne szczeg\u00f3lne cechy. <\/p>\n

Na lamele ci\u0119li\u015bmy, poniewa\u017c szeroko\u015b\u0107 stela\u017cy nie jest sta\u0142a, a cz\u0119stotliwo\u015b\u0107 mocowania grzebienia jest okre\u015blona: trzy-cztery cm zawsze w prawo lub w lewo. Je\u015bli masz blok 600 pod miejscem stela\u017cowym, to z prawdopodobie\u0144stwem 85 procent nie stanie. A kr\u00f3tkie i d\u0142ugie lamele wsp\u00f3\u0142istniej\u0105 i s\u0105 sklejane. Czasami tniemy lamele w kszta\u0142t litery G wed\u0142ug kontur\u00f3w stela\u017cy.<\/p>\n

\"Jak
\n<\/p>\n

Czujniki<\/h3>\n

\nZanim zmniejszymy moc wentylator\u00f3w, konieczne by\u0142o dok\u0142adne monitorowanie temperatury w r\u00f3\u017cnych punktach sali, aby unikn\u0105\u0107 niespodzianek. Tak powsta\u0142y bezprzewodowe czujniki. W przypadku przewodowych \u2013 na ka\u017cdym rz\u0119dzie trzeba zamontowa\u0107 swoje urz\u0105dzenie do crossowania tych czujnik\u00f3w, a czasami r\u00f3wnie\u017c przed\u0142u\u017cacze. To wszystko zamienia si\u0119 w girland\u0119. To bardzo \u017ale. A kiedy te przewody wchodz\u0105 do klatek klient\u00f3w, ich ochroniarze natychmiast si\u0119 denerwuj\u0105 i prosz\u0105 o wyja\u015bnienie z certyfikatem, co w\u0142a\u015bnie przez te przewody si\u0119 zbiera. Nale\u017cy dba\u0107 o nerwy ochrony. Bezprzewodowych czujnik\u00f3w jako\u015b nie ruszaj\u0105. <\/p>\n

Ponadto szafy przyje\u017cd\u017caj\u0105 i odje\u017cd\u017caj\u0105. Czujnik na magnesie \u0142atwiej przymocowa\u0107, poniewa\u017c za ka\u017cdym razem trzeba go wiesza\u0107 wy\u017cej lub ni\u017cej. Je\u015bli serwery znajduj\u0105 si\u0119 w dolnej jednej trzeciej szafy, trzeba montowa\u0107 go ni\u017cej, a nie wed\u0142ug standardu na p\u00f3\u0142tora metra od pod\u0142ogi na drzwiach szafy w zimnym korytarzu. Tam nie ma sensu pomiar, trzeba mierzy\u0107 to, co w sprz\u0119cie. <\/p>\n

Jeden czujnik na trzy szafy \u2013 cz\u0119sto nie ma potrzeby montowa\u0107 wi\u0119cej. Temperatura si\u0119 nie r\u00f3\u017cni. Obawiali\u015bmy si\u0119, \u017ce b\u0119dzie przep\u0142yw powietrza przez same szafy, ale tak si\u0119 nie sta\u0142o. Mimo to dostarczamy nieco wi\u0119cej zimnego powietrza ni\u017c przewiduj\u0105 warto\u015bci obliczeniowe. Zrobili\u015bmy otwory w lamelach 3, 7 i 12, nad szaf\u0105 tworzymy otw\u00f3r. W niego podczas inspekcji wk\u0142adamy anemometr: sprawdzamy, czy strumie\u0144 powietrza p\u0142ynie w odpowiednim kierunku.<\/p>\n

\"Jak
\n
\nPotem zawiesili\u015bmy kolorowe nitki: stara praktyka dla snajper\u00f3w. Wygl\u0105da dziwnie, ale pozwala szybciej zidentyfikowa\u0107 ewentualny problem. <\/p>\n

\"Jak
\n <\/p>\n

Zabawne<\/h3>\n

\nPodczas gdy to wszystko robili\u015bmy w milczeniu, przyjecha\u0142 dostawca, kt\u00f3ry produkuje infrastruktur\u0119 dla centr\u00f3w danych. M\u00f3wi: chod\u017amy, przyjedziemy i opowiemy o efektywno\u015bci energetycznej. Przyje\u017cd\u017caj\u0105, zaczynaj\u0105 m\u00f3wi\u0107 o nieoptymalnej sali, przep\u0142ywach powietrza. Z rozumieniem kiwamy g\u0142owami. Poniewa\u017c u nas to jest zainstalowane od trzech lat. <\/p>\n

Wieszaj\u0105 po trzy czujniki na ka\u017cd\u0105 szaf\u0119. Obrazki z monitorowania s\u0105 niesamowite, pi\u0119kne. Wi\u0119kszo\u015b\u0107 tego rozwi\u0105zania w cenie to oprogramowanie. Na poziomie \u201ealertu w Zabbixie\u201d, ale w\u0142asno\u015bciowe i bardzo drogie. Problem tkwi r\u00f3wnie\u017c w tym, \u017ce maj\u0105 czujniki, oprogramowanie, a nast\u0119pnie szukaj\u0105 wykonawcy na miejscu: nie maj\u0105 w\u0142asnych dostawc\u00f3w na cage.<\/p>\n

Okazuje si\u0119, \u017ce ich r\u0119kami kosztuje to pi\u0119\u0107 \u2013 siedem razy wi\u0119cej ni\u017c to, co zrobili\u015bmy.<\/p>\n

Linki<\/h3>\n

<\/p>\n