🥇Jak skoncentrowaliśmy się na efektywności energetycznej maszynowni

Dedykowany ten post tym ludziom, którzy kłamali w certyfikatach, przez co prawie nie zainstalowaliśmy w naszych halach bengalskich ogni.

Historia ma ponad cztery lata, ale publikuję ją teraz, ponieważ zakończył się NDA. Wtedy zrozumieliśmy, że prawie całkowicie zapełniliśmy centrum danych (które wynajmujemy), a jego efektywność energetyczna jakoś nie poprawiła się. Wcześniej hipoteza zakładała, że im bardziej go zapełniamy, tym lepiej, ponieważ inżynieria rozkłada się na wszystkich. Okazało się jednak, że oszukiwaliśmy się w tym względzie, i przy dobrej obciążalności gdzieś były straty. Pracowaliśmy w wielu kierunkach, ale nasz odważny zespół zajął się chłodzeniem.

Prawdziwe życie centrum danych to trochę nie to, co w projekcie. Ciągłe dostosowania ze strony służby eksploatacji dla zwiększenia efektywności i optymalizacja ustawień pod nowe zadania. Weźmy na przykład mityczną średnią szafę. W praktyce jej nie ma, obciążenie jest nierównomierne, gdzieś gęsto, gdzie indziej pusto. Trzeba było więc dostosować niektóre rzeczy dla lepszej efektywności energetycznej.

Nasze centrum danych Kompresor jest potrzebne dla bardzo różnych klientów. Dlatego pośród zwykłych szaf o mocy dwóch–czterech kilowatów może się znaleźć całkiem 23-kilowatowa lub nawet większa. W związku z tym klimatyzatory były zaprogramowane, aby je schładzać, a przez mniej mocne szafy powietrze po prostu przechodziło obok.

Druga hipoteza zakładała, że ciepłe i zimne korytarze się nie mieszają. Po pomiarach mogę powiedzieć, że to iluzja, a prawdziwa aerodynamika różni się od modelu prawie wszystkim.

Badanie

Najpierw zaczęliśmy obserwować przepływy powietrza w halach. Dlaczego tam weszliśmy? ponieważ rozumieliśmy, że centrum danych jest zaplanowane na pięć–sześć kW na szafę, ale wiedzieliśmy, że w rzeczywistości są one od 0 do 25 kW. Regulacja tego wszystkiego płytkami jest prawie niemożliwa: pierwsze pomiary pokazały, że prawie jednakowo przepuszczają powietrze. A płyty na 25 kW w ogóle nie istnieją, powinny być nie tylko puste, ale z cieczy w próżni.

Kupiliśmy anemometr i zaczęliśmy mierzyć przepływy między szafami i nad szafami. W ogóle trzeba z nim pracować zgodnie z GOST i mnóstwem standardów, trudnych do zrealizowania bez zatrzymania maszynowni. Interesowała nas nie precyzja, a zasadniczy obraz. Czyli zmierzyliśmy mniej więcej.

Z przeprowadzonego pomiaru z 100 procentów powietrza, które wychodzi z płytek, do szafek trafia 60 procent, reszta przelatuje obok. Dzieje się tak z powodu ciężkich szafek na 15–25 kW, dla których zaprojektowano chłodzenie.

Nie możemy po prostu wyłączyć klimatyzatorów, ponieważ w ciepłych szafkach w rejonie górnych serwerów będzie zbyt gorąco. W takim momencie rozumiemy, że musimy coś od czegoś izolować, aby powietrze nie przeskakiwało z rzędu w rząd i aby wymiana ciepła w bloku jednak miała miejsce.

Jednocześnie zadajemy sobie pytanie, czy to jest finansowo opłacalne.

Zdziwieniem odkrywamy, że zużycie energii w centrum danych w całości mamy, ale nie możemy obliczyć funkcyj na konkretnej sali. To znaczy, że analitycznie możemy, ale w praktyce – nie. I nie jesteśmy w stanie ocenić oszczędności. Zadanie staje się coraz ciekawsze. Jeśli zaoszczędzimy 10% mocy klimatyzatorów – ile pieniędzy można odłożyć na izolację? Jak to obliczyć?

Zwróciliśmy się do automatyków, którzy poprawiali system monitorowania. Dziękujemy chłopakom: mieli wszystkie czujniki, trzeba było tylko dopisać kod. Zaczęli wyodrębniać osobno chillery, UPS, oświetlenie. Dzięki nowemu sprzętowi pojawiła się możliwość patrzenia, jak zmienia się sytuacja w elementach systemu.

Eksperymenty z zasłonami

Równolegle zaczynamy eksperymenty z zasłonami (parcelami). Postanawiamy je przymocować do prętów korytek kablowych (w końcu nie ma się do czego innego przyczepić), dobrze, że powinny być lekkie. Szybko zdecydowaliśmy się na zadaszenia lub grzebienie.

Problem polega na tym, że wcześniej pracowaliśmy z wieloma dostawcami. Każdy ma rozwiązania dla własnych centrów danych firm, ale dla komercyjnego centrum danych praktycznie nie ma gotowych rozwiązań. Nasi klienci regularnie przyjeżdżają i wyjeżdżają. Jesteśmy jednym z nielicznych "ciężkich" centrów danych bez ograniczeń szerokości szafki, z możliwościami przyjmowania tych serwerów do 25 kW. Żadne planowanie infrastruktury na zapas. Oznacza to, że jeśli będziemy brać modułowe systemy cage od dostawców – zawsze będą dziury na dwa miesiące. W zasadzie nigdy nie będzie to efektywne energetycznie.

Postanowiliśmy zrobić to sami, dobrze, że mamy swoich inżynierów.

Pierwszą rzeczą, którą wzięliśmy, były taśmy z przemysłowych lodówek. To takie giętkie poliuretanowe pasy, którymi można oblać. Na pewno je gdzieś widzieliście przy wejściu do działu mięsnego w największych supermarketach. Zaczęliśmy szukać nietoksycznych i niepalnych materiałów. Znaleźliśmy, kupiliśmy na dwa rzędy. Powiesiliśmy, zaczęliśmy patrzeć, co z tego wyjdzie.

Zdawaliśmy sobie sprawę, że nie będzie zbyt dobrze. Ale wyszło właściwie bardzo, zdecydowanie nie bardzo. Zaczynają, jak makaron, rozwiewać się na strumieniach. Znaleźliśmy taśmy magnetyczne, takie jak magnesy na lodówkę. Przykleiliśmy je do tych pasków, skleiły się ze sobą, powstała ściana w miarę monolityczna.

Zaczęliśmy przemyślać, co będzie w sali.

Poszliśmy do budowniczych, pokazujemy nasz projekt. Oni patrzą, mówią: wasze zasłony są bardzo ciężkie. 700 kilogramów w całej hali maszyn. Idźcie, mówią, dobrzy ludzie, do diabła. Dokładniej, do zespołu SCS. Niech policzą, ile mają makaronu w skrzynkach, bo 120 kg na metr kwadratowy — to maksymalna wartość.

SCS mówią: pamiętacie, przyszedł do nas jeden duży klient? Ma dziesiątki tysięcy portów w jednej sali. Na brzegach hali maszyn jest jeszcze w porządku, ale bliżej do krosna już nie będzie się dało przymocować: skrzynki się odkleją.

Budowniczy poprosili również o certyfikat materiału. Zaznaczę, że wcześniej pracowaliśmy na dobre słowo dostawcy, ponieważ to był tylko test. Zwróciliśmy się do tego dostawcy, mówimy: OK, jesteśmy gotowi do wersji beta, dajcie wszystkie papiery. Przesyłają nam coś, co nie jest do końca zgodne z normami.

Mówimy: słuchajcie, a gdzie wzięliście ten papier? Oni: to nam nasz chiński producent przysłał w odpowiedzi na zapytania. Według papieru ten materiał w ogóle się nie pali.

W tym momencie zrozumieliśmy, że trzeba się zatrzymać i sprawdzić fakty. Idziemy do dziewczyn z bezpieczeństwa pożarowego w centrum danych, podają nam laboratorium, które sprawdza palność. Całkiem przystępne pieniądze i terminy (chociaż przeklinaliśmy wszystko, zanim zebraliśmy potrzebną ilość dokumentów). Tam naukowcy mówią: przywieźcie materiał, zrobimy testy.

W podsumowaniu napisano, że z kilograma substancji zostaje około 50 gramów popiołu. Reszta wyraźnie się pali, spływa i bardzo dobrze podtrzymuje palenie w kałuży.

Zdajemy sobie sprawę — dobrze, że nie kupiliśmy. Zaczęliśmy szukać innego materiału.

Znaleźliśmy poliwęglan. Okazał się bardziej sztywny. Przezroczysta płyta — dwa mm, drzwi — z czteromilimetrowego. W zasadzie to jest pleksi. Razem z producentem zaczynamy rozmowę na temat bezpieczeństwa pożarowego: poprosimy o certyfikat. Przesyłają go. Podpisany przez ten sam instytut. Dzwonimy tam, mówimy: no co, panowie, sprawdzaliście to?

Oni mówią: tak, sprawdzaliśmy. Najpierw spaliliśmy u siebie, dopiero potem przynieśliśmy na testy. Z kilograma materiału zostaje (jeśli go palić palnikiem) około 930 gramów popiołu. Topnieje i kapie, ale kałuża nie będzie się palić.

Od razu sprawdzamy nasze magnesy (są na polimerowej podkładce). Ku naszemu zdziwieniu, palą się słabo.

Kompilacja

Z tego zaczynamy składanie. Poliwęglan jest wspaniały, ponieważ jest lżejszy od polietylenu, który znacznie gorzej się wygina. Prawda jest taka, że przywożą płyty 2,5 na 3 metry, a dostawcy jest obojętne, co z tym zrobić. A nam potrzeba 2,8 szerokości 20–25 centymetrów. Drzwi wysłaliśmy do firm, które tną płyty, jak potrzeba. A lamele pocięliśmy sami. Sam proces cięcia kosztuje dwa razy drożej niż sama płyta.

Oto co wyszło:

Efekt — system cage’owania zwraca się w czasie krótszym niż rok. Oszczędzamy po 200–250 kW na mocy fancoili. Jeszcze ileś na chillers, ile dokładnie — nie wiemy. Serwery ciągną z stałą prędkością, fancoile dmuchają. A chille włączają się i wyłączają jak grzebień: z niej trudno wyciągnąć dane. Nie można zatrzymać maszyny dla testów.

Cieszymy się, że w swoim czasie była zasada, by w modułach 5x5 stelaży tak ustawiać, aby ich średnie zużycie wyniosło maksymalnie sześć kW. To znaczy, że ciepło nie koncentruje się w jednym miejscu, lecz jest rozłożone po sali maszynowej. Ale jest sytuacja, gdzie obok siebie jest 10 sztuk stelaży 15-kilowatowych, ale naprzeciwko — cold storage. Jest zimny. Balansuje to.

Gdzie nie ma stelaża, potrzebna jest osłona do podłogi.

A jeszcze mamy niektórych klientów izolowanych kratkami. Z nimi również były pewne szczególne cechy.

Na lamele cięliśmy, ponieważ szerokość stelaży nie jest stała, a częstotliwość mocowania grzebienia jest określona: trzy-cztery cm zawsze w prawo lub w lewo. Jeśli masz blok 600 pod miejscem stelażowym, to z prawdopodobieństwem 85 procent nie stanie. A krótkie i długie lamele współistnieją i są sklejane. Czasami tniemy lamele w kształt litery G według konturów stelaży.

Czujniki

Zanim zmniejszymy moc wentylatorów, konieczne było dokładne monitorowanie temperatury w różnych punktach sali, aby uniknąć niespodzianek. Tak powstały bezprzewodowe czujniki. W przypadku przewodowych – na każdym rzędzie trzeba zamontować swoje urządzenie do crossowania tych czujników, a czasami również przedłużacze. To wszystko zamienia się w girlandę. To bardzo źle. A kiedy te przewody wchodzą do klatek klientów, ich ochroniarze natychmiast się denerwują i proszą o wyjaśnienie z certyfikatem, co właśnie przez te przewody się zbiera. Należy dbać o nerwy ochrony. Bezprzewodowych czujników jakoś nie ruszają.

Ponadto szafy przyjeżdżają i odjeżdżają. Czujnik na magnesie łatwiej przymocować, ponieważ za każdym razem trzeba go wieszać wyżej lub niżej. Jeśli serwery znajdują się w dolnej jednej trzeciej szafy, trzeba montować go niżej, a nie według standardu na półtora metra od podłogi na drzwiach szafy w zimnym korytarzu. Tam nie ma sensu pomiar, trzeba mierzyć to, co w sprzęcie.

Jeden czujnik na trzy szafy – często nie ma potrzeby montować więcej. Temperatura się nie różni. Obawialiśmy się, że będzie przepływ powietrza przez same szafy, ale tak się nie stało. Mimo to dostarczamy nieco więcej zimnego powietrza niż przewidują wartości obliczeniowe. Zrobiliśmy otwory w lamelach 3, 7 i 12, nad szafą tworzymy otwór. W niego podczas inspekcji wkładamy anemometr: sprawdzamy, czy strumień powietrza płynie w odpowiednim kierunku.

Potem zawiesiliśmy kolorowe nitki: stara praktyka dla snajperów. Wygląda dziwnie, ale pozwala szybciej zidentyfikować ewentualny problem.

Zabawne

Podczas gdy to wszystko robiliśmy w milczeniu, przyjechał dostawca, który produkuje infrastrukturę dla centrów danych. Mówi: chodźmy, przyjedziemy i opowiemy o efektywności energetycznej. Przyjeżdżają, zaczynają mówić o nieoptymalnej sali, przepływach powietrza. Z rozumieniem kiwamy głowami. Ponieważ u nas to jest zainstalowane od trzech lat.

Wieszają po trzy czujniki na każdą szafę. Obrazki z monitorowania są niesamowite, piękne. Większość tego rozwiązania w cenie to oprogramowanie. Na poziomie „alertu w Zabbixie”, ale własnościowe i bardzo drogie. Problem tkwi również w tym, że mają czujniki, oprogramowanie, a następnie szukają wykonawcy na miejscu: nie mają własnych dostawców na cage.

Okazuje się, że ich rękami kosztuje to pięć – siedem razy więcej niż to, co zrobiliśmy.