🥇 Jak zainwestowaliśmy w efektywność energetyczną naszego centrum danych

Ten post dedykuję osobom, które kłamały w certyfikatach, przez co prawie wprowadziliśmy do naszego obiektu bengalskie ogni.

To historia sprzed ponad czterech lat, ale publikuję ją teraz, ponieważ wygasła umowa o poufności. Wtedy zrozumieliśmy, że prawie całkowicie zapełniliśmy wynajmowane centrum danych, a jego efektywność energetyczna nie poprawiła się w znaczący sposób. Wcześniej sądziliśmy, że im bardziej je zapełnimy, tym lepiej, ponieważ inżynieria rozkłada się na wszystkich. Okazało się, że w ten sposób oszukiwaliśmy się, a przy dużym obciążeniu występowały straty. Pracowaliśmy w wielu obszarach, ale nasz odważny zespół zajął się chłodzeniem.

Realne życie centrum danych to trochę coś innego niż projekt. Ciągłe dostosowywanie ze strony zespołu operacyjnego w celu zwiększenia efektywności i optymalizacja ustawień pod nowe zadania. W przypadku wirtualnej średniej szafki to nie istnieje, ponieważ obciążenie jest nierównomierne — gdzieś jest gęsto, a gdzie indziej pusto. Dlatego musieliśmy dostosować niektóre rzeczy, aby poprawić efektywność energetyczną.

Nasze centrum danych Kompresor jest potrzebne dla różnych klientów. Dlatego pośród zwykłych stojaków o mocy dwóch–czterech kilowatów może się znaleźć całkiem solidny stojak o mocy 23 kilowatów lub więcej. Odpowiednio, klimatyzatory zostały dostosowane do ich chłodzenia, a przez mniej wydajne stojaki powietrze po prostu przelatywało obok.

Druga hipoteza zakładała, że ciepłe i zimne korytarze się nie mieszają. Po pomiarach mogę stwierdzić, że to iluzja, a rzeczywista aerodynamika różni się od modelu praktycznie we wszystkim.

Badanie

Najpierw zaczęliśmy analizować przepływy powietrza w salach. Dlaczego to zrobiliśmy? Ponieważ rozumieliśmy, że centrum danych jest zaprojektowane na pięć-trzy kilowaty na stojak, ale wiedzieliśmy, że w rzeczywistości mieszczą się one w przedziale od 0 do 25 kilowatów. Regulacja tego wszystkiego za pomocą płytek jest prawie niemożliwa: pierwsze pomiary pokazały, że przepuszczają one praktycznie tej samej wielkości. A płytek o mocy 25 kilowatów właściwie nie ma, muszą być nie tylko puste, ale z cieczą w próżni.

Kupiliśmy anemometr i zaczęliśmy mierzyć przepływy między stojakami i nad nimi. Właściwie do pracy z nim trzeba stosować się do norm i wielu standardów, co jest trudne do zrealizowania bez zatrzymywania pomieszczenia maszynowego. Interesowała nas nie tyle dokładność, co ogólny obraz. Mierzyliśmy mniej więcej.

Z pomiaru wynika, że z 100 procent powietrza, które wydobywa się z kratek, 60 procent trafia do stojaków, a reszta przelatuje obok. To z powodu ciężkich stojaków o mocy od 15 do 25 kW, na których zbudowane jest chłodzenie.

Nie możemy po prostu wyłączyć klimatyzatorów, ponieważ na ciepłych stojakach w okolicy górnych serwerów będzie zbyt ciepło. W tym momencie rozumiemy, że trzeba coś od czegoś izolować, aby powietrze nie przeskakiwało z rzędu do rzędu i aby wymiana ciepła w bloku jednak następowała.

Równocześnie zadajemy sobie pytanie, czy jest to opłacalne finansowo.

Z zadziwieniem odkrywamy, że ogólne zużycie energii w naszym centrum danych jest znane, ale nie potrafimy oszacować zużycia fancoilów dla konkretnej sali. To znaczy, możemy to zrobić analitycznie, ale w praktyce — nie. Nie jesteśmy w stanie ocenić oszczędności. Zadanie staje się coraz ciekawsze. Jeśli zaoszczędzimy 10% mocy klimatyzatorów — ile pieniędzy można odłożyć na izolację? Jak to policzyć?

Poszliśmy do automatyków, którzy dostosowywali system monitorowania. Dziękujemy chłopakom: mieli wszystkie czujniki, trzeba było tylko dopisać kod. Zaczęli wyprowadzać dane dla chłodziarek, UPS-ów czy oświetlenia. Dzięki nowemu urządzeniu pojawiła się możliwość obserwacji, jak zmienia się sytuacja w poszczególnych elementach systemu.

Eksperymenty z zasłonami

Równolegle zaczynamy eksperymenty z zasłonami (przegrodami). Decydujemy się je przymocować do wsporników koryt kablowych (bo do niczego innego ich nie przymocujemy), na szczęście muszą być lekkie. Szybko zdecydowaliśmy o daszkach lub grzebieniach.

Problem polega na tym, że wcześniej pracowaliśmy z wieloma dostawcami. Wszyscy mają rozwiązania dla własnych centrów danych, ale w zasadzie nie ma gotowych rozwiązań dla komercyjnych centrów danych. Nasi klienci ciągle przyjeżdżają i odjeżdżają. Jesteśmy jednym z nielicznych "ciężkich" centrów danych bez ograniczeń co do szerokości szafy serwerowej, mogących przyjmować te serwery o mocy do 25 kW. Żadne planowanie infrastruktury z wyprzedzeniem. Oznacza to, że jeśli zdecydujemy się na modułowe systemy od dostawców, zawsze będą opóźnienia o co najmniej dwa miesiące. Nasz magazyn więc nigdy nie będzie zasadniczo energoefektywny.

Postanowiliśmy zrobić to samodzielnie, na szczęście mamy własnych inżynierów.

Pierwsze, co zrobiliśmy, to zamówienie taśm od przemysłowych chłodziarek. To elastyczne folie polietylenowe, którymi można się posłużyć. Z pewnością widzieliście je gdzieś na wejściu do działu mięsnego w największych supermarketach. Zaczęliśmy szukać nietoksycznych i niepalnych materiałów. Znaleźliśmy, kupiliśmy na dwa rzędy. Powiesiliśmy je i zaczęliśmy oglądać, co z tego wyszło.

Zdawaliśmy sobie sprawę, że nie będzie łatwo. Ale wyszło naprawdę bardzo źle. Zaczęli się rozwiewać jak makarony w strugach powietrza. Znaleźliśmy taśmy magnetyczne, jak na lodówkę. Przykleiliśmy je do tych pasów i do siebie, więc ściana wyszła w miarę monolityczna.

Zaczęliśmy zastanawiać się, co będzie w sali.

Poszliśmy do budowniczych, pokazujemy nasz projekt. Oni patrzą i mówią: wasze zasłony są bardzo ciężkie. 700 kilogramów w całej maszynowni. Idźcie, mówią, dobrzy ludzie, do diabła. A dokładniej, do zespołu SCS. Niech policzą, ile mają tam makaronu w korytach, bo 120 kg na metr kwadratowy to maksimum.

SCS mówi: pamiętajcie, że przyjechał do nas jeden duży klient? Ma dziesiątki tysięcy portów w jednej sali. Na krawędziach maszynowni jeszcze w porządku, ale bliżej do krosków już nie da się przymocować: koryta odpadną.

Budowniczowie poprosili też o certyfikat materiału. Zaznaczę, że wcześniej pracowaliśmy na dobre słowo dostawcy, ponieważ to był tylko test. Skontaktowaliśmy się z tym dostawcą, mówimy: OK, jesteśmy gotowi do wersji beta, dajcie wszystkie dokumenty. Przesyłają coś nie do końca zgodnego z normą.

Zadajemy pytanie: słuchajcie, skąd wzięliście ten dokument? Oni: to nasz chiński producent przesłał w odpowiedzi na zapytania. Na tym dokumencie ta substancja w ogóle nie pali się.

W tym momencie zrozumieliśmy, że pora się zatrzymać i sprawdzić fakty. Idziemy do dziewczyn z działu bezpieczeństwa pożarowego, które podają nam laboratorium zajmujące się badaniem palności. Koszty i terminy są jak najbardziej w porządku (choć naprawdę przeklinaliśmy wszystko, przygotowując potrzebną ilość dokumentów). Tam naukowcy mówią: przynieście materiał, zrobimy testy.

W podsumowaniu napisano, że z kilograma substancji zostaje około 50 gramów popiołu. Reszta intensywnie płonie, spływa i bardzo dobrze podtrzymuje ogień w kałuży.

Rozumiemy — dobrze, że nie zdecydowaliśmy się na zakup. Zaczęliśmy szukać innego materiału.

Znaleźliśmy poliwęglan. Okazał się twardszy. Przezroczysta blacha ma dwa mm, a drzwi — cztery milimetry. W zasadzie to plexi. Z producentem zaczynamy rozmowę o bezpieczeństwie pożarowym: dajcie nam certyfikat. Przesyłają go. Podpisany przez tę samą instytucję. Dzwonimy tam, mówimy: no cóż, panowie, czy to było u was badane?

Mówią, że tak, sprawdzali. Najpierw spalili u siebie, a potem tylko przynieśli na testy. Z kilograma materiału pozostaje (jeśli palić go palnikiem) około 930 gramów popiołu. Topnieje i kapie, ale kałuża nie będzie się palić.

Natychmiast sprawdzamy nasze magnesy (są na polimerowej podstawie). Ku naszemu zaskoczeniu palą się słabo.

Montaż

Zaczynamy od tego. Poliwęglan jest wspaniały, ponieważ jest lżejszy od polietylenu, a jednocześnie dużo gorzej się wygina. Prawda jest taka, że dostarczają arkusze 2,5 na 3 metry, a dostawcy nie obchodzi, co z tym zrobić. A nam potrzebne są szerokości 2,8 na 20–25 centymetrów. Drzwi wysyłaliśmy do biur, które tną arkusze tak, jak trzeba. A listewki pocięliśmy sami. Sam proces cięcia kosztuje dwa razy więcej niż arkusz.

Oto co uzyskaliśmy:

Wynik — system cage'owania zwraca się w mniej niż rok. Dzięki temu zaoszczędziliśmy 200–250 kWh mocy wentylatorów. Ile jeszcze na chillera, dokładnie nie wiemy. Serwery pobierają z stałą prędkością, wentylatory dmuchają. A chillery włączają się i wyłączają falami: trudno jest wydobyć z nich dane. Nie można zatrzymać maszyny na testy.

Cieszymy się, że w swoim czasie obowiązywała zasada umieszczania modułów 5x5 w szafach w taki sposób, aby ich średnie zużycie wynosiło maksymalnie sześć kW. Oznacza to, że ciepło nie koncentruje się w jednym miejscu, ale jest rozłożone w całej sali maszyn. Istnieją jednak sytuacje, gdzie obok siebie stoi 10 sztuk 15-kilowatowych szaf, ale naprzeciwko znajduje się miejsce na przechowywanie. Tam jest zimno. Dokonywany jest bilans.

Gdzie nie ma szafy — potrzebna jest przegroda do podłogi.

Mamy też niektórych klientów, którzy są odizolowani kratkami. Z nimi również były pewne szczególne wymagania.

Kleiliśmy listwy, ponieważ szerokość szaf nie jest stała, a okresowość mocowań jest określona: zawsze będzie od trzech do czterech centymetrów w prawo lub w lewo. Jeśli masz blok 600 pod miejscem na szafę, istnieje 85% prawdopodobieństwo, że się nie zmieści. Krótkie i długie listwy współistnieją i są klejone. Czasami przycinamy listwę w kształcie litery G zgodnie z konturami szaf.

Czujniki

Zanim zaczniemy obniżać moc klimatyzatorów, trzeba było bardzo dokładnie ustawić monitorowanie temperatury w różnych punktach sali, aby nie złapać niespodzianek. Tak powstały czujniki bezprzewodowe. Przewodowe — przy każdym rzędzie trzeba zawiesić osobny element do skrzyżowania tych czujników, a czasem jeszcze przedłużacze. To zamienia się w girlandę. Bardzo źle. A kiedy te kable trafiają do szafek klientów, specjaliści ds. bezpieczeństwa natychmiast się interesują i proszą o wyjaśnienia z certyfikatem, co tam przez te przewody jest mierzone. Nerwy specjalistów ds. bezpieczeństwa trzeba oszczędzać. Bezprzewodowych czujników dlaczegoś nie dotykają.

I jeszcze serwery przyjeżdżają i wyjeżdżają. Czujnik na magnesie łatwiej przymocować, ponieważ za każdym razem trzeba go zawiesić wyżej lub niżej. Jeśli serwery są w dolnej części szafy — trzeba go zawiesić niżej, a nie według standardu 1,5 metra od podłogi na drzwiach szafy w zimnym korytarzu. Tam pomiar jest bezużyteczny, trzeba mierzyć to, co w sprzęcie.

Czujnik na trzy stelaże — częściej nie trzeba wieszać więcej. Temperatura nie różni się. Obawialiśmy się, że powietrze będzie przepływać przez stelaże, ale tak się nie stało. Mimo to dostarczamy nieco więcej zimnego powietrza niż wartości obliczeniowe. Zrobiliśmy otwory w lamelach 3, 7 i 12, nad stelażem wykonujemy otwór. Wkładamy w niego anemometr podczas obchodu: sprawdzamy, czy przepływ idzie tam, gdzie powinien.

Potem zawiesiliśmy jasne nitki: stara praktyka dla snajperów. Wygląda dziwnie, ale pozwala szybko wykryć potencjalny problem.

Zabawne

Podczas gdy to wszystko robiliśmy w milczeniu, przyjechał dostawca, który produkuje infrastrukturę dla centrów danych. Mówi: przyjedźmy, opowiemy o efektywności energetycznej. Przyjeżdżają, zaczynają opowiadać o nieoptymalnym pomieszczeniu, przepływach powietrza. Skinęliśmy głowami ze zrozumieniem. Ponieważ mamy to zainstalowane od trzech lat.

Na każdą szafę montują po trzy czujniki. Obrazy monitoringu są niesamowite, piękne. Większość kosztów tego rozwiązania to oprogramowanie. Na poziomie alertów w Zabbixie, ale własnościowe i bardzo drogie. Problem polega jeszcze na tym, że mają czujniki, oprogramowanie, a potem szukają lokalnego wykonawcy: nie ma własnych dostawców do casingu.

Okazuje się, że koszty ich pracy są pięć–siedem razy wyższe niż to, co zrobiliśmy.