Ten post dedykuję tym osobom, które kłamały w sprawie certyfikatów, przez co prawie zamontowaliśmy w naszych halach iskry.
Historia ma ponad cztery lata, ale publikuję ją teraz, ponieważ wygasła umowa NDA. Wtedy zdaliśmy sobie sprawę, że centrum danych (które wynajmujemy) było prawie całkowicie obciążone, a jego efektywność energetyczna niewiele się poprawiła. Wcześniej hipoteza była taka, że im więcej go zapełnimy, tym lepiej, bo inżynier jest rozdzielony między wszystkich. Okazało się jednak, że oszukiwaliśmy się w tej kwestii i mimo że ładunek był dobry, gdzieś były straty. Pracowaliśmy w wielu obszarach, ale nasz odważny zespół skupił się na chłodzeniu.
Prawdziwe życie centrum danych różni się nieco od tego, co jest w projekcie. Ciągłe korekty ze strony serwisu operacyjnego w celu zwiększenia wydajności i optymalizacji ustawień dla nowych zadań. Weź mityczny słupek B. W praktyce tak się nie dzieje, rozkład obciążenia jest nierówny, gdzieś gęsty, gdzieś pusty. Musieliśmy więc przekonfigurować niektóre rzeczy, aby uzyskać lepszą efektywność energetyczną.
Nasz kompresor centrum danych jest potrzebny różnym klientom. Dlatego wśród zwykłych szaf o mocy od dwóch do czterech kilowatów może znajdować się szafa o mocy 23 kilowatów lub więcej. W związku z tym klimatyzatory miały je chłodzić, a powietrze po prostu przepływało przez słabsze szafy.
Druga hipoteza głosiła, że korytarze ciepłe i zimne nie mieszają się. Po pomiarach mogę stwierdzić, że jest to złudzenie, a rzeczywista aerodynamika odbiega od modelu niemal pod każdym względem.
Ankieta
Najpierw zaczęliśmy przyglądać się przepływowi powietrza w halach. Dlaczego tam pojechali? Ponieważ rozumieli, że centrum danych jest zaprojektowane na pięć do sześciu kW na szafę, ale wiedzieli, że w rzeczywistości są to od 0 do 25 kW. Prawie niemożliwe jest uregulowanie tego wszystkiego za pomocą płytek: już pierwsze pomiary wykazały, że transmitują one prawie równomiernie. Ale w ogóle nie ma płytek o mocy 25 kW, muszą być nie tylko puste, ale z płynną próżnią.
Kupiliśmy anemometr i rozpoczęliśmy pomiary przepływów pomiędzy regałami i nad regałami. Ogólnie rzecz biorąc, trzeba z nim pracować zgodnie z GOST i szeregiem standardów, które są trudne do wdrożenia bez wyłączania hali turbin. Nie interesowała nas dokładność, ale obraz zasadniczy. Oznacza to, że mierzyli w przybliżeniu.
Według pomiarów, ze 100 procent powietrza wydobywającego się z płytek, 60 procent trafia do stojaków, reszta leci obok. Wynika to z faktu, że istnieją ciężkie szafy o mocy 15–25 kW, wzdłuż których budowane jest chłodzenie.
Nie możemy wyłączyć klimatyzatorów, ponieważ na ciepłych szafach w rejonie górnych serwerów będzie bardzo ciepło. W tym momencie rozumiemy, że trzeba odizolować coś od czegoś innego, aby powietrze nie przeskakiwało z rzędu do rzędu i żeby w bloku nadal zachodziła wymiana ciepła.
Jednocześnie zadajemy sobie pytanie, czy jest to wykonalne finansowo.
Jesteśmy zaskoczeni, gdy odkrywamy, że mamy zużycie energii przez centrum danych jako całość, ale po prostu nie możemy policzyć klimakonwektorów dla konkretnego pomieszczenia. Oznacza to, że analitycznie możemy, ale w rzeczywistości nie możemy. A oszczędności nie jesteśmy w stanie oszacować. Zadanie staje się coraz ciekawsze. Jeśli zaoszczędzimy 10% mocy klimatyzacji, ile pieniędzy możemy przeznaczyć na izolację? Jak liczyć?
Pojechaliśmy do automatyków, którzy kończyli instalację monitoringu. Dziękuję chłopakom: mieli wszystkie czujniki, musieli tylko dodać kod. Zaczęto oddzielnie instalować agregaty chłodnicze, UPS i oświetlenie. Dzięki nowemu gadżetowi możliwe stało się sprawdzenie, jak zmienia się sytuacja pomiędzy elementami systemu.
Eksperymenty z zasłonami
Jednocześnie rozpoczynamy eksperymenty z zasłonami (ogrodzeniami). Decydujemy się na montaż ich na bolcach korytek kablowych (i tak nic więcej nie jest potrzebne), bo powinny być lekkie. Szybko zdecydowaliśmy się na baldachimy lub grzebienie.
Problem w tym, że współpracowaliśmy wcześniej z wieloma dostawcami. Każdy ma rozwiązania dla własnych centrów danych w firmach, ale w zasadzie nie ma gotowych rozwiązań dla komercyjnego centrum danych. Nasi klienci przychodzą i odchodzą cały czas. Jesteśmy jednym z niewielu „ciężkich” centrów danych bez ograniczeń dotyczących szerokości szafy, z możliwością obsługi serwerów typu grinder o mocy do 25 kW. Brak planowania infrastruktury z wyprzedzeniem. Oznacza to, że jeśli weźmiemy od dostawców modułowe systemy klatek, zawsze będą dziury przez dwa miesiące. Oznacza to, że turbinownia w zasadzie nigdy nie będzie energooszczędna.
Postanowiliśmy zrobić to sami, ponieważ mamy własnych inżynierów.
Pierwszą rzeczą, którą zabrali, były taśmy z lodówek przemysłowych. Są to elastyczne smarki polietylenowe, w które można uderzyć. Pewnie widzieliście je gdzieś przy wejściu na dział mięsny największych sklepów spożywczych. Zaczęto szukać materiałów nietoksycznych i niepalnych. Znaleźliśmy go i kupiliśmy na dwa rzędy. Powiesiliśmy go i zaczęliśmy widzieć, co się stało.
Zrozumieliśmy, że nie będzie to zbyt dobre. Ale ogólnie wyszło bardzo, bardzo niezbyt dobrze. Zaczynają trzepotać w strumieniach jak makaron. Znaleźliśmy taśmy magnetyczne, takie jak magnesy na lodówkę. Nakleiliśmy je na te listwy, skleiliśmy ze sobą i ściana okazała się w miarę monolityczna.
Zaczęliśmy zastanawiać się, co czeka widzów.
Przejdźmy do budowniczych i pokażmy nasz projekt. Patrzą i mówią: twoje zasłony są bardzo ciężkie. 700 kilogramów w całej hali turbin. Idźcie do diabła, mówią, dobrzy ludzie. Dokładniej do zespołu SKS. Niech policzą, ile makaronu mają na tackach, bo 120 kg na metr kwadratowy to maksimum.
SKS mówi: pamiętacie, przyszedł do nas jeden duży klient? Posiada dziesiątki tysięcy portów w jednym pomieszczeniu. Wzdłuż krawędzi pomieszczenia z turbiną jest nadal w porządku, ale nie będzie możliwości przymocowania go bliżej pomieszczenia poprzecznego: tace odpadną.
Konstruktorzy poprosili także o atest na materiał. Pragnę zauważyć, że wcześniej pracowaliśmy nad słowem honoru dostawcy, ponieważ była to tylko jazda próbna. Skontaktowaliśmy się z tym dostawcą i powiedzieliśmy: OK, jesteśmy gotowi na przejście do wersji beta, przekaż nam całą dokumentację. Wysyłają coś, co nie ma zbyt ustalonego wzorca.
Mówimy: słuchaj, skąd wziąłeś tę kartkę papieru? Oni: nasz chiński producent przesłał nam to w odpowiedzi na prośby. Według gazety to coś w ogóle się nie pali.
W tym momencie zdaliśmy sobie sprawę, że nadszedł czas, aby zatrzymać się i sprawdzić fakty. Idziemy do dziewcząt z działu bezpieczeństwa przeciwpożarowego centrum danych, mówią nam o laboratorium, które bada palność. Całkiem ziemskie pieniądze i terminy (choć przeklinaliśmy wszystko przy kompletowaniu wymaganej liczby kartek). Tam naukowcy mówią: przynieście materiał, zrobimy badania.
Podsumowując, napisano, że z kilograma substancji pozostaje około 50 gramów popiołu. Reszta pali się jasno, spływa i bardzo dobrze utrzymuje spalanie w kałuży.
Rozumiemy - dobrze, że tego nie kupiliśmy. Zaczęliśmy szukać innego materiału.
Znaleźliśmy poliwęglan. Okazał się twardszy. Przezroczysta blacha ma dwa mm, drzwiczki wykonane są z czterech mm. Zasadniczo jest to plexi. Razem z producentem rozpoczynamy rozmowę o bezpieczeństwie przeciwpożarowym: daj nam certyfikat. Oni wysłali. Podpisano przez ten sam instytut. Dzwonimy tam i mówimy: cóż, chłopaki, sprawdziliście to?
Mówią: tak, sprawdzili. Najpierw spalili go w domu, potem przywieźli dopiero na testy. Tam z kilograma materiału pozostaje około 930 gramów popiołu (jeśli spalisz go palnikiem). Topi się i kapie, ale kałuża się nie pali.
Od razu sprawdzamy nasze magnesy (są na polimerowej wyściółce). Co ciekawe, słabo się palą.
montaż
Od tego zaczynamy zbierać. Poliwęglan jest świetny, ponieważ jest lżejszy od polietylenu i znacznie trudniej się wygina. To prawda, przynoszą arkusze o wymiarach 2,5 na 3 metry, a dostawcy nie interesuje, co z tym zrobić. Ale potrzebujemy 2,8 o szerokości 20–25 centymetrów. Drzwi zostały wysłane do biur, które docinają arkusze według potrzeb. I sami wycinamy lamele. Sam proces cięcia kosztuje dwa razy więcej niż arkusz.
Oto co się stało:
W rezultacie koszt systemu klatek zwraca się w czasie krótszym niż rok. W ten sposób zaoszczędziliśmy stale 200–250 kW na mocy klimakonwektora. Nie wiemy, ile jeszcze zostało na chillerach, ani ile dokładnie. Serwery ssą ze stałą prędkością, klimakonwektory dmuchają. A agregaty chłodnicze są włączane i wyłączane za pomocą grzebienia: trudno jest z niego wydobyć dane. Hala turbin nie może być zatrzymywana do testów.
Cieszymy się, że kiedyś obowiązywała zasada montażu szaf 5x5 w modułach, tak aby ich średnie zużycie wynosiło maksymalnie sześć kW. Oznacza to, że ciepło nie jest skupiane na wyspie, ale rozprowadzane po całej turbinowni. Ale jest taka sytuacja, że obok siebie stoi 10 sztuk 15-kilowatowych stojaków, ale naprzeciwko jest stos. On jest zimny. Zrównoważony.
Tam, gdzie nie ma blatu, potrzebny jest płot sięgający do podłogi.
A niektórzy z naszych klientów są izolowani kratami. Było z nimi także kilka osobliwości.
Tną w lamele, ponieważ szerokość słupków nie jest ustalona i określa się częstotliwość grzebienia zapięć: zawsze będą trzy lub cztery cm w prawo lub w lewo. Jeśli masz blok o pojemności 600 sztuk w szafie, istnieje 85% szans, że się nie zmieści. A krótkie i długie lamele współistnieją i sklejają się ze sobą. Czasami wycinamy lamele z literą G wzdłuż konturów stojaków.
Czujniki
Przed zmniejszeniem mocy klimakonwektorów konieczne było ustawienie bardzo dokładnego monitoringu temperatury w różnych punktach hali, tak aby nie było żadnych niespodzianek. Tak powstały czujniki bezprzewodowe. Przewodowy - w każdym rzędzie trzeba powiesić własną rzecz, aby połączyć krzyżowo te czujniki, a czasem także przedłużacze. To zamienia się w girlandę. Bardzo źle. A kiedy te przewody wchodzą do klatek klientów, ochroniarze natychmiast się ekscytują i proszą o wyjaśnienie za pomocą certyfikatu, co jest usuwane wzdłuż tych przewodów. Nerwy ochroniarzy muszą być chronione. Z jakiegoś powodu nie dotykają czujników bezprzewodowych.
Coraz więcej stoisk pojawia się i znika. Łatwiej jest ponownie zamontować czujnik na magnesie, ponieważ za każdym razem trzeba go zawiesić wyżej lub niżej. Jeśli serwery znajdują się w dolnej jednej trzeciej szafy, należy je zawiesić w dół, a nie zgodnie ze standardem półtora metra od podłogi na drzwiach szafy w zimnym korytarzu. Tam nie ma sensu mierzyć, trzeba mierzyć to, co jest w żelazie.
Jeden czujnik na trzy stojaki - częściej nie trzeba go wieszać. Temperatura nie jest inna. Baliśmy się, że powietrze będzie zasysane przez same rozpórki, ale tak się nie stało. Ale nadal dostarczamy nieco więcej zimnego powietrza niż obliczone wartości. Wykonaliśmy okna w listwach 3, 7 i 12 oraz wykonaliśmy otwór nad stojakiem. Chodząc po okolicy, umieszczamy w nim anemometr: widzimy, że przepływ idzie tam, gdzie powinien.
Potem zawiesili jasne sznurki: stara praktyka snajperów. Wygląda to dziwnie, ale pozwala szybciej wykryć możliwy problem.
zabawny
Kiedy robiliśmy to wszystko w ciszy, przybył sprzedawca, który produkuje sprzęt inżynieryjny dla centrów danych. Mówi: przyjdźmy i opowiedzmy o efektywności energetycznej. Przychodzą i zaczynają rozmawiać o nieoptymalnej hali i przepływie powietrza. Kiwamy głową ze zrozumieniem. Ponieważ mamy trzy lata zgodnie z ustaleniami.
Wieszają po trzy czujniki na każdym stojaku. Zdjęcia z monitoringu są oszałamiające i piękne. Ponad połowę ceny tego rozwiązania stanowi oprogramowanie. Na poziomie alertu Zabbix, ale zastrzeżony i bardzo drogi. Problem w tym, że mają czujniki, oprogramowanie, a potem szukają wykonawcy na miejscu: nie mają własnych dostawców do cadingu.
Okazuje się, że ich ręce kosztują od pięciu do siedmiu razy więcej niż nasze.
referencje
- .
- .
- .
- .
- .
- Mój mail: [email chroniony]
Źródło: www.habr.com