Gdzieś pośrodku między Moskwą a Petersburgiem znajduje się małe miasteczko Udomła. Wcześniej znana była z Elektrowni Jądrowej Kalinin. W 2019 roku w pobliżu pojawiła się kolejna atrakcja - centrum megadanych Udomlya z 4 tysiącami stojaków.
Po dołączeniu do zespołu Rostelecom-DPC specjaliści DataLine będą również zaangażowani w obsługę tego centrum danych. Na pewno słyszeliście już coś o „Udomlii”. Dziś postanowiliśmy szczegółowo opowiedzieć, jak tam wszystko działa.
Krajobrazy przemysłowe: centrum danych o powierzchni 32 000 m² i elektrownia jądrowa w tle. Próbka Udomlya wiosna 2019.
Poniżej cięcia zebraliśmy ponad 40 zdjęć systemów inżynieryjnych centrum danych wraz ze szczegółowym opisem. Na tych, którzy dotrą do końca, czeka miła niespodzianka.
O logistyce
Centrum danych znajduje się w regionie Twerskim. Podróż z Moskwy do Udomlyi zajmie około trzech godzin: 1 godzina 45 minut na Sapsanie do stacji Vyshny Volochek, a stamtąd, na wcześniejsze życzenie, przyjedzie autobus i zabierze Cię do centrum danych. Z Petersburga do Vyshny Volochek trwa nieco dłużej - 2 godziny 20 minut.
Samochodem można tam dojechać z Moskwy w 4,5 godziny, z Petersburga w 5.
Tak, prawdopodobnie nie będziesz chciał tu przyjechać na kilka jednostek. Jeśli jednak potrzebny jest nowy dom na dziesiątki regałów, warto przyjrzeć się mu bliżej. Miejsca i prądu jest wystarczająco dużo, nawet jeśli w dowolnym momencie będziesz chciał podwoić tę ilość. W Moskwie, gdzie z naszego doświadczenia wynika, że centra danych rezerwowane są już na etapie budowy, ten trik nie zawsze się sprawdzi.
Ponadto do georezerwacji można wykorzystać lokalizację centrum danych pomiędzy Moskwą a Sankt Petersburgiem. Jeśli główne obiekty znajdują się w Moskwie lub Sankt Petersburgu, wówczas dobrze sprawdzi się lokalizacja zapasowa.
Zespół inteligentnych rąk pomoże we wszystkich standardowych operacjach na miejscu. Przyjmą, rozpakują i zainstalują sprzęt w szafach, podłączą go do prądu i sieci oraz zapewnią zdalny dostęp do sprzętu. W przypadku awarii pomogą w diagnostyce i wymianie uszkodzonych podzespołów.
Pierwszy etap centrum danych składa się z 4 sal komputerowych, czyli modułów, po 205 szaf każdy. Na parterze znajdują się 2 maszynownie i węzeł energetyczny, a na drugim piętrze kolejne dwa pomieszczenia i węzeł chłodniczy. Chodźmy zobaczyć, jak tu wszystko działa.
Bezpieczeństwo fizyczne
Centrum danych zajmuje wyznaczony obszar, na który nie można wejść bez przepustki i dokumentu tożsamości. Osoby przyjeżdżające samochodem również otrzymują przepustkę komunikacyjną i dopiero potem mogą wejść do centrum danych. Dla tych, którzy mają wszystko w porządku z karnetem, centrum danych jest otwarte 24 godziny na dobę, 7 dni w tygodniu.
Pierwszym całodobowym punktem ochrony jest wejście na terytorium.
Idziemy dalej i docieramy do punktu kontrolnego bezpośrednio przy wejściu do data center.
Pracownicy ochrony nie tylko witają klientów i wydają przepustki, ale także całodobowo monitorują ścianę wideo, na której wyświetlany jest obraz wszystkich wewnętrznych pomieszczeń centrum danych i okolic.
Zasilacz
Energia elektryczna rozpoczyna swoją podróż do centrum danych z elektrowni jądrowej. Centrum danych otrzymuje napięcie 10 kV dla 6 transformatorów obniżających napięcie. Następnie napięcie 0,4 kV przechodzi dwiema niezależnymi trasami do rozdzielnicy niskiego napięcia (LVSD). Następnie poprzez DIBP dostarczane jest zasilanie do sprzętu informatycznego i inżynieryjnego. Do racka przystosowane są dwa niezależne wejścia, czyli redundancja 2N. O tym, jak wszystko działa pod względem zasilania, napiszemy więcej w osobnym artykule.
Ścieżka prądu w centrum danych Udomlya
Autobusy energetyczne, za pośrednictwem których energia elektryczna dostarczana jest z RUNN do paneli zasilających DIBP
Rzędy RUNN
Pomimo tego, że w pobliżu znajduje się elektrownia jądrowa, w każdym niezawodnym centrum danych główne zasilanie jest uważane za gwarantowane. Jak wiadomo w naszych data center odpowiadają za to agregaty prądotwórcze na olej napędowy, ale tutaj stosowane są dynamiczne UPS-y (DIUPS). Zapewniają także nieprzerwane zasilanie. DIUP-y rezerwowane są według schematu N+1.
Marka DIPS Euro-Diesel (Kinolt) o mocy 2 MW. Ryczą tak głośno, że lepiej nie wchodzić tam bez zatyczek do uszu.
I tak to działa. DIBP to połączenie trzech głównych komponentów: silnika wysokoprężnego, synchronicznej maszyny elektrycznej i akumulatora energii kinetycznej z wirnikiem. Wszystkie są przymocowane do wału głównego.
Maszyna elektryczna może pracować w trybie silnika elektrycznego i generatora. Kiedy DIBP jest regularnie zasilany z miasta, maszyna elektryczna jest silnikiem elektrycznym, który obraca wirnik i magazynuje energię kinetyczną w akumulatorze.
Szary blok na pierwszym planie to maszyna synchroniczna DIBP
Silnik wysokoprężny DIBP
Jeśli nastąpi przerwa w dostawie prądu miejskiego, maszyna elektryczna przełącza się w tryb generatora. Dzięki zgromadzonej energii kinetycznej wirnik powoduje obrót głównego wału DIBP, maszyna elektryczna kontynuuje pracę bez zasilania miejskiego, a napięcie wyjściowe nie zanika. Zapewnia to nieprzerwane zasilanie centrum danych. Jednocześnie układ sterowania DIBP wysyła sygnał do uruchomienia silnika wysokoprężnego. Ta sama energia kinetyczna wirnika uruchamia silnik wysokoprężny i pomaga mu osiągnąć częstotliwość roboczą. Wirnik utrzymuje prędkość do jednej minuty i to wystarczy, aby włączył się silnik wysokoprężny. Po uruchomieniu silnik wysokoprężny obraca wał główny, a przez niego maszyna elektryczna (tutaj przełączanie DIBP z jednego trybu do drugiego).
Dzięki temu nawet na sekundę nie następuje utrata zasilania w szafach.
Zbiornik każdego generatora diesla jest zaprojektowany na 3 godziny. Data center posiada również własny magazyn paliwa o pojemności 80 ton, który utrzyma cały ładunek data center przez 24 godziny. W przypadku bardzo hipotetycznych przerw w dostawie prądu (pobliska elektrownia jądrowa na to nie pozwoli) istnieją umowy z kilkoma wykonawcami, którzy na wezwanie niezwłocznie dostarczą na miejsce olej napędowy. Generalnie wszystko jest tak jak powinno być.
Co tydzień DIBP przeprowadza autotest i uruchamia silnik wysokoprężny. Raz w miesiącu przeprowadzane są testy z krótkotrwałym wyłączeniem sieci miejskiej.
Panel sterowania DIBP
Siedziba ShchGP i ShchBP
„Linie magistralne” i „węzły” kabli elektroenergetycznych
Pomieszczenia maszynowe
Każdy moduł umieszczony jest w hermetycznej strefie, w specjalnej skrzynce. Te dodatkowe ściany i dach chronią maszynownię przed kurzem, wodą i ogniem. Podczas odbioru centrum danych obszar zabezpieczający jest tradycyjnie polewany wodą w celu sprawdzenia, czy nie ma wycieków.
Dach budynku i własny dach maszynowni wraz z rurami drenażowymi
Woda opadająca na dach strefy bezpiecznej przedostaje się rynnami do rurociągu drenażowego
Każda hala jest gotowa przyjąć 205 regałów o średniej mocy 5 kW.
Rozmieszczenie urządzeń w hali zorganizowane jest według schematu korytarzy zimnych i gorących.
Wzdłuż sufitu poprowadzone są Bolidowe systemy wczesnego wykrywania pożaru i gazowe systemy gaśnicze.
Pod podłogą podniesioną umieszczono także czujniki dymu. Wystarczy uruchomić dowolne dwa czujniki i włączy się syrena alarmu przeciwpożarowego, ale o tym porozmawiamy nieco później.
Właśnie tam, wzdłuż rzędów klimatyzatorów, znajdują się czujniki nieszczelności taśmy.
Każdy korytarz pomiędzy ladami jest „monitorowany” kamerami CCTV.
W razie potrzeby regały można umieścić za specjalnym ogrodzeniem (klatką) i zainstalować na nich dodatkowe kamery, systemy kontroli dostępu i czujniki ruchu, czujniki głośności itp.
Chłodzenie
Centrum danych Udomlya wykorzystuje obwód agregatu chłodniczego z glikolem etylenowym. W maszynowniach znajdują się klimatyzatory, na dachu agregaty chłodnicze, a na drugim piętrze znajduje się węzeł chłodniczy z rurociągami, układem automatyki i sterowania, pompami, zbiornikami magazynowymi itp.
W każdej hali znajduje się 12 klimatyzatorów, połowa z nich wyposażona jest w nawilżacze parowe. Schemat redundancji N+1.
W zimnym korytarzu utrzymuje się temperatura 21–25°C i wilgotność 40–60%.
Klimatyzatory precyzyjne Stulz Cyber Cool
Wokół każdej maszynowni znajdują się dwa pierścienie: „zimna” linia dostarczająca schłodzony glikol etylenowy do klimatyzatora oraz „gorąca” linia, która usuwa podgrzany glikol z klimatyzatorów do agregatów chłodniczych. Jeśli otworzymy podłogę podniesioną w korytarzu, zobaczymy zrzuty do maszynowni z układu chłodniczego.
Droga glikolu etylenowego jest następująca: z klimatyzatora podgrzany glikol etylenowy najpierw trafia do przewodu powrotnego wokół maszynowni, a następnie do wspólnego pierścienia. Następnie glikol etylenowy trafia do pompy, a następnie do agregatu chłodniczego, gdzie jest schładzany do temperatury 10°C. Za agregatem chłodniczym glikol etylenowy powraca do klimatyzatora poprzez przewód zasilający wspólnego pierścienia, zbiorniki magazynujące i pierścień wokół modułu.
Schemat zasilania chłodzenia centrum danych
Tak wygląda węzeł chłodniczy, przez który przechodzi 100 m3 glikolu etylenowego
Szare pojemniki to zbiorniki wyrównawcze. Podgrzany glikol etylenowy przepływa przez nie w drodze do agregatu chłodniczego. Latem glikol etylenowy rozszerza się i wymaga dodatkowej przestrzeni.
Te efektowne kontenery to zbiorniki magazynowe o pojemności 5 m3 każdy. Zapewniają nieprzerwane chłodzenie centrum danych w przypadku awarii agregatu chłodniczego.
Do układu doprowadzany jest schłodzony glikol etylenowy ze zbiorników, co pozwala na utrzymanie temperatury na wylocie z klimatyzatora na poziomie 19°C przez 5 minut. Nawet jeśli na zewnątrz jest +40°C.
Pompy chłodnicze
Siatkowe filtry kieszeniowe i zbiorniki separacyjne do oczyszczania glikolu etylenowego z cząstek mechanicznych i powietrza
Cienka czerwona linia na podłodze pod rurami to taśma czujnika nieszczelności. Biegną wzdłuż całego obwodu centrum chłodniczego.
W przypadku nieszczelności którejkolwiek z rur glikol etylenowy przejdzie przez system drenażowy i trafi do specjalnego zbiornika w pomieszczeniu uzdatniania wody. Istnieją również dwa zbiorniki z „zapasowym” glikolem etylenowym, które umożliwiają uzupełnienie układu chłodniczego w przypadku większych wycieków.
A co do chillerów. Na dachu znajduje się 5 agregatów chłodniczych korzystających ze schematu redundancji N+1. Automatyka każdego dnia określa, w zależności od godzin pracy, który agregat chłodniczy umieścić w rezerwie.
Agregaty chłodnicze marki Stulz CyberCool 2 o mocy 1096 kW
Agregaty chłodnicze obsługują trzy tryby:
- kompresor – od 12°C;
- mieszane – w temperaturze 0–12°C;
- swobodne chłodzenie – od 0 wzwyż. Tryb ten polega na chłodzeniu glikolu etylenowego poprzez działanie wentylatorów, a nie sprężarki.
Bezpieczeństwo pożarowe
Centrum danych posiada dwie gazowe stacje gaśnicze. W każdym znajdują się dwie baterie po 11 cylindrów: pierwsza jest główna, druga stanowi rezerwę.
System przeciwpożarowy centrum danych jest połączony z serwerem elektrowni jądrowej Kalinin, a w razie potrzeby na miejsce w ciągu kilku minut dotrze własna straż pożarna elektrowni.
Na zdjęciu instalacja sygnalizacji pożaru i przycisk wyjścia awaryjnego w maszynowni. Ten ostatni jest potrzebny, jeśli z jakiegoś powodu drzwi nie zostały otwarte podczas alarmu pożarowego: odcina zasilanie elektrozamka.
Telecom
Dwie autostrady Rostelecom docierają do centrum danych niezależnymi trasami. Każdy system DWDM ma przepustowość 8 terabitów.
Centrum danych posiada dwa wejścia telekomunikacyjne, które znajdują się w odległości ponad 25 metrów od siebie.
Na stronie obecni są także operatorzy Rascom, Telia Carrier Russia, Consyst i DataLine, które pojawią się w najbliższej przyszłości.
Z Udomły można zbudować kanał do Moskwy, Sankt Petersburga lub gdziekolwiek w Rosji i na świecie.
Monitorowanie
Inżynierowie dyżurujący pełnią dyżur w centrum monitorowania przez całą dobę.
Otrzymywane są tutaj wszystkie informacje dotyczące systemów inżynieryjnych: warunki klimatyczne w hali, stan wejść, DIBP itp.
Co dwie godziny dyżurujący pracownicy oprowadzają po wszystkich obiektach infrastruktury w celu sprawdzenia stanu sprzętu inżynieryjnego i informatycznego.
Infrastruktura wspierająca
W celu dostarczenia sprzętu do centrum danych zapewniona jest strefa rozładunku.
Strefa rozładunku od wewnątrz.
Jeśli Twoja hala znajduje się na drugim piętrze, to ten podnośnik hydrauliczny przewiezie tam dowolny sprzęt.
Szafki do przechowywania narzędzi klienta i nie tylko.
Trochę o życiu codziennym
Dla stałych pracowników istnieje możliwość wynajęcia wyposażonych stanowisk pracy w części biurowej. Jeśli odwiedzasz od czasu do czasu, możesz zatrzymać się w tymczasowym hotelu ze wszystkimi udogodnieniami na terenie centrum danych.
W części biurowej znajduje się także jadalnia i kuchnia.
A wokół jest niesamowita przyroda z lasami, jeziorami, rzekami, wędkarstwem i innymi zajęciami na świeżym powietrzu. Przyjdź na wizytę.
Zgodnie z obietnicą miły bonus dla tych, którzy dotrwali do końca. Przez pierwsze sześć miesięcy wynajęcie powierzchni rackowej w Udomli o dostarczonej mocy 5 kW będzie bezpłatne. Płać tylko za faktycznie zużytą energię elektryczną. Wyślij swoją aplikację do .
Źródło: www.habr.com