Centrum danych «Tushino» to komercyjny półmegawatowy obiekt dla wszystkich i wszystkiego. Klient może nie tylko wynająć już zainstalowany sprzęt, ale także umieścić tam swój własny, w tym niestandardowe urządzenia, takie jak serwery w standardowych obudowach komputerów stacjonarnych, farmy wydobywcze lub systemy sztucznej inteligencji. Innymi słowy, to różnorodne popularne zadania, najbardziej poszukiwane przez krajowy biznes o różnej wielkości. To właśnie czyni go interesującym. W tym poście nie znajdziesz ekskluzywnych rozwiązań technicznych ani inżynieryjnego geniuszu. Mowa będzie o standardowych problemach i rozwiązaniach. To znaczy, o tym, czym 90% specjalistów zajmuje się przez 90% swojego czasu pracy.
Tier — im więcej, tym lepiej?
Odporność na awarie centrum danych «Tushino» odpowiada poziomowi Tier II. W praktyce oznacza to, że centrum danych znajduje się w odpowiednio przygotowanych pomieszczeniach, są stosowane rezerwowe źródła zasilania oraz dostępne są nadmiarowe zasoby systemowe.
Jednak w przeciwieństwie do powszechnego przekonania, poziomy Tier nie określają 'fajności' centrum danych, a stopień jego zgodności z aktualnymi potrzebami biznesowymi. A wśród nich znajduje się wiele takich, dla których wysoka odporność na awarie jest albo mało istotna, albo nie na tyle ważna, by płacić za nią dodatkowo 20-25 tysięcy rubli rocznie, co w warunkach kryzysu może okazać się dość dotkliwe dla zamawiającego.
Skąd się wzięła taka kwota? To właśnie ona stanowi różnicę pomiędzy cenami za umieszczanie informacji w centrach danych poziomach Tier II i Tier III na jeden serwer. Im więcej danych, tym bardziej zauważalna potencjalna oszczędność.
Jakie zadania mają na myśli? Na przykład, przechowywanie kopii zapasowych lub wydobywanie kryptowalut. W tych przypadkach, dopuszczalny Tier II będzie tańszy niż Tier III. serweraPraktyka pokazuje, że w większości przypadków oszczędność jest ważniejsza niż zwiększona odporność na awarie. W Moskwie działa zaledwie pięć centrów danych certyfikowanych według Tier III. A całkowicie certyfikowanych według Tier IV nie ma w ogóle.
Jak wygląda system zasilania centrum danych «Tushino»?
Jak działa system zasilania w centrum danych «Tushino»?
Wymagania dotyczące zasilania elektrycznego centrum danych „Tushino” odpowiadają warunkom poziomu Tier II. Obejmuje to rezerwację linii zasilania w schemacie N+1, rezerwację źródeł zasilania UPS w schemacie N+1 oraz rezerwację agregatu prądotwórczego w schemacie N. N+1 w tym przypadku oznacza schemat z jednym elementem rezerwowym, który pozostaje nieaktywny, dopóki w systemie nie wystąpi awaria jednego z głównych elementów, a N — schemat bez rezerwacji, w którym awaria któregokolwiek z elementów prowadzi do przerwania pracy całego systemu.
Wiele problemów związanych z zasilaniem energia jest rozwiązywanych poprzez odpowiedni wybór lokalizacji dla centrum danych. Centrum danych „Tushino” znajduje się na terenie przedsiębiorstwa, do którego już docierają dwie linie o napięciu 110 kV z różnych miejskich elektrowni. W urządzeniach samego zakładu wysokie napięcie jest przekształcane na średnie, a do wejścia centrum danych trafiają dwie niezależne linie o napięciu 10 kV.
Transformatorowa stacja wewnątrz budynku centrum danych przekształca średnie napięcie na napięcie konsumpcyjne 240-400 V. Wszystkie linie prowadzone są równolegle, dzięki czemu urządzenia centrum danych zyskują zasilanie z dwóch niezależnych zewnętrznych źródeł.
Niskie napięcie z transformatorów doprowadzane jest do automatycznych przełączników rezerwowych, które zapewniają przełączanie między miejskimi sieciami. Zainstalowanym napędom AVR na tę operację potrzeba 1,2 sekundy. Przez ten czas obciążenie spoczywa na źródłach zasilania UPS.
Oddzielny AVR odpowiada za automatyczne uruchomienie agregatu prądotwórczego w przypadku, gdy zasilanie z obydwu linii zniknie. Rozruch agregatu prądotwórczego to proces niezbyt szybki i zajmuje około 40 sekund, podczas których zasilanie całkowicie przechodzi na akumulatory UPS.
Na pełnym zasilaniu generator diesla zapewnia działanie centrum danych przez 8 godzin. Uwzględniając to, centrum danych zawarło dwie umowy z niezależnymi dostawcami paliwa, którzy zobowiązali się dostarczać nową porcję paliwa w ciągu 4 godzin od wezwania. Prawdopodobieństwo, że obaj dostawcy napotkają jakieś okoliczności siły wyższej, jest bardzo niskie. W ten sposób autonomiczność może trwać tak długo, jak potrzeba zespołom remontowym na przywrócenie zasilania chociażby z jednej z miejskich sieci.
Jak łatwo zauważyć, nie ma tu żadnych inżynieryjnych wyzwań. Wynika to również z faktu, że przy budowie infrastruktury inżynieryjnej używano gotowych modułów, których producenci kierują się tzw. "przeciętnym konsumentem".
Bez wątpienia każdy specjalista IT powie, że uśrednianie to "ani ryba, ani mięso" i zaproponuje opracowanie unikalnego zestawu komponentów dla konkretnego systemu. Jednak chętni do płacenia za tę przyjemność z pewnością nie ustawią się w kolejce. Dlatego trzeba być realistą. W praktyce wszystko będzie wyglądać właśnie tak: zakup gotowego sprzętu i złożenie systemu, który rozwiąże aktualne problemy biznesowe. Ci, którzy nie zgadzają się z takim podejściem, szybko zostaną sprowadzeni na ziemię przez głównego dyrektora finansowego firmy.
Rozdzielnice
Obecnie dziewięć rozdzielnic zapewnia działanie urządzeń wprowadzajaco-rozdzielających, a cztery RŚ są używane bezpośrednio do podłączenia obciążenia. Nie było poważnych ograniczeń przestrzennych, jednak nigdy nie jest jej za wiele, więc jeden interesujący aspekt inżynieryjny jednak był obecny.
Jak łatwo zauważyć, liczba "rozdzielnic wejściowych" i "rozdzielnic obciążeniowych" się nie zgadza — tych drugich jest prawie dwa razy mniej. To stało się możliwe, ponieważ projektanci infrastruktury centrum danych zdecydowali się użyć większych rozdzielnic, aby wprowadzić do nich trzy i więcej linii przychodzących. Na każdy automatyczny wyłącznik przypada około 36 linii odprowadzających, chronionych przez oddzielne automaty.
W ten sposób czasami użycie większych modeli pozwala zaoszczędzić cenne miejsce. Po prostu dlatego, że będzie potrzeba mniej dużych rozdzielnic.
Zasilacze awaryjne
Jako źródło zasilania w Centrum Danych „Tushino” używany jest Eaton 93PM o mocy 120 kVA, działający w trybie podwójnej konwersji.
UPS Eaton 93PM są dostępne w różnych wersjach. Zdjęcie: Eaton
Główne powody wyboru tego urządzenia leżą w jego charakterystykach.
Po pierwsze, sprawność tego UPS w trybie podwójnej konwersji osiąga 97%, a w trybie oszczędzania energii – 99%. Urządzenie zajmuje mniej niż 1,5 m² i nie zajmuje miejsca w serwerowni obok głównego sprzętu. Efektem są niskie koszty eksploatacyjne oraz niezbędne oszczędności dla biznesu.
Po drugie, dzięki wbudowanemu systemowi termoregulacji, UPS Eaton 93PM można ustawiać wszędzie, nawet blisko ściany. Nawet jeśli nie jest to potrzebne od razu, może być użyteczne później, na przykład aby zwolnić trochę miejsca, którego brakuje na dodatkową szafę.
Po trzecie, prostota obsługi. W tym także oprogramowanie Intelligent Power, stosowane do monitorowania i zarządzania. Metryki przesyłane przez SNMP pozwalają kontrolować zużycie oraz różne globalne awarie, co umożliwia szybką reakcję na sytuacje awaryjne.
Po czwarte, modularność i skalowalność. To chyba najważniejsza cecha, dzięki której w systemie rezerwowym Centrum Danych „Tushino” używany jest tylko jeden modułowy UPS. Składa się on z dwóch modułów roboczych i jednego rezerwowego. Tak zapewnia się schemat N+1, wymagany dla poziomu Tier II.
Jest to znacznie prostsze i bardziej niezawodne niż konfiguracja z trzech UPS. Dlatego wybór urządzenia, w którym początkowo przewidziano możliwość pracy równoległej, jest całkowicie logiczny.
Ale dlaczego projektanci nie wybrali DRUPS zamiast oddzielnych UPS i generatora diesla? Główne powody tkwią tutaj nie w inżynierii, lecz w finansach.
Modularna struktura jest z założenia przystosowana do aktualizacji – w miarę wzrostu obciążenia do infrastruktury inżynieryjnej dodawane są źródła i generatory. Starsze urządzenia z kolei wciąż działają. Z DRIBP sytuacja jest całkowicie inna: zakup takiego urządzenia należy przeprowadzić z dużą rezerwą mocy. Poza tym „małych kombajnów” jest niewiele, a ich cena jest znacznie wyższa – nieporównywalnie droższa niż poszczególne generatory diesla i UPS. Dodatkowo, DRIBP są bardzo kapryśne podczas transportu i montażu. To z kolei również wpływa na koszt całego systemu.
Obecna konfiguracja skutecznie realizuje swoje zadania. UPS Eaton 93PM może wspierać pracę głównego sprzętu centrum danych przez 15 minut, co oznacza więcej niż 15-krotną rezerwę.
Znowu, czysta sinusoidy, którą wydaje UPS w trybie online, zwalnia właściciela centrum danych z konieczności zakupu osobnych stabilizatorów. W efekcie uzyskuje się oszczędność.
Mimo deklarowanej prostoty UPS Eaton 93PM – urządzenie jest całkiem złożone. Dlatego jego konserwacją w centrum danych „Tushino” zajmuje się zewnętrzna firma, która ma w swoim zespole wysoko wykwalifikowanych specjalistów. Posiadanie w własnym zespole wyszkolonego pracownika do tego celu jest kosztowną przyjemnością.
Wyniki i perspektywy
Tak powstało centrum danych, które pozwala na świadczenie wysokiej jakości usług dla klientów, których zadania nie wymagają wysokiego poziomu rezerwacji i nie przewidują dużych nakładów finansowych. Tego rodzaju serwis zawsze będzie cieszył się zainteresowaniem.
Przy planowanej budowie drugiego etapu do stworzenia systemu rezerwowego zasilania będzie używany już zakupiony UPS Eaton. Dzięki modułowej konstrukcji jego modernizacja ograniczy się do zakupu dodatkowego modułu, co jest wygodniejsze i tańsze niż całkowita wymiana urządzenia. Takie podejście zaakceptują zarówno inżynier, jak i finansista.
Źródło: habr.com
