Centrum danych Tushino to komercyjne centrum danych o mocy pół megawata dla wszystkich i wszystkiego. Klient może nie tylko wypożyczyć już zainstalowany sprzęt, ale także umieścić tam swój własny sprzęt, w tym urządzenia niestandardowe, takie jak serwery w konwencjonalnych obudowach dla komputerów stacjonarnych, farmy górnicze czy systemy sztucznej inteligencji. Mówiąc najprościej, są to różne popularne zadania o różnym stopniu wielkości, najbardziej poszukiwane przez krajowe firmy. To czyni go interesującym. W tym poście nie znajdziesz ekskluzywnych rozwiązań technicznych i lotu myśli inżynierskiej. Porozmawiamy o standardowych problemach i rozwiązaniach. Czyli o tym, na co 90% specjalistów poświęca 90% swojego czasu pracy.
Poziom - im więcej, tym lepiej?
Tolerancja błędów centrum danych Tushino odpowiada poziomowi Tier II. W istocie oznacza to, że centrum danych znajduje się w normalnie przygotowanym pomieszczeniu, stosowane są redundantne zasilacze oraz występują redundantne zasoby systemowe.
Jednak wbrew powszechnemu przekonaniu poziomy Tier nie charakteryzują „wytrzymałości” centrum danych, ale stopień jego zgodności z rzeczywistymi zadaniami biznesowymi. A wśród nich jest wielu, dla których wysoka odporność na uszkodzenia jest albo znikoma, albo nie na tyle istotna, by przepłacać za nią 20-25 tysięcy rubli rocznie, co w kryzysie może być bardzo bolesne dla klienta.
Skąd taka kwota? To ona decyduje o cenach za umieszczenie informacji w data center Tier II i Tier III w przeliczeniu na jeden serwer. Im więcej danych, tym większe potencjalne oszczędności.
Jakie zadania masz na myśli? Na przykład przechowywanie kopii zapasowych lub wydobywanie kryptowaluty. W takich przypadkach przestój serwera dozwolony przez poziom II będzie kosztował mniej niż poziom III.
Praktyka pokazuje, że w większości przypadków oszczędności są ważniejsze niż zwiększona odporność na awarie. W Moskwie jest tylko pięć certyfikowanych centrów danych Tier III. A w ogóle nie ma w pełni certyfikowanych czołgów IV poziomu.
Jak zorganizowany jest system zasilania centrum danych Tushino?
Wymagania dotyczące systemu zasilania centrum danych Tushino są zgodne z warunkami poziomu Tier II. Są to redundancja linii elektroenergetycznych wg schematu N+1, redundancja zasilaczy bezprzerwowych wg schematu N+1 oraz redundancja dieslowskiego zespołu prądotwórczego wg schematu N. N+1 w tym przypadku oznacza schemat z jednym elementem rezerwowym, który pozostaje bezczynny do momentu, gdy system nie ulegnie awarii jednego z głównych elementów, a N to schemat nieredundantny, w którym awaria dowolnego elementu prowadzi do ustania całego systemu
Wiele problemów związanych z energią rozwiązuje wybór odpowiedniej lokalizacji dla centrum danych. Centrum danych Tushino znajduje się na terenie przedsiębiorstwa, do którego docierają już dwie linie 110 kV z różnych miejskich elektrowni. Na sprzęcie samej elektrowni wysokie napięcie jest przetwarzane na średnie, a do wejścia centrum danych doprowadzane są dwie niezależne linie 10 kV.
Podstacja transformatorowa wewnątrz budynku data center przetwarza średnie napięcie na odbiorcze 240-400 V. Wszystkie linie prowadzone są równolegle, dzięki czemu sprzęt data center zasilany jest z dwóch niezależnych źródeł zewnętrznych.
Niskie napięcie z podstacji transformatorowych jest podłączone do automatycznych przełączników, które zapewniają przełączanie między sieciami miejskimi. Napędy silnikowe zainstalowane w SZR wymagają na wykonanie tej operacji 1,2 sekundy. Przez cały ten czas obciążenie spada na zasilacz awaryjny.
Oddzielny SZR odpowiada za automatyczne włączenie generatora diesla w przypadku utraty zasilania na obu liniach. Uruchomienie generatora diesla nie jest procesem szybkim i trwa około 40 sekund, podczas których zasilanie jest całkowicie ponoszone przez akumulatory UPS.
W pełni naładowany generator diesla zapewnia działanie centrum danych przez 8 godzin. Mając to na uwadze, data center zawarło dwie niezależne od siebie umowy z dostawcami oleju napędowego, którzy zobowiązali się do dostarczenia nowej porcji paliwa w ciągu 4 godzin od wezwania. Prawdopodobieństwo, że obaj będą mieli jednocześnie jakąś siłę wyższą, jest bardzo niskie. Tak więc autonomia może trwać tak długo, jak ekipy remontowe będą musiały przywrócić zasilanie z co najmniej jednej sieci miejskiej.
Jak widać, nie ma tu żadnych technicznych bajerów. Wynika to między innymi z tego, że przy budowie infrastruktury inżynierskiej wykorzystano gotowe moduły, których producenci kierują się pewnym „przeciętnym konsumentem”.
Oczywiście każdy specjalista IT powie, że uśrednianie nie jest „ani rybą, ani ptactwem” i zasugeruje opracowanie unikalnego zestawu komponentów dla konkretnego systemu. Jednak ci, którzy chcą zapłacić za tę przyjemność, najwyraźniej nie ustawiają się w kolejce. Dlatego musisz być realistą. W praktyce wszystko będzie wyglądać dokładnie tak: zakup gotowego sprzętu i montaż systemu, który rozwiąże istotne z biznesowego punktu widzenia zadania. Ci, którzy nie zgadzają się z tym podejściem, zostaną szybko sprowadzeni z nieba na ziemię przez dyrektora finansowego przedsiębiorstwa.
rozdzielnice
W tej chwili dziewięć rozdzielnic zapewnia pracę wejściowych urządzeń rozdzielczych, a cztery rozdzielnice służą bezpośrednio do podłączenia obciążenia. Nie było żadnych poważnych ograniczeń co do miejsca, ale nigdy nie ma go dużo, więc jeden interesujący moment inżynierski był nadal obecny.
Jak łatwo zauważyć, liczba tarcz „wejściowych” i „obciążeniowych” nie pokrywa się – druga jest prawie dwa razy mniejsza. Stało się to możliwe, ponieważ projektanci infrastruktury centrum danych postanowili zastosować duże ekrany, aby doprowadzić tam trzy lub więcej linii przychodzących. Dla każdego automatu wejściowego przypada około 36 linii wylotowych chronionych przez oddzielne automaty.
Dlatego czasami użycie większych modeli pozwala zaoszczędzić mało miejsca. Po prostu dlatego, że duże tarcze będą wymagały mniej.
Zasilacz awaryjny
Eaton 93PM o mocy 120 kVA, pracujący w trybie podwójnej konwersji, jest wykorzystywany jako zasilacz bezprzerwowy w centrum danych Tushino.
Zasilacze UPS Eaton 93PM są dostępne w różnych wersjach. Zdjęcie: Eaton
Głównymi powodami wyboru tego konkretnego urządzenia są jego następujące cechy.
Po pierwsze, wydajność tego UPS wynosi do 97% w trybie podwójnej konwersji i 99% w trybie oszczędzania energii. Urządzenie zajmuje mniej niż 1,5 metra kwadratowego. m i nie zajmuje miejsca w serwerowni z głównego sprzętu. Rezultatem są niskie koszty operacyjne i oszczędności, których potrzebuje Twoja firma.
Po drugie, dzięki wbudowanemu systemowi zarządzania temperaturą, zasilacz UPS Eaton 93PM można umieścić w dowolnym miejscu. Nawet blisko ściany. Nawet jeśli nie jest potrzebny od razu, może być potrzebny później. Na przykład, aby zwolnić trochę miejsca, które nie wystarcza na dodatkowy stojak.
Po trzecie, łatwość obsługi. W tym - oprogramowanie Intelligent Power służące do monitorowania i sterowania. Metryki przesyłane przez SNMP pozwalają kontrolować zużycie i niektóre globalne awarie, co umożliwia szybkie reagowanie na sytuacje awaryjne.
Po czwarte, modułowość i skalowalność. Jest to chyba najważniejsza cecha, dzięki której w systemie redundancji centrum danych Tushino zastosowano tylko jeden modułowy UPS. Zawiera dwa moduły robocze i jeden redundantny. Zapewnia to schemat N+1 wymagany dla poziomu Tier II.
Jest to znacznie prostsze i bardziej niezawodne niż konfiguracja z trzema zasilaczami UPS. Dlatego wybór urządzenia, które początkowo przewiduje możliwość pracy równoległej, jest całkowicie logicznym posunięciem.
Ale dlaczego projektanci nie wybrali DRIBP zamiast oddzielnego UPS i generatora diesla? Główne przyczyny leżą tutaj nie w inżynierii, ale w finansach.
Modułowa struktura jest a priori dostosowana do modernizacji - w miarę wzrostu obciążenia do infrastruktury inżynieryjnej dodawane są źródła i generatory. W tym samym czasie stare działały i nadal działają. W przypadku DRIBP sytuacja jest diametralnie inna: trzeba kupić takie urządzenie z dużym marginesem mocy. Ponadto „małych kombajnów” jest niewiele i kosztują bardzo przyzwoicie - są nieporównywalnie droższe niż pojedyncze generatory diesla i UPS-y. DRIBP jest również bardzo kapryśny w transporcie i montażu. To z kolei wpływa również na koszt całego systemu.
Istniejąca konfiguracja dość skutecznie rozwiązuje swoje zadania. Zasilacz UPS Eaton 93PM może utrzymać działanie kluczowych urządzeń centrum danych przez 15 minut, czyli ponad 15 razy więcej energii.
Ponownie, czysta fala sinusoidalna, którą UPS zapewnia online, oszczędza właścicielowi centrum danych konieczności kupowania osobnych stabilizatorów. I tu pojawiają się oszczędności.
Pomimo deklarowanej prostoty UPS Eaton 93PM, urządzenie jest dość skomplikowane. Dlatego jego konserwacja w centrum danych Tushino jest prowadzona przez firmę zewnętrzną, która zatrudnia wysoko wykwalifikowanych specjalistów. Utrzymanie w tym celu przeszkolonego pracownika we własnym zespole to kosztowna przyjemność.
Wyniki i perspektywy
Tak powstało data center, które pozwala świadczyć wysokiej jakości usługi konsumentom, których zadania nie wymagają wysokiego poziomu redundancji i nie pociągają za sobą dużych kosztów ekonomicznych. Taka usługa zawsze będzie poszukiwana.
Przy planowanej już budowie drugiego etapu, do stworzenia rezerwowego systemu zasilania wykorzystany zostanie zakupiony już UPS firmy Eaton. Dzięki modułowej budowie jego modernizacja ograniczy się do zakupu dodatkowego modułu, co jest wygodniejsze i tańsze niż całkowita wymiana urządzenia. Takie podejście zostanie zatwierdzone zarówno przez inżyniera, jak i finansistę.
Źródło: www.habr.com