Tushino Data Center to komercyjne, detaliczne centrum danych o mocy pół megawata przeznaczone dla każdego i wszystkiego. Klient może nie tylko wynająć już zainstalowany sprzęt, ale także umieścić tam swój własny, w tym urządzenia niestandardowe, takie jak serwery w obudowach zwykłych komputerów stacjonarnych, farmy górnicze lub systemy sztucznej inteligencji. Mówiąc prościej, są to najróżniejsze popularne zadania, na które jest największe zapotrzebowanie w krajowych przedsiębiorstwach o różnej wielkości. To właśnie czyni go interesującym. W tym wpisie nie znajdziesz żadnych ekskluzywnych rozwiązań technicznych, ani też nie znajdziesz żadnych wzlotów myśli inżynierskiej. Porozmawiamy o standardowych problemach i rozwiązaniach. Czyli to, co około 90% specjalistów robi przez 90% swojego czasu pracy.
Poziom - im większy tym lepszy?
Odporność na awarie centrum danych Tushino odpowiada poziomowi Tier II. W skrócie oznacza to, że centrum danych znajduje się w odpowiednio przygotowanym pomieszczeniu, używane są zapasowe źródła zasilania, a zasoby systemowe są redundantne.
Wbrew powszechnemu przekonaniu poziomy Tier nie charakteryzują „fajności” centrum danych, lecz stopień, w jakim spełnia ono bieżące cele biznesowe. A wśród nich jest wiele takich, dla których wysoka odporność na awarie jest albo nieistotna, albo nie na tyle istotna, by przepłacać za nią 20-25 tysięcy rubli rocznie, co w sytuacji kryzysowej może być dla klienta bardzo dotkliwe.
Skąd wzięła się ta kwota? To różnica między cenami za umieszczenie informacji w centra danych Poziomy Tier II i Tier III na serwer. Im więcej danych, tym większe potencjalne oszczędności.
O jakich zadaniach mówimy? Na przykład o przechowywaniu kopii zapasowych lub wydobywaniu kryptowalut. W takich przypadkach przestoje… serwer, dopuszczone przez Tier II, będą tańsze niż Tier III.
Doświadczenie pokazuje, że w większości przypadków oszczędności są ważniejsze niż zwiększona odporność na błędy. W Moskwie działa tylko pięć centrów danych posiadających certyfikat Tier III. A nie ma w ogóle egzemplarzy z certyfikatem Tier IV.
Jak zorganizowany jest system zasilania centrum danych Tushino?
Wymagania dotyczące systemu zasilania Centrum Danych Tushino spełniają warunki poziomu Tier II. Mamy tu do czynienia z redundancją linii energetycznych N+1, redundancją zasilaczy awaryjnych N+1 i redundancją generatorów diesla N. N+1 w tym przypadku oznacza układ z jednym nadmiarowym elementem, który pozostaje bezczynny do momentu awarii jednego z głównych elementów systemu, a N to układ bez nadmiarowości, w którym awaria dowolnego elementu powoduje zaprzestanie działania całego systemu.
Wiele problemów związanych z dostawą energii można rozwiązać, wybierając odpowiednią lokalizację centrum danych. Centrum przetwarzania danych Tuszyno znajduje się na terenie przedsiębiorstwa, gdzie już dochodzą dwie linie o napięciu 110 kV z różnych miejskich elektrowni. Na terenie zakładu wysokie napięcie jest przekształcane na średnie, a do wejścia centrum danych doprowadzane są dwie niezależne linie o napięciu 10 kV.
Podstacja transformatorowa wewnątrz budynku centrum danych zamienia średnie napięcie na napięcie użytkowe 240-400 V. Wszystkie linie są prowadzone równolegle, więc urządzenia centrum danych otrzymują zasilanie z dwóch niezależnych źródeł zewnętrznych.
Niskie napięcie ze stacji transformatorowych podawane jest na urządzenia rezerwowe, które zapewniają przełączanie między sieciami miejskimi. Napędy silników zainstalowane w regulatorze AVR wymagają na tę operację 1,2 sekundy. Cały czas obciążenie jest zasilane z zasilaczy awaryjnych.
Osobny układ ATS odpowiada za automatyczne włączenie generatora diesla w przypadku zaniku zasilania na obu liniach. Rozruch generatora diesla nie jest procesem szybkim i trwa około 40 sekund. W tym czasie zasilanie jest w całości przekazywane do akumulatorów UPS.
Po pełnym naładowaniu generator diesla dostarcza energię do centrum danych przez 8 godzin. Biorąc to pod uwagę, centrum danych zawarło dwie umowy z niezależnymi dostawcami oleju napędowego, którzy zobowiązali się dostarczyć nową porcję paliwa w ciągu 4 godzin od otrzymania zgłoszenia. Prawdopodobieństwo, że w obu przypadkach wystąpi siła wyższa w tym samym czasie, jest niezwykle niskie. Dzięki temu autonomia może trwać tak długo, jak długo zajmie ekipom naprawczym przywrócenie zasilania z co najmniej jednej z sieci miejskich.
Jak łatwo zauważyć, nie ma tu żadnych udoskonaleń technicznych. Wynika to m.in. z faktu, że przy budowie infrastruktury inżynieryjnej wykorzystano gotowe moduły, których producenci nastawieni są na pewnego „przeciętnego konsumenta”.
Oczywiście, każdy specjalista IT powie, że uśrednianie to „ani ryba, ani ptak” i zasugeruje opracowanie unikalnego zestawu komponentów dla konkretnego systemu. Jednak ci, którzy chcą zapłacić za tę przyjemność, najwyraźniej nie ustawiają się w kolejce. Dlatego trzeba być realistą. W praktyce wszystko będzie wyglądało dokładnie tak: zakupimy gotowy sprzęt i złożymy system, który rozwiąże istotne dla przedsiębiorstwa problemy. Ci, którzy nie zgadzają się z tym podejściem, zostaną szybko sprowadzeni na ziemię przez dyrektora finansowego firmy.
Tablice rozdzielcze
Obecnie dziewięć tablic rozdzielczych zapewnia obsługę urządzeń wejściowych i rozdzielczych, a cztery tablice rozdzielcze służą bezpośrednio do podłączania obciążeń. Nie było poważnych ograniczeń co do przestrzeni, ale też nigdy nie było jej za dużo, więc można było zaobserwować jeden ciekawy moment inżynieryjny.
Jak łatwo zauważyć, liczba płyt „wejściowych” i „obciążeniowych” nie pokrywa się – tych drugich jest prawie dwa razy mniej. Stało się to możliwe, ponieważ projektanci infrastruktury centrum danych zdecydowali się na zastosowanie dużych paneli mogących pomieścić trzy lub więcej linii przychodzących. Na każdy wyłącznik wejściowy przypada około 36 linii odgałęzionych zabezpieczonych osobnymi wyłącznikami.
Dlatego czasami można zaoszczędzić niewiele miejsca, stosując większe modele. Po prostu dlatego, że będzie potrzeba mniej dużych tarcz.
Zasilacze awaryjne
Źródłem zasilania bezprzerwowego w centrum danych Tushino jest zasilacz Eaton 93PM o mocy 120 kVA, pracujący w trybie podwójnej konwersji.
Zasilacze UPS Eaton 93PM dostępne są w różnych wersjach. Zdjęcie: Eaton
Głównymi powodami wyboru tego konkretnego urządzenia są jego następujące cechy.
Po pierwsze, sprawność tego UPS-a w trybie podwójnej konwersji sięga 97%, a w trybie oszczędzania energii - 99%. Urządzenie zajmuje mniej niż 1,5 mXNUMX i nie zabiera przestrzeni serwerowej przeznaczonej dla sprzętu głównego. Efektem są niskie koszty operacyjne i oszczędności, których potrzebują przedsiębiorstwa.
Po drugie, dzięki wbudowanemu systemowi zarządzania temperaturą, UPS Eaton 93PM można umieścić w dowolnym miejscu. Nawet tuż przy ścianie. Nawet jeśli nie jest to potrzebne natychmiast, może się okazać potrzebne później. Na przykład, aby zwolnić brakującą przestrzeń na dodatkowy stojak.
Po trzecie, łatwość użytkowania. W tym oprogramowanie Intelligent Power służące do monitorowania i sterowania. Metryki przesyłane za pomocą protokołu SNMP pozwalają na monitorowanie zużycia i wszelkich globalnych awarii, co umożliwia szybką reakcję na sytuacje awaryjne.
Po czwarte, modułowość i skalowalność. To jest chyba najważniejsza cecha, dzięki której system kopii zapasowych centrum danych Tushino wykorzystuje tylko jeden modułowy UPS. Zawiera dwa moduły robocze i jeden zapasowy. Zapewnia to schemat N+1 wymagany dla poziomu II.
Jest to rozwiązanie o wiele prostsze i bardziej niezawodne niż konfiguracja z trzema UPS-ami. Dlatego wybór urządzenia, które już na starcie zapewnia możliwość pracy równoległej, jest posunięciem zupełnie logicznym.
Ale dlaczego projektanci nie wybrali DRIBP zamiast oddzielnego UPS-a i generatora diesla? Główne powody nie leżą w inżynierii, lecz w finansach.
Modułowa struktura została zaprojektowana z myślą o modernizacji: w miarę wzrostu obciążenia do infrastruktury inżynieryjnej dodawane są źródła i generatory. Stare działały nadal tak jak poprzednio. W przypadku DRIBP sytuacja jest zupełnie inna: trzeba kupić urządzenie z dużym zapasem mocy. Ponadto „małych kombajnów” jest niewiele i są one bardzo drogie – nieporównywalnie droższe niż oddzielne generatory diesla i UPS. Ponadto DRIBP są bardzo kapryśne w transporcie i instalacji. To z kolei ma wpływ na koszt całego systemu.
Obecna konfiguracja całkiem skutecznie rozwiązuje te problemy. Zasilacz UPS Eaton 93PM może podtrzymywać pracę kluczowego sprzętu centrum danych przez 15 minut, czyli z ponad 15-krotnie większą rezerwą.
Ponownie, czysta fala sinusoidalna generowana przez UPS w trybie online zwalnia właściciela centrum danych z konieczności zakupu oddzielnych stabilizatorów. I tu właśnie pojawiają się oszczędności.
Pomimo deklarowanej prostoty UPS-a Eaton 93PM, urządzenie to jest dość skomplikowane. Dlatego też za obsługę techniczną Centrum Danych Tushino odpowiada firma zewnętrzna, zatrudniająca wysoko wykwalifikowanych specjalistów. Utrzymanie w tym celu przeszkolonego pracownika jest kosztowną przyjemnością.
Wyniki i perspektywy
W ten sposób powstało centrum danych pozwalające na świadczenie wysokiej jakości usług konsumentom, których zadania nie wymagają wysokiego poziomu redundancji i nie wiążą się z dużymi kosztami ekonomicznymi. Na taką usługę zawsze będzie zapotrzebowanie.
W trakcie zaplanowanej już budowy drugiego etapu, zakupiony już UPS Eaton zostanie wykorzystany do stworzenia rezerwowego systemu zasilania. Dzięki modułowej konstrukcji modernizacja będzie ograniczona do zakupu dodatkowego modułu, co jest wygodniejsze i tańsze niż całkowita wymiana urządzenia. Zarówno inżynier, jak i finansista zaakceptują takie podejście.
Źródło: www.habr.com
