W poprzednim poście o mówiliśmy, że w niektórych szafach zainstalowane jest AVR — automatyczne przełączanie zasilania. W rzeczywistości w centrum danych AVR montuje się nie tylko w szafie, ale i na całej trasie zasilania. W różnych miejscach realizują różne zadania:
- w głównych rozdzielniach zasilania (GRZ) AVR przełącza obciążenie pomiędzy zasilaniem z miasta a zasilaniem rezerwowym z agregatów prądotwórczych (AGP);
- w zasilaczach bezprzerwowych (ZUPS) AVR przełącza obciążenie z głównego zasilania na bypass (o tym poniżej);
- w szafach AVR przełącza obciążenie z jednego zasilania na inne w przypadku problemów z jednym z wejść.
AVR w standardowym schemacie zasilania centrów danych DataLine.
O tym, jakie AVR i gdzie są używane, porozmawiamy dzisiaj.
Główne typy AVR to dwa: ATS (automatyczny przełącznik zasilania) i STS (statyczny przełącznik zasilania). Różnią się zasadą działania i bazą elementową, a także są stosowane do różnych zadań. Mówiąc krótko, STS to bardziej „inteligentny” ATS. Szybciej przełącza obciążenie i częściej używa się go dla dużych obciążeń/prądów. Jest bardziej elastyczny w ustawieniu, jednak może mieć „kaprysy” wobec sieci: może przestać działać, jeśli dwa zasilania pochodzą z różnych źródeł, na przykład: z transformatora i AGP.
AVR w GRZ
Główny AVR centrum danych sprzed dwudziestu lat wyglądał jak skomplikowany system kontaktów i przekaźników.
AVR z początku lat 2000.
Obecnie AVR to kompaktowe, wielofunkcyjne urządzenie.
System AVR w GRZ zarządza automatycznymi wyłącznikami zasilania i wydaje polecenia do uruchamiania i zatrzymywania AGP. Przy obciążeniu powyżej 2 MW na poziomie GRZ nie jest sensowne dążenie do szybkości. Nawet jeśli przełączenie nastąpi szybko, minie czas, zanim uruchomi się AGP. W tym systemie używa się „wolniejszych” ATS i ustala się opóźnienia (ustawienia). Działa to w ten sposób: gdy zasilanie centrum danych z transformatorów znika, AVR wydaje urządzeniom polecenie: „Transformator, wyłącz się. Teraz czekamy 10 sekund (ustawienie), AGP, włącz się, czekamy jeszcze 10 sekund.”
AVR w ZUPS
Na przykładzie ZUPS zobaczymy, jak działa drugi typ AVR — STS lub statyczny przełącznik zasilania.
W ZUPS prąd przemienny przekształcany jest na prąd stały w prostowniku. Następnie w inwerterze przekształca się go z powrotem w prąd przemienny, ale już o stabilnych parametrach. Eliminuję to zakłócenia i poprawia jakość energii. Przy wyłączeniu głównego źródła zasilania. na akumulatory i zasila centrum danych, podczas gdy włączają się agregaty prądotwórcze.
Ale co, jeśli jeden z elementów: prostownik, inwerter lub akumulatory ulegnie awarii? W takim przypadku w każdym UPSie jest mechanizm obejścia, czyli bypass. Dzięki niemu urządzenie nadal działa, omijając główne elementy, natychmiast od napięcia wejściowego. Bypass jest również używany, gdy potrzebne jest wyłączenie UPSa i przekazanie go do naprawy.
STS w UPSie jest potrzebny, aby bezpiecznie przejść na wejście bypassowe. Krótko mówiąc, STS monitoruje parametry sieci na wejściu i na wyjściu, czeka, aż się zgadzają, i przełącza się w warunkach bezpieczeństwa.
AVR w szafie
Zatem do szafy podłączono dwa zasilania. Jeśli twoje urządzenie ma dwa zasilacze, możesz je spokojnie podłączyć do różnych PDU, a zanik jednego zasilania nie stanowi problemu. A jeśli twój serwer ma jeden zasilacz?
W szafie AVR jest używany, aby korzyść z dwóch zasilania nie została zmarnowana. W przypadku problemów z jednym z wejść, AVR przełącza obciążenie na inne wejście.
Dysklejmer: Jeśli to możliwe, unikaj sprzętu z jednym zasilaczem, aby nie stworzyć punktu awarii w systemie. Pokażemy dalej, jakie są wady takiego schematu podłączenia.
Zadaniem AVR w szafie jest przełączenie sprzętu na działające zasilanie tak szybko, aby nie było przestoju w pracy. Odpowiednią prędkość ustalono empirycznie: nie więcej niż 20 ms. Zobaczmy, jak to odkryto.
Awaria sprzętu serwerowego występuje z powodu spadków napięcia (spowodowanych pracami na stacjach transformacyjnych, podłączeniem dużych obciążeń lub awariami). Aby zilustrować, jak sprzęt znosi różną amplitudę i długość spadków napięcia, opracowano krzywe bezpiecznej pracy sprzętu elektrycznego CBEMA (Computer and Business Equipment Manufacturers Association). Dziś są one znane jako krzywe ITIC (Information Technology Industry Council), a ich wersje są zawarte w standardach IEEE 446 ANSI (to odpowiednik naszych GOSTów).
Porównajmy z wykresem. Naszym celem jest, aby urządzenia działały w „zielonej strefie”. Na krzywej ITIC widzimy, że sprzęt jest gotowy „znieść” spadek maksymalnie 20 ms. Dlatego dążymy do tego, aby AVR w szafie działał w 20 ms, a jeszcze lepiej — szybciej.
Źródło: .
Urządzenie AVR. Typowy AVR (ATS) w szafie naszego Centrum Danych zajmuje 1 jednostkę i wytrzymuje obciążenie 16 A.
Na wyświetlaczu widać, z jakiego zasilania korzysta AVR oraz ile podłączone urządzenia zużywają amperów. Oddzielnym przyciskiem wybieramy, czy dać priorytet pierwszemu czy drugiemu zasilaniu. Po prawej — porty do podłączenia do AVR:
- Port Ethernet — podłączyć monitoring;
- Port szeregowy — połączyć się przez laptopa i sprawdzić w logach, co się dzieje;
- USB — włożyć pendrive i zaktualizować oprogramowanie.
Porty są wymienne: można wykonać wszystkie te operacje, jeśli jest dostęp przynajmniej do jednego z nich.
Z tyłu znajdują się gniazda do podłączenia głównego i rezerwowego zasilania oraz grupa gniazdek do podłączenia sprzętu IT.
Szczegółowe specyfikacje AVR można zobaczyć przez interfejs webowy. Tam można ustawić czułość przełączania i zobaczyć logi.
Interfejs webowy AVR.
Montaż i podłączenie AVR. Aby zamontować AVR, lepiej umieścić go na wysokości w środku szafy. Jeśli z góry nie znamy konfiguracji szafy, to tak sprzęt z jednym zasilaczem będzie mógł sięgnąć przewodami zarówno do dolnej, jak i górnej części.
Jednak dalej są pewne niuanse: głębokość standardowej szafy jest znacznie większa niż głębokość AVR. Zalecamy umieścić go jak najbliżej zimnego korytarza z dwóch powodów:
- Dostęp do przedniego panelu. Jeśli umieścimy AVR bliżej gorącego korytarza, zobaczymy wskaźniki, ale nie będziemy mogli się do niego podłączyć przez porty. A to oznacza, że nie będziemy w stanie sprawdzić logów ani zresetować urządzenia.
Gdzieś tam w głębi miga AVR — nie można już sięgnąć do portu. - Chłodzenie. AVR zaleca się używać w temperaturze nieprzekraczającej 45°C. Nie ma on własnych wentylatorów do chłodzenia, to po prostu metalowe urządzenie z elektroniką. Utrzymują odpowiednią temperaturę na dwa sposoby:
- przepływami powietrza, które dmuchają na niego z zewnątrz;
- uchwyty, które odprowadzają nadmiar ciepła.
Jeśli umieści się AVR od strony gorącego korytarza i dodatkowo otoczy go stosami serwerów, to uzyskamy piekarnik. W najlepszym przypadku mózg AVR się spali i straci kontakt ze światem zewnętrznym, w najgorszym — zacznie chaotycznie przełączać obciążenie lub je porzuci.
AVR cierpi z twarzą w kierunku gorącego korytarza.
Miał miejsce incydent. Inżynier podczas przeglądu usłyszał nietypowe trzaski.
W głębi gorącego korytarza pod stosami serwerów odkryto UPS, który nieustannie przełączał się z głównego zasilania na rezerwowe.UPS został wymieniony. Logi pokazały, że przez cały tydzień przełączał się co sekundę — w sumie ponad pół miliona przełączeń. Oto jak to wygląda
Jakie inne UPS-y występują w racku
Wprowadzenie ATS do szafy. W naszym DC taki UPS pełni jedyną funkcję źródła dystrybucji energii w racku: działa jako UPS + PDU. Zajmuje kilka jednostek, wytrzymuje obciążenie 32 A, podłącza się za pomocą przemysłowych wtyczek i może zasilać do 6 kW sprzętu. Można go używać, gdy nie ma możliwości zamontowania standardowych PDU, a jednolite urządzenie w szafie nie obsługuje krytycznych obciążeń.
Rackowy STS. STS w racku jest używany dla sprzętu wrażliwego na wahania napięcia. Ten UPS przełącza się szybciej niż ATS.
Ten konkretny STS zajmuje 6 jednostek i ma nieco «retro» interfejs.
Mini-UPS. Są i takie maluchy, ale w naszym DC takiego nie ma. To mini-UPS dla jednego serwera.
Ten UPS podłącza się bezpośrednio do zasilacza serwera.
Jak szukamy idealnego UPS-a
Testujemy wiele różnych UPS-ów i sprawdzamy, jak zachowują się w warunkach wysokiej temperatury.
Oto jak testujemy UPS-y, żeby to sprawdzić:
- podłączamy do niego rejestrator jakości sieci, serwer i kilka innych urządzeń obciążających;
- izolujemy rack za pomocą zatyczek lub folii, aby osiągnąć wysoką temperaturę;
- nagrzewamy do 50°C;
- kolejno odłączamy zasilania 20 razy;
- obserwujemy, czy wystąpiły przerwy w zasilaniu, jak serwer znosi sytuację;
- jeśli UPS przechodzi test — nagrzewamy do 70°C.
Zdjęcie termowizyjne z jednego z testów.
Analizator sieci rejestruje napięcie w czasie. Na nagraniu widać, jak długo trwało przełączenie: w tym momencie sinusoidalność została przerwana
Przy okazji, bierzemy UPS na test: sprawdzimy twoje urządzenie pod kątem wytrzymałości i opowiemy, co się wydarzyło 😉
UPS w racku: ukryte zagrożenie
Głównym problemem z AWR w szafie serwerowej jest to, że potrafi on jedynie przełączać obciążenie z głównego zasilania na rezerwowe, ale nie chroni przed zwarciem ani przeciążeniem. Jeśli w zasobniku zasilania wystąpi zwarcie, automatyczny wyłącznik o wyższej klasie zadziała: na PDU lub w rozdzielnicy. W rezultacie jedno zasilanie zostaje wyłączone, AWR to rozumie i przełącza się na drugie zasilanie. Jeśli zwarcie nadal występuje, zadziała automatyczny wyłącznik drugiego zasilania. W efekcie jedna usterka może spowodować wyłączenie całej szafy.
Tak więc, jeszcze raz powtarzam: zastanówcie się dobrze, zanim zainstalujecie AWR w szafie i używacie sprzętu z jednym zasilaczem.
Źródło: habr.com
