AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

W poprzednim poście o PDU Powiedzieliśmy, że w niektórych szafach zainstalowany jest ATS – automatyczne przesyłanie rezerwy. Ale tak naprawdę w centrum danych przełączniki ATS są umieszczane nie tylko w szafie, ale wzdłuż całej ścieżki elektrycznej. W różnych miejscach rozwiązują różne problemy:

  • w głównych tablicach rozdzielczych (MSB) AVR przełącza obciążenie pomiędzy wejściem miejskim a zasilaniem rezerwowym z agregatów prądotwórczych na olej napędowy (DGS); 
  • w zasilaczach bezprzerwowych (UPS) ATS przełącza obciążenie z wejścia głównego na bypass (więcej na ten temat poniżej); 
  • w szafach ATS przełącza obciążenie z jednego wejścia na drugie w przypadku problemów z jednym z wejść. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
ATS w standardowym schemacie zasilania dla centrów danych DataLine.

Porozmawiamy o tym, które amplitunery AVR są dziś używane i gdzie. 

Istnieją dwa główne typy ATS: ATS (automatyczny przełącznik zasilania) i STS (statyczny przełącznik zasilania). Różnią się zasadą działania i bazą elementów i są wykorzystywane do różnych zadań. Krótko mówiąc, STS to mądrzejszy ATS. Szybciej przełącza obciążenia i jest częściej używany przy wyższych obciążeniach/prądach. Jest bardziej elastyczny w konfiguracji, ale podlega kaprysom sieci: może odmówić pracy, jeśli 2 wejścia zasilane są z różnych źródeł, np.: z transformatora i agregatu prądotwórczego na olej napędowy.  

AVR w rozdzielnicy głównej

 
Główny przełącznik ATS centrum danych dwadzieścia lat temu wyglądał jak złożony system styczników i przekaźników.

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Model AVR z początku XXI wieku.

Teraz AVR jest kompaktowym urządzeniem wielofunkcyjnym.

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

System ATS w głównej tablicy rozdzielczej steruje wyłącznikami wejściowymi i wydaje polecenia uruchomienia i zatrzymania agregatu prądotwórczego na olej napędowy. Gdy obciążenie na poziomie rozdzielnicy głównej przekracza 2 MW, nie zaleca się gonitwy za prędkością. Nawet jeśli nastąpi szybkie przełączenie, uruchomienie agregatu prądotwórczego z silnikiem wysokoprężnym zajmie trochę czasu. System ten wykorzystuje wolniejsze przełączniki ATS i ustawia opóźnienia (wartości zadane). Działa to w ten sposób: w przypadku utraty zasilania centrum danych z transformatorów, SZR wydaje urządzeniom polecenie: „Transformator, wyłącz. Teraz czekamy 10 sekund (wartość zadana), generator diesla, włączamy, czekamy kolejne 10 sekund.” 

ATS w UPS  

Na przykładzie UPS zobaczmy, jak działa drugi typ ATS - STS lub statyczny przełącznik zasilania.

W UPS prąd przemienny jest przekształcany na prąd stały za pomocą prostownika. Następnie na falowniku zamienia się z powrotem na prąd przemienny, ale o stabilnych parametrach. Eliminuje to zakłócenia i poprawia jakość energii. Gdy główne zasilanie jest wyłączone Przełączniki UPS na bateriach i zasila centrum danych podczas uruchamiania agregatów prądotwórczych na olej napędowy. 

Co jednak w sytuacji, gdy zawiedzie jeden z elementów: prostownik, falownik czy akumulatory? W takim przypadku każdy UPS ma mechanizm obejścia, czyli obejścia. Dzięki niemu urządzenie kontynuuje pracę, omijając główne elementy, bezpośrednio z napięcia wejściowego. Obejście stosuje się również wtedy, gdy zachodzi potrzeba wyłączenia UPS i wyjęcia go do naprawy. 

Aby bezpiecznie przejść na wejście obejścia, potrzebny jest moduł STS w UPS. Krótko mówiąc, STS monitoruje parametry sieci wejściowej i wyjściowej, czeka na ich dopasowanie i przełącza w bezpiecznych warunkach. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

AVR w szafie 

Zatem do stojaka podłączone są dwa wejścia zasilania. Jeśli Twój sprzęt posiada dwa zasilacze, bez problemu podłączysz go do różnych PDU i nie obawiasz się utraty jednego wejścia. A co jeśli Twój serwer ma jeden zasilacz? 
W racku zastosowano ATS, aby zysk z dwóch wejść nie poszedł na marne. Jeżeli wystąpią problemy z jednym z wejść, SZR przełącza obciążenie na inne wejście.

Zastrzeżenie: Jeśli to możliwe, unikaj sprzętu z jednym zasilaczem, aby uniknąć powstania punktu awarii w systemie. Następnie pokażemy, jakie są wady tego schematu połączeń. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

Zadaniem SZR w szafie jest tak szybkie przełączenie urządzenia na wejście robocze, aby nie nastąpiło przerwanie jego pracy. Wymaganą do tego prędkość ustalono eksperymentalnie: nie więcej niż 20 ms. Zobaczmy, jak to odkryto.

Awarie w działaniu sprzętu serwerowego powstają na skutek spadków napięcia (w wyniku pracy na podstacjach, podłączenia dużych obciążeń lub wypadków). Aby zilustrować, jak sprzęt może wytrzymać różne amplitudy i czas trwania skoków napięcia, opracowano krzywe bezpieczeństwa sprzętu elektrycznego CBEMA (Stowarzyszenie Producentów Komputerów i Sprzętu Biznesowego). Teraz są one znane jako krzywe ITIC (Information Technology Industry Council), ich warianty są zawarte w standardach IEEE 446 ANSI (jest to analogia naszych GOST).

Sprawdźmy harmonogram. Naszym zadaniem jest zadbanie o to, aby urządzenia działały w „zielonej strefie”. Na krzywej ITIC widzimy, że sprzęt jest gotowy „tolerować” spadek o maksymalnie 20 ms. Dlatego dążymy do tego, aby przełącznik ATS w szafie działał w ciągu 20 ms lub jeszcze lepiej, nawet szybciej.   

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Źródło: meandr.ru.

Urządzenie ATS. Typowy ATS w naszej szafie centrum danych zajmuje 1 jednostkę i wytrzymuje obciążenie 16 A. 

Na wyświetlaczu widzimy z jakiego wejścia zasilany jest ATS, ile podłączone urządzenia pobierają w amperach. Użyj osobnego przycisku, aby wybrać, czy nadać priorytet pierwszemu, czy drugiemu wejściu. Po prawej stronie znajdują się porty do podłączenia do ATS: 

  • Port Ethernet — podłącz monitorowanie;
  • Port szeregowy - zaloguj się przez laptopa i zobacz co się dzieje w logach; 
  • USB - włóż dysk flash i zaktualizuj oprogramowanie. 

Porty są wymienne: wszystkie te operacje możesz wykonać, jeśli masz dostęp do przynajmniej jednego z nich. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

Z tyłu znajdują się wtyczki do podłączenia wejść głównych i zapasowych oraz grupa gniazd do podłączenia sprzętu IT.

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

Szczegółową charakterystykę AVR przeglądamy za pośrednictwem interfejsu internetowego. Tam możesz dostosować czułość przełączania i zobaczyć logi. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Interfejs sieciowy AVR.

Instalacja i podłączenie ATS. Lepiej jest zainstalować amplituner AVR na środku szafy. Jeśli nie znamy wcześniej konfiguracji racka, to do urządzeń z jednym zasilaczem można dotrzeć przewodami zarówno od dołu, jak i od góry.  

Ale są też niuanse: głębokość standardowego stojaka jest znacznie większa niż głębokość amplitunera AVR. Zalecamy instalację jak najbliżej zimnego przejścia z dwóch powodów:

  1. Dostęp do panelu przedniego. Jeśli zainstalujemy ATS bliżej gorącego przejścia, zobaczymy wskazanie, ale nie będziemy mogli połączyć się z nim przez porty. Oznacza to, że nie będziemy mogli wyświetlić dzienników ani ponownie uruchomić urządzenia.

    AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

    AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
    Gdzieś w głębi mruga AVR - port nie jest już osiągalny.

  2. Chłodzenie. Zaleca się stosowanie AVR w temperaturach nieprzekraczających 45°C. Nie ma jednak własnych wentylatorów do chłodzenia, jest to po prostu metalowe urządzenie z elektronicznym wypełnieniem. Utrzymuj żądaną temperaturę na dwa sposoby: 

  • strumienie powietrza nadmuchujące go z zewnątrz; 
  • elementy złączne odprowadzające nadmiar ciepła.

Jeśli zainstalujemy ATS z boku gorącego przejścia i dodatkowo ułożymy go z ciastem serwerów, otrzymamy piec. W najlepszym przypadku AVR wypali mózg i straci kontakt ze światem zewnętrznym, w najgorszym przypadku zacznie losowo przełączać obciążenie lub go porzuci.

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
AVR paruje z widokiem na gorący korytarz.

Był przypadek. Inżynier podczas obchodu usłyszał nietypowe kliknięcia.
W głębi gorącego korytarza, pod stosem serwerów, odkryto ATS, który stale przełączał się z wejścia głównego na zapasowe. 

Wymieniono AVR. Z logów wynikało, że przez cały tydzień przełączał się co sekundę – w sumie ponad pół miliona przełączeń. Tak właśnie jest było

Jakie inne amplitunery AVR są dostępne w stojaku?

Wprowadzający stojak ATS. W naszym data center taki ATS pełni funkcję jedynego źródła dystrybucji zasilania w szafie: działa jako ATS+PDU. Zajmuje kilka jednostek, wytrzymuje obciążenie 32 A, jest podłączany do złączy przemysłowych i może zasilać sprzęt o mocy do 6 kW. Można go zastosować, gdy nie ma możliwości zamontowania standardowych listew PDU, a jednoelementowy sprzęt w szafie nie obsługuje obciążeń krytycznych. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych

Stojak STS. STS montowany w stojaku jest używany do sprzętu wrażliwego na przepięcia. Ten ATS przełącza się szybciej niż ATS. 
 
AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Ten konkretny STS zajmuje 6 jednostek i ma nieco „vintage” interfejs.

Mini-AVR. Są takie dzieci, ale w naszym centrum danych tak nie jest. Jest to mini-ATS dla jednego serwera. 

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Ten ATS jest podłączony bezpośrednio do zasilania serwera.

Jak szukamy idealnego AVR

Testujemy wiele różnych ATS-ów i sprawdzamy, jak zachowują się w warunkach wysokiej temperatury.

Oto jak kpimy z AVR, aby to sprawdzić: 

  • podłączamy do niego rejestrator jakości sieci, serwer i kilka innych urządzeń do obciążenia;
  • izolujemy stojak za pomocą zatyczek lub folii, aby uzyskać wysokie temperatury;
  • podgrzać do 50°C;
  • na przemian wyłącz wejścia 20 razy;
  • sprawdzamy, czy wystąpiły jakieś awarie zasilania i jak się czuje serwer;
  • Jeśli AVR pomyślnie przejdzie test, podgrzej go do 70°C.

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Zdjęcie kamerą termowizyjną z jednego z testów.

AVR i wszystko, wszystko, wszystko: automatyczne wprowadzenie rezerwy w centrum danych
Analizator sieci rejestruje napięcie w czasie. Na nagraniu widzimy, jak długo trwało przełączenie: w tym momencie fala sinusoidalna została przerwana

Przy okazji zabierzemy AVR-a na test: sprawdzimy wytrzymałość Twojego urządzenia i powiemy co się stało 😉 

AVR w szafie: ukryte zagrożenie

Głównym problemem ATS montowanego w szafie jest to, że może on przełączać obciążenie jedynie z wejścia głównego na wejście rezerwowe, ale nie chroni przed zwarciami ani przeciążeniami. Jeżeli na zasilaniu nastąpi zwarcie, wówczas w celach ochronnych zadziała wyłącznik na wyższym poziomie: na PDU lub w rozdzielnicy. W efekcie jedno wejście zostaje wyłączone, SZR to rozumie i przełącza się na drugie wejście. Jeżeli zwarcie nadal występuje, zadziała drugi wyłącznik wejściowy. W rezultacie problem w jednym elemencie wyposażenia może spowodować utratę zasilania całego stelaża.

Powtarzam więc jeszcze raz: zastanów się tysiąc razy, zanim zainstalujesz ATS-a w szafie i zaczniesz używać sprzętu z jednym zasilaczem.

Źródło: www.habr.com

Dodaj komentarz