PDU i wszystko: dystrybucja zasilania w szafie

Jedna z szaf wewnętrznej wirtualizacji. Zajęliśmy się kolorową identyfikacją kabli: pomarańczowy oznacza nieparzyste zasilanie, zielony – parzyste.

Najczęściej opowiadamy tutaj o „większych” elementach – chillery, agregaty prądotwórcze, rozdzielnie. Dziś mowa będzie o „mniejszych” – gniazdkach w szafach, znanych również jako Power Distribution Unit (PDU). W naszych centrach danych mamy ponad 4 tysiące szaf wypełnionych sprzętem IT, więc widziałem sporo różnych rozwiązań: klasyczne PDU, „inteligentne” – z monitoringiem i zarządzaniem, zwykłe gniazdka. Dziś opowiem, jakie są rodzaje PDU i co lepiej wybrać w danej sytuacji.

Rodzaje PDU

Prosty blok gniazdek. Tak, to ten, który znajduje się w każdym domu lub biurze.
Formalnie nie jest to całkowicie PDU w sensie przemysłowego użycia w szafach z sprzętem IT, ale te urządzenia mają swoich zwolenników. Jedyną zaletą takiego rozwiązania jest niski koszt (cena zaczyna się od 2000 rubli). Mogą również przydać się, jeśli korzystasz z otwartych stojaków, gdzie standardowe PDU nie zmieszczą się, a nie chcesz tracić jednostek na poziome PDU. To znowu kwestia oszczędności.

Jednak wad jest znacznie więcej: takie urządzenia nie zawsze mają wewnętrzną ochronę przed zwarciem i przeciążeniem, trudno monitorować wskaźniki, a już na pewno nie można zarządzać gniazdkami. Najczęściej będą umieszczane na dole szafy. To nie jest najbardziej wygodne miejsce dla gniazdek do podłączania sprzętu.

Ogólnie rzecz biorąc, „przedłużacze” można używać, jeśli:

• macie tysiące serwerów i chcecie zaoszczędzić,
• możecie sobie pozwolić na ślepe podłączanie sprzętu, nie rozumiejąc, co dzieje się z rzeczywistym zużyciem,
• jesteście gotowi na przestoje sprzętu.

My tego nie używamy, ale mamy klientów, którzy dość skutecznie to praktykują. Prawda jest taka, że budują infrastrukturę pod swoje usługi w taki sposób, że awaria dziesiątek serwerów nie wpływa na działanie aplikacji klientów.

Tanio i z prostotą.

Pionowe rozmieszczenie.

„Głupie” PDU. To właśnie klasyczny PDU do użycia w szafach z urządzeniami IT, co jest już dobrze. Mają odpowiedni format do umieszczenia po bokach szafy, co ułatwia podłączanie sprzętu. Posiadają wewnętrzną ochronę. Takie PDU nie mają monitorowania, co oznacza, że nie będziemy wiedzieć, ile energii zużywa konkretne urządzenie i co w ogóle dzieje się wewnątrz. Takie PDU mamy prawie na wyczerpaniu, a generalnie stopniowo wychodzą z masowego użytku.

Ceny takich PDU zaczynają się od 25 tys. rubli.

„Inteligentne” PDU z monitorowaniem. Te urządzenia mają „mózg”, który potrafi monitorować parametry zużycia energii. Posiadają wyświetlacz, na którym wyświetlane są podstawowe wskaźniki: napięcie, prąd i moc. Można je śledzić według poszczególnych grup gniazd: sekcji lub banków. Do takiego PDU można podłączyć się zdalnie i skonfigurować wysyłanie danych do systemu monitorowania. Prowadzą logi, dzięki którym można zobaczyć wszystko, co się z nimi działo, na przykład, kiedy dokładnie PDU się wyłączyło.

Ponadto potrafią obliczać zużycie (kWh) do celów technicznych, aby wiedzieć, ile warta jest szafa w danym czasie.

To standardowe PDU, które oferujemy naszym klientom w wynajem, i takich PDU jest większość w naszych centrach danych.

Jeśli zdecydujesz się na zakup, przygotuj się na wydatek od 75 tys. rubli za sztukę.

Wykres z naszego wewnętrznego monitorowania PDU.

„Inteligentne” PDU z zarządzaniem. Do umiejętności opisanych powyżej te PDU dodają zarządzanie. Najbardziej zaawansowane PDU kontrolują i monitorują każde gniazdko: można je włączać/wyłączać, co bywa potrzebne w sytuacjach, gdy konieczne jest zdalne ponowne uruchomienie serwera przez zasilanie. W tym tkwi zarówno urok, jak i niebezpieczeństwo takich PDU: zwykły użytkownik przez nieświadomość może wejść do interfejsu internetowego, coś kliknąć i jednym ruchem ponownie uruchomić/wyłączyć cały system. Tak, system dwukrotnie ostrzeże o konsekwencjach, lecz praktyka pokazuje, że nawet alarmy nie zawsze chronią przed nieprzemyślanymi działaniami użytkownika.

Dużym problemem „inteligentnych” PDU jest przegrzewanie oraz awaria kontrolera i wyświetlacza. PDU zwykle montuje się z tyłu szafy, tam, gdzie wydmuchiwane jest gorące powietrze. Jest tam gorąco, a kontrolery tego nie wytrzymują. PDU w tym przypadku nie trzeba wymieniać całkowicie, kontroler można wymienić na gorąco.

Ceny są dość wysokie – od 120 tys. rubli.

Informację o PDU z zarządzaniem można znaleźć w wskazaniach pod każdym gniazdem.

Moim zdaniem, funkcja zarządzania w PDU to kwestia gustu, ale monitorowanie to must have. W przeciwnym razie, nie będzie można śledzić zużycia i obciążenia. Dlaczego to ważne, wyjaśnię za chwilę.

Jak obliczyć potrzebną moc PDU?

Na pierwszy rzut oka, wszystko wydaje się proste: moc PDU dobiera się zgodnie z mocą szafy, ale są pewne niuanse. Załóżmy, potrzebujesz szafy 10 kW. Producenci PDU oferują modele na 3, 7, 11, 22 kW. Wybierasz 11 kW, a niestety, się mylisz. Musisz wybrać 22 kW. Dlaczego potrzebujemy tak dużego zapasu. Teraz wszystko wyjaśnię.

Po pierwsze, producenci często podają moc PDU w kilowatach, a nie w kilowoltamperach, co jest bardziej poprawne, ale nie oczywiste dla laików.
Czasami producenci wprowadzają dodatkowe zamieszanie:

Tutaj na początku mowa o 11 kW,

A w szczegółowym opisie już o 11000 VA:

Jeśli masz do czynienia z czajnikiem i podobnymi urządzeniami, to nie będzie różnicy między kW a kVA. Szafa na 10 kW z czajnikami będzie pobierać 10 kVA. Ale jeśli mamy sprzęt IT, to pojawia się współczynnik (cos φ): im nowszy sprzęt, tym bliżej ten współczynnik jedności. W średnim przypadku dla sprzętu IT możemy przyjąć 0,93–0,95. Dlatego szafa na 10 kW z IT będzie pobierać 10,7 kVA. Oto wzór, dzięki któremu otrzymaliśmy 10,7 kVA.

Ppełn.= Pact./Cos(φ)
10/0.93=10.7 kVA

Cóż, zadasz rozsądne pytanie, 10,7 – to przecież mniej niż 11. Dlaczego potrzebujemy PDU na 22 kW? Jest jeszcze drugi aspekt: poziom poboru energii przez urządzenia będzie się zmieniać w zależności od pory dnia i dnia tygodnia. Przy rozmieszczeniu zasilania trzeba uwzględnić ten fakt i odłożyć ~10% na wahania, aby w momencie wzrostu zużycia PDU nie przeszły w przeciążenie i nie pozostawiły urządzenia bez zasilania.

Wykres zużycia szafy 10 kW przez 4 dni.

Okazuje się, że do posiadanych 10,7 kW musimy dodać jeszcze 10%, więc PDU na 11 kW już nam nie odpowiada.

Fragment tabeli mocy konkretnych modeli PDU według wersji DataLine. Z uwzględnieniem przeliczenia z kVA na kW oraz zapasu na wahania w ciągu doby.

Cechy montażu

Najwygodniej pracuje się z PDU, gdy jest ona montowana pionowo, po lewej i prawej stronie szafy. W takim przypadku nie zajmuje ona cennej przestrzeni. Zwykle można zamontować do czterech PDU w szafie — dwie po lewej i dwie po prawej stronie. Najczęściej montuje się jedną PDU z każdej strony. Każda PDU ma jeden przyłącz zasilania.

Standardowy „osprzęt” szafy — 2 PDU i 1 UPS.

Czasami w szafie nie ma miejsca na pionowe PDU, na przykład, jeśli jest to otwarta szafa. Wtedy z pomocą przychodzą poziome PDU. Jedyną wadą jest to, że w tym przypadku trzeba się pogodzić z utratą od 2 do 4 jednostek w szafie, w zależności od modelu PDU.

Tutaj PDU zajęła 4 jednostki. Taki typ PDU jest również używany, gdy trzeba rozdzielić dwóch klientów w jednej szafie. W takim przypadku każdy klient będzie miał osobną parę PDU.

Czasami szafa jest zbyt płytka i serwer wystaje, zasłaniając PDU. Najgorsze w tym przypadku jest to, że część gniazdek będzie niewykorzystana, a jeśli taka PDU się zepsuje, będzie trzeba ją „pochować” bezpośrednio w szafie lub odłączyć i wyciągnąć całe przeszkadzające wyposażenie.

Nie rób tak — 1.

Nie rób tak — 2.

Podłączenie sprzętu

Nawet najbardziej zaawansowana PDU nie pomoże, jeśli sprzęt jest podłączony nieprawidłowo i nie ma możliwości monitorowania zużycia.

Co może pójść nie tak? Trochę materiału. Na każdą szafę przypadają dwa przyłącza zasilania, w standardowej szafie są dwa PDU. Oznacza to, że każda PDU ma swoje własne przyłącze. Jeśli coś się stanie z jednym z przyłączy (czytaj PDU), to szafa nadal będzie działała na drugim. Aby ten schemat działał, należy przestrzegać pewnych zasad. Oto główne (pełna lista znajduje się tutaj):

Sprzęt musi być podłączony do różnych PDU. Jeśli sprzęt ma zasilacz i jedną wtyczkę, to podłącza się do PDU za pomocą UPS (urządzenie automatycznego przełączania źródeł zasilania), lub ATS (Automatic Transfer Switch). W przypadku awarii jednego z przyłączy lub samej PDU, UPS przełącza sprzęt na sprawne PDU/ przyłącze. Sprzęt nic nie zauważy.

Obciążenie parzyste na dwóch przyłączach/PDU. Zapasowy zasilacz uratuje, tylko jeśli wytrzyma obciążenie awaryjnego zasilania. Dlatego ważne jest, aby zostawić margines: obciążaj każdy zasilacz poniżej połowy jego nominalnej mocy, a całkowite obciążenie wszystkich dwóch zasilaczy powinno być poniżej 100% ich nominalnej mocy. Tylko w takim przypadku pozostały zasilacz wytrzyma podwójne obciążenie. Jeśli tak nie jest, to zmiana na zasilanie zapasowe się nie powiedzie — sprzęt pozostanie bez zasilania. Aby uniknąć najgorszego, my monitorujemy ten parametr.

Rozkład obciążenia pomiędzy sekcjami PDU. Gniazda PDU są grupowane w sekcje. Zwykle po 2 lub 3 sztuki. Każda sekcja ma swój limit mocy. Ważne jest, aby go nie przekraczać i równomiernie rozkładać obciążenie we wszystkich sekcjach. I tutaj także działa zasada podwójnych obciążeń, o której wspomniano wcześniej.

Podsumowując

1. Jeśli to możliwe, wybieraj PDU z funkcją monitorowania.
2. Przy wyborze modelu PDU pozostaw margines mocy.
3. Montaż PDU powinien umożliwiać jego wymianę bez zakłócania pracy sprzętu IT.
4. Podłączaj poprawnie: podłącz sprzęt do dwóch PDU, nie przeciążaj sekcji i pamiętaj o podwójnych obciążeniach.

Źródło: habr.com