Dziś w infrastrukturze IT, przy powszechnym wykorzystaniu wirtualizacji, systemy przechowywania danych stanowią serce, w którym przechowywane są wszystkie maszyny wirtualne. Awaria tego węzła może całkowicie zatrzymać działanie centrum obliczeniowego. Chociaż znaczna część sprzętu serwerowego ma odporność na awarie w pewnej formie „domyślnie”, ze względu na szczególną rolę systemów przechowywania danych w ramach centrum danych, stawiane są przed nimi wyższe wymagania w kwestii „żywotności”.
Najbardziej efektywną metodą zapewnienia odporności na awarie w IT jest wykorzystanie wielu egzemplarzy sprzętu i oprogramowania (w najprostszej formie – duplikacji). Oczywiście systemy przechowywania danych można w pełni zduplikować. I do disaster recovery właśnie takie podejście jest wykorzystywane. Jednak nie wszystkie firmy mogą sobie na to pozwolić. Nie chodzi tylko o podwojoną wartość sprzętu, ale także o inne wydatki związane z organizacją takiego rozwiązania i jego dalszym wsparciem.
Jednak możliwość duplikacji sprzętu nie znosi konieczności zapewnienia odporności na awarie na poziomie komponentów. W szczególności w systemach przechowywania danych stosowane są rezerwy dla zasilaczy, modułów chłodzenia, dysków oraz, oczywiście, kontrolerów. To wszystko stało się już codziennością. Trudno znaleźć system przechowywania danych bez użycia takiego projektu. nie jest wyjątkiem. W tej artykule chcemy jednak porozmawiać o tym, co nie rzuca się od razu w oczy, a jest przede wszystkim ukierunkowane na zwiększenie odporności systemu jako całości.
Moduły chłodzenia
Bardzo często w obudowach 2U-3U stosowane są moduły kombinowane, łączące w sobie zasilacze i wentylatory. Z jednej strony, jest to wygodne, ponieważ trzeba obsługiwać tylko jeden blok. Z drugiej, jeśli system chłodzenia zawiedzie, zasilacz może być wyłączony, aby uniknąć przegrzania. I choć nie wydaje się to być krytyczną sytuacją, dodawanie takich luk w systemie przechowywania danych z pewnością nie jest wskazane.
Chłodzenie w macierzy Qsan zorganizowane jest w postaci oddzielnych modułów z możliwością „gorącej” wymiany, niezależnych od zasilaczy. W samej zasilacze znajdują się wentylatory służące do chłodzenia jednostek. Moduł chłodzenia zawiera dwa niezależne wentylatory, które wzajemnie się zabezpieczają. Takie moduły w macierzy występują w liczbie dwóch: z prawej i lewej strony – dla efektywnego chłodzenia wszystkich komponentów. W przypadku awarii jednego z wentylatorów, pozostałe automatycznie zwiększają swoją prędkość obrotową, aby zrekompensować powstały niedobór przepływu powietrza. Dlatego uszkodzenie wentylatora nie prowadzi do niebezpieczeństwa przegrzania całego urządzenia.
Topologia podłączenia półek rozszerzeń
Klasyczny schemat podłączenia do macierzy oznacza topologię nazywaną kaskadą. W tym przypadku odpowiednie kontrolery półki i macierzy są połączone jedynym kablem SAS. W sumie uzyskuje się 2 kable w systemie z dwoma kontrolerami. Jeśli potrzeba podłączyć drugą, podłącza się ją w ten sam sposób do pierwszej półki. I tak dalej. Zaletą tej topologii jest prostota realizacji w sprzęcie. Wadą jest pewna podatność na nagłe zerwanie łańcucha SAS z powodu uszkodzenia niepołączonych ze sobą kontrolerów macierzy i półki lub z powodu braku zasilania jednej z półek rozszerzeń w środku łańcucha. W rezultacie może dojść do utraty dostępu do części nośników i możliwego załamania grupy RAID, jeśli jest ona „rozproszona” na kilku obudowach.
Aby zabezpieczyć się przed równoległą awarią kontrolerów, Qsan posiada ochronę w postaci wewnętrznego logicznego połączenia kontrolerów przez backplane macierzy. Tzn. kontroler macierzy widzi nie tylko kontroler JBOD bezpośrednio do niego podłączony, ale także kontroler „sąsiedni” przez specjalne łącze w backplane. W rezultacie, jeśli taka sytuacja wystąpi i nikt fizycznie nie wyciągnie kabli SAS między macierzą a półką, dostęp do wszystkich nośników zostanie utrzymany.
Aby chronić przed zerwaniem łańcucha SAS, na przykład w wyniku braku zasilania półki rozszerzeniowej, zazwyczaj stosuje się inną topologię połączenia – odwrotną kaskadę. W tym przypadku macierz jest podłączona jednocześnie do pierwszej i ostatniej półki w łańcuchu, uzyskując dostęp do nośników z dwóch stron.
Jeśli potrzebujesz silniejszej ochrony, możesz zbudować większe konfiguracje, korzystając na przykład z topologii drzewiastej. Możesz także komplikować to przez kombinację wspomnianych topologii. Jest to możliwe dzięki dużej liczbie złączy SAS w urządzeniach (po 2 w każdym kontrolerze macierzy dyskowej i po 5 w każdym kontrolerze JBOD) z automatycznym wykrywaniem trybów pracy wejścia/wyjścia. Najważniejsze, aby sam administrator się nie pogubił. A macierz dyskowa na pewno potrafi poprawnie skonfigurować ustawienia.
Szybka odbudowa
Obecność w systemie dysków zapasowych z "gorącą" wymianą (hot spare) znacząco zwiększa niezawodność przechowywania informacji. Jednak sam fakt wydzielenia takich dysków nie oznacza jeszcze absolutnej ochrony. Problem polega na tym, że proces odbudowy (rebuild) jest dość pracochłonny i często długotrwały. Pracochłonność wynika z nieprzerwanego dostępu do danych podstawowych. Tzn. system, oprócz bieżącej pracy, musi także kopiować dane na nowy dysk. A długość odbudowy zależy bezpośrednio od pojemności nośnika i jego parametrów prędkości. Ponieważ system nic nie wie o rzeczywistej zajętości przestrzeni na dyskach, w trakcie odbudowy system po prostu kopiuje wszystko: blok po bloku.
W rezultacie odbudowa nowoczesnego dysku o dużej pojemności 10+ TB przy poważnym obciążeniu systemu macierzy dyskowej może łatwo trwać tydzień lub dłużej. Należy również pamiętać, że podczas odbudowy znacznie wzrasta prawdopodobieństwo awarii innych nośników z powodu zwiększonego obciążenia. A to już może stanowić poważne zagrożenie w przypadku użycia na przykład RAID5.
W ramach rozwiązania tego problemu wielu producentów macierzy dyskowych zajęło się przyspieszeniem procesu odbudowy. Można zastosować różne podejścia, ale istota pozostaje ta sama – kopiowanie podczas odbudowy tylko rzeczywiście zajętych bloków. Nie pozostał w tyle w tej kwestii również Qsan. W macierzach tego dostawcy, po aktywowaniu opcji system śledzi używane bloki do zapisu, dzięki czemu w przypadku awarii dysku ma możliwość skopiowania na nowy nośnik tylko ich.
Opcja Szybka odbudowa nie jest domyślnie włączona przy tworzeniu nowych wolumenów, ponieważ jej stosowanie ma wpływ na wydajność, szczególnie podczas operacji zapisu losowego, ponieważ:
- Należy prowadzić śledzenie zapisów w blokach;
- Podczas odbudowy nie następuje przeliczenie sum kontrolnych dla niezajętej przestrzeni, dlatego przy nowym zapisie w tym obszarze należy najpierw „zainicjować” go.
Dlatego nie zaleca się używania Fast Rebuild dla wolumenów, na przykład, z wysoko obciążonymi bazami danych lub w systemach monitorowania wideo, gdzie wolumen i tak zostanie w końcu wypełniony w 100%. Jednak dla serwerów plików lub pocztowych ta opcja będzie bardzo przydatna.
Zamiast zakończenia
Każdy producent macierzy dyskowych zakłada, że jego urządzenia są niezawodne. I jeśli nie ma fatalnych błędów w projektowaniu urządzeń i niewiarygodnej skłonności do oszczędności w procesie ich produkcji i testowania, to ogólnie można zgodzić się z dostawcą. Jednak trzeba rozumieć:
- podstawowa niezawodność macierzy dyskowych to przede wszystkim sposób, aby nadal mieć dostęp do danych w przypadku awarii jakiegokolwiek komponentu(-ów);
- dodatkowe opcje dotyczące niezawodności (jak te opisane powyżej) to wykluczenie niektórych rodzajów awarii i zwiększenie szans na dostęp do danych;
- 100% niezawodności, niestety, nie ma. Ale aby maksymalnie do niej zbliżyć, większość rozsądnych dostawców macierzy dyskowych (i w ich liczbie) dokłada maksymalnych starań, aby nieprzerwanie doskonalić swoje produkty zarówno w części sprzętowej, jak i programowej.
Jednocześnie nie należy zapominać, że żadna absolutna niezawodność macierzy dyskowych nie zastępuje konieczności posiadania kopii zapasowych, jasnych i przetestowanych planów przywracania w przypadku awarii oraz operacyjnego wsparcia technicznego dostawcy.
Źródło: habr.com
