🥇Jak wybrać system przechowywania, nie strzelając sobie w stopę

Wprowadzenie

Czas kupić pamięć masową. Którego wybrać, kogo słuchać? Dostawca A mówi o dostawcy B, a potem jest integrator C, który mówi coś przeciwnego i doradza sprzedawcy D. W takiej sytuacji nawet doświadczonemu architektowi pamięci masowych zakręci się w głowie, szczególnie w obliczu wszystkich nowych dostawców oraz modnych SDS i hiperkonwergencji Dzisiaj.

Jak więc to wszystko rozgryźć i nie wyjść na głupca? My (AntonWirtualny Anton Żbankow i ciało Evgeniy Elizarov) spróbujmy porozmawiać o tym prostym językiem rosyjskim.
Artykuł ma wiele podobieństw i w rzeczywistości jest rozwinięciem „Projekt zwirtualizowanego centrum danych”w zakresie doboru systemów magazynowania i przeglądu technologii magazynowania. Przyjrzymy się krótko ogólnej teorii, ale zalecamy przeczytanie również tego artykułu.

Po co

Często można spotkać się z sytuacją, gdy na forum lub specjalistyczny czat typu Storage Discussion przychodzi nowa osoba i zadaje pytanie: „tutaj oferują mi dwie opcje przechowywania - ABC SuperStorage S600 i XYZ HyperOcean 666v4, co polecacie ?”

I zaczyna się zamieszanie co do tego, kto ma jakie cechy realizacji okropnych i niezrozumiałych funkcji, które dla nieprzygotowanej osoby są całkowicie chińskie.

Zatem kluczowym i pierwszym pytaniem, które należy sobie zadać na długo przed porównaniem specyfikacji w ofertach komercyjnych, jest: DLACZEGO? Dlaczego ten system przechowywania jest potrzebny?

Odpowiedź będzie nieoczekiwana i bardzo w stylu Tony’ego Robbinsa – do przechowywania danych. Dziękuję, kapitanie! A jednak czasami tak bardzo zagłębiamy się w porównywanie szczegółów, że zapominamy, po co to wszystko w ogóle robimy.

Zadaniem systemu przechowywania danych jest więc przechowywanie i udostępnianie DANYCH z określoną wydajnością. Zaczniemy od danych.

Te

Typ danych

Jakie dane planujemy przechowywać? Bardzo ważne pytanie, które może wyeliminować wiele systemów przechowywania danych z nawet rozważań. Na przykład planujesz przechowywać filmy i zdjęcia. Można od razu skreślić systemy przeznaczone do dostępu swobodnego w małych blokach lub systemy z zastrzeżonymi funkcjami kompresji/deduplikacji. Mogą to być po prostu doskonałe systemy, nie chcemy powiedzieć nic złego. Ale w tym przypadku ich mocne strony albo staną się słabe (wideo i zdjęcia nie są skompresowane), albo po prostu znacznie zwiększą koszt systemu.

I odwrotnie, jeśli zamierzonym zastosowaniem jest obciążony transakcyjny system DBMS, doskonałe systemy strumieniowego przesyłania multimediów zdolne do dostarczania gigabajtów na sekundę będą złym wyborem.

Ilość danych

Ile danych planujemy przechowywać? Ilość zawsze przekształca się w jakość; nigdy nie należy o tym zapominać, szczególnie w czasach wykładniczego wzrostu ilości danych. Systemy klasy petabajtów nie są już rzadkością, ale im większa pojemność petabajtów, im bardziej szczegółowy staje się system, tym mniej dostępna będzie zwykła funkcjonalność małych i średnich systemów o swobodnym dostępie. Jest to trywialne, ponieważ same tabele statystyk dostępu do bloków stają się większe niż dostępna ilość pamięci RAM na kontrolerach. Nie mówiąc już o kompresji/poziomowaniu. Załóżmy, że chcemy przełączyć algorytm kompresji na bardziej wydajny i skompresować 20 petabajtów danych. Ile to zajmie: sześć miesięcy, rok?

Z drugiej strony po co zawracać sobie głowę, jeśli trzeba przechowywać i przetwarzać 500 GB danych? Tylko 500. Domowe dyski SSD (o niskim DWPD) tej wielkości nic nie kosztują. Po co budować fabrykę Fibre Channel i kupować wysokiej klasy zewnętrzne systemy pamięci masowej, które kosztują równowartość mostu żeliwnego?

Jaki procent całości stanowią gorące dane? Jak nierównomierne jest obciążenie pod względem ilości danych? W tym przypadku technologia wielowarstwowej pamięci masowej lub pamięć podręczna Flash mogą być bardzo pomocne, jeśli ilość gorących danych jest niewielka w porównaniu do całości. Lub odwrotnie, przy równomiernym obciążeniu w całym wolumenie, co często spotyka się w systemach streamingowych (monitoring wideo, niektóre systemy analityczne), takie technologie nic nie dadzą, a jedynie zwiększą koszt/złożoność systemu.

IP

Drugą stroną danych jest system informacyjny, który je wykorzystuje. IS ma zestaw wymagań, które dziedziczą dane. Więcej informacji na temat IS można znaleźć w artykule „Projekt zwirtualizowanego centrum danych”.

Wymagania dotyczące odporności/dostępności

Wymagania dotyczące odporności na błędy/dostępności danych są dziedziczone od korzystającego z nich IS i wyrażane trzema liczbami - RPO, RTO, dostępność.

Dostępność — udział za dany okres, w którym dostępne są dane umożliwiające pracę z nimi. Zwykle wyrażane jako liczba 9. Na przykład dwie dziewiątki rocznie oznaczają, że dostępność wynosi 99%, lub w innym przypadku dopuszcza się 95 godzin niedostępności w roku. Trzy dziewiątki - 9,5 godziny rocznie.

RPO/RTO nie są wskaźnikami całkowitymi, ale dla każdego zdarzenia (wypadku), w przeciwieństwie do dostępności.

RPO — ilość danych utraconych w wyniku wypadku (w godzinach). Przykładowo, jeśli kopie zapasowe odbywają się raz dziennie, to RPO = 24 godziny. Te. W przypadku awarii i całkowitej utraty systemu przechowywania dane mogą zostać utracone do 24 godzin (od momentu wykonania kopii zapasowej). Na przykład na podstawie RPO określonego dla IS pisane są przepisy dotyczące kopii zapasowych. Ponadto w oparciu o RPO można zrozumieć, ile synchronicznej/asynchronicznej replikacji danych jest potrzebne.

RTO — czas na przywrócenie usługi (dostępu do danych) po awarii. Na podstawie podanej wartości RTO możemy zrozumieć, czy potrzebny jest klaster metropolitalny, czy też wystarczająca jest replikacja jednokierunkowa. Czy potrzebujesz najwyższej klasy systemu pamięci masowej z wieloma kontrolerami?

Wymagania dotyczące wydajności

Chociaż jest to bardzo oczywiste pytanie, to właśnie tam pojawia się najwięcej trudności. W zależności od tego, czy posiadasz już jakąś infrastrukturę, czy nie, zbudowane zostaną sposoby gromadzenia niezbędnych statystyk.

Masz już system pamięci masowej i szukasz zamiennika lub chcesz kupić kolejny w celu rozbudowy. Tutaj wszystko jest proste. Rozumiesz, jakie usługi już posiadasz i które planujesz wdrożyć w najbliższej przyszłości. Na podstawie bieżących usług masz możliwość zbierania statystyk wydajności. Określ aktualną liczbę IOPS i aktualne opóźnienia - jakie są te wskaźniki i czy wystarczą do Twoich zadań? Można to zrobić zarówno w samym systemie przechowywania danych, jak i na podłączonych do niego hostach.

Co więcej, należy patrzeć nie tylko na bieżące obciążenie, ale na pewien okres (najlepiej miesiąc). Zobacz jakie są maksymalne wartości szczytowe w ciągu dnia, jakie obciążenie tworzy kopia zapasowa itp. Jeśli Twój system pamięci masowej lub jego oprogramowanie nie zapewniają pełnego zestawu tych danych, możesz skorzystać z bezpłatnego narzędzia RRDtool, które może współpracować z większością najpopularniejszych systemów pamięci masowej i przełączników i może zapewnić szczegółowe statystyki wydajności. Warto także przyjrzeć się obciążeniu hostów współpracujących z tym systemem przechowywania danych, konkretnym maszynom wirtualnym lub temu, co dokładnie działa na tym hoście.

Warto osobno zauważyć, że jeśli opóźnienia wolumenu i magazynu danych znajdującego się na tym woluminie różnią się dość znacząco, należy zwrócić uwagę na swoją sieć SAN, istnieje duże prawdopodobieństwo, że będą z nią problemy i przed zakupem nowego systemu, warto przyjrzeć się temu zagadnieniu, ponieważ istnieje bardzo duże prawdopodobieństwo zwiększenia wydajności obecnego systemu.

Budujesz infrastrukturę od podstaw lub kupujesz system pod jakąś nową usługę, z której obciążenia nie jesteś świadomy. Możliwości jest kilka: skontaktować się ze współpracownikami za pośrednictwem wyspecjalizowanych zasobów, aby spróbować dowiedzieć się i przewidzieć obciążenie, skontaktować się z integratorem, który ma doświadczenie we wdrażaniu podobnych usług i który może obliczyć obciążenie dla Ciebie. Trzecia opcja (zwykle najtrudniejsza, szczególnie jeśli dotyczy aplikacji pisanych samodzielnie lub rzadkich) polega na próbie poznania wymagań wydajnościowych od twórców systemu.

I proszę pamiętać, że najbardziej poprawną opcją z punktu widzenia praktycznego zastosowania jest pilotaż na obecnym sprzęcie lub sprzęcie dostarczonym do testów przez dostawcę/integratora.

Specjalne wymagania

Wymagania specjalne to wszystko, co nie podlega wymaganiom dotyczącym wydajności, odporności na awarie i funkcjonalności w zakresie bezpośredniego przetwarzania i udostępniania danych.

Jedno z najprostszych specjalnych wymagań stawianych systemowi przechowywania danych można nazwać „zbywalnym nośnikiem danych”. I od razu staje się jasne, że ten system przechowywania danych musi zawierać bibliotekę taśmową lub po prostu napęd taśmowy, na który zrzucona zostanie kopia zapasowa. Po czym specjalnie przeszkolona osoba podpisuje taśmę i dumnie przenosi ją do specjalnego sejfu.
Innym przykładem specjalnych wymagań jest konstrukcja odporna na wstrząsy.

Где

Drugim głównym elementem przy wyborze konkretnego systemu przechowywania jest informacja, GDZIE ten system przechowywania będzie zlokalizowany. Począwszy od geografii czy warunków klimatycznych, a skończywszy na personelu.

Klient

Dla kogo przeznaczony jest ten system przechowywania? Pytanie ma następujące przyczyny:

Klient rządowy/komercyjny.
Klient komercyjny nie ma żadnych ograniczeń i nie jest nawet zobowiązany do organizowania przetargów, chyba że na podstawie własnych, wewnętrznych regulacji.

Klient rządowy to inna sprawa. 44 Prawo federalne i inne rozkosze przetargami i specyfikacjami technicznymi, które można kwestionować.

Klient objęty jest sankcjami
Otóż pytanie tutaj jest bardzo proste – wybór ograniczają jedynie oferty dostępne dla danego klienta.

Wewnętrzne regulacje/dostawcy/modele dopuszczone do zakupu
Pytanie jest również niezwykle proste, ale trzeba o tym pamiętać.

Gdzie fizycznie

W tej części rozważamy wszelkie zagadnienia związane z geografią, kanałami komunikacyjnymi i mikroklimatem w obiekcie noclegowym.

personel

Kto będzie pracował z tym systemem przechowywania? Jest to nie mniej ważne niż możliwości samego systemu przechowywania.
Niezależnie od tego, jak obiecujący, fajny i wspaniały jest system przechowywania od dostawcy A, prawdopodobnie nie ma sensu go instalować, jeśli personel wie tylko, jak współpracować z dostawcą B i nie ma planów dalszych zakupów i stałej współpracy z A.

I oczywiście drugą stroną pytania jest to, jak dostępna jest przeszkolona kadra w danej lokalizacji geograficznej, bezpośrednio w firmie i potencjalnie na rynku pracy. W przypadku regionów wybór systemów pamięci masowej z prostymi interfejsami lub możliwością zdalnej centralizacji zarządzania może mieć duży sens. W przeciwnym razie w pewnym momencie może stać się potwornie bolesny. W Internecie pełno jest historii o tym, jak przybył nowy pracownik, wczorajszy student, skonfigurował coś takiego, że zginęło całe biuro.

Środowisko

I oczywiście ważnym pytaniem jest, w jakim środowisku będzie działać ten system przechowywania.

A co z zasilaniem/chłodzeniem?
Jakie połączenie
Gdzie zostanie zainstalowany?
Itp.

Często te pytania są traktowane jako oczywiste i nie są szczególnie rozważane, ale czasami to one mogą odwrócić wszystko.

Co

Sprzedawca

Na dzień dzisiejszy (połowa 2019 r.) rosyjski rynek magazynowania można podzielić na 5 kategorii:

Najwyższy podział to firmy o ugruntowanej pozycji, posiadające szeroką gamę półek dyskowych od najprostszych po hi-end (HPE, DellEMC, Hitachi, NetApp, IBM/Lenovo)
Druga dywizja - firmy z ograniczoną linią, gracze niszowi, poważni dostawcy SDS lub wschodzący nowi gracze (Fujitsu, Datacore, Infinidat, Huawei, Pure itp.)
Trzecia dywizja - rozwiązania niszowe z niższej półki, tanie SDS, zaawansowane produkty oparte na ceph i inne otwarte projekty (Infortrend, Starwind itp.)
Segment SOHO – małe i bardzo małe systemy pamięci masowej na poziomie domu/małego biura (Synology, QNAP itp.)
Importowane systemy przechowywania danych – dotyczy to zarówno sprzętu pierwszej dywizji ze zmienionymi etykietami, jak i rzadkich przedstawicieli drugiej dywizji (RAIDIX, drugą z góry im podamy), ale głównie jest to trzecia dywizja (Aerodisk, Bauma, Depo itp.)

Podział jest dość dowolny i wcale nie oznacza, że segment trzeci, czyli SOHO, jest zły i nie da się go zastosować. W konkretnych projektach z jasno określonym zbiorem danych i profilem obciążenia mogą sprawdzić się bardzo dobrze, zdecydowanie przewyższając pierwszy podział pod względem stosunku ceny do jakości. Ważne jest, aby najpierw określić swoje cele, perspektywy rozwoju i wymaganą funkcjonalność – wtedy Synology będzie Ci wiernie służyć, a Twoje włosy staną się miękkie i jedwabiste.

Jednym z ważnych czynników przy wyborze dostawcy jest obecne otoczenie. Ile systemów pamięci masowej już posiadasz i z jakimi systemami pamięci masowej mogą pracować Twoi inżynierowie. Czy potrzebujesz innego dostawcy, innego punktu kontaktowego, czy będziesz stopniowo przenosić całe obciążenie od dostawcy A do dostawcy B?

Nie należy tworzyć bytów ponad to, co jest konieczne.

iSCSI/FC/plik

Wśród inżynierów nie ma zgody w kwestii protokołów dostępu, a debata bardziej przypomina dyskusje teologiczne niż inżynierskie. Ale ogólnie można zauważyć następujące punkty:

FCoE bardziej martwy niż żywy.

FC kontra iSCSI. Jedną z kluczowych przewag FC w 2019 r. nad pamięcią masową IP, dedykowaną fabryką dostępu do danych, równoważy dedykowana sieć IP. FC nie ma globalnej przewagi nad sieciami IP, a IP można wykorzystać do budowy systemów pamięci masowej o dowolnym poziomie obciążenia, aż do systemów dla ciężkich systemów DBMS dla podstawowego systemu bankowego dużego banku. Z drugiej strony śmierć FC przepowiadana jest już od kilku lat, ale coś ciągle temu zapobiega. Na przykład dzisiaj niektórzy gracze na rynku pamięci masowej aktywnie rozwijają standard NVMEoF. Czy podzieli los FCoE – czas pokaże.

Dostęp do plików nie jest też czymś niegodnym uwagi. NFS/CIFS sprawdza się dobrze w środowiskach produktywnych i, jeśli jest poprawnie zaprojektowany, nie ma więcej skarg niż protokoły blokowe.

Hybrydowa/All Flash Array

Klasyczne systemy przechowywania występują w 2 typach:

AFA (All Flash Array) – systemy zoptymalizowane pod kątem wykorzystania dysków SSD.
Hybrydowy – pozwalający na wykorzystanie zarówno dysku twardego, jak i dysku SSD lub ich kombinacji.

Główną różnicą są obsługiwane technologie zwiększające wydajność pamięci masowej i maksymalny poziom wydajności (wysokie IOPS i niskie opóźnienia). Obydwa systemy (w większości swoich modeli, nie licząc segmentu low-end) mogą pracować zarówno jako urządzenia blokowe, jak i plikowe. Obsługiwana funkcjonalność jest uzależniona od poziomu systemu i w przypadku młodszych modeli jest najczęściej zredukowana do poziomu minimalnego. Warto na to zwrócić uwagę, badając cechy konkretnego modelu, a nie tylko możliwości całej linii jako całości. Oczywiście jego parametry techniczne, takie jak procesor, ilość pamięci, pamięć podręczna, liczba i typy portów itp. zależą również od poziomu systemu. Z punktu widzenia zarządzania AFA różnią się od systemów hybrydowych (dyskowych) jedynie implementacją mechanizmów pracy z dyskami SSD, a nawet jeśli używasz dysku SSD w systemie hybrydowym, wcale nie oznacza to, że będziesz mógł aby osiągnąć poziom wydajności na poziomie systemu AFA. Ponadto w większości przypadków wydajne mechanizmy pamięci masowej typu inline są wyłączone w systemach hybrydowych, a ich włączenie prowadzi do utraty wydajności.

Specjalne systemy przechowywania

Oprócz systemów pamięci masowej ogólnego przeznaczenia, skupiających się przede wszystkim na operacyjnym przetwarzaniu danych, istnieją specjalne systemy pamięci masowej, których kluczowe zasady zasadniczo różnią się od zwykłych (niskie opóźnienia, wysokie IOPS):

Głoska bezdźwięczna.

Systemy te przeznaczone są do przechowywania i przetwarzania dużych plików multimedialnych. Odp. opóźnienie staje się praktycznie nieistotne, a na pierwszy plan wysuwa się możliwość wysyłania i odbierania danych w szerokim paśmie w wielu równoległych strumieniach.

Deduplikacja systemów pamięci masowej dla kopii zapasowych.

Ponieważ kopie zapasowe wyróżniają się podobieństwem do siebie, co w normalnych warunkach jest rzadkością (przeciętna kopia zapasowa różni się od kopii wczorajszej o 1-2%), systemy tej klasy niezwykle efektywnie pakują zapisane na nich dane w dość małej przestrzeni liczba nośników fizycznych. Na przykład w niektórych przypadkach współczynniki kompresji danych mogą osiągnąć 200 do 1.

Systemy przechowywania obiektów.

Te systemy pamięci masowej nie mają zwykłych woluminów i udziałów plików o dostępie blokowym, a przede wszystkim przypominają ogromną bazę danych. Dostęp do obiektu przechowywanego w takim systemie odbywa się za pomocą unikalnego identyfikatora lub metadanych (np. wszystkie obiekty w formacie JPEG z datą utworzenia pomiędzy XX-XX-XXXX a YY-YY-RRRR).

System zgodności.

Nie są one dziś tak powszechne w Rosji, ale warto o nich wspomnieć. Celem takich systemów przechowywania jest zagwarantowanie przechowywania danych zgodnie z polityką bezpieczeństwa lub wymogami regulacyjnymi. Niektóre systemy (np. EMC Centera) zaimplementowały funkcję uniemożliwiającą usuwanie danych - po przekręceniu kluczyka i wejściu systemu w ten tryb ani administrator, ani nikt inny nie może fizycznie usunąć danych, które zostały już zapisane.

Własne technologie

Pamięć podręczna Flasha

Flash Cache to powszechna nazwa wszystkich zastrzeżonych technologii wykorzystujących pamięć flash jako pamięć podręczną drugiego poziomu. W przypadku korzystania z pamięci podręcznej flash system przechowywania jest zwykle obliczany tak, aby zapewniał stałe obciążenie z dysków magnetycznych, podczas gdy szczyt jest obsługiwany przez pamięć podręczną.

W takim przypadku konieczne jest zrozumienie profilu obciążenia i stopnia lokalizacji dostępu do bloków woluminów pamięci. Pamięć podręczna Flash to technologia przeznaczona do obciążeń z wysoce zlokalizowanymi zapytaniami i praktycznie nie ma zastosowania w przypadku równomiernie obciążonych woluminów (takich jak systemy analityczne).

Na rynku dostępne są dwie implementacje pamięci podręcznej flash:

Tylko czytać. W takim przypadku buforowane są tylko dane odczytane, a zapis trafia bezpośrednio na dyski. Niektórzy producenci, na przykład NetApp, uważają, że zapis w ich systemach pamięci masowej jest już optymalny, a pamięć podręczna w ogóle nie pomoże.
Czytaj/pisz. Buforowany jest nie tylko odczyt, ale także zapis, co pozwala buforować strumień i zmniejszyć wpływ kary RAID, a w rezultacie zwiększyć ogólną wydajność systemów pamięci masowej z mniej optymalnym mechanizmem zapisu.

Poziomowanie

Magazynowanie wielopoziomowe (męczące) to technologia umożliwiająca łączenie poziomów o różnych poziomach wydajności, takich jak dyski SSD i HDD, w jedną pulę dyskową. W przypadku wyraźnej nierównomierności dostępu do bloków danych system będzie w stanie automatycznie równoważyć bloki danych, przenosząc obciążone na poziom o wysokiej wydajności, a zimne – przeciwnie, na wolniejszy.

Systemy hybrydowe klasy niższej i średniej korzystają z wielopoziomowego przechowywania danych, w którym dane przemieszczają się pomiędzy poziomami zgodnie z harmonogramem. Jednocześnie rozmiar wielopoziomowego bloku pamięci dla najlepszych modeli wynosi 256 MB. Cechy te nie pozwalają nam uważać technologii warstwowego przechowywania danych za technologię zwiększającą produktywność, jak wiele osób błędnie sądzi. Magazynowanie wielopoziomowe w systemach niskiej i średniej klasy to technologia pozwalająca na optymalizację kosztów magazynowania dla systemów o wyraźnej nierównomierności obciążenia.

Migawka

Bez względu na to, jak dużo mówimy o niezawodności systemów pamięci masowej, istnieje wiele możliwości utraty danych, które nie są zależne od problemów sprzętowych. Mogą to być wirusy, hakerzy lub inne niezamierzone usunięcie/uszkodzenie danych. Z tego powodu tworzenie kopii zapasowych danych produkcyjnych jest integralną częścią pracy inżyniera.

Migawka to migawka woluminu w pewnym momencie. Podczas pracy z większością systemów, takich jak wirtualizacja, bazy danych itp. musimy zrobić taki snapshot, z którego skopiujemy dane na kopię zapasową, a nasz IS będzie mógł bezpiecznie kontynuować pracę z tym wolumenem. Warto jednak pamiętać, że nie wszystkie migawki są równie przydatne. Różni dostawcy mają różne podejścia do tworzenia migawek związanych z ich architekturą.

CoW (kopiowanie przy zapisie). Kiedy próbujesz zapisać blok danych, jego oryginalna zawartość jest kopiowana do specjalnego obszaru, po czym zapisywanie przebiega normalnie. Zapobiega to uszkodzeniu danych wewnątrz migawki. Naturalnie wszystkie te „pasożytnicze” manipulacje danymi powodują dodatkowe obciążenie systemu pamięci masowej i z tego powodu dostawcy z podobnymi implementacjami nie zalecają używania więcej niż tuzina migawek i nieużywania ich w ogóle na mocno obciążonych woluminach.

RoW (przekierowanie przy zapisie). W takim przypadku oryginalny wolumen w naturalny sposób zawiesza się, a przy próbie zapisania bloku danych system pamięci masowej zapisuje dane w specjalnym obszarze w wolnej przestrzeni, zmieniając położenie tego bloku w tabeli metadanych. Pozwala to zmniejszyć liczbę operacji przepisywania, co ostatecznie eliminuje spadek wydajności i usuwa ograniczenia dotyczące migawek i ich liczby.

Migawki są również dwojakiego rodzaju w odniesieniu do aplikacji:

Spójność aplikacji. W momencie tworzenia migawki system pamięci masowej pobiera agenta z systemu operacyjnego klienta, który wymusza opróżnianie pamięci podręcznej dysku z pamięci na dysk i zmusza do tego aplikację. W takim przypadku podczas przywracania z migawki dane będą spójne.

Awaria spójna. W tym przypadku nic takiego się nie dzieje i migawka jest tworzona bez zmian. W przypadku odzyskiwania z takiej migawki obraz jest identyczny z tym, co by się stało, gdyby nagle zostało wyłączone zasilanie i możliwa była utrata danych, które utknęły w pamięciach podręcznych i nigdy nie dotarły na dysk. Takie migawki są łatwiejsze do wdrożenia i nie powodują spadku wydajności w aplikacjach, ale są mniej niezawodne.

Dlaczego migawki są potrzebne w systemach pamięci masowej?

Bezagentowa kopia zapasowa bezpośrednio z systemu pamięci masowej
Twórz środowiska testowe w oparciu o rzeczywiste dane
W przypadku systemów przechowywania plików można go wykorzystać do tworzenia środowisk VDI poprzez wykorzystanie migawek systemu przechowywania zamiast hiperwizora
Zapewnij niskie RPO, tworząc zaplanowane migawki z częstotliwością znacznie wyższą niż częstotliwość tworzenia kopii zapasowych

Klonowanie

Klonowanie woluminów - działa na podobnej zasadzie jak migawki, ale służy nie tylko do odczytu danych, ale do pełnej pracy z nimi. Jesteśmy w stanie uzyskać dokładną kopię naszego wolumenu, ze wszystkimi znajdującymi się na nim danymi, bez konieczności wykonywania fizycznej kopii, co pozwoli zaoszczędzić miejsce. Zwykle klonowanie woluminów jest używane w testach i programach lub jeśli chcesz sprawdzić funkcjonalność niektórych aktualizacji swojego IS. Klonowanie pozwoli Ci to zrobić tak szybko i ekonomicznie, jak to możliwe pod względem zasobów dyskowych, ponieważ Zapisane zostaną tylko zmienione bloki danych.

Replikacja / Kronikowanie

Replikacja to mechanizm tworzenia kopii danych w innym fizycznym systemie przechowywania. Zazwyczaj każdy dostawca ma zastrzeżoną technologię, która działa tylko w ramach jego własnej linii. Ale istnieją również rozwiązania innych firm, w tym takie, które działają na poziomie hypervisora, takie jak VMware vSphere Replication.

Funkcjonalność autorskich technologii i łatwość ich obsługi zazwyczaj znacznie przewyższają uniwersalne, okazują się jednak nie do zastosowania, gdy np. konieczne jest wykonanie repliki z NetApp na HP MSA.

Replikacja dzieli się na dwa podtypy:

Synchroniczny. W przypadku replikacji synchronicznej operacja zapisu jest natychmiast wysyłana do drugiego systemu pamięci masowej, a wykonanie nie jest potwierdzane do czasu potwierdzenia przez zdalny system pamięci masowej. Przez to zwiększa się opóźnienie dostępu, ale mamy dokładną kopię lustrzaną danych. Te. RPO = 0 w przypadku utraty głównego systemu przechowywania.

asynchroniczny. Operacje zapisu wykonywane są wyłącznie na głównym systemie pamięci masowej i są potwierdzane natychmiastowo, jednocześnie gromadząc się w buforze w celu wsadowej transmisji do zdalnego systemu pamięci masowej. Ten typ replikacji ma zastosowanie w przypadku mniej wartościowych danych, kanałów o małej przepustowości lub dużych opóźnieniach (typowych dla odległości powyżej 100 km). W związku z tym RPO = częstotliwość wysyłania pakietów.

Często wraz z replikacją istnieje mechanizm Logowanie operacji dyskowych. W tym przypadku przydzielany jest specjalny obszar do rejestrowania i zapisywania operacji o określonej głębokości w czasie lub ograniczonej objętością dziennika. W przypadku niektórych zastrzeżonych technologii, takich jak EMC RecoverPoint, istnieje integracja z oprogramowaniem systemowym, która umożliwia powiązanie określonych zakładek z konkretnym wpisem dziennika. Dzięki temu możliwe jest przywrócenie stanu woluminu (lub utworzenie klonu) nie tylko do 23 kwietnia 11 godzin 59 sekund 13 milisekund, ale do momentu poprzedzającego „USUŃ WSZYSTKIE TABELE; POPEŁNIAĆ."

Klaster metra

Klaster Metro to technologia pozwalająca na utworzenie dwukierunkowej replikacji synchronicznej pomiędzy dwoma systemami pamięci masowej w taki sposób, że z zewnątrz ta para wygląda jak jeden system pamięci masowej. Służy do tworzenia klastrów o ramionach oddzielonych geograficznie w odległościach metra (poniżej 100 km).

Bazując na przykładzie zastosowania w środowisku wirtualizacyjnym, metroklaster umożliwia utworzenie datastore z maszynami wirtualnymi, dostępnymi do nagrywania z dwóch data center jednocześnie. W tym przypadku tworzony jest klaster na poziomie hypervisora, składający się z hostów w różnych fizycznych centrach danych, podłączonych do tego datastore. Co pozwala wykonać następujące czynności:

Pełna automatyzacja procesu odzyskiwania danych po śmierci jednego z data center. Bez dodatkowych środków wszystkie maszyny wirtualne działające w martwym centrum danych zostaną automatycznie uruchomione ponownie w pozostałym. RTO = limit czasu klastra wysokiej dostępności (15 sekund dla VMware) + czas na załadowanie systemu operacyjnego i uruchomienie usług.
Unikanie katastrof lub, po rosyjsku, unikanie katastrof. Jeśli w data center 1 planowane są prace związane z zasilaniem, wówczas mamy możliwość migracji całego ważnego obciążenia do data center 2 non-stop z wyprzedzeniem, jeszcze przed rozpoczęciem prac.

иртуализация

Wirtualizacja pamięci masowej to technicznie rzecz biorąc wykorzystanie woluminów z innego systemu pamięci masowej jako dysków. Wirtualizacja pamięci masowej może po prostu przenieść wolumin innej osoby do konsumenta jako własny, jednocześnie tworząc jego kopię lustrzaną w innym systemie pamięci masowej, a nawet utworzyć macierz RAID z woluminów zewnętrznych.
Klasycznymi przedstawicielami klasy wirtualizacji pamięci masowej są EMC VPLEX i IBM SVC. No i oczywiście systemy pamięci masowej z funkcjonalnością wirtualizacji - NetApp, Hitachi, IBM/Lenovo Storwize.

Dlaczego może być potrzebny?

Redundancja na poziomie systemu pamięci masowej. Pomiędzy woluminami tworzone jest lustro, przy czym jedna połowa może znajdować się w HP 3Par, a druga w NetApp. A wirtualizator pochodzi od EMC.
Przenoś dane przy minimalnych przestojach pomiędzy systemami pamięci masowej różnych producentów. Załóżmy, że trzeba przenieść dane ze starego 3Para, który zostanie spisany na straty, do nowego Della. W takim przypadku konsumenci są odłączani od 3Par, wolumeny są przekazywane w ramach VPLEX i ponownie prezentowane konsumentom. Ponieważ w głośności nic się nie zmieniło, prace trwają. Proces tworzenia kopii lustrzanej woluminu na nowym komputerze Dell rozpoczyna się w tle, a po jego zakończeniu kopia lustrzana zostaje zerwana i funkcja 3Par zostaje wyłączona.
Organizacja metroklastrów.

Kompresja/deduplikacja

Kompresja i deduplikacja to technologie, które pozwalają zaoszczędzić miejsce na dysku w systemie pamięci masowej. Warto od razu wspomnieć, że nie wszystkie dane w zasadzie podlegają kompresji i/lub deduplikacji, przy czym niektóre rodzaje danych są lepiej kompresowane i deduplikowane, a inne odwrotnie.

Istnieją 2 rodzaje kompresji i deduplikacji:

W linii — kompresja i deduplikacja bloków danych następuje przed zapisem tych danych na dysk. Tym samym system oblicza jedynie hash bloku i porównuje go w tabeli z już istniejącymi. Po pierwsze, jest to szybsze niż zwykły zapis na dysk, a po drugie, nie marnujemy dodatkowej przestrzeni dyskowej.

Post - gdy operacje te wykonywane są na już zarejestrowanych danych znajdujących się na dyskach. W związku z tym dane są najpierw zapisywane na dysku, a dopiero potem obliczany jest skrót, usuwane są niepotrzebne bloki i zwalniane są zasoby dysku.

Warto dodać, że większość dostawców korzysta z obu typów, co pozwala im optymalizować te procesy, a tym samym zwiększać ich efektywność. Większość dostawców pamięci masowych oferuje narzędzia umożliwiające analizę zbiorów danych. Narzędzia te działają według tej samej logiki, która jest zaimplementowana w systemie magazynowania, więc szacowany poziom wydajności będzie taki sam. Należy również pamiętać, że wielu dostawców oferuje programy gwarancji wydajności, które obiecują co najmniej taką samą wydajność dla niektórych (lub wszystkich) typów danych. I nie powinieneś zaniedbywać tego programu, ponieważ obliczając system dla swoich zadań, biorąc pod uwagę współczynnik wydajności konkretnego systemu, możesz zaoszczędzić na objętości. Warto też wziąć pod uwagę, że programy te są przeznaczone dla systemów AFA, jednak dzięki zakupowi mniejszej ilości dysków SSD niż HDD w klasycznych systemach, obniży to ich koszt, a jeśli nie równy kosztowi systemu dyskowego, to zbliżyć się do tego całkiem blisko.

Model

I tu dochodzimy do właściwego pytania.

„Oferują mi dwie opcje przechowywania – ABC SuperStorage S600 i XYZ HyperOcean 666v4. Co polecasz?”

Zamienia się w „Tutaj oferują mi dwie opcje przechowywania – ABC SuperStorage S600 i XYZ HyperOcean 666v4, co polecasz?

Docelowe obciążenie to mieszane maszyny wirtualne VMware z pętlami produkcyjnymi/testowymi/programistycznymi. Testuj = produktywny. 150 TB każdy z maksymalną wydajnością 80 000 IOPS w bloku 8 kb, 50% dostępu losowego 80/20 do odczytu i zapisu. 300 TB na rozwój, wystarczy 50 000 IOPS, 80 losowych, 80 zapisu.

Produktywność przypuszczalnie w metroklastrze RPO = 15 minut RTO = 1 godzina, rozwój w replikacji asynchronicznej RPO = 3 godziny, test w jednym miejscu.

Będzie 50 TB DBMS, logowanie byłoby dla nich miłe.

Wszędzie mamy serwery Dell, stare systemy pamięci masowej Hitachi, ledwo sobie radzą, planujemy zwiększyć obciążenie o 50% pod względem objętości i wydajności.

Jak mówią, poprawnie sformułowane pytanie zawiera 80% odpowiedzi.

informacje dodatkowe

Co warto przeczytać dodatkowo według autorów

książki

Olifer i Olifer „Sieci komputerowe”. Książka pomoże usystematyzować i być może lepiej zrozumieć, jak działa nośnik transmisji danych w systemach pamięci masowej IP/Ethernet
„Przechowywanie i zarządzanie informacjami EMC”. Doskonała książka o podstawach systemów przechowywania, o tym, dlaczego, jak i dlaczego.

Fora i czaty

Ogólne zalecenia

ceny

A co do cen - ogólnie jeśli są ceny systemów przechowywania to są to zazwyczaj ceny katalogowe, od których każdy klient otrzymuje indywidualny rabat. Na wielkość rabatu składa się duża liczba parametrów, dlatego bez pytania dystrybutora po prostu nie da się przewidzieć, jaką ostateczną cenę otrzyma Twoja firma. Ale jednocześnie w zwykłych sklepach komputerowych zaczęły pojawiać się ostatnio modele z niższej półki, takie jak np nix.ru lub xcom-shop.ru. Tutaj możesz od razu kupić interesujący Cię system po ustalonej cenie, podobnie jak dowolne komponenty komputerowe.

Chciałbym jednak od razu zauważyć, że bezpośrednie porównanie TB/$ nie jest prawidłowe. Jeśli podejdziemy do tego z tego punktu widzenia, to najtańszym rozwiązaniem będzie prosty serwer JBOD+, który nie zapewni ani elastyczności, ani niezawodności, jaką zapewnia pełnoprawny, dwukontrolerowy system przechowywania danych. Nie oznacza to wcale, że JBOD jest obrzydliwym i paskudnym brudnym trikiem, po prostu musisz jeszcze raz bardzo jasno zrozumieć, jak i do jakich celów będziesz używać tego rozwiązania. Często słychać, że w JBOD nie ma co łamać, płyta montażowa jest tylko jedna. Jednak płyty montażowe również czasami zawodzą. Wszystko prędzej czy później się rozpada.

Razem

Konieczne jest porównywanie systemów ze sobą nie tylko pod względem ceny lub nie tylko wydajności, ale ogółem wszystkich wskaźników.

Kupuj dysk twardy tylko wtedy, gdy jesteś pewien, że potrzebujesz dysku twardego. W przeciwnym razie w przypadku małych obciążeń i nieściśliwych typów danych warto zwrócić się do programów gwarantujących wydajność pamięci SSD, które ma obecnie większość dostawców (i naprawdę działają, nawet w Rosji), ale wszystko zależy od aplikacji i danych, które będą zlokalizowane w tym systemie przechowywania.

Nie idź na tanie. Czasami kryje się za nimi wiele nieprzyjemnych chwil, o jednym z nich opisał w swoich artykułach Evgeniy Elizarov Infotrend. I że ostatecznie ta taniość może obrócić się przeciwko tobie. Nie zapomnij - „skąpiec płaci dwa razy”.

Źródło: www.habr.com

Jak wybrać miejsce do przechowywania, nie strzelając sobie w stopę