Proszę nie spieszyć się z wnioskami na podstawie tytułu! Mamy solidne argumenty na jego potwierdzenie i spakowaliśmy je, jak tylko mogliśmy, kompaktowo. Przedstawiamy Państwu post na temat koncepcji i zasad działania naszego nowego systemu przechowywania danych, którego wydanie miało miejsce w styczniu 2020 roku.
Naszym zdaniem główną przewagą konkurencyjną rodziny systemów Dorado V6 są właśnie wydajność i niezawodność wspomniane w tytule. Tak, to takie proste, a w jaki sposób udało nam się osiągnąć to „proste” dzięki sprytnym i mniej sprytnym rozwiązaniom, dzisiaj o tym porozmawiamy.
Aby lepiej uwidocznić potencjał systemów nowej generacji, opowiemy o ich starszych przedstawicielach (modele 8000, 18000). Jeśli nie wskazano inaczej, chodzi właśnie o te modele.
Kilka słów o rynku
Aby lepiej zrozumieć miejsce rozwiązań Huawei na rynku, odwołajmy się do sprawdzonego wskaźnika — „” Gartnera. Dwa lata temu w sektorze macierzy dyskowych ogólnego przeznaczenia nasza firma pewnie znajdowała się w grupie liderów, ustępując jedynie NetApp i Hewlett Packard Enterprise. Pozycja Huawei na rynku macierzy SSD w 2018 roku charakteryzowała się statusem „pretendenta”, jednak do osiągnięcia liderstwa czegoś brakowało.
W 2019 roku Gartner w swoim badaniu połączył oba wspomniane wcześniej sektory w jeden — „Główne magazynowanie”. W rezultacie Huawei ponownie znalazł się w kwadrancie liderów, obok takich dostawców jak IBM, Hitachi Vantara i Infinidat.
Dla pełnego obrazu warto zaznaczyć, że 80% danych do analizy Gartner zbiera na rynku amerykańskim, co prowadzi do wyraźnego przeskoku w stronę tych firm, które są dobrze reprezentowane w USA. Tymczasem dostawcy koncentrujący się na rynkach europejskich i azjatyckich są w z góry gorszej sytuacji. I mimo to, w ubiegłym roku produkty Huawei zajęły zaszczytne miejsce w górnym prawym kwadrancie i, według werdyktu Gartnera, „mogą być rekomendowane do użycia”.
Co nowego w Dorado V6
Linia produktów Dorado V6, w szczególności, jest reprezentowana przez systemy podstawowe z serii 3000. Początkowo wyposażone w dwa kontrolery, mogą być poziomo rozszerzone do 16 kontrolerów, 1200 dysków i 192 GB pamięci podręcznej. Dodatkowo system będzie wyposażony w zewnętrzne porty Fibre Channel (8 / 16 / 32 Gb/s) oraz Ethernet (1 / 10 / 25 / 40 / 100 Gb/s).
Warto zauważyć, że obecnie kończy się używanie protokołów, które nie odniosły sukcesu komercyjnego, dlatego na początku zdecydowaliśmy się zrezygnować z wsparcia dla Fibre Channel over Ethernet (FCoE) i Infiniband (IB). Zostaną one dodane w późniejszych wersjach oprogramowania. Wsparcie dla NVMe over Fabric (NVMe-oF) jest dostępne „od zaraz” na bazie Fibre Channel. W kolejnej wersji oprogramowania, której wydanie zaplanowano na czerwiec, planowane jest wsparcie dla trybu NVMe over Ethernet. Naszym zdaniem, powyższy zestaw z powodzeniem pokryje potrzeby większości klientów Huawei.
Dostęp do plików w obecnej wersji oprogramowania nie jest dostępny i pojawi się w jednej z następnych aktualizacji pod koniec roku. Realizacja planowana jest na poziomie natywnym, przez same kontrolery z portami Ethernet, bez użycia dodatkowego sprzętu.
Główna różnica pomiędzy modelem Dorado V6 serii 3000 a starszymi polega na tym, że w backendzie obsługuje on jeden protokół — SAS 3.0. Odpowiednio, dyski mogą być używane tylko z tym interfejsem. Z naszego punktu widzenia zapewniana przy tym wydajność jest w pełni wystarczająca dla urządzenia tego typu.
Systemy Dorado serii V6 5000 i 6000 należą do rozwiązań średniej klasy. Są również wykonane w formacie 2U i wyposażone w dwa kontrolery. Różnią się one wydajnością, liczbą procesorów, maksymalną liczbą dysków i objętością pamięci podręcznej. Jednocześnie w aspekcie architektonicznym i inżynieryjnym Dorado V6 5000 i 6000 są identyczne i wyglądają tak samo.
Do klasy hi-end należą systemy Dorado V6 serii 8000 i 18000. Wykonane w typie 4U, domyślnie mają oddzielną architekturę, w której kontrolery i dyski są rozmieszczone osobno. W minimalnej konfiguracji mogą być wyposażone w zaledwie dwa kontrolery, chociaż klienci zazwyczaj proszą o instalację czterech lub więcej.
Dorado V6 8000 może skalować się poziomo do 16 kontrolerów, a Dorado V6 18000 do 32. W tych systemach zainstalowane są różne procesory z różną liczbą rdzeni i wielkością pamięci cache. Tożsamość rozwiązań inżynieryjnych pozostaje zachowana, tak jak w modelach z klasy mid-end.
Szafy 2U z dyskami są podłączane za pomocą RDMA z przepustowością 100 Gb/s. Tylny koniec Dorado V6 wyższych serii również obsługuje SAS 3.0, ale raczej na wypadek, gdyby ceny dysków SSD z tym interfejsem znacząco spadły. Wtedy pojawi się zasadność ekonomiczna ich użycia, nawet biorąc pod uwagę niższą wydajność. Na chwilę obecną różnica w cenie między dyskami SSD z interfejsami SAS a NVMe jest na tyle mała, że nie jesteśmy gotowi zalecać takiego rozwiązania.
Wewnątrz kontrolera
Kontrolery Dorado V6 są oparte na naszej własnej bazie komponentów. Żadne procesory Intel, żadne ASICy od Broadcom. W ten sposób wszystkie komponenty płyty głównej, jak i sama płyta, są całkowicie wolne od ryzyk związanych z presją sankcyjną ze strony amerykańskich firm. Ci, którzy widzieli nasze urządzenia na własne oczy, z pewnością zauważyli tarcze z czerwoną linią pod logo. Oznacza to, że w produkcie nie ma komponentów amerykańskich. Taki jest oficjalny kurs Huawei — przejście na komponenty produkcji własnej lub, w każdym razie, produkowane w krajach, które nie podążają za polityką USA.
Oto co można zobaczyć na samej płycie kontrolera.
- Uniwersalny interfejs sieciowy (układ Hisilicon 1822), odpowiedzialny za połączenie z Fibre Channel lub Ethernet.
- Zapewniający zdalną dostępność systemu chip BMC, a mianowicie Hisilicon 1710, do pełnofunkcjonalnego zdalnego zarządzania i monitorowania systemu. Podobne stosowane są również w naszych serwerach oraz w innych rozwiązaniach.
- Centralny procesor, którym jest oparty na architekturze ARM chip Kunpeng 920 produkcji Huawei. To właśnie on jest pokazany na powyższym schemacie, chociaż w innych kontrolerach mogą być zainstalowane inne modele o różnej liczbie rdzeni, różnej częstotliwości taktowania itp. Z modelu na model zmienia się również liczba procesorów w jednym kontrolerze. Na przykład, w wyższych seriach Dorado V6 na jednej płycie są cztery.
- Kontroler SSD (chip Hisilicon 1812e), który obsługuje zarówno dyski SAS, jak i NVMe. Warto dodać, że Huawei produkuje własne SSD, ale nie wytwarza samych komórek NAND, preferując zakup u czterech największych producentów na świecie w postaci nieskalibrowanych krzemowych płyt. Cięcie, testowanie i pakowanie w chipy przeprowadza sama Huawei, a następnie wypuszcza je pod własną marką.
- Chip sztucznej inteligencji – Ascend 310. Z domyślnie kontroler nie ma go w zestawie i jest montowany za pomocą oddzielnej karty, która zajmuje jedno z gniazd przeznaczonych dla adapterów sieciowych. Chip jest wykorzystywany do zapewnienia inteligentnego zarządzania pamięcią podręczną, kontrolowania wydajności lub procesami deduplikacji i kompresji. Wszystkie te zadania mogą być również wykonywane przez centralny procesor, ale chip AI pozwala na to w znacznie bardziej efektywny sposób.
Osobno o procesorach Kunpeng
Procesor Kunpeng jest systemem na chipie (SoC), w którym poza blokiem obliczeniowym znajdują się moduły sprzętowe przyspieszające różne procesy, takie jak obliczanie sum kontrolnych czy wykonywanie "kodów kasowania" (erasure coding). Zawiera on również sprzętowe wsparcie dla SAS, Ethernet, DDR4 (od sześciu do ośmiu kanałów) itd. Wszystko to pozwala Huawei tworzyć kontrolery pamięci masowej, które nie ustępują wydajnością klasycznym rozwiązaniom Intel.
Ponadto własne rozwiązania oparte na architekturze ARM dają Huawei możliwość tworzenia wszechstronnych rozwiązań serwerowych i oferowania ich swoim klientom jako alternatywę dla x86.
Nowa architektura Dorado V6…
Wewnętrzna architektura systemu Dorado V6 wyższej serii składa się z czterech głównych subdomen (fabryk).
Pierwsza fabryka jest ogólnym frontendem (interfejsami sieciowymi, które odpowiadają za komunikację z fabryką SAN lub hostami).
Druga – zestaw kontrolerów, z których każdy może przez protokół RDMA "połączyć się" zarówno z dowolną kartą sieciową frontendu, jak i z sąsiednim „silnikiem” (engine), który stanowi skrzynkę z czterema kontrolerami oraz wspólnymi dla nich blokami zasilania i chłodzenia. Obecnie modele Dorado V6 klasy hi-end mogą być wyposażone w dwa takie „silniki” (a zatem osiem kontrolerów).
Trzecia fabryka odpowiada za backend i składa się z kart sieciowych RDMA 100G.
Na koniec, czwarta fabryka ‚w sprzęcie‘ jest reprezentowana przez podłączane inteligentne półki z nośnikami.
Taka symetryczna struktura ujawnia cały potencjał technologii NVMe i gwarantuje wysoką wydajność oraz niezawodność. Proces wprowadzania i wyprowadzania jest maksymalnie równolegle rozdzielany pomiędzy procesory i rdzenie, zapewniając jednoczesne odczyty i zapisy w wielu strumieniach.
… i co nam to dało
Maksymalna wydajność rozwiązań Dorado V6 jest około trzykrotnie wyższa od wyników systemów poprzedniej generacji (tej samej klasy) i może osiągać 20 mln IOPS.
Jest to spowodowane tym, że w poprzedniej generacji urządzeń wsparcie dla NVMe ograniczało się tylko do podłączanych półek z nośnikami. Teraz jest obecne na wszystkich etapach, od hosta do SSD. Sieć backendu również przeszła zmiany: SAS/PCIe ustąpiły miejsca RoCEv2 o przepustowości 100 Gbit/s.
Zmienił się także sam form-factor SSD. Jeśli wcześniej na półkę 2U przypadało 25 nośników, to teraz zwiększono ją do 36 dysków w formacie palm-sized. Co więcej, półki ‚stały się inteligentniejsze‘. Każda z nich teraz ma system odporny na awarie składający się z dwóch kontrolerów opartych na chipach ARM, podobnych do tych, które są zainstalowane w centralnych kontrolerach.
Na razie zajmują się tylko reorganizacją danych, ale z wydaniem nowych firmware’ów dodadzą kompresję i erasure coding, co pozwoli obniżyć obciążenie głównych kontrolerów z 15 do 5%. Przeniesienie części zadań na półkę przy okazji uwalnia również przepustowość wewnętrznej sieci. A wszystko to znacząco zwiększa potencjał skalowalności systemu.
Kompresja i deduplikacja w ASX poprzedniej generacji realizowana była z blokami o stałej długości. Teraz dodano tryb pracy z blokami o zmiennej długości, który na razie trzeba włączać ręcznie. Kolejne firmware’y mogą zmienić ten stan rzeczy.
Krótko o tolerancji na awarie. Dorado V3 zachowywała funkcjonalność, jeśli jeden kontroler z dwóch zawiódł. Dorado V6 zapewni dostępność danych nawet w przypadku, gdy awarii ulegnie kolejno siedem kontrolerów z ośmiu lub jednocześnie cztery z jednego ‚silnika‘.
Niezawodność pod względem ekonomicznym
Niedawno wśród klientów Huawei przeprowadzono ankietę, w której zapytano, jakie czasowe przestoje poszczególnych elementów infrastruktury IT są dla nich akceptowalne. W większości respondenci z tolerancją podeszli do hipotetycznej sytuacji, w której aplikacja nie reaguje przez kilka setek sekund. Z kolei dla systemu operacyjnego lub hosta adaptacyjnego szyny krytycznym czasem przestoju okazało się kilka dziesięciu sekund (w zasadzie czas na restart). Jeszcze wyższe wymagania klienci stawiają sieci: jej przepustowość nie powinna spadać na dłużej niż 10–20 sekund. Jak łatwo zgadnąć, najkritikalniejsze przestoje badani uznali za awarie systemów magazynowania. Z perspektywy przedstawicieli biznesu, czas przestoju macierzy dyskowej nie powinien przekraczać… kilku sekund w skali roku!
Innymi słowy, jeżeli aplikacja kliencka banku nie odpowiada przez 100 sekund, to prawdopodobnie nie spowoduje to katastrofalnych skutków. Jednakże, jeśli przez ten sam czas nie działa macierz dyskowa, mogą nastąpić wstrzymania działalności i znaczne straty finansowe.
Na powyższym wykresie przedstawiono koszt jednej godziny działalności dla dziesięciu największych banków (dane Forbes z 2017 roku). Zgodzić się można, że jeśli twoja firma zaczyna dorównywać rozmiarem chińskim bankom, uzasadnienie potrzeby zakupu macierzy dyskowej za kilka milionów dolarów nie będzie trudne. Prawidłowe jest również odwrotne stwierdzenie: jeśli biznes nie ponosi istotnych strat na skutek przestojów, wówczas raczej nie zdecyduje się na zakup klasy hi-end macierzy dyskowej. W każdym razie ważne jest, aby mieć pojęcie o tym, jak duża dziura może się zawiązać w twoim portfelu, podczas gdy administrator systemu zajmuje się uszkodzoną systemem magazynowania danych.
Sekunda na awaryjne przełączenie
Na ilustracji powyżej w Solution A możesz zobaczyć nasz system poprzedniej generacji Dorado V3. Cztery jego kontrolery pracują parami, a kopie pamięci podręcznej znajdują się tylko w dwóch kontrolerach. Kontrolery w obrębie pary mogą rozdzielać obciążenie. Z jednej strony, jak widzisz, nie ma tu „fabryk” front-endu i back-endu, więc każda z półek z nośnikami podłączona jest do konkretnej pary kontrolerów.
Na schemacie Rozwiązania B pokazano obecnie dostępne na rynku rozwiązanie od innego dostawcy (zgadłeś?). Tutaj już są zarówno fabryki front-endowe, jak i back-endowe, a nośniki są podłączone od razu do czterech kontrolerów. Jednak w działaniu wewnętrznych algorytmów systemu istnieją nieoczywiste w pierwszym przybliżeniu niuanse.
Po prawej przedstawiona jest nasza obecna architektura macierzy Dorado V6 ze wszystkimi wewnętrznymi elementami. Przyjrzyjmy się, jak te systemy radzą sobie z typową sytuacją — awarią jednego kontrolera.
W klasycznych systemach, do których należy Dorado V3, czas wymagany na redystrybucję obciążenia w przypadku awarii wynosi do czterech sekund. W tym czasie wejście-wyjście całkowicie się zatrzymuje. W rozwiązaniu Rozwiązania B od naszych kolegów, pomimo bardziej nowoczesnej architektury, czas przestoju w przypadku awarii jest nawet wyższy — sześć sekund.
Macierz Dorado V6 przywraca swoją pracę zaledwie po jednej sekunie od awarii. Taki wynik osiągany jest dzięki jednorodnemu wewnętrznemu środowisku RDMA, które pozwala kontrolerowi uzyskać dostęp do „cudzej” pamięci. Drugim ważnym czynnikiem jest obecność front-endowej fabryki, dzięki czemu droga dla hosta nie zmienia się. Port pozostaje ten sam, a obciążenie po prostu jest kierowane do sprawnych kontrolerów przez sterowniki multipassing.
Awaria drugiego kontrolera w Dorado V6 jest realizowana w jedną sekundę według tej samej zasady. W Dorado V3 zajmuje to około sześciu sekund, a w rozwiązaniu innego dostawcy — dziewięć. Dla wielu systemów baz danych takie interwały nie mogą być już uważane za akceptowalne, ponieważ w tym czasie system przechodzi w tryb standby i przestaje działać. Dotyczy to przede wszystkim systemów baz danych składających się z wielu części.
Awaria trzeciego kontrolera Rozwiązania A jest nie do zniesienia. Po prostu z tego powodu, że traci się dostęp do części dysków z danymi. Z kolei Rozwiązanie B w takiej sytuacji przywraca funkcjonalność, na co potrzebne jest, jak w poprzednim przypadku, dziewięć sekund.
Co z Dorado V6? Jedna sekunda.
Co można zrobić w ciągu sekundy?
Prawie nic, ale tego nam nie trzeba. Jeszcze raz powtórzymy, że w Dorado V6 klasie hi-end fabryka frontendowa jest odseparowana od fabryki kontrolerów. Oznacza to, że nie ma twardo przypisanych portów do konkretnego kontrolera. Przebudowa w przypadku awarii nie zakłada szukania alternatywnych dróg ani przeinstalowania multipassingu. System działa dalej, jak działał.
Odporność na liczne awarie
Starsze modele Dorado V6 bez problemu przetrwają jednoczesne awarie dwóch dowolnych (!) kontrolerów z dowolnych «silników». Stało się to możliwe dzięki temu, że teraz rozwiązanie przechowuje trzy kopie pamięci podręcznej. Dlatego nawet przy podwójnej awarii zawsze znajdzie się jedna integralna kopia.
Synchronizowana awaria wszystkich czterech kontrolerów w jednym z «silników» nie spowoduje również katastrofalnych skutków, ponieważ wszystkie trzy kopie pamięci podręcznej w każdym momencie są rozłożone pomiędzy «silnikami». Nad przestrzeganiem tej logiki pracy czuwa sam system.
Wreszcie, zupełnie mało prawdopodobnym scenariuszem jest sekwencyjna awaria siedmiu kontrolerów z ośmiu. Przy czym minimalny dopuszczalny interwał między poszczególnymi awariami wynosi 15 minut. W tym czasie system macierzowy zdąży wykonać operacje niezbędne do migracji pamięci podręcznej.
Ostatni działający kontroler będzie zapewniał działanie pamięci masowej i utrzymywał pamięć podręczną przez pięć dni (wartość domyślna, którą można łatwo zmienić w ustawieniach). Po tym czasie pamięć podręczna zostanie wyłączona, ale działanie systemu macierzowego będzie kontynuowane.
Nieinwazyjne aktualizacje
Nowy system operacyjny Dorado V6 pozwala na aktualizację oprogramowania macierzy bez ponownego uruchamiania kontrolerów.
System operacyjny, jak w przypadku wcześniejszych rozwiązań, jest oparty na Linuksie, jednak wiele procesów operacyjnych zostało przeniesionych z jądra do trybu użytkownika. Większość funkcji, na przykład odpowiedzialnych za deduplikację i kompresję, są teraz zwykłymi demonami działającymi w tle. Dzięki temu aktualizacja poszczególnych modułów nie wymaga zmiany całego systemu operacyjnego. Powiedzmy, że dodanie wsparcia dla nowego protokołu wymaga tylko wyłączenia odpowiedniego modułu oprogramowania i uruchomienia nowego.
Oczywiście, pytania dotyczące aktualizacji systemu wciąż pozostają, ponieważ w jądrze mogą znajdować się elementy wymagające aktualizacji. Jednak jak pokazują nasze obserwacje, jest ich mniej niż 6% w stosunku do całkowitej liczby. Pozwala to na ponowne uruchamianie kontrolerów dziesiątki razy rzadziej niż wcześniej.
Rozwiązania odporne na awarie i rozwiązania wysokiej dostępności (HA/DR)
Dorado V6 „z pudełka” jest gotowe do integracji w geograficzne rozwiązania rozproszone, klastry na poziomie miejskim (metro) oraz „potrójne” centra danych.
Po lewej na ilustracji powyżej — znany wielu metro-klaster. Dwie macierze dyskowe działają w trybie active/active w odległości do 100 km od siebie. Tego typu infrastruktura z jednym lub kilkoma serwerami quorum może być obsługiwana przez rozwiązania różnych firm, w tym naszego systemu operacyjnego chmurowego FusionSphere. Szczególne znaczenie w takich projektach mają parametry kanału między lokalizacjami, wszystkie pozostałe zadania w naszym przypadku wykonuje funkcja HyperMetro, która jest znowu dostępna „z pudełka”. Możliwa jest integracja przez Fibre Channel, a także przez iSCSI w sieciach IP, jeśli zajdzie taka potrzeba. Nie ma już potrzeby posiadania dedykowanej „ciemnej” optyki, ponieważ system jest w stanie łączyć się przez istniejące kanały.
Podczas budowy takich systemów jedynym wymaganiem sprzętowym dla macierzy dyskowych jest przydzielenie portów do replikacji. Wystarczy zakupić licencję, uruchomić serwery quorum — fizyczne lub wirtualne — i zapewnić łączność IP do kontrolerów (10 Mbit/s, 50 ms).
Tę architekturę łatwo przenieść na system z trzema centrami danych (zob. prawą część ilustracji). Na przykład, gdy dwa centra danych pracują w trybie metro-klastra, a trzecia lokalizacja, znajdująca się w odległości ponad 100 km, wykorzystuje asynchroniczną replikację.
System technologicznie wspiera różne scenariusze biznesowe, które będą realizowane w przypadku masowego incydentu.
Przeżywalność metro-klastra podczas kilku awarii
Na powyższej i poniższej ilustracji pokazano klasyczny metro-klaster składający się z dwóch macierzy dyskowych i serwera quorum. Jak widać, w sześciu z dziewięciu możliwych scenariuszy wielu awarii nasza infrastruktura zachowa sprawność.
Na przykład w drugim scenariuszu, w przypadku awarii serwera kworum i synchronizacji między lokalizacjami, system pozostaje wydajny, ponieważ druga lokalizacja przestaje działać. Tego rodzaju zachowanie jest już zakodowane w wbudowanych algorytmach.
Nawet po trzech awariach dostęp do informacji może być zachowany, jeśli przerwa między nimi wynosiła co najmniej 15 sekund.
Znana karta przetargowa
Przypomnijmy, że Huawei produkuje nie tylko macierze dysków, ale także pełen zakres sprzętu sieciowego. Bez względu na to, jakiego dostawcę macierzy wybierzesz, jeśli między lokalizacjami wykorzystywana jest sieć WDM, w 90% przypadków będzie ona zbudowana na rozwiązaniach naszej firmy. Pojawia się naturalne pytanie: po co zbierać zoo systemów, skoro wszystko, co jest gwarantowanie kompatybilne, można uzyskać od jednego dostawcy?
W kontekście wydajności
Pewnie nikogo nie trzeba już przekonywać, że przejście na macierze all-flash znacząco obniża koszty utrzymania infrastruktury, ponieważ wszystkie rutynowe operacje są wykonywane znacznie szybciej. Świadczą o tym wszyscy dostawcy takiego sprzętu. Tymczasem wielu dostawców zaczyna mijać się z prawdą, gdy mowa o spadku wydajności przy włączaniu różnych trybów pracy macierzy.
W naszej branży powszechnie praktykuje się udostępnianie macierzy w testowej eksploatacji na jeden lub dwa dni. Dostawca uruchamia 20-minutowy test na pustym systemie, osiągając kosmiczne wskaźniki wydajności. A w rzeczywistej eksploatacji szybko pojawiają się ukryte problemy. Już po 24 godzinach piękne wartości IOPS spadają dwukrotnie lub trzykrotnie, a jeśli macierz zostanie zapełniona w 80%, mogą być jeszcze mniejsze. Włączenie RAID 5 zamiast RAID 10 powoduje dodatkową utratę 10-15%, a w trybie metro-klastra wydajność jeszcze bardziej się obniża.
Wszystko, co wymieniono powyżej, nie dotyczy Dorado V6. Nasi klienci mają możliwość przeprowadzenia testu wydajności w weekend lub przynajmniej na noc. Wtedy ujawnia się proces zbierania odpadów, a także staje się jasne, jak aktywacja różnych opcji — takich jak migawki i replikacja — wpływa na osiągane wartości IOPS.
W Dorado V6 migawki i RAID z parzystością praktycznie nie wpływają na wydajność (3–5% zamiast 10-15%). Oczyszczanie (wypełnianie komórek dysku zerami), kompresja i deduplikacja w macierzy, wypełnionej w 80%, zawsze rzutują na ogólną prędkość przetwarzania zapytań. Jednak to właśnie Dorado V6 jest ciekawe, ponieważ niezależnie od połączeń funkcji i mechanizmów ochronnych, które aktywujesz, końcowa wydajność macierzy nie spadnie poniżej 80% wyniku uzyskanego bez obciążenia.
Rozkład obciążenia
Wysoka wydajność Dorado V6 jest osiągana dzięki balansowaniu na każdym etapie, a mianowicie:
- mulpasowania;
- wykorzystania kilku połączeń z jednego hosta;
- obecności fabryki frontendowej;
- rozpraszania pracy kontrolerów macierzy;
- rozdziału obciążenia wśród wszystkich nośników na poziomie RAID 2.0+.
W zasadzie to ogólna praktyka. W dzisiejszych czasach niewiele osób przechowuje wszystkie dane na jednym LUN: wszyscy starają się, żeby ich było osiem, czterdzieści lub nawet więcej. To oczywiste i prawidłowe podejście, które podzielamy. Ale jeśli Twoje zadanie wymaga posiadania tylko jednego LUN, który jest łatwiejszy w obsłudze, nasze rozwiązania architektoniczne pozwalają osiągnąć na nim wydajność 80% tej, która jest dostępna przy użyciu wielu LUN.
Dynamiczne planowanie obciążenia procesorów
Podział obciążenia na procesory przy użyciu jednego LUN zrealizowany jest w następujący sposób: zadania już na poziomie LUN są dzielone na pojedyncze małe „shardy”, z których każdy jest sztywno przypisany do konkretnego kontrolera w „silniku”. Zrobiono to po to, aby system nie tracił wydajności podczas „skakania” z tym kawałkiem danych między różnymi kontrolerami.
Kolejnym mechanizmem utrzymującym wysoką wydajność jest dynamiczny harmonogram, w którym pewne rdzenie procesora mogą być dedykowane różnym pulom zadań. Na przykład, jeśli system obecnie stoi na poziomie deduplikacji i kompresji, część rdzeni może włączyć się do obsługi wejścia-wyjścia. Lub odwrotnie. Wszystko to odbywa się automatycznie i w sposób przezroczysty dla użytkownika.
Dane o bieżącym obciążeniu każdego z rdzeni Dorado V6 nie są wyświetlane w interfejsie graficznym, ale za pomocą wiersza poleceń można uzyskać dostęp do systemu operacyjnego kontrolera i skorzystać z typowego polecenia linuksowego. top.
Wsparcie NVMe i RoCE
Jak już wspomniano, obecnie Dorado V6 w pełni obsługuje NVMe over Fibre Channel «z pudełka» i nie wymaga żadnych licencji. W połowie roku pojawi się wsparcie dla trybu NVMe over Ethernet. Aby w pełni wykorzystać tę funkcjonalność, będzie potrzebne wsparcie Ethernet z bezpośrednim dostępem do pamięci (DMA) wersji v2.0 zarówno ze strony samego systemu pamięci masowej, jak i ze strony przełączników i kart sieciowych. Na przykład takich jak Mellanox ConnectX-4 lub ConnectX-5. Można też skorzystać z kart sieciowych wyprodukowanych na bazie naszych układów. Wsparcie RoCE powinno być również realizowane na poziomie systemu operacyjnego.
Ogólnie uważamy, że Dorado V6 to system zorientowany na NVMe. Pomimo istniejącego wsparcia dla Fibre Channel i iSCSI, w przyszłości planujemy przejście na szybki Ethernet z RDMA.
Szczypta marketingu
Dzięki temu, że system Dorado V6 charakteryzuje się wysoką odpornością na awarie, dobrze skaluje się poziomo, wspiera różne technologie migracji itd., efekt ekonomiczny związany z jego nabyciem ujawnia się z początkiem intensywnej eksploatacji systemu pamięci masowej. Będziemy dalej starać się uczynić posiadanie systemu maksymalnie opłacalnym, nawet jeśli na początku nie jest to od razu widoczne.
W szczególności, stworzyliśmy program FLASH EVER, związany z wydłużeniem cyklu życia systemu pamięci masowej i mający na celu jak największe odciążenie klienta podczas przeprowadzania aktualizacji.
Program ten obejmuje szereg działań:
- możliwość stopniowej wymiany kontrolerów i półek z dyskami na nowe wersje bez całkowitej wymiany sprzętu (dla systemów Dorado V6 klasy hi-end);
- możliwość federacyjnego przechowywania (połączenie różnych wersji Dorado w ramach jednego hybrydowego klastra systemu pamięci masowej);
- inteligentną wirtualizację (możliwość wykorzystania sprzętu zewnętrznego jako części rozwiązania Dorado).
Należy również zauważyć, że trudna sytuacja na świecie w niewielkim stopniu wpłynęła na perspektywy komercyjne nowego systemu. Mimo że oficjalna premiera Dorado V6 miała miejsce dopiero w styczniu, widzimy znaczące zainteresowanie nim w Chinach, a także duże zainteresowanie ze strony rosyjskich i międzynarodowych partnerów z sektora finansowego i instytucji rządowych.
Oprócz tego, w związku z pandemią, niezależnie od tego, jak długo potrwa, szczególnie pilna staje się kwestia zapewnienia zdalnym pracownikom wirtualnych pulpitów roboczych. W tym procesie Dorado V6 również mogłoby rozwiązać wiele problemów. Dlatego podejmujemy wszelkie niezbędne działania, w tym praktycznie porozumieliśmy się w sprawie włączenia nowego systemu na listę kompatybilności VMware.
***
Przy okazji, nie zapomnijcie o naszych licznych webinarach, które odbywają się nie tylko w rosyjskojęzycznym segmencie, ale również na poziomie globalnym. Lista webinarów na kwiecień jest dostępna pod .
Źródło: habr.com
