{"id":97824,"date":"2020-10-22T14:42:26","date_gmt":"2020-10-22T12:42:26","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost"},"modified":"2020-11-18T00:58:50","modified_gmt":"2020-11-17T22:58:50","slug":"huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost","title":{"rendered":"Huawei OceanStor Dorado 18000 V6: co czyni go hi-endowym rozwi\u0105zaniem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dok\u0142adnie argumentujemy, co sprawia, \u017ce OceanStor Dorado 18000 V6 jest prawdziwie hi-endowym systemem przechowywania danych z solidnym zapasem na nadchodz\u0105ce lata. R\u00f3wnocze\u015bnie rozwiewamy powszechne obawy dotycz\u0105ce pami\u0119ci All-Flash i pokazujemy, jak Huawei maksymalnie wykorzystuje ich mo\u017cliwo\u015bci: end-to-end NVMe, dodatkowe buforowanie na SCM oraz ca\u0142y zestaw innych rozwi\u0105za\u0144.
\n\"Huawei
\n<\/a><\/noindex>
\n\"Huawei
\n<\/p>\n

Nowy krajobraz danych \u2014 nowe przechowywanie danych<\/h2>\n

\nIntensywno\u015b\u0107 pracy z danymi wzrasta we wszystkich bran\u017cach. A sektor bankowy jest najlepszym przyk\u0142adem. W ci\u0105gu ostatnich kilku lat liczba transakcji bankowych wzros\u0142a ponad dziesi\u0119ciokrotnie. Jak pokazuje badanie BCG<\/a><\/noindex>, tylko w Rosji w okresie od 2010 do 2018 roku liczba transakcji bezgot\u00f3wkowych przy u\u017cyciu kart plastikowych wzros\u0142a ponad trzydziestokrotnie \u2014 z 5,8 do 172 na jednego mieszka\u0144ca rocznie. To przede wszystkim efekt triumfu mikrop\u0142atno\u015bci: wi\u0119kszo\u015b\u0107 z nas przyzwyczai\u0142a si\u0119 do bankowo\u015bci internetowej, a bank mamy teraz w kieszeni \u2014 w telefonie.<\/p>\n

Infrastruktura IT instytucji kredytowej musi by\u0107 przygotowana na takie wyzwanie. A to naprawd\u0119 wyzwanie. Poza wszystkim, je\u015bli wcze\u015bniej bank musia\u0142 zapewni\u0107 dost\u0119pno\u015b\u0107 danych tylko w swoich godzinach pracy, to teraz \u2014 przez 24\/7. Jeszcze niedawno 5 ms uwa\u017cano za akceptowalny poziom op\u00f3\u017anienia, a co? Teraz nawet 1 ms to za du\u017co. Dla nowoczesnego systemu przechowywania danych docelowa warto\u015b\u0107 to 0,5 ms.<\/p>\n

To samo dotyczy niezawodno\u015bci: w latach 2010. ukszta\u0142towa\u0142o si\u0119 empiryczne rozumienie, \u017ce wystarczy doprowadzi\u0107 jej poziom do \u201epi\u0119\u0107dziesi\u0119ciu\u201d \u2014 99,999%. Jednak to zrozumienie zd\u0105\u017cy\u0142o si\u0119 zdezaktualizowa\u0107. W 2020 roku dla biznesu absolutnie normalne jest wymaganie 99,9999% dla przechowywania oraz 99,99999% dla ca\u0142ego rozwi\u0105zania architektonicznego. I to wcale nie jest kaprysem, ale niezb\u0119dno\u015bci\u0105: albo nie ma okna czasowego na konserwacj\u0119 infrastruktury, albo jest ono minimalne.<\/p>\n

\"Huawei
\n
\nAby zobrazowa\u0107 te wska\u017aniki, najlepiej jest je przedstawi\u0107 na p\u0142aszczy\u017anie finansowej. Naj\u0142atwiej to zobaczy\u0107 na przyk\u0142adach organizacji finansowych. Na powy\u017cszym wykresie przedstawiono, ile pieni\u0119dzy zarabiaj\u0105 w ci\u0105gu godziny ka\u017cdy z dziesi\u0119ciu najwi\u0119kszych bank\u00f3w na \u015bwiecie. Tylko Chi\u0144ski Bank Przemys\u0142owy i Handlowy zarabia w tym czasie niebagatela 5 mln dolar\u00f3w. Dok\u0142adnie tyle kosztuje godzinny przest\u00f3j IT-infrastruktury najwi\u0119kszej instytucji kredytowej w Chinach (przy czym w obliczeniach uwzgl\u0119dniono tylko utracone korzy\u015bci!). Z takiej perspektywy wida\u0107, \u017ce redukcja przestoj\u00f3w i zwi\u0119kszenie niezawodno\u015bci s\u0105 uzasadnione nie tylko na kilka procent \u2013 nawet na u\u0142amki procenta \u2013 w pe\u0142ni racjonalnie. Nie tylko z powod\u00f3w zwi\u0119kszenia konkurencyjno\u015bci, ale po prostu dla zachowania pozycji rynkowej.<\/p>\n

Podobne zmiany zachodz\u0105 w innych bran\u017cach. Na przyk\u0142ad w przewozach lotniczych: przed pandemi\u0105 komunikacja lotnicza z roku na rok tylko zyskiwa\u0142a na znaczeniu, a wiele os\u00f3b zacz\u0119\u0142o korzysta\u0107 z niej niemal jak z taks\u00f3wki. Je\u015bli chodzi o wzorce konsumenckie, w spo\u0142ecze\u0144stwie zakorzeni\u0142 si\u0119 nawyk do ca\u0142kowitej dost\u0119pno\u015bci us\u0142ug: po przybyciu na lotnisko potrzebujemy po\u0142\u0105czenia z Wi-Fi, dost\u0119pu do p\u0142atno\u015bci, mapy terenu itp. W rezultacie obci\u0105\u017cenie infrastruktury i us\u0142ug w przestrzeniach publicznych wzros\u0142o wielokrotnie. A metody budowy tej infrastruktury, kt\u00f3re uwa\u017cali\u015bmy za akceptowalne jeszcze rok temu, szybko staj\u0105 si\u0119 przestarza\u0142e.<\/p>\n

\"Huawei
\n<\/p>\n

Czy nie jest za wcze\u015bnie, aby przej\u015b\u0107 na All-Flash?<\/h2>\n

\nAby rozwi\u0105za\u0107 problemy wspomniane powy\u017cej, pod wzgl\u0119dem wydajno\u015bci AFA \u2013 all-flash arrays, czyli ca\u0142kowicie oparte na pami\u0119ci flash, nadaj\u0105 si\u0119 idealnie. Do niedawna istnia\u0142y co prawda w\u0105tpliwo\u015bci, czy s\u0105 por\u00f3wnywalne pod wzgl\u0119dem niezawodno\u015bci z systemami opartymi na HDD oraz hybrydowymi. W ko\u0144cu pami\u0119ci flash SSD maj\u0105 taki wska\u017anik jak \u015bredni czas mi\u0119dzy awariami, czyli MTBF (mean time between failures). Niestety, degradacja kom\u00f3rek w wyniku operacji wej\u015bcia-wyj\u015bcia jest rzeczywisto\u015bci\u0105.<\/p>\n

Tak wi\u0119c perspektywy All-Flash by\u0142y przy\u0107mione pytaniem, jak zapobiec utracie danych w przypadku awarii SSD. Kopiowanie zapasowe to tradycyjna opcja, jednak czas przywracania by\u0142by nieakceptowalnie d\u0142ugi w odniesieniu do wsp\u00f3\u0142czesnych wymaga\u0144. Innym rozwi\u0105zaniem jest wprowadzenie drugiego poziomu przechowywania na dyskach talerzowych, jednak w takim przypadku tracimy cz\u0119\u015b\u0107 zalet \u201eczysto flashowego\u201d systemu.<\/p>\n

Jednak liczby m\u00f3wi\u0105 co innego: statystyki gigant\u00f3w cyfrowej ekonomii, w tym Google, z ostatnich lat pokazuj\u0105, \u017ce pami\u0119ci flash s\u0105 wielokrotnie bardziej niezawodne ni\u017c dyski twarde. I to zar\u00f3wno w kr\u00f3tkim, jak i d\u0142ugim okresie: \u015brednio do momentu awarii pami\u0119ci flash mija od czterech do sze\u015bciu lat. Pod wzgl\u0119dem niezawodno\u015bci przechowywania danych nie ust\u0119puj\u0105 one dyskom talerzowym, a mog\u0105 nawet je przewy\u017csza\u0107.<\/p>\n

\"Huawei
\n
\nKolejnym tradycyjnym argumentem na rzecz dysk\u00f3w talerzowych jest ich przyst\u0119pno\u015b\u0107 cenowa. Nie ma w\u0105tpliwo\u015bci, \u017ce koszt przechowywania terabajta na dysku twardym wci\u0105\u017c jest stosunkowo niski. I je\u015bli we\u017amiemy pod uwag\u0119 tylko wydatki na sprz\u0119t, trzymanie terabajta na dysku talerzowym jest ta\u0144sze ni\u017c na dysku SSD. Jednak w kontek\u015bcie planowania finansowego istotna jest nie tylko cena konkretnego urz\u0105dzenia, ale r\u00f3wnie\u017c \u0142\u0105czny koszt jego posiadania w d\u0142u\u017cszej perspektywie \u2014 od trzech do siedmiu lat.<\/p>\n

Z tego punktu widzenia wszystko wygl\u0105da ca\u0142kiem inaczej. Nawet je\u015bli pomin\u0105\u0107 deduplikacj\u0119 i kompresj\u0119, kt\u00f3re zazwyczaj stosuje si\u0119 w macierzach flash i czyni\u0105 ich eksploatacj\u0119 bardziej op\u0142acaln\u0105, pozostaj\u0105 takie parametry jak zajmowana przestrze\u0144 w szafie rack, wydzielanie ciep\u0142a oraz zu\u017cycie energii. A pod tym wzgl\u0119dem flash wygrywa z poprzednikami. W rezultacie ca\u0142kowity koszt utrzymania (TCO) system\u00f3w przechowywania danych na macierzach flash, uwzgl\u0119dniaj\u0105c wszystkie parametry, cz\u0119sto jest niemal o po\u0142ow\u0119 ni\u017cszy ni\u017c w przypadku macierzy na dyskach talerzowych czy hybrydowych.<\/p>\n

Zgodnie z raportami agencji ESG, w systemach przechowywania danych All-Flash Dorado V6 mo\u017cna rzeczywi\u015bcie osi\u0105gn\u0105\u0107 obni\u017cenie ca\u0142kowitych koszt\u00f3w posiadania do 78% w przeci\u0105gu pi\u0119ciu lat \u2014 dzi\u0119ki efektywnej deduplikacji i kompresji oraz niskiemu zu\u017cyciu energii i wydzielaniu ciep\u0142a. Niemiecka agencja analityczna DCIG r\u00f3wnie\u017c rekomenduje ich jako optymalne pod wzgl\u0119dem TCO w\u015br\u00f3d dost\u0119pnych obecnie rozwi\u0105za\u0144.<\/i><\/p><\/blockquote>\n

Wykorzystanie dysk\u00f3w SSD pozwala zaoszcz\u0119dzi\u0107 przestrze\u0144, zmniejsza liczb\u0119 awarii, skraca czas obs\u0142ugi rozwi\u0105zania oraz obni\u017ca zu\u017cycie energii i wydzielanie ciep\u0142a w systemach przechowywania danych. Okazuje si\u0119, \u017ce AFA w aspekcie ekonomicznym jest co najmniej por\u00f3wnywalne z tradycyjnymi macierzami opartymi na talerzach, cz\u0119sto przewy\u017cszaj\u0105c je.<\/p>\n

\"Huawei
\n<\/p>\n

Royal Flash od Huawei<\/h2>\n

\nW\u015br\u00f3d naszych All-Flash magazyn\u00f3w, najwy\u017csze miejsce zajmuje hi-endowy system OceanStor Dorado 18000 V6. I nie tylko u nas: w ca\u0142ej bran\u017cy utrzymuje rekord pr\u0119dko\u015bci \u2014 do 20 mln IOPS w maksymalnej konfiguracji. Co wi\u0119cej, jest niezwykle niezawodny: nawet je\u015bli jednocze\u015bnie zawiod\u0105 dwa kontrolery, lub siedem kontroler\u00f3w jeden po drugim, czy od razu ca\u0142y engine \u2014 dane pozostan\u0105 nietkni\u0119te. Znacz\u0105ce przewagi \u201eosiemnastotysi\u0119cznego\u201d zapewnia wbudowana sztuczna inteligencja, w tym elastyczno\u015b\u0107 w zarz\u0105dzaniu wewn\u0119trznymi procesami. Zobaczmy, jak to wszystko jest osi\u0105gni\u0119te.<\/p>\n

\"Huawei
\n
\nW znacznej mierze przewaga firmy Huawei wynika z tego, \u017ce jest jedynym producentem na rynku, kt\u00f3ry samodzielnie wytwarza systemy przechowywania danych \u2014 ca\u0142kowicie i w pe\u0142ni. Mamy w\u0142asn\u0105 elektronik\u0119, w\u0142asny mikroprogram oraz serwis.<\/p>\n

Kontroler w systemach OceanStor Dorado oparty jest na procesorze opracowanym i wyprodukowanym przez Huawei \u2014 Kunpeng 920. Zastosowano w nim modu\u0142 zarz\u0105dzaj\u0105cy Intelligent Baseboard Management Controller (iBMC), r\u00f3wnie\u017c nasz. Chipy AI, a dok\u0142adniej Ascend 310, kt\u00f3re optymalizuj\u0105 prognozy awarii i daj\u0105 zalecenia dotycz\u0105ce ustawie\u0144, r\u00f3wnie\u017c s\u0105 autorstwa Huawei, podobnie jak karty wej\u015bcia-wyj\u015bcia \u2014 modu\u0142 Smart I\/O. W ko\u0144cu, kontrolery w dyskach SSD zosta\u0142y zaprojektowane i wyprodukowane przez nasze si\u0142y. Wszystko to stanowi podstaw\u0119 do stworzenia zintegrowanego, zr\u00f3wnowa\u017conego i wydajnego rozwi\u0105zania.<\/p>\n

\"Huawei
\n<\/p>\n

W ci\u0105gu ostatniego roku zrealizowali\u015bmy projekt wdro\u017cenia naszej najnowocze\u015bniejszej macierzy dyskowej w jednym z du\u017cych rosyjskich bank\u00f3w. W rezultacie ponad 40 jednostek OceanStor Dorado 18000 V6 w klastrze metro osi\u0105gaj\u0105 stabilne wyniki: z ka\u017cdej systemu udaje si\u0119 uzyska\u0107 ponad milion IOPS, pomimo op\u00f3\u017anie\u0144 spowodowanych odleg\u0142o\u015bci\u0105.<\/p><\/blockquote>\n

\"Huawei
\n<\/p>\n

End-to-end NVMe<\/h2>\n

\nNajnowsze systemy przechowywania danych Huawei wspieraj\u0105 end-to-end NVMe, na co k\u0142adziemy szczeg\u00f3lny nacisk. Tradycyjnie stosowane protoko\u0142y dost\u0119pu do no\u015bnik\u00f3w zosta\u0142y opracowane w odleg\u0142ej przesz\u0142o\u015bci IT: ich fundament stanowi\u0105 komendy SCSI (cze\u015b\u0107, lata 80.!); kt\u00f3re przynosz\u0105 mn\u00f3stwo funkcji dla zapewnienia wstecznej kompatybilno\u015bci. Jakikolwiek spos\u00f3b dost\u0119pu by to nie by\u0142, op\u00f3\u017anienie protoko\u0142u w takim przypadku jest kolosalne. W rezultacie, systemy przechowywania, kt\u00f3re u\u017cywaj\u0105 powi\u0105zanych z SCSI protoko\u0142\u00f3w, maj\u0105 op\u00f3\u017anienie wej\u015bcia-wyj\u015bcia nie mniejsze ni\u017c 0,4\u20130,5 ms. Z kolei, b\u0119d\u0105c protoko\u0142em stworzonym do pracy z pami\u0119ci\u0105 flash i zwolnionym od ogranicze\u0144 w imi\u0119 wspomnianej wstecznej kompatybilno\u015bci, NVMe \u2014 Non-Volatile Memory Express \u2014 redukuje op\u00f3\u017anienia do 0,1 ms, i to na ca\u0142ym stosie, od hosta po no\u015bniki. Nic dziwnego, \u017ce NVMe wpisuje si\u0119 w trendy rozwoju system\u00f3w przechowywania danych na widocznej przysz\u0142o\u015b\u0107. Postawili\u015bmy na NVMe i stopniowo odchodzimy od SCSI. Wszystkie produkowane dzisiaj systemy przechowywania danych Huawei, w tym linia Dorado, wspieraj\u0105 NVMe (cho\u0107 jako end-to-end jest wdro\u017cone tylko w zaawansowanych modelach serii Dorado V6).<\/p>\n

\"Huawei
\n<\/p>\n

FlashLink: gar\u015b\u0107 technologii<\/h2>\n

\nFundamentaln\u0105 technologi\u0105 dla ca\u0142ej linii OceanStor Dorado jest FlashLink. Dok\u0142adniej m\u00f3wi\u0105c, to termin, kt\u00f3ry \u0142\u0105czy zestaw technologii, kt\u00f3re s\u0142u\u017c\u0105 do zapewnienia wysokiej wydajno\u015bci i niezawodno\u015bci. Wchodz\u0105 w to technologie deduplikacji i kompresji, funkcjonowania systemu rozdzielania danych RAID 2.0+, rozdzielania danych 'zimnych' i 'gor\u0105cych', a tak\u017ce sekwencyjnego zapisu danych w pe\u0142nym stripe (losowe zapisy, z nowymi i zmienionymi danymi, s\u0105 agregowane w du\u017c\u0105 paczk\u0119 i zapisywane sekwencyjnie, co zwi\u0119ksza pr\u0119dko\u015b\u0107 odczytu-zapisu).<\/p>\n

Opr\u00f3cz tego, FlashLink zawiera dwie istotne komponenty \u2014 Wear Leveling i Global Garbage Collection. Na nich warto si\u0119 skupi\u0107 osobno.<\/p>\n

W zasadzie ka\u017cdy dysk SSD to miniaturowa macierz dyskowa z wieloma blokami i kontrolerem, kt\u00f3ry zapewnia dost\u0119pno\u015b\u0107 danych. Zapewnia si\u0119 j\u0105 mi\u0119dzy innymi poprzez przesuwanie danych z \u201euszkodzonych\u201d kom\u00f3rek do \u201enieuszkodzonych\u201d. Dzi\u0119ki temu gwarantuje si\u0119 mo\u017cliwo\u015b\u0107 ich odczytu. Istniej\u0105 r\u00f3\u017cne algorytmy takiego transferu. Generalnie kontroler stara si\u0119 zr\u00f3wnowa\u017cy\u0107 zu\u017cycie wszystkich kom\u00f3rek no\u015bnika. Taki spos\u00f3b ma pewn\u0105 wad\u0119. Gdy w SSD zachodzi migracja danych, liczba wykonywanych operacji I\/O znacznie si\u0119 zmniejsza. Na chwil\u0119 obecn\u0105 jest to nieuniknione z\u0142o.<\/p>\n

W ten spos\u00f3b, je\u017celi w systemie jest wiele dysk\u00f3w SSD, na wykresie jego wydajno\u015bci rysuje si\u0119 \u201ez\u0105b pi\u0142y\u201d, z ostrymi wzrostami i spadkami. Problem polega na tym, \u017ce jeden z dysk\u00f3w w puli mo\u017ce w ka\u017cdej chwili uruchomi\u0107 migracj\u0119 danych, a og\u00f3lna wydajno\u015b\u0107 jest mierzona jednocze\u015bnie dla wszystkich SSD w macierzy. Jednak in\u017cynierowie Huawei wymy\u015blili spos\u00f3b na unikni\u0119cie powstawania \u201ez\u0105b pi\u0142y\u201d.<\/p>\n

Na szcz\u0119\u015bcie kontrolery w no\u015bnikach, kontroler magazynu oraz mikrokod w Huawei s\u0105 \u201erodzinne\u201d; w OceanStor Dorado 18000 V6 te procesy s\u0105 uruchamiane centralnie, synchronicznie na wszystkich no\u015bnikach w macierzy. Co wi\u0119cej, na polecenie kontrolera macierzy i dok\u0142adnie wtedy, gdy nie ma du\u017cego obci\u0105\u017cenia I\/O.<\/p>\n

Chip sztucznej inteligencji r\u00f3wnie\u017c bierze udzia\u0142 w wyborze odpowiedniego momentu na migracj\u0119 danych: na podstawie statystyki zg\u0142osze\u0144 z ostatnich kilku miesi\u0119cy jest w stanie z bardzo du\u017cym prawdopodobie\u0144stwem przewidzie\u0107, czy w najbli\u017cszym czasie b\u0119dzie intensywna wymiana danych, i je\u015bli odpowied\u017a jest negatywna, a obci\u0105\u017cenie systemu aktualnie jest niewielkie, to kontroler wydaje polecenie wszystkim no\u015bnikom: kto potrzebuje Wear Leveling, powinien go wykona\u0107 jednocze\u015bnie i synchronicznie.<\/p><\/blockquote>\n

Ponadto kontroler systemu widzi, co dzieje si\u0119 w ka\u017cdej kom\u00f3rce no\u015bnika, w przeciwie\u0144stwie do system\u00f3w macierzowych konkurencyjnych producent\u00f3w: ci s\u0105 zmuszeni do zakupu dysk\u00f3w SSD od zewn\u0119trznych dostawc\u00f3w, przez co szczeg\u00f3\u0142owe dane na poziomie kom\u00f3rek nie s\u0105 dost\u0119pne dla kontroler\u00f3w takich magazyn\u00f3w.<\/p>\n

W zwi\u0105zku z tym OceanStor Dorado 18000 V6 charakteryzuje si\u0119 bardzo kr\u00f3tkim czasem utraty wydajno\u015bci podczas operacji Wear Leveling, kt\u00f3ra odbywa si\u0119 g\u0142\u00f3wnie, gdy inne procesy nie interferuj\u0105. To zapewnia wysok\u0105 i stabiln\u0105 wydajno\u015b\u0107 w spos\u00f3b ci\u0105g\u0142y.<\/p>\n

\"Huawei
\n<\/p>\n

Na co sk\u0142ada si\u0119 niezawodno\u015b\u0107 OceanStor Dorado 18000 V6<\/h2>\n

\nW nowoczesnych systemach przechowywania danych wyr\u00f3\u017cnia si\u0119 cztery poziomy niezawodno\u015bci:<\/p>\n