{"id":96141,"date":"2020-10-08T19:42:37","date_gmt":"2020-10-08T17:42:37","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/promyshlennye-tendenczii-v-oblasti-massovyh-sistem-hraneniya-dannyh"},"modified":"2020-10-08T19:42:37","modified_gmt":"2020-10-08T17:42:37","slug":"promyshlennye-tendenczii-v-oblasti-massovyh-sistem-hraneniya-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/promyshlennye-tendenczii-v-oblasti-massovyh-sistem-hraneniya-dannyh","title":{"rendered":"Tendencje przemys\u0142owe w obszarze masowych system\u00f3w przechowywania danych","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dzi\u015b porozmawiamy o tym, jak lepiej przechowywa\u0107 dane w \u015bwiecie, gdzie sieci pi\u0105tej generacji, skanery genom\u00f3w i autonomiczne pojazdy generuj\u0105 wi\u0119cej danych dziennie ni\u017c ca\u0142e ludzkie spo\u0142ecze\u0144stwo w okresie przed rewolucj\u0105 przemys\u0142ow\u0105.<\/p>\n

\"Tendencje
\n<\/a><\/noindex><\/p>\n

Nasz \u015bwiat generuje coraz wi\u0119cej informacji. Cz\u0119\u015b\u0107 z nich jest ulotna i zanika tak szybko, jak szybko jest zbierana. Inna musi by\u0107 przechowywana d\u0142u\u017cej, a jeszcze inna jest zaprojektowana 'na wieki' \u2014 przynajmniej tak nam si\u0119 wydaje z perspektywy tera\u017aniejszo\u015bci. Strumienie informacji osiadaj\u0105 w centrach danych z tak\u0105 pr\u0119dko\u015bci\u0105, \u017ce ka\u017cde nowe podej\u015bcie, ka\u017cda technologia maj\u0105ca na celu zaspokojenie tego nieko\u0144cz\u0105cego si\u0119 'popytu', szybko staj\u0105 si\u0119 przestarza\u0142e.<\/p>\n

\"Tendencje
\n<\/p>\n

40 lat rozwoju rozproszonych system\u00f3w pami\u0119ci masowej.<\/h2>\n

\nPierwsze sieciowe urz\u0105dzenia do przechowywania w formie, kt\u00f3r\u0105 znamy, pojawi\u0142y si\u0119 w latach 80-tych. Wielu z was mia\u0142o do czynienia z NFS (Network File System), AFS (Andrew File System) lub Coda. Po dekadzie moda i technologie si\u0119 zmieni\u0142y, a rozproszone systemy plik\u00f3w ust\u0105pi\u0142y miejsca klastrowym systemom pami\u0119ci masowej opartym na GPFS (General Parallel File System), CFS (Clustered File Systems) i StorNext. Jako podstaw\u0119 wykorzystywane by\u0142y blokowe systemy przechowywania klasycznej architektury, na kt\u00f3rych za pomoc\u0105 warstwy programowej tworzono jednolity system plik\u00f3w. Te i podobne rozwi\u0105zania wci\u0105\u017c s\u0105 stosowane, zajmuj\u0105 swoj\u0105 nisz\u0119 i s\u0105 ca\u0142kiem poszukiwane.<\/p>\n

Na prze\u0142omie tysi\u0105cleci paradygma rozproszonych system\u00f3w pami\u0119ci troch\u0119 si\u0119 zmieni\u0142a, a na czo\u0142owe pozycje wysun\u0119\u0142y si\u0119 systemy z architektur\u0105 SN (Shared-Nothing). Nast\u0105pi\u0142 przeskok od klastrowego przechowywania do przechowywania na oddzielnych w\u0119z\u0142ach, kt\u00f3rymi z regu\u0142y by\u0142y klasyczne serwery zapewniaj\u0105ce niezawodne przechowywanie oprogramowania; w oparciu o takie zasady zbudowane s\u0105, na przyk\u0142ad, HDFS (Hadoop Distributed File System) i GFS (Global File System).<\/p>\n

W kierunku 2010 roku koncepty le\u017c\u0105ce u podstaw rozproszonych system\u00f3w pami\u0119ci coraz cz\u0119\u015bciej zacz\u0119\u0142y znajdowa\u0107 odzwierciedlenie w pe\u0142noprawnych produktach komercyjnych, takich jak VMware vSAN, Dell EMC Isilon i nasza Huawei OceanStor<\/a><\/noindex>. Za wspomnianymi platformami stoj\u0105 ju\u017c nie tylko spo\u0142eczno\u015bci entuzjast\u00f3w, ale konkretni dostawcy, kt\u00f3rzy odpowiadaj\u0105 za funkcjonalno\u015b\u0107, wsparcie, serwisowanie produktu oraz gwarantuj\u0105 jego dalszy rozw\u00f3j. Takie rozwi\u0105zania s\u0105 najbardziej poszukiwane w kilku dziedzinach.<\/p>\n

\"Tendencje
\n<\/p>\n

Operatorzy telekomunikacyjni<\/h2>\n

\nMo\u017cna powiedzie\u0107, \u017ce operatorzy telekomunikacyjni s\u0105 jednymi z najstarszych u\u017cytkownik\u00f3w rozproszonych system\u00f3w przechowywania. Na schemacie wida\u0107, kt\u00f3re grupy aplikacji generuj\u0105 najwi\u0119ksz\u0105 ilo\u015b\u0107 danych. OSS (Systemy Wsparcia Operacyjnego), MSS (Systemy Wsparcia Zarz\u0105dzania) oraz BSS (Systemy Wsparcia Biznesowego) stanowi\u0105 trzy wzajemnie uzupe\u0142niaj\u0105ce si\u0119 warstwy programowe, potrzebne do \u015bwiadczenia us\u0142ug dla abonent\u00f3w, raportowania finansowego dla dostawc\u00f3w oraz wsparcia operacyjnego dla in\u017cynier\u00f3w operator\u00f3w.<\/p>\n

Cz\u0119sto dane z tych warstw s\u0105 ze sob\u0105 mocno pomieszane, a rozproszona przechowalnia jest wykorzystywana do unikni\u0119cia gromadzenia niepotrzebnych kopii, gromadz\u0105c ca\u0142\u0105 informacj\u0119 wp\u0142ywaj\u0105c\u0105 z dzia\u0142aj\u0105cej sieci. Przechowalnie \u0142\u0105cz\u0105 si\u0119 w og\u00f3ln\u0105 pul\u0119, do kt\u00f3rej dost\u0119p maj\u0105 wszystkie us\u0142ugi.<\/p>\n

Nasze wyliczenia pokazuj\u0105, \u017ce przej\u015bcie z klasycznych system\u00f3w przechowywania danych do rozproszonych system\u00f3w blokowych pozwala zaoszcz\u0119dzi\u0107 do 70% bud\u017cetu wy\u0142\u0105cznie dzi\u0119ki rezygnacji z dedykowanych system\u00f3w klasy hi-end i wykorzystaniu zwyk\u0142ych serwer\u00f3w klasycznej architektury (zwykle x86), dzia\u0142aj\u0105cych w po\u0142\u0105czeniu ze specjalistycznym oprogramowaniem. Operatorzy kom\u00f3rkowi ju\u017c od d\u0142u\u017cszego czasu zacz\u0119li nabywa\u0107 takie rozwi\u0105zania w znacz\u0105cych ilo\u015bciach. W szczeg\u00f3lno\u015bci, rosyjskie firmy operatorskie korzystaj\u0105 z takich produkt\u00f3w od Huawei od ponad sze\u015bciu lat.<\/p>\n

Tak, cz\u0119\u015b\u0107 zada\u0144 nie mo\u017ce by\u0107 wykonana za pomoc\u0105 rozproszonych system\u00f3w. Na przyk\u0142ad, gdy wymagania dotycz\u0105ce wydajno\u015bci lub zgodno\u015bci ze starszymi protoko\u0142ami s\u0105 wy\u017csze. Ale nie mniej ni\u017c 70% danych, kt\u00f3re przetwarza operator, mo\u017cna z powodzeniem ulokowa\u0107 w rozproszonej puli.<\/p>\n

\"Tendencje
\n<\/p>\n

Sektor bankowy<\/h2>\n

\nW ka\u017cdym banku wsp\u00f3\u0142istnieje wiele r\u00f3\u017cnorodnych system\u00f3w IT, pocz\u0105wszy od procesingu, a sko\u0144czywszy na zautomatyzowanym systemie bankowym. Ta infrastruktura r\u00f3wnie\u017c dzia\u0142a z ogromnym wolumenem informacji, przy czym wi\u0119kszo\u015b\u0107 zada\u0144 nie wymaga zwi\u0119kszonej wydajno\u015bci i niezawodno\u015bci system\u00f3w przechowywania, na przyk\u0142ad w przypadku rozwoju, testowania, automatyzacji proces\u00f3w biurowych itp. Tutaj zastosowanie klasycznych system\u00f3w przechowywania jest mo\u017cliwe, ale z roku na rok staje si\u0119 coraz mniej korzystne. Ponadto w tym przypadku brakuje elastyczno\u015bci w wydatkowaniu zasob\u00f3w system\u00f3w przechowywania, kt\u00f3rych wydajno\u015b\u0107 oblicza si\u0119 na podstawie obci\u0105\u017cenia szczytowego.<\/p>\n

Podczas korzystania z rozproszonych system\u00f3w przechowywania ich w\u0119z\u0142y, b\u0119d\u0105ce w rzeczywisto\u015bci zwyk\u0142ymi serwerami, mog\u0105 by\u0107 w ka\u017cdej chwili przekszta\u0142cone, na przyk\u0142ad w farm\u0119 serwer\u00f3w i u\u017cywane jako platforma obliczeniowa.<\/p>\n

\"Tendencje
\n<\/p>\n

Jeziora danych<\/h2>\n

\nNa powy\u017cszym schemacie przedstawiono list\u0119 typowych odbiorc\u00f3w us\u0142ug data lake<\/a><\/noindex>. Mog\u0105 to by\u0107 us\u0142ugi e-administracji (na przyk\u0142ad \"G\u0142osowanie Interaktywne\"), kt\u00f3re przesz\u0142y cyfryzacj\u0119 przedsi\u0119biorstw, struktury finansowe itp. Wszyscy oni musz\u0105 pracowa\u0107 z du\u017cymi ilo\u015bciami zr\u00f3\u017cnicowanych informacji. <\/p>\n

Eksploatacja klasycznych system\u00f3w przechowywania danych do rozwi\u0105zywania takich zada\u0144 jest nieefektywna, poniewa\u017c wymaga zar\u00f3wno wysokowydajnego dost\u0119pu do baz danych blokowych, jak i zwyk\u0142ego dost\u0119pu do bibliotek zeskanowanych dokument\u00f3w przechowywanych w formie obiekt\u00f3w. Mo\u017cna tu r\u00f3wnie\u017c doda\u0107, na przyk\u0142ad, system zam\u00f3wie\u0144 przez portal internetowy. Aby to wszystko zrealizowa\u0107 na platformie klasycznego systemu przechowywania danych, potrzebny b\u0119dzie du\u017cy zestaw sprz\u0119tu do r\u00f3\u017cnych zada\u0144. Jedno poziome uniwersalne systemy przechowywania mog\u0105 bez problemu pokrywa\u0107 wszystkie wcze\u015bniej wymienione zadania: wystarczy stworzy\u0107 w nim kilka pul z r\u00f3\u017cnymi charakterystykami przechowywania.<\/p>\n

\"Tendencje
\n<\/p>\n

Generatory nowej informacji<\/h2>\n

\nIlo\u015b\u0107 danych przechowywanych na \u015bwiecie ro\u015bnie o oko\u0142o 30% rocznie. To dobre wie\u015bci dla dostawc\u00f3w system\u00f3w przechowywania, ale co jest i b\u0119dzie g\u0142\u00f3wnym \u017ar\u00f3d\u0142em tych danych?<\/p>\n

Dziesi\u0119\u0107 lat temu takimi generatorami sta\u0142y si\u0119 media spo\u0142eczno\u015bciowe, co wymaga\u0142o stworzenia du\u017cej liczby nowych algorytm\u00f3w, rozwi\u0105za\u0144 sprz\u0119towych itp. Obecnie wyr\u00f3\u017cnia si\u0119 trzy g\u0142\u00f3wne czynniki nap\u0119dzaj\u0105ce wzrost ilo\u015bci przechowywanych danych. Pierwszym jest chmura obliczeniowa. W tej chwili oko\u0142o 70% firm w mniejszym lub wi\u0119kszym stopniu wykorzystuje us\u0142ugi chmurowe. Mog\u0105 to by\u0107 systemy poczty elektronicznej, kopie zapasowe i inne zwirtualizowane byty.
\nDrugim czynnikiem nap\u0119dzaj\u0105cym staj\u0105 si\u0119 sieci pi\u0105tej generacji. To nowe pr\u0119dko\u015bci i nowe ilo\u015bci przesy\u0142anych danych. Zgodnie z naszymi prognozami, szerokie rozpowszechnienie 5G doprowadzi do spadku popytu na karty pami\u0119ci flash. Niezale\u017cnie od tego, ile pami\u0119ci b\u0119dzie w telefonie, zawsze si\u0119 ona ko\u0144czy, a przy dost\u0119pno\u015bci w urz\u0105dzeniu kana\u0142u 100-megabajtowego nie ma potrzeby przechowywania zdj\u0119\u0107 lokalnie.<\/p>\n

Do trzeciej grupy przyczyn, dla kt\u00f3rych ro\u015bnie zapotrzebowanie na systemy przechowywania, nale\u017c\u0105 dynamiczny rozw\u00f3j sztucznej inteligencji, przej\u015bcie na analityk\u0119 wielkich danych oraz trend na powszechn\u0105 automatyzacj\u0119 wszystkiego, co tylko mo\u017cliwe.<\/p>\n

Cech\u0105 \u201enowego ruchu\u201d jest jego niestrukturalno\u015b\u0107<\/a><\/noindex>. Musimy przechowywa\u0107 te dane, nie definiuj\u0105c ich formatu. Format ten jest potrzebny tylko przy p\u00f3\u017aniejszym odczycie. Na przyk\u0142ad system bankowy oceny zdolno\u015bci kredytowej do ustalenia dost\u0119pnego rozmiaru kredytu b\u0119dzie analizowa\u0142 zamieszczone przez ciebie zdj\u0119cia w mediach spo\u0142eczno\u015bciowych, okre\u015blaj\u0105c, jak cz\u0119sto bywasz nad morzem i w restauracjach, a jednocze\u015bnie bada\u0142 dost\u0119pne mu wyci\u0105gi z twoich dokument\u00f3w medycznych. Te dane, z jednej strony, s\u0105 wszechstronne, a z drugiej strony \u2014 pozbawione jednorodno\u015bci.<\/p>\n

\"Tendencje
\n<\/p>\n

Ocean niestrukturalnych danych<\/h2>\n

\nJakie problemy wi\u0105\u017c\u0105 si\u0119 z pojawieniem si\u0119 \u201enowych danych\u201d? Najwa\u017cniejsz\u0105 z nich jest oczywi\u015bcie sam rozmiar informacji oraz czas przechowywania. Sam nowoczesny autonomiczny samoch\u00f3d bez kierowcy generuje codziennie do 60 TB danych, kt\u00f3re pochodz\u0105 ze wszystkich jego czujnik\u00f3w i mechanizm\u00f3w. Aby opracowa\u0107 nowe algorytmy ruchu, te informacje musz\u0105 by\u0107 przetwarzane w ci\u0105gu tych samych 24 godzin, w przeciwnym razie zaczynaj\u0105 si\u0119 gromadzi\u0107. Musz\u0105 by\u0107 przechowywane przez bardzo d\u0142ugi czas \u2014 dziesi\u0105tki lat. Tylko wtedy w przysz\u0142o\u015bci b\u0119dzie mo\u017cna wyci\u0105ga\u0107 wnioski na podstawie du\u017cych analiz statystycznych.<\/p>\n

Jedno urz\u0105dzenie do dekodowania sekwencji genetycznych generuje oko\u0142o 6 TB dziennie. A dane zebrane dzi\u0119ki niemu w og\u00f3le nie zak\u0142adaj\u0105 usuwania, to znaczy hipotetycznie powinny by\u0107 przechowywane wiecznie.<\/p>\n

Wreszcie, s\u0105 te\u017c sieci pi\u0105tej generacji. Opr\u00f3cz samej przekazywanej informacji, taka sie\u0107 jest tak\u017ce ogromnym generatorem danych: dziennik\u00f3w dzia\u0142a\u0144, zapis\u00f3w rozm\u00f3w, wynik\u00f3w interakcji mi\u0119dzymaszynowych itd. <\/p>\n

Wszystko to wymaga wypracowania nowych podej\u015b\u0107 i algorytm\u00f3w przechowywania oraz przetwarzania informacji. I takie podej\u015bcia ju\u017c si\u0119 pojawiaj\u0105.<\/p>\n

\"Tendencje
\n<\/p>\n

Technologie nowej epoki<\/h2>\n

\nMo\u017cna wyr\u00f3\u017cni\u0107 trzy grupy rozwi\u0105za\u0144, kt\u00f3re maj\u0105 na celu sprostanie nowym wymaganiom dla system\u00f3w przechowywania informacji: wdro\u017cenie sztucznej inteligencji, techniczna ewolucja no\u015bnik\u00f3w danych oraz innowacje w zakresie architektury systemowej. Zacznijmy od AI.<\/p>\n

\"Tendencje
\n
\nW nowych rozwi\u0105zaniach Huawei sztuczna inteligencja jest wykorzystywana ju\u017c na poziomie samego magazynu, kt\u00f3ry jest wyposa\u017cony w procesor AI, pozwalaj\u0105cy systemowi samodzielnie analizowa\u0107 swoje stany i przewidywa\u0107 awarie. Je\u015bli macierz dyskowa zostanie pod\u0142\u0105czona do chmurowej us\u0142ugi, kt\u00f3ra posiada znaczne zdolno\u015bci obliczeniowe, sztuczna inteligencja b\u0119dzie mog\u0142a przetworzy\u0107 wi\u0119cej informacji i zwi\u0119kszy\u0107 dok\u0142adno\u015b\u0107 swoich hipotez.<\/p>\n

Opr\u00f3cz awarii, taka AI potrafi prognozowa\u0107 przysz\u0142e szczyty obci\u0105\u017cenia i czas, kt\u00f3ry pozosta\u0142 do wyczerpania pojemno\u015bci. Pozwoli to na optymalizacj\u0119 wydajno\u015bci i skalowanie systemu jeszcze przed wyst\u0105pieniem jakichkolwiek niepo\u017c\u0105danych zdarze\u0144.<\/p>\n

\"Tendencje
\n
\nTeraz przejd\u017amy do ewolucji no\u015bnik\u00f3w danych. Pierwsze pami\u0119ci flash by\u0142y realizowane w technologii SLC (Single-Level Cell). Oparte na tej technologii urz\u0105dzenia by\u0142y szybkie, niezawodne i stabilne, ale mia\u0142y ma\u0142\u0105 pojemno\u015b\u0107 i by\u0142y bardzo drogie. Wzrost obj\u0119to\u015bci i obni\u017cenie ceny uda\u0142o si\u0119 osi\u0105gn\u0105\u0107 dzi\u0119ki pewnym technicznym kompromisom, przez kt\u00f3re pr\u0119dko\u015b\u0107, niezawodno\u015b\u0107 i \u017cywotno\u015b\u0107 no\u015bnik\u00f3w uleg\u0142y skr\u00f3ceniu. Niemniej jednak trend nie wp\u0142yn\u0105\u0142 na same macierze dyskowe, kt\u00f3re dzi\u0119ki r\u00f3\u017cnym architektonicznym sztuczkom sta\u0142y si\u0119 og\u00f3lnie bardziej wydajne i bardziej niezawodne.<\/p>\n

Ale dlaczego potrzebne by\u0142y macierze dyskowe klasy All-Flash? Czy nie wystarczy\u0142o po prostu wymieni\u0107 w ju\u017c eksploatowanym systemie stare HDD na nowe SSD tego samego formatu? By\u0142o to konieczne, aby efektywnie wykorzysta\u0107 wszystkie zasoby nowych dysk\u00f3w p\u00f3\u0142przewodnikowych, co w starych systemach by\u0142o po prostu niemo\u017cliwe. <\/p>\n

Firma Huawei, na przyk\u0142ad, opracowa\u0142a w tym celu szereg technologii, z kt\u00f3rych jedn\u0105 z nich jest FlashLink<\/a><\/noindex>, kt\u00f3ra umo\u017cliwi\u0142a maksymalne zoptymalizowanie interakcji \u201edysk \u2013 kontroler\u201d. <\/p>\n

Inteligentna identyfikacja pozwoli\u0142a roz\u0142o\u017cy\u0107 dane na kilka strumieni i poradzi\u0107 sobie z szeregiem niepo\u017c\u0105danych zjawisk, takich jak WA<\/a><\/noindex> (wzmocnienie zapisu). Jednocze\u015bnie nowe algorytmy odzyskiwania, w szczeg\u00f3lno\u015bci RAID 2.0+<\/a><\/noindex>, zwi\u0119kszy\u0142y szybko\u015b\u0107 odbudowy, skracaj\u0105c jej czas do zupe\u0142nie nieznacznych warto\u015bci.<\/p>\n

Awarie, przepe\u0142nienia, \u201ezbieranie \u015bmieci\u201d \u2014 te czynniki r\u00f3wnie\u017c nie maj\u0105 ju\u017c wp\u0142ywu na wydajno\u015b\u0107 systemu pami\u0119ci masowej dzi\u0119ki specjalnym usprawnieniom kontroler\u00f3w.<\/p>\n

\"Tendencje
\n
\nA jeszcze blokowe magazyny danych przygotowuj\u0105 si\u0119 na spotkanie NVMe<\/a><\/noindex>. Przypomnijmy, \u017ce klasyczny schemat organizacji dost\u0119pu do danych dzia\u0142a\u0142 w ten spos\u00f3b: procesor zwraca\u0142 si\u0119 do kontrolera RAID przez magistral\u0119 PCI Express. Ten z kolei wchodzi\u0142 w interakcj\u0119 z mechanicznymi dyskami przez SCSI lub SAS. Zastosowanie NVMe w backendzie znacznie przyspieszy\u0142o ca\u0142y proces, jednak nios\u0142o ze sob\u0105 jeden minus: no\u015bniki musia\u0142y mie\u0107 bezpo\u015brednie po\u0142\u0105czenie z procesorem, aby zapewni\u0107 mu bezpo\u015bredni dost\u0119p do pami\u0119ci.<\/p>\n

Nast\u0119pn\u0105 faz\u0105 rozwoju technologii, kt\u00f3r\u0105 obserwujemy obecnie, jest zastosowanie NVMe-oF (NVMe over Fabrics). Je\u015bli chodzi o technologie blokowe Huawei, ju\u017c teraz wspieraj\u0105 FC-NVMe (NVMe over Fibre Channel), a NVMe over RoCE (RDMA over Converged Ethernet) jest na horyzoncie. Modele testowe s\u0105 w pe\u0142ni funkcjonalne, a do ich oficjalnej prezentacji pozosta\u0142o kilka miesi\u0119cy. Zauwa\u017cmy, \u017ce wszystko to pojawi si\u0119 tak\u017ce w rozproszonych systemach, gdzie \"Ethernet bez strat\" b\u0119dzie bardzo po\u017c\u0105dany.<\/p>\n

\"Tendencje
\n
\nDodatkowym sposobem optymalizacji pracy szczeg\u00f3lnie rozproszonych magazyn\u00f3w sta\u0142 si\u0119 ca\u0142kowity brak lustrzenia danych. Rozwi\u0105zania Huaweia nie wykorzystuj\u0105 ju\u017c n kopii, jak w tradycyjnym RAID 1, i w pe\u0142ni przechodz\u0105 na mechanizm EC<\/a><\/noindex> (kodowanie zera). Specjalny pakiet matematyczny z okre\u015blon\u0105 cz\u0119stotliwo\u015bci\u0105 oblicza bloki kontrolne, kt\u00f3re pozwalaj\u0105 na przywr\u00f3cenie danych po\u015brednich w przypadku ich utraty.<\/p>\n

Mechanizmy deduplikacji i kompresji staj\u0105 si\u0119 obowi\u0105zkowe. Je\u015bli w klasycznych S\u0141D jeste\u015bmy ograniczeni liczb\u0105 zainstalowanych w kontrolerach procesor\u00f3w, to w rozproszonych systemach pami\u0119ci masowej o horyzontalnej skalowalno\u015bci ka\u017cdy w\u0119ze\u0142 zawiera wszystko, co potrzebne: dyski, pami\u0119\u0107, procesory i interkonekt. Tych zasob\u00f3w wystarcza, aby deduplikacja i kompresja mia\u0142y minimalny wp\u0142yw na wydajno\u015b\u0107.<\/p>\n

I o sprz\u0119towych metodach optymalizacji. Tutaj obci\u0105\u017cenie centralnych procesor\u00f3w uda\u0142o si\u0119 zmniejszy\u0107 za pomoc\u0105 dodatkowych dedykowanych uk\u0142ad\u00f3w scalonych (lub dedykowanych blok\u00f3w w samym procesorze), pe\u0142ni\u0105cych rol\u0119 TOE<\/a><\/noindex> (TCP\/IP Offload Engine) lub bior\u0105cych na siebie zadania matematyczne EC, deduplikacji i kompresji.<\/p>\n

\"Tendencje
\n
\nNowe podej\u015bcia do przechowywania danych zrealizowa\u0142y si\u0119 w dzezagregerowanej (rozproszonej) architekturze. W systemach centralizowanego przechowywania znajduje si\u0119 fabryka serwer\u00f3w, pod\u0142\u0105czona przez Fibre Channel do SAN<\/a><\/noindex> z du\u017c\u0105 liczb\u0105 macierzy. Wadami tego podej\u015bcia s\u0105 trudno\u015bci ze skalowaniem i zapewnieniem gwarantowanego poziomu us\u0142ug (pod wzgl\u0119dem wydajno\u015bci lub op\u00f3\u017anie\u0144). Systemy hiper\u0142\u0105czne wykorzystuj\u0105 te same hosty \u2014 zar\u00f3wno do przechowywania, jak i do przetwarzania informacji. Daje to praktycznie nieograniczone mo\u017cliwo\u015bci skalowania, ale wi\u0105\u017ce si\u0119 z wysokimi kosztami utrzymania integralno\u015bci danych.<\/p>\n

W przeciwie\u0144stwie do obu powy\u017cszych, dzezagregerowana architektura zak\u0142ada podzia\u0142 systemu na fabryk\u0119 obliczeniow\u0105 i poziom\u0105 system przechowywania<\/b>. Zapewnia to zalety obu architektur i pozwala praktycznie nieograniczenie skalowa\u0107 tylko ten element, kt\u00f3rego wydajno\u015b\u0107 jest niewystarczaj\u0105ca.<\/p>\n

\"Tendencje
\n<\/p>\n

Od integracji do konwergencji<\/h2>\n

\nKlasycznym problemem, kt\u00f3rego aktualno\u015b\u0107 ros\u0142a przez ostatnie 15 lat, jest potrzeba jednoczesnego zapewnienia blokowego przechowywania, dost\u0119pu plikowego, dost\u0119pu do obiekt\u00f3w, pracy farmy dla du\u017cych danych itd. Kropk\u0105 nad 'i' mo\u017ce by\u0107 na przyk\u0142ad system backupowy na ta\u015bm\u0119 magnetyczn\u0105.<\/p>\n

Na pierwszym etapie uda\u0142o si\u0119 ujednolici\u0107 tylko zarz\u0105dzanie tymi us\u0142ugami. R\u00f3\u017cnorodne systemy przechowywania danych zamyka\u0142y si\u0119 na jakie\u015b specjalistyczne oprogramowanie, za pomoc\u0105 kt\u00f3rego administrator rozdziela\u0142 zasoby z dost\u0119pnych pul. Ale poniewa\u017c sprz\u0119towo te pule by\u0142y r\u00f3\u017cne, migracja obci\u0105\u017cenia mi\u0119dzy nimi by\u0142a niemo\u017cliwa. Na wy\u017cszym poziomie integracji po\u0142\u0105czenie nast\u0119powa\u0142o na poziomie bramy. W przypadku istnienia og\u00f3lnego dost\u0119pu do plik\u00f3w mo\u017cna by\u0142o go udost\u0119pnia\u0107 przez r\u00f3\u017cne protoko\u0142y.<\/p>\n

Najdoskonalsza z dost\u0119pnych nam obecnie metod konwergencji przewiduje stworzenie uniwersalnego systemu hybrydowego. Taki, jakim powinien sta\u0107 si\u0119 nasz OceanStor 100D<\/a><\/noindex>. Uniwersalny dost\u0119p wykorzystuje te same zasoby sprz\u0119towe, logicznie podzielone na r\u00f3\u017cne pule, ale dopuszczaj\u0105ce migracj\u0119 obci\u0105\u017cenia. Wszystko to mo\u017cna zrealizowa\u0107 za pomoc\u0105 jednego panelu sterowania. W ten spos\u00f3b uda\u0142o nam si\u0119 zrealizowa\u0107 koncepcj\u0119 \u201ejedno centrum danych \u2014 jedna macierz dyskowa\u201d.<\/p>\n

\"Tendencje
\n
\nKoszt przechowywania informacji obecnie okre\u015bla wiele rozwi\u0105za\u0144 architektonicznych. I cho\u0107 mo\u017cna go \u015bmia\u0142o postawi\u0107 w centrum uwagi, dzisiaj dyskutujemy o \u201e\u017cywym\u201d przechowywaniu z aktywnym dost\u0119pem, dlatego te\u017c wydajno\u015b\u0107 r\u00f3wnie\u017c musi by\u0107 brana pod uwag\u0119. Kolejn\u0105 wa\u017cn\u0105 cech\u0105 przysz\u0142ych rozproszonych system\u00f3w jest unifikacja. Nikt nie chce mie\u0107 kilku odr\u0119bnych system\u00f3w, zarz\u0105dzanych z r\u00f3\u017cnych konsoli. Wszystkie te cechy znalaz\u0142y odzwierciedlenie w nowej serii produkt\u00f3w Huawei. OceanStor Pacific<\/a><\/noindex>.<\/p>\n

Masowa macierz dyskowa nowej generacji<\/h2>\n

\nOceanStor Pacific spe\u0142nia wymagania dotycz\u0105ce niezawodno\u015bci na poziomie \u201esze\u015b\u0107 dziewi\u0105tek\u201d (99,9999%) i mo\u017ce by\u0107 wykorzystywany do tworzenia centr\u00f3w danych klasy HyperMetro. Przy odleg\u0142o\u015bci mi\u0119dzy dwoma centrum danych do 100 km systemy wykazuj\u0105 dodatkowe op\u00f3\u017anienie na poziomie 2 ms, co pozwala na budowanie na ich podstawie dowolnych rozwi\u0105za\u0144 odpornych na katastrofy, w tym z serwerami quorum.<\/p>\n

\"Tendencje
\n
\nProdukty nowej serii wykazuj\u0105 uniwersalno\u015b\u0107 pod k\u0105tem protoko\u0142\u00f3w. OceanStor 100D ju\u017c teraz obs\u0142uguje dost\u0119p blokowy, dost\u0119p obiektowy oraz dost\u0119p Hadoop. W najbli\u017cszym czasie zostanie r\u00f3wnie\u017c wdro\u017cony dost\u0119p plikowy. Nie ma potrzeby przechowywania kilku kopii danych, je\u015bli mo\u017cna je udost\u0119pnia\u0107 przez r\u00f3\u017cne protoko\u0142y.<\/p>\n

\"Tendencje
\n
\nMo\u017ce si\u0119 wydawa\u0107, jakie znaczenie ma koncepcja \u201esieci bez utraty\u201d dla macierzy dyskowych? Chodzi o to, \u017ce rozproszone systemy przechowywania danych s\u0105 budowane w oparciu o szybk\u0105 sie\u0107, wspieraj\u0105c\u0105 odpowiednie algorytmy i mechanizm RoCE. Dodatkowo zwi\u0119kszenie pr\u0119dko\u015bci sieci i zmniejszenie op\u00f3\u017anie\u0144 wspomaga wspierany przez nasze prze\u0142\u0105czniki system sztucznej inteligencji. AI Fabric<\/a><\/noindex>. Zysk wydajno\u015bci macierzy dyskowej przy aktywacji AI Fabric mo\u017ce osi\u0105ga\u0107 20%.<\/p>\n

\"Tendencje
\n
\nCzym zatem jest nowy w\u0119ze\u0142 rozproszonej macierzy dyskowej OceanStor Pacific? Rozwi\u0105zanie w formacie 5U obejmuje 120 no\u015bnik\u00f3w i mo\u017ce zast\u0105pi\u0107 trzy klasyczne w\u0119z\u0142y, co daje ponad dwukrotn\u0105 oszcz\u0119dno\u015b\u0107 miejsca w szafie. Dzi\u0119ki rezygnacji z przechowywania kopii, wydajno\u015b\u0107 no\u015bnik\u00f3w znacznie wzrasta (do +92%).<\/p>\n

Przyzwyczaili\u015bmy si\u0119, \u017ce programowo definiowany system przechowywania danych (SDS) to specjalne oprogramowanie instalowane na klasycznym serwerze. Teraz jednak, aby osi\u0105gn\u0105\u0107 optymalne parametry, to architektoniczne rozwi\u0105zanie wymaga r\u00f3wnie\u017c specjalnych w\u0119z\u0142\u00f3w. W jego sk\u0142ad wchodz\u0105 dwa serwery oparte na procesorach ARM, kt\u00f3re zarz\u0105dzaj\u0105 macierz\u0105 dysk\u00f3w twardych o \u015brednicy trzech cali.<\/p>\n

\"Tendencje
\n
\nTe serwery s\u0105 ma\u0142o odpowiednie dla rozwi\u0105za\u0144 hiperkonwergentnych. Po pierwsze, dost\u0119pnych jest zbyt ma\u0142o aplikacji dla ARM, a po drugie, trudno jest utrzyma\u0107 r\u00f3wnowag\u0119 obci\u0105\u017cenia. Proponujemy przej\u015bcie do oddzielnego przechowywania: klaster obliczeniowy, reprezentowany przez klasyczne lub rack-serwery, dzia\u0142a osobno, ale \u0142\u0105czy si\u0119 z w\u0119z\u0142ami przechowywania OceanStor Pacific, kt\u00f3re r\u00f3wnie\u017c realizuj\u0105 swoje bezpo\u015brednie zadania. I to si\u0119 sprawdza.<\/p>\n

Dla przyk\u0142adu we\u017amy klasyczne rozwi\u0105zanie do przechowywania danych wielkiej skali z systemem hiperkonwergentnym, zajmuj\u0105ce 15 szaf serwerowych. Je\u015bli roz\u0142o\u017cymy obci\u0105\u017cenie mi\u0119dzy oddzielnymi serwerami obliczeniowymi a w\u0119z\u0142ami SDS OceanStor Pacific, oddzielaj\u0105c je od siebie, liczba potrzebnych szaf zmniejszy si\u0119 o po\u0142ow\u0119! To obni\u017ca koszty eksploatacji centrum danych i zmniejsza ca\u0142kowity koszt posiadania. W \u015bwiecie, w kt\u00f3rym obj\u0119to\u015b\u0107 przechowywanych informacji ro\u015bnie o 30% rocznie, takich korzy\u015bci si\u0119 nie marnuje.<\/p>\n

***<\/h2>\n

\nWi\u0119cej informacji o rozwi\u0105zaniach Huawei i scenariuszach ich zastosowania mo\u017cna uzyska\u0107 na naszej stronie<\/a><\/noindex> lub kontaktuj\u0105c si\u0119 bezpo\u015brednio z przedstawicielami firmy.
\n
\u0179r\u00f3d\u0142o: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043b\u0443\u0447\u0448\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043c\u0438\u0440\u0435, \u0433\u0434\u0435 \u0441\u0435\u0442\u0438 \u043f\u044f\u0442\u043e\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f, \u0441\u043a\u0430\u043d\u0435\u0440\u044b \u0433\u0435\u043d\u043e\u043c\u043e\u0432 \u0438 \u0431\u0435\u0441\u043f\u0438\u043b\u043e\u0442\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0442 \u0437\u0430 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0435\u043c \u0432\u0441\u0451 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0440\u043e\u0434\u0438\u043b\u043e \u0432 \u043f\u0435\u0440\u0438\u043e\u0434 \u0434\u043e \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u0438. \u041d\u0430\u0448 \u043c\u0438\u0440 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u0430\u043a\u0430\u044f-\u0442\u043e \u0435\u0451 \u0447\u0430\u0441\u0442\u044c \u043c\u0438\u043c\u043e\u043b\u0451\u0442\u043d\u0430 \u0438 \u0443\u0442\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a \u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e, \u043a\u0430\u043a \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f. \u0414\u0440\u0443\u0433\u0430\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u0434\u043e\u043b\u044c\u0448\u0435, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96142,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-96141","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Trendy przemys\u0142owe w obszarze masowych system\u00f3w przechowywania danych | ProHoster","description":"Dzi\u015b porozmawiamy o tym, jak najlepiej przechowywa\u0107 dane w \u015bwiecie, gdzie sieci pi\u0105tej generacji, skanery genom\u00f3w i samochody bezza\u0142ogowe generuj\u0105 wi\u0119cej danych w ci\u0105gu jednego dnia, ni\u017c ca\u0142e ludzko\u015b\u0107 w okresie przedindustrialnym.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/promyshlennye-tendenczii-v-oblasti-massovyh-sistem-hraneniya-dannyh","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u044b\u0435 \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 | ProHoster","og:description":"\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043b\u0443\u0447\u0448\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043c\u0438\u0440\u0435, \u0433\u0434\u0435 \u0441\u0435\u0442\u0438 \u043f\u044f\u0442\u043e\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f, \u0441\u043a\u0430\u043d\u0435\u0440\u044b \u0433\u0435\u043d\u043e\u043c\u043e\u0432 \u0438 \u0431\u0435\u0441\u043f\u0438\u043b\u043e\u0442\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0442 \u0437\u0430 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0435\u043c \u0432\u0441\u0451 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0440\u043e\u0434\u0438\u043b\u043e \u0432 \u043f\u0435\u0440\u0438\u043e\u0434 \u0434\u043e \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u043e\u0439.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/promyshlennye-tendenczii-v-oblasti-massovyh-sistem-hraneniya-dannyh","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-10-08T17:42:37+00:00","article:modified_time":"2020-10-08T17:42:37+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"96141","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:51:00","updated":"2022-09-30 10:24:16","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/96141","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=96141"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/96141\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/96142"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=96141"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=96141"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=96141"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}