Illum se nitkellmu dwar kif l-aħjar taħżen id-dejta f’dinja fejn netwerks tal-ħames ġenerazzjoni, skaners tal-ġenoma u karozzi li jsuqu waħedhom jipproduċu aktar dejta kuljum mill-umanità kollha ġġenerata qabel ir-rivoluzzjoni industrijali.
Id-dinja tagħna qed tiġġenera aktar u aktar informazzjoni. Xi parti minnha hija passata u tintilef malajr kemm tinġabar. Ieħor għandu jinħażen itwal, u ieħor huwa saħansitra ddisinjat "għal sekli" - għall-inqas dan huwa dak li naraw mill-preżent. Il-flussi ta 'informazzjoni jissetiljaw fiċ-ċentri tad-data b'tali veloċità li kwalunkwe approċċ ġdid, kwalunkwe teknoloġija mfassla biex tissodisfa din id-"domanda" bla tarf malajr issir obsoleta.
40 sena ta 'żvilupp ta' sistemi ta 'ħażna distribwita
L-ewwel ħażna tan-netwerk fil-forma li aħna familjari magħha dehret fis-snin tmenin. Ħafna minnkom iltaqgħu ma' NFS (Network File System), AFS (Andrew File System) jew Coda. Għaxar snin wara, il-moda u t-teknoloġija nbidlu, u s-sistemi ta' fajls distribwiti ċedew għal sistemi ta' ħażna raggruppati bbażati fuq GPFS (Sistema ta' Fajl Parallel Ġenerali), CFS (Sistemi ta' Fajl Clustered) u StorNext. Intuża bħala bażi l-ħażna ta 'blokki ta' arkitettura klassika, li fuqha nħolqot sistema ta 'fajls waħda bl-użu ta' saff ta 'softwer. Dawn u soluzzjonijiet simili għadhom jintużaw, jokkupaw in-niċċa tagħhom u huma pjuttost fid-domanda.
Fil-bidu tal-millennju, il-paradigma tal-ħażna distribwita nbidlet xi ftit, u s-sistemi b'arkitettura SN (Shared-Nothing) ħadu l-pożizzjonijiet ta 'tmexxija. Kien hemm tranżizzjoni minn ħażna ta 'clusters għal ħażna fuq nodi individwali, li, bħala regola, kienu servers klassiċi b'softwer li jipprovdi ħażna affidabbli; Fuq prinċipji bħal dawn, ngħidu aħna, huma mibnija HDFS (Hadoop Distributed File System) u GFS (Global File System).
Eqreb lejn is-snin 2010, il-kunċetti sottostanti sistemi ta' ħażna distribwita bdew jiġu riflessi dejjem aktar fi prodotti kummerċjali sħaħ, bħal VMware vSAN, Dell EMC Isilon u tagħna.
Operaturi tat-telekomunikazzjoni
Forsi wieħed mill-eqdem konsumaturi ta 'sistemi ta' ħażna distribwita huma operaturi tat-telekomunikazzjoni. Id-dijagramma turi liema gruppi ta 'applikazzjonijiet jipproduċu l-biċċa l-kbira tad-dejta. OSS (Sistemi ta' Appoġġ għall-Operazzjonijiet), MSS (Servizzi ta' Appoġġ għall-Ġestjoni) u BSS (Sistemi ta' Appoġġ tan-Negozju) jirrappreżentaw tliet saffi ta' softwer kumplimentari meħtieġa biex jipprovdu servizz lill-abbonati, rappurtar finanzjarju lill-fornitur u appoġġ operattiv lill-inġiniera tal-operaturi.
Ħafna drabi, id-dejta ta 'dawn is-saffi hija mħallta ħafna ma' xulxin, u sabiex tiġi evitata l-akkumulazzjoni ta 'kopji mhux meħtieġa, tintuża ħażna mqassma, li jakkumula l-ammont kollu ta' informazzjoni li ġejja min-netwerk operattiv. Il-ħażniet huma kkombinati f'ġabra komuni, li hija aċċessata mis-servizzi kollha.
Il-kalkoli tagħna juru li t-tranżizzjoni minn sistemi ta 'ħażna klassiċi għal sistemi ta' ħażna ta 'blokki tippermettilek li tiffranka sa 70% tal-baġit biss billi tabbanduna sistemi ta' ħażna hi-end dedikati u tuża servers ta 'arkitettura klassika konvenzjonali (ġeneralment x86), li jaħdmu flimkien ma' speċjalizzati. softwer. L-operaturi ċellulari ilhom ilu bdew jixtru soluzzjonijiet bħal dawn fi kwantitajiet kbar. B'mod partikolari, l-operaturi Russi ilhom jużaw tali prodotti minn Huawei għal aktar minn sitt snin.
Iva, numru ta' kompiti ma jistgħux jitlestew bl-użu ta' sistemi distribwiti. Per eżempju, b'rekwiżiti ta 'prestazzjoni miżjuda jew kompatibilità ma' protokolli eqdem. Iżda mill-inqas 70% tad-dejta pproċessata mill-operatur tista 'tinstab f'pool distribwit.
Is-settur bankarju
Fi kwalunkwe bank hemm ħafna sistemi differenti tal-IT, li jibdew mill-ipproċessar u jispiċċaw b'sistema bankarja awtomatizzata. Din l-infrastruttura taħdem ukoll b'ammont kbir ta 'informazzjoni, filwaqt li l-biċċa l-kbira tal-kompiti ma jeħtiġux żieda fil-prestazzjoni u l-affidabbiltà tas-sistemi ta' ħażna, pereżempju, żvilupp, ittestjar, awtomazzjoni ta 'proċessi tal-uffiċċju, eċċ Hawnhekk, l-użu ta' sistemi ta 'ħażna klassiċi huwa possibbli, iżda kull sena huwa inqas u inqas profittabbli. Barra minn hekk, f'dan il-każ m'hemm l-ebda flessibilità fl-użu tar-riżorsi tas-sistema tal-ħażna, li l-prestazzjoni tagħhom hija kkalkulata abbażi tal-ogħla tagħbija.
Meta jintużaw sistemi ta 'ħażna distribwita, in-nodi tagħhom, li fil-fatt huma servers ordinarji, jistgħu jiġu kkonvertiti fi kwalunkwe ħin, pereżempju, f'razzett ta' servers u użati bħala pjattaforma tal-kompjuters.
Data lagi
Id-dijagramma ta' hawn fuq turi lista ta' konsumaturi tas-servizz tipiċi
L-użu ta' sistemi ta' ħażna klassiċi biex isolvu problemi bħal dawn huwa ineffettiv, peress li jeħtieġ kemm aċċess ta' prestazzjoni għolja għal databases tal-blokki kif ukoll aċċess regolari għal libreriji ta' dokumenti skennjati maħżuna bħala oġġetti. Pereżempju, sistema ta' ordnijiet permezz ta' portal tal-web tista' wkoll tkun marbuta hawnhekk. Biex timplimenta dan kollu fuq pjattaforma tal-ħażna klassika, ser ikollok bżonn sett kbir ta 'tagħmir għal diversi kompiti. Sistema waħda orizzontali ta 'ħażna universali tista' tkopri sew il-kompiti kollha elenkati qabel: għandek bżonn biss li toħloq diversi pools b'karatteristiċi ta 'ħażna differenti fiha.
Ġeneraturi ta' informazzjoni ġdida
L-ammont ta’ informazzjoni maħżuna fid-dinja qed jikber b’madwar 30% fis-sena. Din hija aħbar tajba għall-bejjiegħa tal-ħażna, imma x'inhu u se jkun is-sors ewlieni ta 'din id-dejta?
Għaxar snin ilu, in-netwerks soċjali saru ġeneraturi bħal dawn, dan kien jeħtieġ il-ħolqien ta 'numru kbir ta' algoritmi ġodda, soluzzjonijiet ta 'hardware, eċċ Issa hemm tliet muturi ewlenin għat-tkabbir tal-volumi tal-ħażna. L-ewwel huwa l-cloud computing. Bħalissa, madwar 70% tal-kumpaniji jużaw is-servizzi tal-cloud b'xi mod jew ieħor. Dawn jistgħu jkunu sistemi ta' posta elettronika, kopji ta' backup u entitajiet virtwalizzati oħra.
It-tieni sewwieq huwa netwerks tal-ħames ġenerazzjoni. Dawn huma veloċitajiet ġodda u volumi ġodda ta 'trasferiment tad-data. Skont it-tbassir tagħna, l-adozzjoni mifruxa tal-5G se twassal għal tnaqqis fid-domanda għall-karti tal-memorja flash. Ma jimpurtax kemm hemm memorja fit-telefon, xorta tispiċċa, u jekk il-gadget għandu kanal ta '100 megabit, m'hemmx bżonn li taħżen ir-ritratti lokalment.
It-tielet grupp ta 'raġunijiet għaliex id-domanda għal sistemi ta' ħażna qed tikber jinkludi l-iżvilupp mgħaġġel ta 'intelliġenza artifiċjali, it-tranżizzjoni għal analitika ta' data kbira u t-tendenza lejn awtomazzjoni universali ta 'dak kollu possibbli.
Karatteristika tat-"traffiku ġdid" hija tagħha
Oċean ta' data mhux strutturata
X'problemi tinvolvi l-emerġenza ta' "dejta ġdida"? L-ewwel fosthom, ovvjament, huwa l-volum kbir ta 'informazzjoni u l-perjodu stmat tal-ħażna tagħha. Karozza awtonoma moderna mingħajr sewwieq waħedha tiġġenera sa 60 terabytes ta’ dejta kuljum mis-sensuri u l-mekkaniżmi kollha tagħha. Biex tiżviluppa algoritmi ta 'moviment ġodda, din l-informazzjoni trid tiġi pproċessata fl-istess jum, inkella tibda takkumula. Fl-istess ħin, għandu jinħażen għal żmien twil ħafna - għexieren ta 'snin. Hekk biss ikun possibbli fil-futur li jinġibdu konklużjonijiet ibbażati fuq kampjuni analitiċi kbar.
Apparat wieħed għad-deċifrar tas-sekwenzi ġenetiċi jipproduċi madwar 6 TB kuljum. U d-dejta miġbura bl-għajnuna tagħha ma timplika l-ebda tħassir, jiġifieri, ipotetikament, għandha tinħażen għal dejjem.
Fl-aħħarnett, l-istess netwerks tal-ħames ġenerazzjoni. Minbarra l-informazzjoni trażmessa attwali, netwerk bħal dan innifsu huwa ġeneratur enormi ta 'data: reġistru ta' attività, rekords ta 'sejħiet, riżultati intermedji ta' interazzjonijiet minn magna għal magna, eċċ.
Dan kollu jeħtieġ l-iżvilupp ta 'approċċi u algoritmi ġodda għall-ħażna u l-ipproċessar ta' informazzjoni. U tali approċċi qed jitfaċċaw.
Teknoloġiji ta 'era ġdida
Hemm tliet gruppi ta 'soluzzjonijiet iddisinjati biex ilaħħqu ma' rekwiżiti ġodda għal sistemi ta 'ħażna ta' informazzjoni: l-introduzzjoni ta 'intelliġenza artifiċjali, l-evoluzzjoni teknika tal-midja tal-ħażna u innovazzjonijiet fil-qasam tal-arkitettura tas-sistema. Nibdew bl-AI.
F'soluzzjonijiet ġodda ta 'Huawei, intelliġenza artifiċjali tintuża fil-livell tal-ħażna nnifisha, li hija mgħammra bi proċessur AI li jippermetti lis-sistema tanalizza b'mod indipendenti l-kundizzjoni tagħha u tbassar fallimenti. Jekk is-sistema tal-ħażna hija konnessa ma 'sħaba ta' servizz li għandha kapaċitajiet ta 'kompjuters sinifikanti, l-intelliġenza artifiċjali tkun tista' tipproċessa aktar informazzjoni u żżid l-eżattezza tal-ipoteżi tagħha.
Minbarra l-fallimenti, tali AI tista 'tbassar l-ogħla tagħbija futura u ż-żmien li jibqa' sakemm il-kapaċità tiġi eżawrita. Dan jippermettilek li tottimizza l-prestazzjoni u tiskala s-sistema qabel ma jseħħu kwalunkwe avveniment mhux mixtieq.
Issa dwar l-evoluzzjoni tal-midja tal-ħażna. L-ewwel flash drives saru bl-użu tat-teknoloġija SLC (Single-Level Cell). L-apparati bbażati fuqha kienu veloċi, affidabbli, stabbli, iżda kellhom kapaċità żgħira u kienu għaljin ħafna. It-tkabbir tal-volum u t-tnaqqis fil-prezz inkisbu permezz ta 'ċerti konċessjonijiet tekniċi, li minħabba fihom tnaqqsu l-veloċità, l-affidabbiltà u l-ħajja tas-servizz tad-drajvs. Madankollu, it-tendenza ma affettwatx is-sistemi ta 'ħażna nfushom, li, minħabba diversi tricks arkitettoniċi, ġeneralment saru kemm aktar produttivi kif ukoll aktar affidabbli.
Imma għaliex kellek bżonn sistemi ta 'ħażna All-Flash? Ma kienx biżżejjed li sempliċement tissostitwixxi l-HDDs qodma f'sistema diġà operattiva b'SSDs ġodda tal-istess fattur tal-forma? Dan kien meħtieġ sabiex jintużaw b'mod effettiv ir-riżorsi kollha tad-drajvs solid-state ġodda, li kien sempliċement impossibbli f'sistemi eqdem.
Huawei, pereżempju, żviluppat numru ta 'teknoloġiji biex issolvi din il-problema, li waħda minnhom hija
L-identifikazzjoni intelliġenti għamlitha possibbli li d-dejta tiġi dekomposta f'diversi flussi u tlaħħaq ma 'numru ta' fenomeni mhux mixtieqa, bħal
Nuqqas, iffullar, ġbir taż-żibel - dawn il-fatturi wkoll m'għadhomx jaffettwaw il-prestazzjoni tas-sistema tal-ħażna grazzi għal modifiki speċjali għall-kontrolluri.
U l-ħażniet tad-dejta tal-blokk qed jippreparaw ukoll biex jiltaqgħu
Il-fażi li jmiss tal-iżvilupp tat-teknoloġija li qed naraw issa hija l-użu ta 'NVMe-oF (NVMe over Fabrics). Fir-rigward tat-teknoloġiji tal-blokk ta 'Huawei, huma diġà jappoġġaw FC-NVMe (NVMe fuq Fibre Channel), u NVMe fuq RoCE (RDMA fuq Converged Ethernet) jinsab fit-triq. Il-mudelli tat-test huma pjuttost funzjonali; fadal diversi xhur qabel il-preżentazzjoni uffiċjali tagħhom. Innota li dan kollu se jidher f'sistemi distribwiti, fejn "Ethernet mingħajr telf" se jkun fid-domanda kbira.
Mod addizzjonali biex jiġi ottimizzat l-operat tal-ħażna distribwita kien l-abbandun sħiħ tal-mirroring tad-data. Is-soluzzjonijiet Huawei m'għadhomx jużaw n kopji, bħal fil-RAID tas-soltu 1, u jaqilbu kompletament għall-
Il-mekkaniżmi ta' deduplikazzjoni u kompressjoni jsiru obbligatorji. Jekk f'sistemi ta 'ħażna klassiċi aħna limitati bin-numru ta' proċessuri installati fil-kontrolluri, allura f'sistemi ta 'ħażna mqassma orizzontalment skalabbli, kull node fih dak kollu meħtieġ: diski, memorja, proċessuri u interkonnessjoni. Dawn ir-riżorsi huma biżżejjed biex jiżguraw li d-deduplikazzjoni u l-kompressjoni jkollhom impatt minimu fuq il-prestazzjoni.
U dwar metodi ta 'ottimizzazzjoni tal-ħardwer. Hawnhekk kien possibbli li titnaqqas it-tagħbija fuq il-proċessuri ċentrali bl-għajnuna ta 'ċipep dedikati addizzjonali (jew blokki dedikati fil-proċessur innifsu), li għandhom rwol
Approċċi ġodda għall-ħażna tad-dejta huma inkorporati f'arkitettura diżaggregata (imqassma). Is-sistemi ta 'ħażna ċentralizzati għandhom fabbrika tas-server konnessi permezz tal-Fibre Channel
B'differenza mit-tnejn ta 'hawn fuq, arkitettura diżaggregata timplika tiddividi s-sistema fi drapp tal-kompjuter u sistema ta 'ħażna orizzontali. Dan jipprovdi l-benefiċċji taż-żewġ arkitetturi u jippermetti skalar kważi illimitat tal-element biss li nieqes mill-prestazzjoni.
Mill-integrazzjoni għall-konverġenza
Kompitu klassiku, li r-rilevanza tiegħu kibret biss f'dawn l-aħħar 15-il sena, hija l-ħtieġa li fl-istess ħin jiġu pprovduti ħażna ta 'blokki, aċċess għall-fajls, aċċess għal oġġetti, it-tħaddim ta' razzett kbir tad-dejta, eċċ. Is-silġ fuq il-kejk jista 'wkoll tkun, pereżempju, sistema ta 'backup fuq tejp manjetiku.
Fl-ewwel stadju, il-ġestjoni ta 'dawn is-servizzi biss kienet possibbli li tgħaqqad. Sistemi eteroġenji tal-ħażna tad-dejta kienu konnessi ma 'xi softwer speċjalizzat, li permezz tiegħu l-amministratur qassam riżorsi minn pools disponibbli. Iżda peress li dawn il-pools kellhom hardware differenti, il-migrazzjoni tat-tagħbija bejniethom kienet impossibbli. F'livell ogħla ta 'integrazzjoni, l-aggregazzjoni seħħet fil-livell tal-gateway. Jekk il-kondiviżjoni tal-fajls kienet disponibbli, tista 'tiġi moqdija permezz ta' protokolli differenti.
Il-metodu ta' konverġenza l-aktar avvanzat disponibbli bħalissa għalina jinvolvi l-ħolqien ta' sistema ibrida universali. Eżattament dak tagħna għandu jsir
L-ispiża tal-ħażna tal-informazzjoni issa tiddetermina ħafna deċiżjonijiet arkitettoniċi. U għalkemm jista 'jitqiegħed fuq quddiem b'mod sikur, illum qed niddiskutu ħażna "ħaj" b'aċċess attiv, għalhekk il-prestazzjoni għandha titqies ukoll. Proprjetà oħra importanti tas-sistemi distribwiti tal-ġenerazzjoni li jmiss hija l-unifikazzjoni. Wara kollox, ħadd ma jrid li jkollu diversi sistemi differenti kkontrollati minn consoles differenti. Dawn il-kwalitajiet kollha huma inkorporati fis-serje l-ġdida ta 'prodotti Huawei
Sistema ta 'ħażna tal-massa tal-ġenerazzjoni l-ġdida
OceanStor Pacific tissodisfa r-rekwiżiti ta 'affidabilità ta' sitt disgħa (99,9999%) u tista 'tintuża biex toħloq ċentri tad-dejta tal-klassi HyperMetro. B'distanza bejn żewġ ċentri tad-dejta sa 100 km, is-sistemi juru latenza addizzjonali ta '2 ms, li jagħmilha possibbli li jibnu fuq il-bażi tagħhom kwalunkwe soluzzjonijiet reżistenti għad-diżastri, inklużi dawk b'servers ta' kworum.
Il-prodotti tas-serje l-ġodda juru versatilità tal-protokoll. Diġà, OceanStor 100D jappoġġja aċċess għall-blokki, aċċess għall-oġġetti u aċċess Hadoop. L-aċċess għall-fajls se jiġi implimentat ukoll fil-futur qarib. M'hemmx bżonn li jinħażnu kopji multipli tad-dejta jekk dawn jistgħu jinħarġu permezz ta' protokolli differenti.
Jidher, x'għandu x'jaqsam il-kunċett ta '"netwerk mingħajr telf" ma' sistemi ta 'ħażna? Il-fatt hu li s-sistemi tal-ħażna tad-dejta distribwita huma mibnija fuq il-bażi ta 'netwerk veloċi li jappoġġja l-algoritmi xierqa u l-mekkaniżmu RoCE. Is-sistema ta 'intelliġenza artifiċjali appoġġjata mill-iswiċċijiet tagħna tgħin biex tkompli żżid il-veloċità tan-netwerk u tnaqqas il-latenza.
X'inhu n-nodu l-ġdid tal-ħażna mqassma OceanStor Pacific? Is-soluzzjoni tal-fattur tal-forma 5U tinkludi 120 drive u tista 'tissostitwixxi tliet nodi klassiċi, li tipprovdi aktar minn ffrankar doppju fl-ispazju tar-rack. Billi ma taħżenx kopji, l-effiċjenza tad-drajvs tiżdied b'mod sinifikanti (sa + 92%).
Aħna mdorrijin għall-fatt li l-ħażna definita minn softwer hija softwer speċjali installat fuq server klassiku. Imma issa, biex jinkisbu l-aħjar parametri, din is-soluzzjoni arkitettonika teħtieġ ukoll nodi speċjali. Tikkonsisti f'żewġ servers ibbażati fuq proċessuri ARM li jimmaniġġjaw firxa ta 'drives ta' tliet pulzieri.
Dawn is-servers mhumiex adattati għal soluzzjonijiet iperkonverġenti. L-ewwelnett, hemm pjuttost ftit applikazzjonijiet għal ARM, u t-tieni, huwa diffiċli li jinżamm bilanċ tat-tagħbija. Nipproponu li ngħaddu għal ħażna separata: cluster tal-kompjuters, rappreżentat minn servers klassiċi jew rack, jopera separatament, iżda huwa konness man-nodi tal-ħażna OceanStor Pacific, li wkoll iwettqu l-kompiti diretti tagħhom. U tiġġustifika ruħha.
Pereżempju, ejja nieħdu soluzzjoni klassika ta 'ħażna ta' dejta kbira b'sistema iperkonverġenti li tokkupa 15-il rack tas-server. Jekk tqassam it-tagħbija bejn servers tal-kompjuters separati u nodi tal-ħażna OceanStor Pacific, billi tisseparahom minn xulxin, in-numru ta 'xtillieri meħtieġa jitnaqqas bin-nofs! Dan inaqqas l-ispejjeż operattivi taċ-ċentru tad-dejta u jnaqqas l-ispiża totali tas-sjieda. F'dinja fejn il-volum ta 'informazzjoni maħżuna qed jikber bi 30% fis-sena, vantaġġi bħal dawn ma jintefgħux.
***
Tista 'tikseb aktar informazzjoni dwar is-soluzzjonijiet Huawei u x-xenarji ta' applikazzjoni tagħhom fuq tagħna
Sors: www.habr.com