Í dag munum við tala um hvernig best er að geyma gögn í heimi þar sem fimmtu kynslóðar netkerfi, erfðamengiskannanir og sjálfkeyrandi bílar framleiða meiri gögn á einum degi en allt mannkynið bjó til fyrir iðnbyltinguna.
Heimurinn okkar býr til sífellt meiri upplýsingar. Sumt af því er hverfult og glatast eins fljótt og það er safnað. Hitt ætti að geyma lengur og hitt er algjörlega hannað "í aldir" - þannig sjáum við það allavega frá nútímanum. Upplýsingaflæði sest að í gagnaverum á þeim hraða að öll ný nálgun, hvaða tækni sem er hönnuð til að mæta þessari endalausu „eftirspurn“ er fljótt að verða úrelt.
40 ára þróun dreifðrar geymslu
Fyrstu netgeymslurnar í því formi sem við þekkjum komu fram á níunda áratugnum. Mörg ykkar hafa rekist á NFS (Network File System), AFS (Andrew File System) eða Coda. Áratug síðar hefur tíska og tækni breyst og dreifð skráarkerfi hafa vikið fyrir klasageymslukerfum sem byggjast á GPFS (General Parallel File System), CFS (Clustered File Systems) og StorNext. Sem grunnur voru notaðar blokkgeymslur af klassískum arkitektúr, ofan á það var búið til eitt skráarkerfi með hugbúnaðarlaginu. Þessar og svipaðar lausnir eru enn notaðar, hernema sess þeirra og eru mjög eftirsóttar.
Um aldamótin breyttist dreifða geymslufyrirmyndin nokkuð og kerfi með SN (Shared-Nothing) arkitektúrinn tóku forystuna. Það var skipt frá klasageymslu yfir í geymslu á aðskildum hnútum, sem að jafnaði voru klassískir netþjónar með hugbúnaði sem veitir áreiðanlega geymslu; slíkar reglur eru byggðar, segjum, HDFS (Hadoop Distributed File System) og GFS (Global File System).
Nær 2010 fóru hugtökin sem liggja að baki dreifðra geymslukerfa í auknum mæli að endurspeglast í fullgildum viðskiptavörum, svo sem VMware vSAN, Dell EMC Isilon og okkar . Að baki nefndum kerfum er ekki lengur samfélag áhugamanna heldur sérstakir seljendur sem bera ábyrgð á virkni, stuðningi, þjónustuviðhaldi vörunnar og tryggja frekari þróun hennar. Slíkar lausnir eru mest eftirsóttar á nokkrum sviðum.
Fjarskiptafyrirtæki
Kannski er einn af elstu neytendum dreifðra geymslukerfa fjarskiptafyrirtæki. Skýringarmyndin sýnir hvaða hópar forrita framleiða megnið af gögnunum. OSS (Operations Support Systems), MSS (Management Support Services) og BSS (Business Support Systems) eru þrjú viðbótarhugbúnaðarlög sem þarf til að veita þjónustu til áskrifenda, fjárhagsskýrslu til þjónustuveitanda og rekstrarstuðningi við verkfræðinga rekstraraðila.
Oft er gögnum þessara laga mjög blandað saman og til að forðast uppsöfnun óþarfa eintaka eru notaðar dreifðar geymslur sem safna öllu magni upplýsinga sem koma frá virku neti. Geymslur eru sameinaðar í sameiginlega sundlaug sem öll þjónusta hefur aðgang að.
Útreikningar okkar sýna að umskiptin úr klassískum geymslukerfum í blokk gerir þér kleift að spara allt að 70% af kostnaðarhámarkinu aðeins með því að yfirgefa sérstök hágæða geymslukerfi og nota hefðbundna klassíska arkitektúrþjóna (venjulega x86), sem vinna í tengslum við sérhæfðan hugbúnað. Farsímafyrirtæki hafa verið að eignast slíkar lausnir í umtalsverðu magni í nokkuð langan tíma. Sérstaklega hafa rússneskir rekstraraðilar notað slíkar vörur frá Huawei í meira en sex ár.
Já, fjölda verkefna er ekki hægt að framkvæma með dreifðum kerfum. Til dæmis með auknum frammistöðukröfum eða samhæfni við eldri samskiptareglur. En að minnsta kosti 70% af þeim gögnum sem rekstraraðili vinnur má setja í dreifðan hóp.
Bankastarfsemi
Í hvaða banka sem er eru mörg fjölbreytt upplýsingatæknikerfi, allt frá vinnslu til sjálfvirks bankakerfis. Þessi innviði vinnur líka með mikið magn upplýsinga á meðan flest verkefnin krefjast ekki aukinnar afköstum og áreiðanleika geymslukerfa, svo sem þróun, prófunar, sjálfvirkni skrifstofuferla o.fl. Hér er notkun klassískra geymslukerfa möguleg. , en á hverju ári er það minna og minna arðbært. Að auki, í þessu tilfelli, er enginn sveigjanleiki í eyðslu geymsluauðlinda, afköst þeirra eru reiknuð út frá hámarksálagi.
Þegar notuð eru dreifð geymslukerfi er hægt að breyta hnútum þeirra, sem eru í raun venjulegir netþjónar, hvenær sem er, til dæmis í netþjónabú og nota sem tölvuvettvang.
Gagnavötn
Skýringarmyndin hér að ofan sýnir lista yfir dæmigerða þjónustuneytendur. . Þetta getur verið rafræn þjónusta (td „Gosuslugi“), fyrirtæki sem hafa gengið í gegnum stafræna væðingu, fjármálakerfi o.s.frv. Öll þurfa þau að vinna með mikið magn af ólíkum upplýsingum.
Rekstur klassískra geymslukerfa til að leysa slík vandamál er óhagkvæm, þar sem krafist er bæði afkastamikils aðgangs að gagnagrunnum og reglulegs aðgangs að söfnum skannaðra skjala sem eru geymd sem hlutir. Hér er til dæmis hægt að tengja pantanakerfi í gegnum vefgátt. Til að útfæra allt þetta á klassískum geymslupall þarftu mikið sett af búnaði fyrir mismunandi verkefni. Eitt lárétt alhliða geymslukerfi getur auðveldlega náð yfir öll áður skráð verkefni: þú þarft bara að búa til nokkrar laugar í því með mismunandi geymslueiginleikum.
Framleiðendur nýrra upplýsinga
Magn upplýsinga sem geymt er í heiminum eykst um 30% á ári. Þetta eru góðar fréttir fyrir geymsluseljendur, en hver er og verður aðaluppspretta þessara gagna?
Fyrir tíu árum urðu samfélagsnet slíkir rafala, sem krafðist þess að búa til fjölda nýrra reiknirita, vélbúnaðarlausna o.s.frv. Nú eru þrír megin drifkraftar vaxtar geymslu. Sú fyrsta er tölvuský. Sem stendur nota um það bil 70% fyrirtækja skýjaþjónustu á einn eða annan hátt. Þetta geta verið tölvupóstkerfi, afrit og aðrar sýndargerðir.
Fimmta kynslóð netkerfa eru að verða annar bílstjórinn. Þetta eru nýr hraði og nýtt magn gagnaflutninga. Samkvæmt spám okkar mun útbreidd upptaka 5G leiða til minnkandi eftirspurnar eftir flassminniskortum. Sama hversu mikið minni er í símanum þá endar það samt og ef græjan er með 100 megabita rás er óþarfi að geyma myndir á staðnum.
Þriðji hópur ástæðna fyrir því að eftirspurn eftir geymslukerfum fer vaxandi er hröð þróun gervigreindar, umskipti yfir í stóra gagnagreiningu og þróun í átt að alhliða sjálfvirkni alls sem er mögulegt.
Einkenni "nýja umferðar" er hennar . Við þurfum að geyma þessi gögn án þess að skilgreina snið þeirra á nokkurn hátt. Það er aðeins krafist fyrir síðari lestur. Til dæmis mun stigakerfi banka til að ákvarða tiltæka lánsstærð skoða myndirnar sem þú birtir á samfélagsnetum, ákvarða hversu oft þú ferð á sjóinn og á veitingastaði, og á sama tíma rannsaka útdrætti úr læknisfræðilegum skjölum þínum sem það hefur aðgang að. Þessi gögn eru annars vegar yfirgripsmikil og hins vegar skortir þau einsleitni.
Haf ómótaðra gagna
Hver eru vandamálin sem tilkoma „nýja gagna“ hefur í för með sér? Fyrsta meðal þeirra er auðvitað magn upplýsinganna sjálft og áætlaður geymslutími þeirra. Nútíma sjálfstýrður ökumannslaus bíll einn býr til allt að 60TB af gögnum á hverjum degi úr öllum skynjurum og búnaði. Til að þróa nýjar hreyfialgrím þarf að vinna úr þessum upplýsingum innan sama dags, annars munu þær byrja að safnast upp. Á sama tíma ætti að geyma það í mjög langan tíma - áratugi. Aðeins þá verður hægt að draga ályktanir á grundvelli stórra greiningarsýna í framtíðinni.
Eitt tæki til að ráða erfðafræðilegar raðir framleiðir um 6 terabæt á dag. Og gögnin sem safnað er með hjálp þess fela alls ekki í sér eyðingu, það er að segja að þau ættu að vera geymd að eilífu.
Að lokum, öll sömu netin af fimmtu kynslóðinni. Til viðbótar við upplýsingarnar sjálfar sem sendar eru, er slíkt net í sjálfu sér risastór gagnaframleiðandi: athafnaskrár, símtalsskrár, milliniðurstöður af samskiptum milli véla o.s.frv.
Allt þetta krefst þróunar á nýjum aðferðum og reikniritum til að geyma og vinna úr upplýsingum. Og slíkar aðferðir eru að koma fram.
Tækni nýrra tíma
Hægt er að greina þrjá hópa lausna sem ætlað er að takast á við nýjar kröfur um upplýsingageymslukerfi: innleiðingu gervigreindar, tækniþróun geymslumiðla og nýjungar á sviði kerfisarkitektúrs. Byrjum á gervigreind.
Í nýju Huawei lausnunum er gervigreind þegar notuð á stigi geymslunnar sjálfrar, sem er búin gervigreindum örgjörva sem gerir kerfinu kleift að greina ástand þess sjálfstætt og spá fyrir um bilanir. Ef geymslukerfið er tengt þjónustuskýi sem hefur umtalsverða tölvugetu getur gervigreind unnið úr meiri upplýsingum og bætt nákvæmni tilgáta þess.
Auk bilana er slík gervigreind fær um að spá fyrir um framtíðarálag og þann tíma sem eftir er þar til getu er uppurin. Þetta gerir þér kleift að hámarka frammistöðu og skala kerfið áður en óæskilegir atburðir eiga sér stað.
Nú um þróun gagnaflutningsaðila. Fyrstu flassdrifin voru gerð með SLC (Single-Level Cell) tækni. Tækin sem byggð voru á henni voru hröð, áreiðanleg, stöðug, en höfðu litla afkastagetu og voru mjög dýr. Rúmmálsaukning og verðlækkun var náð með ákveðnum tæknilegum ívilnunum, þar sem hraði, áreiðanleiki og endingartími drifanna minnkaði. Engu að síður hafði þróunin ekki áhrif á geymslukerfin sjálf, sem, vegna ýmissa byggingarbragða, urðu almennt bæði afkastameiri og áreiðanlegri.
En hvers vegna þurftirðu All-Flash geymslukerfi? Var ekki nóg bara að skipta út gömlum harða diskum í kerfi sem þegar er í gangi fyrir nýja SSD diska af sama formi? Þetta var nauðsynlegt til að nýta öll auðlindir nýrra SSDs á skilvirkan hátt, sem var einfaldlega ómögulegt í eldri kerfum.
Huawei, til dæmis, hefur þróað fjölda tækni til að leysa þetta vandamál, ein þeirra er , sem gerði það mögulegt að hámarka samskipti diskastýringar eins mikið og mögulegt er.
Snjöll auðkenning gerði það mögulegt að sundra gögnum í nokkra strauma og takast á við fjölda óæskilegra fyrirbæra s.s. (skrifa mögnun). Á sama tíma, ný bata reiknirit, sérstaklega , jók hraða endurbyggingarinnar og stytti tíma hennar niður í algjörlega óveruleg gildi.
Bilun, ofgnótt, sorphirðu - þessir þættir hafa heldur ekki lengur áhrif á frammistöðu geymslukerfisins þökk sé sérstakri betrumbót á stýringum.
Og blokkgagnaverslanir búa sig undir að hittast . Mundu að klassískt kerfi til að skipuleggja gagnaaðgang virkaði svona: örgjörvinn fékk aðgang að RAID stjórnandi í gegnum PCI Express strætó. Það, aftur á móti, hafði samskipti við vélræna diska í gegnum SCSI eða SAS. Notkun NVMe á bakendanum flýtti verulega fyrir öllu ferlinu, en hafði einn galli: drif þurftu að vera beintengd við örgjörvann til að veita honum beinan aðgang að minni.
Næsti áfangi tækniþróunar sem við erum að sjá núna er notkun NVMe-oF (NVMe over Fabrics). Hvað Huawei blokkartækni varðar, þá styðja þeir nú þegar FC-NVMe (NVMe over Fibre Channel) og NVMe over RoCE (RDMA over Converged Ethernet) er á leiðinni. Prófunarlíkönin eru nokkuð hagnýt, nokkrir mánuðir eru eftir af opinberri kynningu þeirra. Athugaðu að allt þetta mun einnig birtast í dreifðum kerfum, þar sem "Ethernet án taps" verður í mikilli eftirspurn.
Önnur leið til að hámarka vinnu dreifðra geymslum var algjör höfnun gagnaspeglunar. Huawei lausnir nota ekki lengur n eintök, eins og í venjulegu RAID 1, og skipta alveg yfir í vélbúnaðinn (Eyða kóðun). Sérstakur stærðfræðipakki reiknar út stýrikubba með ákveðinni tíðni, sem gerir þér kleift að endurheimta millistigsgögn ef tapast.
Tvítekningar- og þjöppunaraðferðir verða nauðsynlegar. Ef í klassískum geymslukerfum erum við takmörkuð af fjölda örgjörva sem eru settir upp í stýringar, þá í dreifðum láréttum skalanlegum geymslukerfum, inniheldur hver hnút allt sem þú þarft: diska, minni, örgjörva og samtengingu. Þessi úrræði eru nóg til að aftvíföldun og þjöppun hafi lágmarks áhrif á frammistöðu.
Og um hagræðingaraðferðir vélbúnaðar. Hér var hægt að draga úr álagi á miðlæga örgjörva með hjálp sérstakra örrása til viðbótar (eða sérstakar blokkir í örgjörvanum sjálfum), sem gegna hlutverki (TCP/IP Offload Engine) eða takast á við stærðfræðiverkefnin EC, deduplication og þjöppun.
Nýjar aðferðir við gagnageymslu eru fólgnar í sundurgreindum (dreifðum) arkitektúr. Í miðstýrðum geymslukerfum er netþjónaverksmiðja tengd í gegnum Fibre Channel við með fullt af fylkjum. Ókostir þessarar nálgunar eru erfiðleikar við stigstærð og að veita tryggt þjónustustig (hvað varðar frammistöðu eða leynd). Hyperconverged kerfi nota sömu vélar fyrir bæði geymslu og vinnslu upplýsinga. Þetta gefur nánast ótakmarkað svigrúm til stigstærðar en hefur í för með sér mikinn kostnað við að viðhalda gagnaheilleika.
Ólíkt báðum ofangreindum felur sundurliðaður arkitektúr í sér skipting kerfisins í tölvuverksmiðju og lárétt geymslukerfi. Þetta veitir kosti beggja arkitektúranna og leyfir næstum ótakmarkaða mælikvarða á aðeins þáttinn sem er ekki nóg.
Frá samþættingu til samleitni
Klassískt verkefni, sem hefur aðeins stækkað á undanförnum 15 árum, er þörfin á að veita samtímis blokkargeymslu, skráaaðgang, aðgang að hlutum, rekstur býlis fyrir stór gögn o.s.frv. Rúsínan í pylsuendanum getur einnig vera til dæmis varakerfi til segulbands.
Á fyrsta stigi var aðeins hægt að sameina stjórnun þessarar þjónustu. Misleitt gagnageymslukerfi var lokað fyrir einhverjum sérhæfðum hugbúnaði, þar sem stjórnandinn dreifði tilföngum úr tiltækum hópum. En þar sem þessar laugar voru mismunandi í vélbúnaði var ómögulegt að flytja álagið á milli þeirra. Á hærra stigi samþættingar átti sér stað samþjöppun á hliðarstigi. Ef það var sameiginlegur skráaraðgangur gæti hann verið veittur með mismunandi samskiptareglum.
Fullkomnasta samrunaaðferðin sem okkur stendur til boða felur í sér að búa til alhliða blendingskerfi. Alveg eins og okkar ætti að vera . Alhliða aðgangur notar sömu vélbúnaðarauðlindir, rökrétt skipt í mismunandi laugar, en gerir kleift að flytja álag. Allt þetta er hægt að gera með einni stjórnborði. Þannig tókst okkur að innleiða hugmyndina um "eitt gagnaver - eitt geymslukerfi."
Kostnaður við að geyma upplýsingar ræður nú mörgum byggingarfræðilegum ákvörðunum. Og þó að það sé óhætt að setja það á oddinn þá erum við að ræða "lifandi" geymslu með virkum aðgangi í dag, þannig að einnig þarf að taka tillit til frammistöðu. Annar mikilvægur eiginleiki næstu kynslóðar dreifðra kerfa er sameining. Þegar öllu er á botninn hvolft vill enginn láta stjórna nokkrum ólíkum kerfum frá mismunandi leikjatölvum. Allir þessir eiginleikar koma fram í nýju röð Huawei vara. .
Næsta kynslóð fjöldageymsla
OceanStor Pacific uppfyllir sex níu (99,9999%) áreiðanleikakröfur og hægt er að nota til að búa til HyperMetro flokks gagnaver. Með allt að 100 km fjarlægð milli tveggja gagnavera sýna kerfin viðbótartöf upp á 2 ms, sem gerir það mögulegt að smíða hvers kyns hörmungarheldar lausnir byggðar á þeim, þar með talið þær með sveitarþjónum.
Vörurnar í nýju seríunni sýna fjölhæfni hvað varðar samskiptareglur. Nú þegar styður OceanStor 100D lokunaraðgang, aðgang að hlutum og Hadoop aðgang. Skráaaðgangur verður innleiddur á næstunni. Það er engin þörf á að geyma mörg afrit af gögnunum ef hægt er að gefa þau út með mismunandi samskiptareglum.
Það virðist, hvað hefur hugtakið „taplaust net“ að gera með geymslu? Staðreyndin er sú að dreifð geymslukerfi eru byggð á grundvelli hraðvirks nets sem styður viðeigandi reiknirit og RoCE vélbúnaðinn. Gervigreindarkerfið sem er stutt af rofum okkar hjálpar til við að auka nethraða enn frekar og draga úr leynd. . Afköst geymslukerfa þegar AI Fabric er virkjað getur orðið 20%.
Hver er nýi OceanStor Pacific dreifði geymsluhnúturinn? 5U formþáttalausnin inniheldur 120 drif og getur komið í stað þriggja klassískra hnúta, meira en tvöföldun rekkarýmisins. Vegna synjunar um að geyma eintök eykst skilvirkni drif verulega (allt að + 92%).
Við erum vön því að hugbúnaðarskilgreind geymsla er sérstakur hugbúnaður uppsettur á klassískum netþjóni. En núna, til þess að ná sem bestum breytum, þarf þessi byggingarlausn einnig sérstaka hnúta. Það samanstendur af tveimur netþjónum sem byggja á ARM örgjörvum sem stjórna fjölda þriggja tommu drifa.
Þessir netþjónar henta ekki vel fyrir ofsamræmdar lausnir. Í fyrsta lagi eru fáar umsóknir fyrir ARM og í öðru lagi er erfitt að viðhalda álagsjafnvægi. Við mælum með að skipta yfir í aðskilda geymslu: tölvuþyrping, táknuð með klassískum eða rekkiþjónum, starfar sérstaklega, en er tengdur við OceanStor Pacific geymsluhnúta, sem einnig sinna beinum verkefnum sínum. Og það réttlætir sig sjálft.
Til dæmis, við skulum taka klassíska ofsamsetta stórgagnageymslulausn sem tekur 15 netþjónarekki. Ef þú dreifir álaginu milli einstakra OceanStor Pacific tölvuþjóna og geymsluhnúta, aðskilur þá frá hvor öðrum, mun fjöldi nauðsynlegra rekkja minnka um helming! Þetta lækkar kostnað við rekstur gagnaversins og lækkar heildarkostnað við eignarhald. Í heimi þar sem magn geymdra upplýsinga vex um 30% á ári, eru slíkir kostir ekki tvístraðir.
***
Fyrir frekari upplýsingar um Huawei lausnir og umsóknaraðstæður þeirra, vinsamlegast farðu á okkar eða með því að hafa beint samband við forsvarsmenn fyrirtækisins.
Heimild: www.habr.com