Industry trends in mass data storage systems

Täna arutame, kuidas andmeid paremini säilitada maailmas, kus 5G võrgud, geneetilised skannerid ja droonid genereerivad päevas rohkem andmeid, kui kogu inimkond tootis tööstusrevolutsiooni eel.

Meie maailm genereerib järjest rohkem teavet. Osa sellest on mööduv ja kaob sama kiiresti, kui see kogutakse. Teine osa peab säilima kauem, ja kolmas on mõeldud „sajanditeks” — vähemalt näeme me seda praeguses ajas. Teabevood sadestuvad andmekeskustesse nii kiiresti, et iga uus lähenemine, iga tehnoloogia, mis on mõeldud selle lõpmatu „nõudluse” rahuldamiseks, vananeb kiiresti.

40 aastat jaotatud mälutootete arendust

Esimesed võrgu salvestussüsteemid kujunesid meil tuttaval kujul 1980ndatel. Paljud teist on kokku puutunud NFS (Network File System), AFS (Andrew File System) või Codaga. Aasta kümne möödudes muutus mood ja tehnoloogia ning jaotatud failisüsteemid jätsid tee koondatud salvestussüsteemidele, mis põhinevad GPFS-il (General Parallel File System), CFS-il (Clustered File Systems) ja StorNext-il. Alusena kasutati klassikalise arhitektuuri plokkmälusid, mille peal loodi tarkvarakihi abil ühtne failisüsteem. Need ja sarnased lahendused on endiselt kasutusel, täidavad oma nišši ja on endiselt nõutud.

Uue aastatuhande alguses muutus jaotatud salvestustehnoloogia paradigma mõnevõrra ja juhtpositsioonile said SN (Shared-Nothing) arhitektuuriga süsteemid. Toimus üleminek klastrisse salvestamiselt eraldi sõlmedesse, milleks olid reeglina klassikalised serverid vastava usaldusväärse salvestustarkvaraga; sellistele põhimõtetele tuginevad näiteks HDFS (Hadoop Distributed File System) ja GFS (Global File System).

2010ndate lähenedes said jaotatud salvestussüsteemide aluseks olevad kontseptsioonid järjest sagedamini kajastust täisväärtuslikes kaubanduslikes toodetes, nagu VMware vSAN, Dell EMC Isilon ja meie Huawei OceanStor. Nende platvormide taga ei seisa enam entusiastide kogukond, vaid konkreetsed tootjad, kes vastutavad toote funktsionaalsuse, toe, teeninduse ja selle edasise arengu eest. Sellised lahendused on kõige nõutavamad mitmes valdkonnas.

Sideoperatsioonid

Tõenäoliselt on üks vanimaid hajutatud andmesalvestussüsteemide kasutajaid sideoperaatorid. Skeemil on näha, millised rakenduste grupid genereerivad peamise andmehulga. OSS (Operations Support Systems), MSS (Management Support Services) ja BSS (Business Support Systems) on kolm üksteist täiendavat tarkvarakihti, mis on vajalikud teenusepakkujate teenuste, rahandusliku aruandluse ja operaatori inseneride toe tagamiseks.

Tihti on nende kihtide andmed omavahel tugevalt segatud ning et vältida tarbetute koopiate kogunemist, kasutatakse hajutatud salvestusi, mis koguvad kogu teabe, mis tuleb töötavast võrgust. Salvestused liidetakse ühisesse puusse, millele pääsevad ligi kõik teenused.

Meie arvutused näitavad, et üleminek klassikalistest ASM-dest plokkide põhistele võib säästa kuni 70% eelarvest, loobudes ainult hi-end klassi pühendatud ASM-dest ja kasutades tavalisi servereid klassikalise arhitektuuriga (tavaliselt x86), mis töötavad koos spetsialiseeritud tarkvaraga. Mobiilioperaatorid on juba pikka aega hakanud sarnaseid lahendusi tõsiselt soetama. Eriti on Venemaa operaatorid kasutanud selliseid tooteid Huawei'lt üle kuue aasta.

Jah, teatud ülesannete täitmine hajutatud süsteemide abil ei õnnestu. Näiteks kõrgete jõudluse nõudmiste või vanade protokollidega ühilduvuse korral. Kuid mitte vähem kui 70% andmetest, mida operaator töödelda, saab täiesti paigutada hajutatud puusse.

Pankade sektor

Igas pangas eksisteerib palju erinevaid IT-süsteeme, alates protsessimisest kuni automatiseeritud pangasüsteemideni. See infrastruktuur töötab samuti tohutu andmemahu kallal, samas ei vaja suurem osa ülesannetest kõrget jõudlust ja salvestussüsteemide usaldusväärsust, nagu näiteks arendus, testimine, kontoriprotsesside automatiseerimine jne. Klassikaliste ASM-de kasutamine on siin võimalik, kuid iga aastaga muutub see üha vähem kasulikuks. Samuti pole sellisel juhul paindlikkust ASM ressursside kasutamisel, mille jõudlus arvutatakse tippkoormuse põhjal.

Jagatud andmete salvestussüsteemide kasutamisel võivad nende sõlmed, mis tegelikult on tavapärased serverid, igal ajal konverteerida näiteks serverite farmiks ja kasutada arvutusplatvormina.

Andmejärved

Ülaltoodud skeemil on loetletud tüüpilised teenuste kasutajad. andmejärv. Nendeks võivad olla digiteerimise mõjule allutatud e-riigi teenused (näiteks „Eesti.ee“), finantsstruktuurid ja teised. Kõik nad vajavad suure hulga mitmekesiste andmete haldamist.

Klassikaliste salvestussüsteemide kasutamine nende probleemide lahendamiseks on ebatõhus, kuna on vajalik nii suure jõudlusega juurdepääs plokkandmebaasidele kui ka tavapärane juurdepääs skaneeritud dokumentide kogudele, mis on salvestatud objektidena. Siia võib näiteks kuuluda ka veebiportaali kaudu tellimuste süsteem. Kõik see realiseerimiseks klassikalise salvestussüsteemi platvormil on vaja suurt seadmete komplekti eri ülesannetele. Üks horisontaalne universaalne salvestussüsteem võib vabalt katta kõik eelnevalt loetletud ülesanded: on vaja vaid luua mitmed erinevate salvestusomadustega puulid.

Uue teabe generaatorid

Maailmas salvestatud teabe hulk kasvab umbes 30% aastas. See on suurepärane uudis salvestussüsteemide pakkujatele, kuid mis on ja jääb nende andmete peamiseks allikaks?

Kümme aastat tagasi hakkasid sellised generaatorid olema sotsiaalmeedia platvormid, mis nõudis uute algoritmide, riistvaralahenduste loomist jne. Praegu on välja eristatud kolm peamist andmete salvestamise mahu kasvugeneraatorit. Esimene on pilvandmetöötlus. Praeguseks kasutab umbes 70% ettevõtetest enam-vähem pilveteenuseid. Nendeks võivad olla e-posti süsteemid, varukoopiad ja muud virtuaalsed üksused.
Teiseks generaatoriks on viienda põlvkonna võrgud. Need toovad uusi kiirus ja uued andmeedastusmahud. Meie prognooside kohaselt viib 5G laialdane kasutuselevõtt mälukaartide nõudluse vähenemiseni. Kui palju mälu iganes telefonil on, lõpeb see siiski. Kui seadmel on 100-megabitine kanal, pole mälestuste kohaliku salvestamise vajadust.

Kolmanda rühma põhjused, miks salvestussüsteemide nõudlus kasvab, on kunstliku intellekti kiire areng, üleminek suurandmete analüüsile ja trend kõike võimaliku täielikku automatiseerimist.

Uue liikluse eripära on selle struktureerimatuse. Me peame neid andmeid salvestama, määratlemata kuidagi nende vormi. Vorm on vajalik ainult hilisemaks lugemiseks. Näiteks pangasüsteem, mis hindab laenu suurust, vaatab läbi teie sotsiaalmeedias postitatud fotod, et määrata, kui sageli te meres või restoranides viibite, ja samal ajal uurib pääsu teie meditsiinidokumentidele. Need andmed on ühelt poolt kõikehõlmavad, aga teiselt poolt — homogeenilised.

Ookean struktureerimata andmeid

Millised probleemid kaasnevad «uute andmete» ilmumisega? Esimene neist on loomulikult teabe maht ja arvutatud säilitamistähtajad. Üksainus kaasaegne isesõitev auto genereerib iga päev kuni 60 TB andmeid, mis tulevad kõigist selle sensoritest ja mehhanismidest. Uute liikumisaluste arendamiseks tuleb seda teavet töödelda samal päeval, muidu hakkab see kogunema. Samuti peab see säilima väga kaua — kümneid aastaid. Ainult siis on tulevikus võimalik teha järeldusi suurte analüütiliste valimite põhjal.

Üks seade geneetiliste järjestuste dekodeerimiseks toodab umbes 6 TB päevas. Ja selle abil kogutud andmed ei eelda üldse kustutamist, st hüpoteetiliselt peaksid nad igavesti säilima.

Lõpuks, kõik samad viienda põlvkonna võrgud. Peale edastatava teabe on see võrk ise tohutu andmegeneraator: tegevuslogid, kõneprotokollid, vahepealsed tulemused masinatevahelistes interaktsioonides jne.

Kõik see nõuab uusi lähenemisviise ja algoritme teabe säilitamiseks ja töötlemiseks. Ja sellised lähenemised on juba tekkinud.

Uue ajastu tehnoloogiad

Saame välja tuua kolm gruppi lahendusi, mis on loodud, et toime tulla uute nõudmistega salvestussüsteemidele: tehisintellekti rakendamine, andmekandjate tehniline evolutsioon ja süsteemiarhitektuuri innovatsioonid. Alustame tehisintellektist.

Huawei uutes lahendustes kasutatakse tehisintellekti juba andmesalvestuse tasandil, mis on varustatud AI-protsessoriga, mis võimaldab süsteemil iseseisvalt analüüsida oma olekut ja ennustada rikkeid. Kui andmesalvestussüsteem ühendada teenusepilvega, millel on märkimisväärsed arvutusvõimed, suudab tehisintellekt töödelda rohkem teavet ja parandada oma hüpoteeside täpsust.

Lisaks riketele oskab see tehisintellekt ennustada tulevast tippkoormust ja aega, mis on jäänud mahtuvuse ammendamiseks. See võimaldab optimeerida jõudlust ja skaleerida süsteemi juba enne, kui mingeid soovimatuid sündmusi juhtub.

Nüüd andmesalvestusseadmestiku evolutsioonist. Esimesed mälupulgad olid valmistatud SLC (Single-Level Cell) tehnoloogia alusel. Sellel põhinevad seadmed olid kiiremad, usaldusväärsemad, stabiilsemad, kuid neil oli väike maht ja need maksid väga palju. Mahtu suurendama ja hindade langetama suudeti jõuda teatud tehniliste kompromisside kaudu, mis vähendasid andmesalvestusseadmete kiirus, usaldusväärsus ja eluiga. Sellegipoolest ei mõjutanud trend andmesalvestussüsteemide tööd, mis erinevate arhitektuuriliste lahenduste tõttu muutusid üldiselt nii produktiivsemaks kui ka usaldusväärsemaks.

Kuid miks on vajalik All-Flash andmesalvestussüsteem? Kas ei piisanud lihtsalt vanade HDD-de asendamisest uute SSD-dega sama kujundiga juba töötavas süsteemis? See oli vajalik, et tõhusalt kasutada kõiki uusi tahkete mäluseadmete ressursse, mis vanades süsteemides oli lihtsalt võimatu.

Näiteks on Huawei välja arendanud mitmeid tehnoloogiaid, millest üks on FlashLink, mis võimaldab maksimaalselt optimeerida 'ketas - kontroller' vahekorra.

Intelligentne identifitseerimine võimaldas andmeid jagada mitme voolu vahel ja tegeleda ridade soovimatute nähtustega, nagu WA (write amplification). Samuti on uued taastamisalgsed, eriti RAID 2.0+, suurendanud rebuildu kiirus, vähendades selle aega täiesti tähelepandamatuks.

Rike, üleküllus, 'prügikogumine' — need tegurid ei mõjuta enam andmesalvestussüsteemi jõudlust tänu spetsiaalsetele kontrollerite täiendustele.

Ja veel andmeblokide salvestusüksused on valmistumas vastuvõtmiseks NVMe. Kuidas on klassikaline andmete juurdepääsustruktuur töötanud: protsessor pöördus RAID-kontrolleri poole PCI Expressi kaudu. See omakorda suhtles mehaaniliste ketastega SCSI või SAS kaudu. NVMe rakendamine tagasisuunas on oluliselt kiirendanud kogu protsessi, kuid see kohalduv vajak oli: salvestusseadmed pidid olema otse ühendatud protsessoriga, et tagada sellele otsene juurdepääs mälule.

Tehnoloogia järgmine arengufaasis, mida me praegu jälgime, on become NVMe-oF (NVMe over Fabrics) rakendamine. Huawei andmemassiivide osas toetavad nad juba FC-NVMe (NVMe over Fibre Channel) ja NVMe over RoCE (RDMA üle Converged Ethernet) on teel. Testimisalgatused on jätkuvalt funktsionaalsed ning ametliku esitluse aega on veel vaid mõned kuud. Tähelepanu tasu on, et kõik see ilmub ka jaotatud süsteemides, kus 'kaotusteta Ethernet' on väga nõutud.

Veel üks viis jaotatud salvestussete toimimise optimeerimiseks on täielik loobumine andmete peegeldamisest. Huawei lahendused enam ei kasuta n koopiat, nagu harilikult on RAID 1, ja lähevad täielikult üle mehhanismile EC (Erasure coding). Spetsiaalne matemaatika paketiga arvutab teatud ajavahemike järel kontrolltükid, mis võimaldavad kadunud vaheandmete taastumist.

Dedupikatsiooni ja tihendamise mehhanismid muutuvad kohustuslikuks. Kui klassikalisetes salvestustehnoloogiates oleme piiratud kontrollerite protsessorite arvuga, siis jaotatud horisontaalselt skaleeritavates salvestussüsteemides sisaldab iga sõlm kõike vajalikku: kettaid, mälu, protsessoreid ja sisend-väljundühendust. Need ressursid on piisavad, et dedupikatsioon ja kompressioon avaldaksid toimivusele minimaalset mõju.

Ja riistvaralahendustest optimeerimise osas. Siin õnnestus vähendada koormust keskprotsessoritele, kasutades täiendavaid eraldatud kiipe (või eraldatud plokke protsessori enda sees), mis mängivad rolli TOE (TCP/IP Offload Engine) või võtavad enda peale matemaatilised ülesanded EC, dedupikatsiooni ja kompressiooni.

Uued lähenemisviisid andmete salvestamisele on leidnud väljenduse de-aggregiseeritud (jaotatud) arhitektuuris. Tsentraliseeritud salvestussüsteemides on serverite tehas, mis on Fibre Channeli kaudu ühendatud SAN suure hulga massiividega. Selle lähenemise puudusteks on skaleeritavuse ja garanteeritud teenuse taseme (kasuteguri või latentsuse) tagamise raskused. Hüpere-konverteeritud süsteemid kasutavad samu hoste - nii salvestamiseks kui teabe töötlemiseks. See annab praktiliselt piiramatu skaleeritavuse, kuid toob kaasa kõrged kulud andmete terviklikkuse säilitamiseks.

Erinevalt kahest eelmisest, de-aggregiseeritud arhitektuur eeldab süsteemi jagamist arvutusettevõtte ja horisontaalse salvestussüsteemi vahel. See pakub mõlema arhitektuuri eeliseid ja võimaldab praktiliselt piiramatu skaleerimise ainult sellele elemendile, mille jõudlust on puudu.

Integreerimisest konvergentsini

Klassikaline probleem, mille aktuaalsus on viimased 15 aastat ainult suurenenud, on vajadus samaaegselt tagada plokkide salvestamine, failide juurdepääs, objektide juurdepääs, suurte andmete farmi töö jne. Küpsiste peal on näiteks süsteem, mis varundab andmeid magnetlintidele.

Alguses suudeti unifitseerida ainult nende teenuste haldamine. Erinevad andmesalvestussüsteemid olid seotud mingi spetsialiseeritud tarkvaraga, mille kaudu administraator jagas ressursse olemasolevatest basseinidest. Kuid kuna need basseinid olid riistvara poolest erinevad, oli koormuse migratsioon nende vahel võimatu. Kõrgema integreeritud taseme korral toimus ühinemine värava tasandil. Ühise failide juurdepääsu olemasolul võis seda edastada erinevate protokollide kaudu.

Tänapäeval kätte saadud kõige arenenum konvergentsimeetod eeldab universaalse hübriidsüsteemi loomist. Just selliseks peab meie OceanStor 100D. Universaalne juurdepääs kasutab samu riistvararisursse, mis on loogiliselt jagatud erinevateks basseinideks, kuid võimaldavad koormuse migratsiooni. Kõike seda saab teha ühe halduskonsoli kaudu. Nii oleme suutnud rakendada kontseptsiooni "üks andmekeskus — üks salvestusseade".

Teave säilitamise maksumus määrab praegu paljusid arhitektuurilisi lahendusi. Ja kuigi selle võib julgelt seada esikohale, arutame täna "elavat" salvestamist aktiivse juurdepääsuga, seega tuleb arvestada ka sooritusega. Teise olulise omadusena järgmise põlvkonna hajutatud süsteemide seas on ühtsus. Lõppude lõpuks ei soovi keegi mitmeid killustatud süsteeme, mida hallatakse erinevatest konsoolidest. Kõik need omadused on leidnud väljundi uues Huawei tootesarjas. OceanStor Pacific.

Uue põlvkonna massiline salvestusseade

OceanStor Pacific vastab usaldusväärsuse nõuetele tasemel "kuus üheksat" (99,9999%) ja seda saab kasutada HyperMetro klassi andmekeskuste loomisel. Kahe andmekeskuse vahemaa võib olla kuni 100 km, kus süsteemid näitavad lisaviivitust tasemel 2 ms, mis võimaldab nende põhjal luua igasuguseid katastroofikindlaid lahendusi, sealhulgas ka kvoorumiserverite kasutamine.

Uue seeria tooted demonstreerivad protokollide osas universaalsust. Juba nüüd toetab OceanStor 100D blokkide, objektide ja Hadoopi juurdepääsu. Tulevikus rakendatakse ka failide juurdepääs. Pole vaja säilitada mitmeid andmekopeerimisi, kui neid saab jagada erinevate protokollide kaudu.

Kuidas on kontseptsioon "kaotusteta võrk" seotud salvestusseadmega? Tegelikult põhinevad hajutatud andmesalvestussüsteemid kiirel võrgul, mis toetab vastavaid algoritme ja RoCE mehhanisme. Lisaks suurendab võrgukiirust ja vähendab viivitusi meie lülitites toetatav tehisintellekti süsteem. AI Fabric. Andmesalvestuse sooritusvõime kasvu AI Fabric'i aktiveerimisel võib ulatuda 20%-ni.

Mis representseerib uut OceanStor Pacific hajutatud salvestusseadmest? 5U formaadi lahendus sisaldab 120 mäluseadet ja võib asendada kolm klassikalist üksust, pakkudes over kahekorralise ruumi kokkuhoiu. Ahnava mälukoopiate säilitamisest tulenev, suureneb mäluseadmete efektiivsus oluliselt (+92%).

Me oleme harjunud, et tarkvaraliselt määratletud andmesalvestus (СХД) on spetsiaalne tarkvara, mis on installitud klassikalisele serverile. Kuid nüüd, et saavutada optimaalsed parameetrid, vajab see arhitektuuriline lahendus ka spetsiaalseid sõlmi. Selle koostises on kaks ARM-protsessoritel põhinevat serverit, mis haldavad kolme tolli salvestusseadmete massiivi.

Need serverid sobivad vähe hüperkonvergeeritud lahendustele. Esiteks, ARM-i jaoks on rakendusi üsna vähe ja teiseks on koormuse tasakaalu säilitamine keeruline. Pakume üleminekut eraldi salvestusele: arvutuskluster, mis koosneb klassikalistest või rack-serveritest, toimib eraldi, kuid on ühendatud OceanStor Pacific salvestussõlmedega, mis täidavad samuti oma otseseid ülesandeid. Ja see õigustab end.

Näiteks võtame klassikalise lahenduse suurte andmete hoidmiseks hüperkonvergeeritud süsteemiga, mis hõivab 15 serveri riiulit. Kui jagada koormus eraldi arvutusserverite ja OceanStor Pacific СХД sõlmede vahel, eraldades need üksteisest, väheneb vajalike riiulite arv kaks korda! See vähendab andmekeskuse tegevuskulusid ja vähendab kogumiskulusid. Maailmas, kus salvestatava teabe maht kasvab 30% aastas, ei tohi selliste eelistustega pillata.

***

Rohkem teavet Huawei lahenduste ja nende kasutusstsenaariumite kohta leiate meie veebisaidil või pöördudes otse ettevõtte esindajate poole.

Allikas: habr.com