Täna räägime, kuidas andmeid paremini salvestada maailmas, kus viienda põlvkonna võrgud, genoomiskannerid ja droonid genereerivad päevaga rohkem andmeid, kui kogu inimkond on tootnud enne tööstusrevolutsioon.
Meie maailm genereerib üha rohkem teavet. Osad sellest on mööduvad ja kaovad sama kiiresti, kui need kogutakse. Teised peavad püsima kauem, mõned aga on mõeldud lausa «sajanditeks» — vähemalt niimoodi paistab see olevat praegusest vaatenurgast. Teabevood asetuvad andmekeskustesse nii kiiresti, et iga uus lähenemine või tehnoloogia, mis peaks rahuldama seda piiritut «nõudlust», muutub kiiresti vananenuks.
40 aastat jaotatud salvestuslahenduste arengut
Esimesed võrgu salvestuslahendused, nagu me neid täna tunneme, ilmusid 1980. aastatel. Paljud teist on kokku puutunud NFS (Network File System), AFS (Andrew File System) või Coda'ga. Aastas kümme aastat hiljem muutus mood ja tehnoloogia ning jaotatud failisüsteemid on asendunud GPFS (General Parallel File System), CFS (Clustered File Systems) ja StorNext-põhiste klasterdatud andmesalvestussüsteemidega. Põhistruktuurina kasutati klassikalise arhitektuuriga plokkhargistust, mille peal loodi tarkvarakihi abil ühtne failisüsteem. Need ja sarnased lahendused on endiselt kasutusel, täidavad oma niši ja on endiselt nõudlikud.
Uue aastatuhande alguses muutus jaotatud salvestussüsteemide paradigma veidi ning liidrirolli said SN-tüüpi (Shared-Nothing) arhitektuuriga süsteemid. Toimus üleminek klasterdatud salvestamiselt eraldi sõlmedel põhinevale salvestamisele, kusjuures nendeks olid tavaliselt traditsioonilised serverid, mis tagavad usaldusväärse andmesalvestustarkvara; sellistel põhimõtetel põhinevad näiteks HDFS (Hadoop Distributed File System) ja GFS (Global File System).
2010. aastatel hakkasid jaotatud salvestussüsteemide põhialused üha enam peegelduse leidma täiskomertslikes toodetes, nagu VMware vSAN, Dell EMC Isilon ja meie . Nende platvormide taga ei ole enam entusiastide kogukond, vaid konkreetsed tootjad, kes vastutavad toote funktsionaalsuse, toe, teeninduse ja edasise arengu eest. Sellised lahendused on nõudlikud mitmes valdkonnas.
Sideettevõtted
Üks vanimaid jaotatud salvestussüsteemide kasutajaid on sideettevõtted. Skeemilt on näha, millised rakenduste grupid genereerivad suurema osa andmeid. OSS (Operations Support Systems), MSS (Management Support Services) ja BSS (Business Support Systems) koosnevad kolmest omavahel täiendavast tarkvarakihtidest, mis on vajalikud teenuse pakkumiseks abonentidele, finantsaruandeks teenusepakkujale ja tehniliseks toetuseks operaatori inseneridele.
Tihti on nende kihtide andmed omavahel tugevalt seotud ning et vältida mittevajalike koopiate kogunemist, kasutatakse jaotatud salvestusi, mis koguvad kogu teabe mahu, mis tuleb töötavast võrgust. Salvestused koondatakse ühisesse basseinisse, millele pääsevad kõik teenused ligi.
Meie arvutused näitavad, et üleminek klassikalistelt andmesalvestussüsteemidelt plokkide süsteemidele võimaldab säästa kuni 70% eelarvest, lihtsalt loobudes eraldatud hi-end klassi süsteemidest ja kasutades tavalisi klassikalise arhitektuuriga servereid (tavaliselt x86), mis töötavad koos spetsialiseeritud tarkvaraga. Mobiilioperaatorid on selliste lahenduste soetamisega juba pikka aega tegelenud. Eelkõige on Venemaa operaatorid kasutanud selliseid tooteid Huawei'lt juba üle kuue aasta.
Jah, mõningaid ülesandeid ei saa jaotatud süsteemide abil lahendada. Näiteks, kui on kõrged nõudmised jõudlusele või ühilduvusele vanade protokollidega. Kuid vähemalt 70% andmetest, mida operaator töötleb, on täiesti võimalik paigutada jaotatud basseinidesse.
Pangandussektor
Igas pangas on mitmesuguseid IT-süsteeme alates töötlemisest kuni automatiseeritud pangasüsteemideni. See infrastruktuur töötab samuti tohutu hulga teabe kallal, kusjuures enamik ülesandeid ei vaja kõrget jõudlust ja usaldusväärsust, näiteks arendus, testimine, bürooprotsesside automatiseerimine jne. Klassikaliste andmesalvestussüsteemide kasutamine on siin võimalik, kuid iga aastaga muutub see üha vähem kasulikuks. Lisaks ei ole sel juhul andmesalvestussüsteemide ressursside paindlikkust, mille tootlikkus arvutatakse tipu koormuse põhjal.
Jaotatud andmesalvestussüsteeme kasutades saavad nende sõlmed, mis on sisult tavalised serverid, igal hetkel konverteerida näiteks serverifarmiks ja kasutada neid arvutusplatvormina.
Andmejärved
Ülaltoodud skeemil on toodud tüüpiliste teenuste tarbijate nimekiri. . Need to support large volumes of heterogeneous information. These can include e-government services (such as “Gov Services”), digitized enterprises, financial organizations, and others.
The operation of traditional storage systems is inefficient for solving such tasks, as both high-performance access to block databases and standard access to libraries of scanned documents stored as objects is required. Additionally, for instance, a web portal order system could be tied to this setup. Implementing all this on a traditional storage platform would necessitate a large set of equipment for different tasks. A single horizontal universal storage system can effectively address all these previously listed functions: it will only be necessary to create several pools within it with different storage characteristics.
Generators of new information
The amount of information stored in the world is growing by about 30% per year. This is good news for storage system providers, but what will be the main source of this data?
Kümme aastat tagasi said sotsiaalmeediasüsteemid nendest genereerijatest, mis nõudsid arvestatavat hulka uusi algoritme, riistvaralahendusi jne. Praegu eristatakse kolme peamist kasvudraiverit salvestusruumi mahus. Esimene on pilvandmetöötlus. Praegu kasutab ligikaudu 70% ettevõtetest mingil määral pilveteenuseid. Need võivad olla e-posti süsteemid, varukoopiad ja muud virtualiseeritud subjektid.
Teiseks draiveriks on viienda põlvkonna võrgud. Need toovad uusi kiirusid ja uusi andmeedastusmahtusid. Meie prognooside kohaselt toob 5G laialdane kasutuselevõtt kaasa nõudluse languse mälukaartide järele. Kui palju mäluaega telefonis ka poleks, on see ikkagi piiratud, ja 100 megabiti kanali olemasolul pole absoluutselt mingit vajadust fotosid kohapeal salvestada.
Kolmandaks rühmaks põhjustest, miks salvestussüsteemide nõudlus suureneb, on tehisintellekti kiire areng, üleminek suurte andmete analüüsile ja trend universaalse automatiseerimise suunas, kui see on võimalik.
„Uue liikluse” eripära on selles, et see on . Me peame neid andmeid säilitama, määratlemata nende formaati. See on vajalik vaid hilisemal lugemisel. Näiteks laenuhindamissüsteem vaatab teie sotsiaalmeedias postitatud fotosid, määrates, kui tihti te merel ja restoranides käite, ning uurib samal ajal teie meditsiinilisi dokumente. Need andmed on ühel poolt ulatuslikud, kuid teiselt poolt - ühtsusetud.
Struktuurimata andmete ookean
Millised probleemid kaasnevad «uute andmete» ilmumisega? Esiteks on see muidugi teabe maht ja selle säilitamise arvutatud ajad. Näiteks generaatorita autonoomne auto genereerib iga päev kuni 60 TB andmeid, mis tulevad kõikidest tema anduritest ja mehhanismidest. Uute liikumismeetodite arendamiseks on selle teabe töötlemine vajalik samal päeval, vastasel juhul hakkab see kuhjuma. Samal ajal tuleb seda säilitada väga pikka aega — kümneid aastaid. Ainult siis on tulevikus võimalik teha järeldusi suurte analüütiliste valimite põhjal.
Üks seadme geneetiliste järjestuste dekodeerimiseks toodab umbes 6 TB andmeid päevas. Ja nende abil kogutud andmed ei võimalda kustutamist, see tähendab, et hüpoteetiliselt peaksid need igaveseks säilima.
Lõpuks, ikka need viiendat põlvkonda võrgud. Lisaks edastatud teabele on see võrk endagi suur andmete generaator: tegevusprotokollid, kõne salvestused, masinatevaheliste interaktsioonide vahepealsed tulemused jne.
Kõik see nõuab uute lähenemisviiside ja andmete salvestamise ja töötlemise algoritmide väljatöötamist. Ja sellised lähenemisviisid ilmuvad.
Uue ajastu tehnoloogiad
Saab eristada kolme lahenduste rühma, mis on suunatud uutele nõudmistele andmesalvestussüsteemidele: tehisintellekti rakendamine, andmekandjate tehniline evolutsioon ja innovatsioonid süsteemi arhitektuuri valdkonnas. Alustame tehisintellektist.
Huawei uutes lahendustes kasutatakse tehisintellekti juba andmesalvestuse tasandil, mis on varustatud AI-protsessoriga. See võimaldab süsteemil iseseisvalt analüüsida oma seisundit ja ennustada rikkeid. Kui salvestusseade ühendada teenusepilvega, millel on märkimisväärsed arvutusvõimed, suudab tehisintellekt töödelda rohkem teavet ja suurendada oma hüpoteeside täpsust.
Lisaks riketele oskab selline tehisintellekt prognoosida tulevasi tippkoormusi ja aega, mis on jäänud mahutavuse lõppemiseni. See võimaldab optimeerida jõudlust ja skaleerida süsteemi juba enne soovimatute sündmuste toimumist.
Nüüd räägime andmekandjate evolutsioonist. Esimesed mälupulgad põhinesid SLC (Single-Level Cell) tehnoloogial. Neil põhinevad seadmed olid kiired, usaldusväärsed ja stabiilsed, kuid nende mahutavus oli väike ning need maksid väga palju. Mahu suurenemise ja hinna alandamise saavutamine õnnestus teatud tehniliste kompromisside kaudu, mille tõttu vähenesid andmete lugemise ja kirjutamise kiirus, usaldusväärsus ja eluiga. Siiski ei mõjutanud see trendi ise SCSI, mis mitmete arhitektuuriliste nippidega muutusid kokkuvõttes nii tootlikumaks kui ka usaldusväärsemaks.
Aga miks vajasime All-Flash klassi SCSI-d? Kas ei piisanud lihtsalt vanade HDD-de väljavahetamisest uute SSD-de vastu, mis oleksid sama vormifaktoriga? See oli vajalik, et kasutada tõhusalt ära uusi tahkisdiskide kõiki ressursse, mis vanades süsteemides polnud lihtsalt võimalik.
Näiteks on ettevõte Huawei arendanud selle ülesande lahendamiseks terve rea tehnoloogiaid, millest üks on , mis võimaldas optimeerida „ketas — kontroller“ vahekorra.
Intellektuaalne identifitseerimine on võimaldanud andmeid jagada mitmeks vooluks ning tegeleda mitmete soovimatute nähtustega, nagu (write amplification). Samuti on uued taastamisalgoritmid, eelkõige , suurendanud rekonstrueerimise kiirust, vähendades selle aja täiesti tähtsusetuks.
Rikked, ülerahvastatus ja „prügikogumine“ — need tegurid ei mõjuta enam salvestussüsteemi jõudlust tänu spetsiaalsete kontrollerite täiustamisele.
Ja veel, plokkandmehoidlad valmistuvad kohtuma . Tuletame meelde, et klassikaline andmete juurdepääsu korraldus töötas nii: protsessor pöördus RAID-kontrolleri poole PCI Express-bussi kaudu. Seejärel suhtles see mehaaniliste ketastega SCSI või SAS kaudu. NVMe rakendamine tagaplaanil kiirendas kogu protsessi, kuid see tõi endaga kaasa ühe puuduse: andmekandjad pidid olema otseselt ühendatud protsessoriga, et tagada sellele otsene juurdepääs mälule.
Järgmine tehnoloogia arengufaasi, mida praegu jälgime, on NVMe-oF (NVMe over Fabrics) kasutuselevõtt. Mis puudutab Huawei plokktehnoloogiaid, siis need toetavad juba FC-NVMe (NVMe over Fibre Channel) ja NVMe over RoCE (RDMA over Converged Ethernet) on tulekul. Katsetusmudelid on täiesti funktsionaalsed ning ametlik esitamine on vaid mõne kuu kaugusel. Tuleb märkida, et kõik see jõuab ka jaotatud süsteemidesse, kus „kaotuseta Ethernet“ on väga nõutud.
Täpse töö optimeerimise lisameetodiks jaotatud salvestustes on täielik loobumine andmete peegeldamisest. Huawei lahendustes ei kasutata enam n koopiat, nagu tavalises RAID 1, vaid tehakse täielik üleminek mehhanismile (Erasure coding). Spetsiaalne matemaatikapakett arvutab teatud ajavahemike järel kontrollplokke, mis võimaldavad taastada vahepealsed andmed nende kadumise korral.
Deduplikaatsiooni ja tihendamise mehhanismid muutuvad kohustuslikuks. Kui klassikalistes LTH-des oleme piiratud kontrollerites paigaldatud protsessorite arvuga, siis horisontaalselt skaleeritavates jaotatud salvestussüsteemides sisaldab iga sõlme kõiki vajalikke komponente: kettaid, mälu, protsessoreid ja ühendusi. Need ressursid on piisavad, et deduplikatsioon ja tihendamine avaldaksid jõudlusele minimaalset mõju.
Ja riistvara optimeerimise meetoditest. Siin suudeti kesksed protsessorid koormust vähendada lisanduvate spetsiaalsete kiipide (või protsessori enda spetsiaalsete plokkide) abil, mis mängivad rolli (TCP/IP Offload Engine) või võtavad enda peale matemaatilisi ülesandeid nagu EC, deduplikatsioon ja tihendamine.
Uued lähenemisviisid andmete salvestusele on leidnud väljenduse desagregatud (jaotatud) arhitektuuris. Kesksetes salvestusüsteemides on serverite tehas, mis on ühendatud Fibre Channeliga suure hulga massiivide olemasolu. Selle lähenemise puudusteks on raskused skaleerimisega ja teenuse garanteeritud taseme (soorituse või viivitus) tagamisega. Hübri-konvergeerivad süsteemid kasutavad samu hoste — nii andmete salvestamiseks kui ka töötlemiseks. See pakub praktiliselt piiramatu skaleerimisvõime, kuid toob endaga kaasa kõrged andmete tervikluse säilitamise kulud.
Erinevalt eelnevalt mainitud lahendustest, tähistab de-aggregustatud arhitektuur süsteemi jagamist arvutusvabriku ja horisontaalse salvestussüsteemi vahel. See pakub mõlema arhitektuuri eeliseid ja võimaldab praktiliselt piiramatu skaleerimise ainult sellele komponendile, mille jõudlus jääb puudulikuks.
Integreerimisest konvergentsini
Klassikaline ülesanne, mille olulisus on viimase 15 aasta jooksul ainult kasvanud, on vajadus samaaegselt tagada plokisüsteemi salvestamine, failipõhine ligipääs, objektidele pääsemine, suurandmete farmide töö jne. Suuruseks võib olla näiteks ka andmete varundamise süsteem magnetlintidel.
Esimeses etapis suudeti teenuste haldamine vaid ühtlustada. Erinevad andmesalvestussüsteemid olid seotud mingi spetsialiseeritud tarkvaraga, mille kaudu administraator jagas ressursse saadaval olevatest basseinidest. Kuna riistvara järgi olid need basseinid erinevad, oli koormuse migreerimine nende vahel võimatu. Kõrgema integreerimise tasemel toimus ühendamine värava tasemel. Ühise failide juurdepääsu olemasolul sai seda edastada erinevate protokollide kaudu.
Kõige täiuslikum praegu meile saadaval olev konvergentsi meetod eeldab universaalse hübriidsüsteemi loomist. Just selliseks, nagu peaks saama meie . Universaalne juurdepääs kasutab samu riistvaralisi ressursse, mis on loogiliselt jagatud erinevateks basseinideks, kuid võimaldavad koormuse migreerimist. Kõike seda saab teha läbi ühe juhtimiskonsooli. Nii suudsime ellu viia kontseptsiooni "üks andmekeskus — üks andmesalvestus".
Teabe hoidmine määrab tänapäeva arhitektuuri lahenduste paljusid aspekte. Kuigi seda saab julgelt pidada prioriteediks, arutame täna „elavat” salvestust koos aktiivse ligipääsuga, mistõttu tuleb samuti arvesse võtta jõudlust. Veel üks oluline omadus järgmise põlvkonna jaotatud süsteemides on ühtsuse loomine. Lõppude lõpuks ei soovi keegi mitmeid lahus süsteeme, mida haldatakse erinevate konsoolide kaudu. Kõik need omadused on leidnud väljenduse uues Huawei tootesarjas. .
Uue põlvkonna massiivne salvestussüsteem
OceanStor Pacific vastab kuue üheksaga (99,9999%) usaldusväärsuse nõuetele ja seda saab kasutada HyperMetro klassi andmekeskuste loomiseks. Kahe andmekeskuse vahel, mille kaugus on kuni 100 km, näitavad süsteemid täiendavat viivitust ainult 2 ms, mis võimaldab nende põhjal luua mistahes katastroofikindlaid lahendusi, sealhulgas kvorumiserverite kasutamist.
Uue seeria tooted näitavad protokollide mitmekesisust. Juba praegu toetab OceanStor 100D plokk- ja objekti juurdepääsu ning Hadoopi juurdepääsu. Varsti on oodata ka failide juurdepääsu. Ei ole vaja hoida mitmeid andmekoopiaid, kui neid saab jagada erinevate protokollide kaudu.
Kuidas on seotud kontseptsioon „kaotusteta võrk” andmesalvestussüsteemidega? Asi on selles, et jaotatud andmesalvestussüsteemid põhinevad kiirel võrgul, mis toetab vastavaid algoritme ja RoCE mehhanismi. Meie lülitite toetatav tehisintellekti süsteem aitab lisaks suurendada võrgu kiirus ja vähendada viivitusi. . Andmesalvestussüsteemi jõudluse kasvu AI Fabrici aktiveerimisel võib ulatuda 20%-ni.
Mis on uus jaotatud OceanStor Pacific andmesalvestussüsteemi sõlm? 5U formaate lahendus sisaldab 120 ketast ja võib asendada kolm klassikalist sõlme, pakkudes rohkem kui kahekordset salvestusruumi kokkuhoidu. Andmekoopiaid kõrvale jättes suureneb ketaste efektiivsus tunduvalt (kuni +92%).
Oleme harjunud, et tarkvara määratletud andmehoidlad on spetsiaalne tarkvara, mis paigaldatakse klassikalisele serverile. Kuid nüüd, et saavutada optimaalsed parameetrid, vajab see arhitektuuriline lahendus ka spetsiaalseid sõlmi. Sellesse kuuluvad kaks ARM-protsessoritel põhinevat serverit, mis haldavad kolme tolli kõvaketaste kasutada.
Need serverid on hüperkonvergentssetele lahendustele vähe sobivad. Esiteks on ARM-i rakendusi üsna vähe ja teiseks on koormuse tasakaalu säilitamine keeruline. Pakume üleminekut eraldi salvestamisele: arvutusklaster, mis koosneb klassikalistest või rack-serveritest, toimib eraldi, kuid on ühendatud OceanStor Pacific salvestuspunktidega, mis täidavad samuti oma täiendavaid ülesandeid. Ja see õigustab end.
Võtame näiteks klassikalise lahenduse suurte andmete salvestamiseks hüperkonvergeeritud süsteemis, mis hõlmab 15 serveri riiulit. Kui jaotada koormus eraldi arvutusserverite ja OceanStor Pacifici mahuühikute vahel, eraldades need üksteisest, väheneb vajalike riiulite arv kolm korda! See vähendab andmekeskuse kasutuskulusid ja alandab kogumaksumust. Maailmas, kus salvestatud teabe maht kasvab 30% aastas, ei tasu selliseid eeliseid unarusse jätta.
***
Lisainfot Huawei lahenduste ja nende kasutusstsenaariumide kohta leiate meie või pöördudes otse ettevõtte esindajate poole.
Allikas: habr.com
