Šiandien kalbėsime apie tai, kaip geriausiai saugoti duomenis pasaulyje, kuriame penktosios kartos tinklai, genomo skaitytuvai ir savarankiškai važiuojantys automobiliai per dieną sukuria daugiau duomenų nei visa žmonija sukūrė prieš pramonės revoliuciją.
Mūsų pasaulis generuoja vis daugiau informacijos. Kai kuri jo dalis yra trumpalaikė ir prarandama taip pat greitai, kaip surenkama. Kitas turėtų būti laikomas ilgiau, o kitas netgi sukurtas „šimtmečius“ - bent jau taip matome iš dabarties. Informacijos srautai duomenų centruose nusėda tokiu greičiu, kad bet koks naujas požiūris, bet kokia technologija, skirta patenkinti šį begalinį „paklausą“, greitai pasensta.
40 paskirstytų saugojimo sistemų kūrimo metų
Pirmoji tinklo saugykla mums pažįstama forma pasirodė devintajame dešimtmetyje. Daugelis iš jūsų susidūrė su NFS (tinklo failų sistema), AFS (Andrew failų sistema) arba „Coda“. Praėjus dešimtmečiui, mada ir technologijos pasikeitė, o paskirstytos failų sistemos užleido vietą grupinėms saugojimo sistemoms, pagrįstoms GPFS (bendra lygiagrečia failų sistema), CFS (grupuotų failų sistemomis) ir StorNext. Kaip pagrindas buvo naudojama klasikinės architektūros blokinė saugykla, ant kurios buvo sukurta viena failų sistema naudojant programinės įrangos sluoksnį. Šie ir panašūs sprendimai vis dar naudojami, užima savo nišą ir yra gana paklausūs.
Tūkstantmečių sandūroje paskirstytos saugyklos paradigma šiek tiek pasikeitė ir pirmaujančias pozicijas užėmė sistemos su SN (Shared-Nothing) architektūra. Vyko perėjimas nuo klasterio saugyklos prie saugyklos atskiruose mazguose, kurie, kaip taisyklė, buvo klasikiniai serveriai su programine įranga, užtikrinančia patikimą saugyklą; Tokiais principais, tarkime, yra sukurta HDFS (Hadoop Distributed File System) ir GFS (Global File System).
Artėjant 2010-iesiems, paskirstytų saugojimo sistemų koncepcijos vis labiau atsispindėjo visaverčiuose komerciniuose produktuose, pvz., VMware vSAN, Dell EMC Isilon ir mūsų . Už minėtų platformų slypi nebe entuziastų bendruomenė, o konkretūs pardavėjai, atsakingi už produkto funkcionalumą, palaikymą, aptarnavimą ir garantuojantys tolesnę jo plėtrą. Tokie sprendimai yra paklausiausi keliose srityse.
Telekomunikacijų operatoriai
Bene vieni seniausių paskirstytų saugojimo sistemų vartotojų yra telekomunikacijų operatoriai. Diagramoje parodyta, kurios programų grupės sukuria didžiąją duomenų dalį. OSS (operacijų palaikymo sistemos), MSS (vadybos palaikymo paslaugos) ir BSS (verslo palaikymo sistemos) yra trys papildomi programinės įrangos lygmenys, reikalingi norint teikti paslaugas abonentams, teikti finansines ataskaitas teikėjui ir operacinę pagalbą operatorių inžinieriams.
Dažnai šių sluoksnių duomenys yra stipriai maišomi tarpusavyje, o siekiant išvengti nereikalingų kopijų kaupimosi, naudojama paskirstyta saugykla, kuri kaupia visą informacijos kiekį, ateinantį iš veikiančio tinklo. Saugyklos sujungtos į bendrą baseiną, į kurį patenka visos tarnybos.
Mūsų skaičiavimai rodo, kad perėjimas nuo klasikinių saugojimo sistemų prie blokuotų saugojimo sistemų leidžia sutaupyti iki 70% biudžeto tik atsisakius specialių aukštųjų laikmenų sistemų ir naudojant įprastus klasikinės architektūros serverius (dažniausiai x86), dirbant kartu su specializuotais programinė įranga. Korinio ryšio operatoriai jau seniai pradėjo pirkti tokius sprendimus dideliais kiekiais. Visų pirma, Rusijos operatoriai tokius „Huawei“ gaminius naudoja daugiau nei šešerius metus.
Taip, kai kurių užduočių negalima atlikti naudojant paskirstytas sistemas. Pavyzdžiui, dėl didesnių našumo reikalavimų arba suderinamumo su senesniais protokolais. Tačiau bent 70% operatoriaus apdorojamų duomenų gali būti paskirstytame telkinyje.
Bankininkystės sektorius
Bet kuriame banke yra daugybė skirtingų IT sistemų, pradedant apdorojimu ir baigiant automatizuota bankine sistema. Ši infrastruktūra taip pat dirba su didžiuliu informacijos kiekiu, o dauguma užduočių nereikalauja didesnio saugojimo sistemų našumo ir patikimumo, pavyzdžiui, kūrimas, testavimas, biuro procesų automatizavimas ir kt. Čia galima naudoti klasikines saugojimo sistemas, bet kasmet vis mažiau pelninga. Be to, šiuo atveju nėra lankstumo naudojant saugojimo sistemos išteklius, kurių našumas skaičiuojamas pagal didžiausią apkrovą.
Naudojant paskirstytas saugojimo sistemas, jų mazgai, kurie iš tikrųjų yra įprasti serveriai, gali būti bet kada konvertuojami, pavyzdžiui, į serverių fermą ir naudojami kaip skaičiavimo platforma.
Duomenų ežerai
Aukščiau pateiktoje diagramoje parodytas tipiškų paslaugų vartotojų sąrašas . Tai gali būti elektroninės valdžios paslaugos (pavyzdžiui, „Vyriausybės paslaugos“), skaitmenizuotos įmonės, finansų įstaigos ir kt. Visoms joms reikia dirbti su dideliais nevienalytės informacijos kiekiais.
Klasikinių saugojimo sistemų naudojimas sprendžiant tokias problemas yra neveiksmingas, nes tam reikia tiek didelio našumo prieigos prie blokinių duomenų bazių, tiek reguliarios prieigos prie nuskaitytų dokumentų, saugomų kaip objektai, bibliotekų. Pavyzdžiui, čia taip pat galima susieti užsakymo sistemą per interneto portalą. Norėdami visa tai įgyvendinti klasikinėje saugojimo platformoje, jums reikės didelio įrangos rinkinio įvairioms užduotims atlikti. Viena horizontali universali saugojimo sistema gali puikiai atlikti visas anksčiau išvardytas užduotis: tereikia joje sukurti kelis baseinus su skirtingomis saugojimo charakteristikomis.
Naujos informacijos generatoriai
Saugomos informacijos kiekis pasaulyje kasmet auga apie 30 proc. Tai gera žinia saugyklų pardavėjams, tačiau kas yra ir bus pagrindinis šių duomenų šaltinis?
Prieš dešimt metų tokiais generatoriais tapo socialiniai tinklai, tam reikėjo sukurti daugybę naujų algoritmų, aparatinės įrangos sprendimų ir pan. Dabar yra trys pagrindiniai saugojimo apimčių augimo veiksniai. Pirmasis yra debesų kompiuterija. Šiuo metu debesijos paslaugomis vienaip ar kitaip naudojasi maždaug 70% įmonių. Tai gali būti elektroninio pašto sistemos, atsarginės kopijos ir kiti virtualizuoti objektai.
Antroji tvarkyklė yra penktos kartos tinklai. Tai nauji greičiai ir nauji duomenų perdavimo kiekiai. Remiantis mūsų prognozėmis, plačiai paplitęs 5G ryšys sumažės „flash“ atminties kortelių paklausa. Kad ir kiek telefone būtų atminties, ji vis tiek išsenka, o jei programėlė turi 100 megabitų kanalą, nuotraukų saugoti vietoje nereikia.
Trečioji grupė priežasčių, kodėl auga saugojimo sistemų paklausa, apima sparčią dirbtinio intelekto plėtrą, perėjimą prie didžiųjų duomenų analizės ir tendenciją visuotinai automatizuoti viską, kas įmanoma.
„Naujo srauto“ bruožas yra jo . Turime saugoti šiuos duomenis niekaip neapibrėždami jų formato. Jis reikalingas tik vėlesniam skaitymui. Pavyzdžiui, norėdama nustatyti turimą paskolos sumą, banko balų sistema peržiūrės nuotraukas, kurias skelbiate socialiniuose tinkluose, nustatys, ar dažnai lankotės prie jūros ir restoranuose, ir tuo pačiu metu išstudijuos turimus medicininių dokumentų išrašus. prie jo. Šie duomenys, viena vertus, yra išsamūs, tačiau, kita vertus, nėra vienarūšiai.
Nestruktūruotų duomenų vandenynas
Kokių problemų sukelia „naujų duomenų“ atsiradimas? Pirmasis iš jų, žinoma, yra didžiulis informacijos kiekis ir numatomas jos saugojimo laikotarpis. Vien modernus be vairuotojo autonominis automobilis kasdien sugeneruoja iki 60 terabaitų duomenų iš visų savo jutiklių ir mechanizmų. Norint sukurti naujus judėjimo algoritmus, ši informacija turi būti apdorota per tą pačią dieną, kitaip ji pradės kauptis. Tuo pačiu metu jis turi būti laikomas labai ilgai - dešimtmečius. Tik tada ateityje bus galima daryti išvadas remiantis didelėmis analitinėmis imtimis.
Vienas genetinių sekų iššifravimo įrenginys per dieną pagamina apie 6 TB. Ir su jo pagalba surinkti duomenys visai nereiškia, kad jie bus ištrinti, tai yra, hipotetiškai, jie turėtų būti saugomi amžinai.
Galiausiai tie patys penktos kartos tinklai. Be tikrosios perduodamos informacijos, toks tinklas pats yra didžiulis duomenų generatorius: veiklos žurnalai, skambučių įrašai, tarpiniai mašinų sąveikos rezultatai ir kt.
Visa tai reikalauja sukurti naujus informacijos saugojimo ir apdorojimo metodus ir algoritmus. Ir tokių požiūrių atsiranda.
Naujos eros technologijos
Yra trys sprendimų grupės, skirtos naujiems informacijos saugojimo sistemoms keliamiems reikalavimams susidoroti: dirbtinio intelekto įdiegimas, saugojimo laikmenų techninė evoliucija ir naujovės sistemų architektūros srityje. Pradėkime nuo AI.
Naujuose „Huawei“ sprendimuose dirbtinis intelektas naudojamas pačios saugyklos lygyje, kurioje yra AI procesorius, leidžiantis sistemai savarankiškai analizuoti jos būklę ir numatyti gedimus. Jei saugojimo sistema bus prijungta prie paslaugų debesies, turinčio reikšmingas skaičiavimo galimybes, dirbtinis intelektas galės apdoroti daugiau informacijos ir padidinti savo hipotezių tikslumą.
Be gedimų, toks AI gali numatyti būsimą didžiausią apkrovą ir laiką, likusį iki pajėgumų išnaudojimo. Tai leidžia optimizuoti našumą ir padidinti sistemos mastelį prieš įvykstant bet kokiems nepageidaujamiems įvykiams.
Dabar apie laikmenų raidą. Pirmieji „flash drives“ buvo pagaminti naudojant SLC (vieno lygio ląstelių) technologiją. Jo pagrindu sukurti įrenginiai buvo greiti, patikimi, stabilūs, tačiau mažos talpos ir labai brangūs. Apimčių augimas ir kainų mažinimas buvo pasiektas tam tikromis techninėmis nuolaidomis, dėl kurių sumažėjo pavarų greitis, patikimumas ir tarnavimo laikas. Nepaisant to, tendencija neturėjo įtakos pačioms saugojimo sistemoms, kurios dėl įvairių architektūrinių gudrybių apskritai tapo ir produktyvesnės, ir patikimesnės.
Bet kodėl jums prireikė „All-Flash“ saugojimo sistemų? Ar neužteko paprasčiausiai pakeisti senus HDD jau veikiančioje sistemoje naujais tos pačios formos SSD? To reikėjo norint efektyviai panaudoti visus naujųjų kietojo kūno diskų išteklius, o tai buvo tiesiog neįmanoma senesnėse sistemose.
Pavyzdžiui, „Huawei“ šiai problemai išspręsti sukūrė daugybę technologijų, iš kurių viena yra , kuri leido kiek įmanoma optimizuoti „disko valdiklio“ sąveiką.
Sumanus identifikavimas leido suskaidyti duomenis į kelis srautus ir susidoroti su daugybe nepageidaujamų reiškinių, pvz. (rašymo stiprinimas). Tuo pačiu metu, ypač nauji atkūrimo algoritmai , padidino atstatymo greitį, sumažindamas jo laiką iki visiškai nereikšmingų sumų.
Gedimas, perpildymas, šiukšlių išvežimas – šie veiksniai taip pat nebeturi įtakos saugojimo sistemos veikimui dėl specialių valdiklių modifikacijų.
O blokinių duomenų saugyklos taip pat ruošiasi susitikti . Prisiminkime, kad klasikinė duomenų prieigos organizavimo schema veikė taip: procesorius prie RAID valdiklio prisijungė per PCI Express magistralę. Tai, savo ruožtu, sąveikavo su mechaniniais diskais per SCSI arba SAS. NVMe naudojimas foninėje sistemoje žymiai pagreitino visą procesą, tačiau turėjo vieną trūkumą: diskai turėjo būti tiesiogiai prijungti prie procesoriaus, kad būtų suteikta tiesioginė prieiga prie atminties.
Kitas technologijų plėtros etapas, kurį dabar matome, yra NVMe-oF (NVMe over Fabrics) naudojimas. Kalbant apie „Huawei“ blokų technologijas, jos jau palaiko FC-NVMe (NVMe per Fibre Channel), o NVMe per RoCE (RDMA per Converged Ethernet) jau yra. Bandomieji modeliai gana funkcionalūs, iki oficialaus pristatymo liko keli mėnesiai. Atkreipkite dėmesį, kad visa tai atsiras paskirstytose sistemose, kur „be nuostolių eterneto“ bus didelė paklausa.
Papildomas būdas optimizuoti paskirstytos saugyklos veikimą buvo visiškas duomenų atspindėjimo atsisakymas. „Huawei“ sprendimai nebenaudoja n kopijų, kaip įprasta RAID 1, ir visiškai persijungia į (Kodavimas ištrinti). Specialus matematinis paketas tam tikru periodiškumu apskaičiuoja valdymo blokus, kurie leidžia atkurti tarpinius duomenis praradus.
Deduplikacijos ir suspaudimo mechanizmai tampa privalomi. Jei klasikinėse saugojimo sistemose mus riboja valdikliuose įdiegtų procesorių skaičius, tai paskirstytose horizontaliai keičiamose saugojimo sistemose kiekviename mazge yra viskas, ko reikia: diskai, atmintis, procesoriai ir jungtis. Šių išteklių pakanka užtikrinti, kad dubliavimo panaikinimas ir glaudinimas turėtų minimalų poveikį našumui.
Ir apie aparatinės įrangos optimizavimo metodus. Čia buvo galima sumažinti centrinių procesorių apkrovą naudojant papildomus tam skirtus lustus (arba tam skirtus blokus pačiame procesoriuje), kurie atlieka tam tikrą vaidmenį. (TCP/IP Offload Engine) arba matematinių EC užduočių, deduplikacijos ir glaudinimo užduočių atlikimas.
Nauji požiūriai į duomenų saugojimą įkūnyti išskaidytoje (paskirstytoje) architektūroje. Centralizuotose saugojimo sistemose yra serverio gamykla, prijungta per Fibre Channel su daugybe masyvų. Šio metodo trūkumai yra mastelio keitimo ir garantuoto aptarnavimo lygio (atsižvelgiant į našumą arba delsą) užtikrinimo sunkumai. Hiperkonverguotos sistemos naudoja tuos pačius pagrindinius kompiuterius informacijai saugoti ir apdoroti. Tai suteikia beveik neribotas mastelio keitimo galimybes, tačiau reikalauja didelių išlaidų duomenų vientisumui palaikyti.
Skirtingai nuo abiejų pirmiau minėtų dalykų, išskaidyta architektūra reiškia dalijant sistemą į skaičiavimo audinį ir horizontaliąją saugojimo sistemą. Tai suteikia abiejų architektūrų pranašumus ir leidžia beveik neribotai keisti tik to elemento, kuriam trūksta našumo, mastelį.
Nuo integracijos iki konvergencijos
Klasikinė užduotis, kurios aktualumas per pastaruosius 15 metų tik išaugo, yra būtinybė vienu metu užtikrinti blokų saugyklą, prieigą prie failų, prieigą prie objektų, didelio duomenų ūkio veiklą ir kt. pavyzdžiui, atsarginė sistema ant magnetinės juostos.
Pirmajame etape pavyko suvienodinti tik šių paslaugų valdymą. Heterogeninės duomenų saugojimo sistemos buvo prijungtos prie tam tikros specializuotos programinės įrangos, per kurią administratorius paskirstė išteklius iš turimų telkinių. Tačiau kadangi šie telkiniai turėjo skirtingą aparatinę įrangą, apkrovos perkėlimas tarp jų buvo neįmanomas. Esant aukštesniam integracijos lygiui, agregacija įvyko vartų lygyje. Jei būtų galima dalytis failais, jį būtų galima aptarnauti naudojant skirtingus protokolus.
Šiuo metu mums prieinamas pažangiausias konvergencijos metodas apima universalios hibridinės sistemos sukūrimą. Būtent tokia, kokia turėtų tapti mūsų . Universali prieiga naudoja tuos pačius aparatinės įrangos išteklius, logiškai suskirstytus į skirtingus telkinius, tačiau leidžiančius perkelti apkrovą. Visa tai galima padaryti naudojant vieną valdymo pultą. Tokiu būdu mums pavyko įgyvendinti koncepciją „vienas duomenų centras – viena saugojimo sistema“.
Informacijos saugojimo kaina dabar lemia daugelį architektūrinių sprendimų. Ir nors tai gali būti saugiai išdėstyta priešakyje, šiandien mes kalbame apie „gyvą“ saugyklą su aktyvia prieiga, todėl reikia atsižvelgti ir į našumą. Kita svarbi naujos kartos paskirstytų sistemų savybė yra suvienijimas. Juk niekas nenori turėti kelių skirtingų sistemų, valdomų iš skirtingų pultų. Visas šias savybes įkūnija naujoji „Huawei“ gaminių serija .
Naujos kartos masinės saugojimo sistema
OceanStor Pacific atitinka šešių devynių patikimumo reikalavimus (99,9999%) ir gali būti naudojamas HyperMetro klasės duomenų centrams kurti. Kai atstumas tarp dviejų duomenų centrų yra iki 100 km, sistemos demonstruoja papildomą 2 ms delsą, todėl jų pagrindu galima sukurti bet kokius nelaimėms atsparius sprendimus, įskaitant tuos, kuriuose yra kvorumo serveriai.
Naujos serijos gaminiai demonstruoja protokolo universalumą. Jau dabar „OceanStor 100D“ palaiko blokinę prieigą, prieigą prie objektų ir „Hadoop“ prieigą. Prieiga prie failų taip pat bus įdiegta artimiausiu metu. Nereikia saugoti kelių duomenų kopijų, jei jas galima išduoti naudojant skirtingus protokolus.
Atrodytų, ką „be nuostolių tinklo“ sąvoka turi bendro su saugojimo sistemomis? Faktas yra tai, kad paskirstytos duomenų saugojimo sistemos yra sukurtos remiantis greitu tinklu, kuris palaiko atitinkamus algoritmus ir RoCE mechanizmą. Mūsų jungiklių palaikoma dirbtinio intelekto sistema padeda dar labiau padidinti tinklo greitį ir sumažinti delsą. . Suaktyvinus AI Fabric saugojimo našumas gali padidėti iki 20%.
Kas yra naujasis „OceanStor Pacific“ paskirstytos saugyklos mazgas? 5U formos faktoriaus sprendimas apima 120 diskų ir gali pakeisti tris klasikinius mazgus, o tai leidžia daugiau nei dvigubai sutaupyti vietos stove. Nesaugant kopijų, diskų efektyvumas žymiai padidėja (iki +92%).
Esame įpratę, kad programinės įrangos apibrėžta saugykla yra speciali programinė įranga, įdiegta klasikiniame serveryje. Tačiau dabar, norint pasiekti optimalius parametrus, šiam architektūriniam sprendimui reikia ir specialių mazgų. Jį sudaro du serveriai, pagrįsti ARM procesoriais, kurie valdo trijų colių diskų masyvą.
Šie serveriai netinka hiperkonverguotiems sprendimams. Pirma, yra nemažai ARM programų, antra, sunku išlaikyti apkrovos balansą. Siūlome pereiti prie atskiros saugyklos: skaičiavimo klasteris, atstovaujamas klasikinių arba stovo serverių, veikia atskirai, bet yra prijungtas prie OceanStor Pacific saugyklos mazgų, kurie taip pat atlieka savo tiesiogines užduotis. Ir tai pateisina save.
Pavyzdžiui, paimkime klasikinį didelių duomenų saugojimo sprendimą su hiperkonverguota sistema, kuri užima 15 serverių stelažų. Jei paskirstysite apkrovą tarp atskirų skaičiavimo serverių ir OceanStor Pacific saugyklos mazgų, atskirdami juos vienas nuo kito, reikalingų stelažų skaičius sumažės perpus! Tai sumažina duomenų centro eksploatavimo išlaidas ir bendras nuosavybės išlaidas. Pasaulyje, kuriame saugomos informacijos kiekis auga 30% per metus, tokie privalumai nėra mėtomi.
***
Daugiau informacijos apie „Huawei“ sprendimus ir jų taikymo scenarijus rasite mūsų svetainėje arba tiesiogiai susisiekę su įmonės atstovais.
Šaltinis: www.habr.com