Sot do të flasim për mënyrën më të mirë për të ruajtur të dhënat në një botë ku rrjetet e gjeneratës së pestë, skanerët e gjenomit dhe makinat vetë-drejtuese prodhojnë më shumë të dhëna në ditë sesa i gjithë njerëzimi i gjeneruar para revolucionit industrial.
Bota jonë po gjeneron gjithnjë e më shumë informacion. Një pjesë e tij është kalimtare dhe humbet aq shpejt sa mblidhet. Një tjetër duhet të ruhet më gjatë, dhe një tjetër madje është projektuar "për shekuj" - të paktën kjo është ajo që shohim nga e tashmja. Rrjedhat e informacionit vendosen në qendrat e të dhënave me një shpejtësi të tillë, saqë çdo qasje e re, çdo teknologji e krijuar për të përmbushur këtë "kërkesë" të pafundme bëhet shpejt e vjetëruar.
40 vjet zhvillim të sistemeve të ruajtjes së shpërndarë
Ruajtja e parë e rrjetit në formën me të cilën jemi njohur u shfaq në vitet 1980. Shumë prej jush kanë hasur në NFS (Network File System), AFS (Andrew File System) ose Coda. Një dekadë më vonë, moda dhe teknologjia kanë ndryshuar dhe sistemet e skedarëve të shpërndarë i kanë lënë vendin sistemeve të grumbulluara të ruajtjes të bazuara në GPFS (General Parallel File System), CFS (Clustered File Systems) dhe StorNext. Si bazë u përdor ruajtja e bllokut të arkitekturës klasike, në krye të së cilës u krijua një sistem i vetëm skedarësh duke përdorur një shtresë softuerike. Këto dhe zgjidhje të ngjashme përdoren ende, zënë vendin e tyre dhe janë mjaft të kërkuara.
Në kapërcyell të mijëvjeçarit, paradigma e ruajtjes së shpërndarë ndryshoi disi dhe sistemet me arkitekturë SN (Shared-Nothing) morën pozicionet drejtuese. Ka pasur një tranzicion nga ruajtja e grupeve në ruajtjen në nyje individuale, të cilat, si rregull, ishin serverë klasikë me softuer që siguronin ruajtje të besueshme; Mbi parime të tilla, të themi, janë ndërtuar HDFS (Hadoop Distributed File System) dhe GFS (Sistemi Global i Skedarëve).
Më afër viteve 2010, konceptet në bazë të sistemeve të ruajtjes së shpërndarë filluan të reflektohen gjithnjë e më shumë në produkte komerciale të plota, të tilla si VMware vSAN, Dell EMC Isilon dhe tonat. . Pas platformave të përmendura nuk ka më një komunitet entuziastësh, por shitës të veçantë që janë përgjegjës për funksionalitetin, mbështetjen dhe shërbimin e produktit dhe garantojnë zhvillimin e tij të mëtejshëm. Zgjidhje të tilla janë më të kërkuarat në disa fusha.
Operatorët e telekomit
Ndoshta një nga konsumatorët më të vjetër të sistemeve të ruajtjes së shpërndarë janë operatorët e telekomit. Diagrami tregon se cilat grupe aplikacionesh prodhojnë pjesën më të madhe të të dhënave. OSS (Sistemet e Mbështetjes së Operacioneve), MSS (Shërbimet e Mbështetjes së Menaxhimit) dhe BSS (Sistemet e Mbështetjes së Biznesit) përfaqësojnë tre shtresa softuerike plotësuese të nevojshme për të ofruar shërbim për pajtimtarët, raportimin financiar tek ofruesi dhe mbështetjen operacionale për inxhinierët e operatorëve.
Shpesh, të dhënat e këtyre shtresave përzihen shumë me njëra-tjetrën dhe për të shmangur grumbullimin e kopjeve të panevojshme, përdoret ruajtja e shpërndarë, e cila grumbullon të gjithë sasinë e informacionit që vjen nga rrjeti operativ. Depot janë të kombinuara në një pishinë të përbashkët, ku aksesohen të gjitha shërbimet.
Llogaritjet tona tregojnë se kalimi nga sistemet klasike të ruajtjes në sistemet bllokuese të ruajtjes ju lejon të kurseni deri në 70% të buxhetit vetëm duke braktisur sistemet e dedikuara të ruajtjes hi-end dhe duke përdorur serverë konvencionalë të arkitekturës klasike (zakonisht x86), duke punuar në bashkëpunim me të specializuar software. Operatorët celularë kanë filluar prej kohësh të blejnë zgjidhje të tilla në sasi të mëdha. Në veçanti, operatorët rusë kanë përdorur produkte të tilla nga Huawei për më shumë se gjashtë vjet.
Po, një numër detyrash nuk mund të kryhen duke përdorur sisteme të shpërndara. Për shembull, me kërkesat e rritura të performancës ose pajtueshmërinë me protokollet e vjetra. Por të paktën 70% e të dhënave të përpunuara nga operatori mund të vendosen në një grup të shpërndarë.
Sektori bankar
Në çdo bankë ka shumë sisteme të ndryshme IT, duke filluar nga përpunimi dhe duke përfunduar me një sistem bankar të automatizuar. Kjo infrastrukturë funksionon gjithashtu me një sasi të madhe informacioni, ndërsa shumica e detyrave nuk kërkojnë rritje të performancës dhe besueshmërisë së sistemeve të ruajtjes, për shembull, zhvillim, testim, automatizim të proceseve të zyrës, etj. Këtu, përdorimi i sistemeve klasike të ruajtjes është i mundur, por çdo vit është gjithnjë e më pak fitimprurës. Përveç kësaj, në këtë rast nuk ka fleksibilitet në përdorimin e burimeve të sistemit të ruajtjes, performanca e të cilave llogaritet në bazë të ngarkesës së pikut.
Kur përdoren sistemet e ruajtjes së shpërndarë, nyjet e tyre, që në fakt janë serverë të zakonshëm, mund të konvertohen në çdo kohë, për shembull, në një fermë serverësh dhe të përdoren si një platformë kompjuterike.
Liqenet e të dhënave
Diagrami i mësipërm tregon një listë të konsumatorëve tipikë të shërbimit . Këto mund të jenë shërbime të qeverisjes elektronike (për shembull, "Shërbimet e Qeverisë"), ndërmarrje të dixhitalizuara, institucione financiare, etj. Të gjitha ato duhet të punojnë me vëllime të mëdha informacioni heterogjen.
Përdorimi i sistemeve klasike të ruajtjes për të zgjidhur probleme të tilla është i paefektshëm, pasi kërkon qasje me performancë të lartë për të bllokuar bazat e të dhënave dhe qasje të rregullt në bibliotekat e dokumenteve të skanuara të ruajtura si objekte. Për shembull, këtu mund të lidhet edhe një sistem porositjeje nëpërmjet një portali ueb. Për të zbatuar të gjitha këto në një platformë ruajtjeje klasike, do t'ju duhet një grup i madh pajisjesh për detyra të ndryshme. Një sistem ruajtjeje universale horizontale mund të mbulojë fare mirë të gjitha detyrat e listuara më parë: ju vetëm duhet të krijoni disa pishina me karakteristika të ndryshme ruajtjeje në të.
Gjeneruesit e informacionit të ri
Sasia e informacionit të ruajtur në botë po rritet me rreth 30% në vit. Ky është një lajm i mirë për shitësit e magazinimit, por cili është dhe do të jetë burimi kryesor i këtyre të dhënave?
Dhjetë vjet më parë, rrjetet sociale u bënë gjeneratorë të tillë, kjo kërkonte krijimin e një numri të madh algoritmesh të reja, zgjidhje harduerike, etj. Tani ekzistojnë tre shtytës kryesorë për rritjen e vëllimeve të ruajtjes. E para është kompjuteri cloud. Aktualisht, afërsisht 70% e kompanive përdorin shërbimet cloud në një mënyrë ose në një tjetër. Këto mund të jenë sisteme të postës elektronike, kopje rezervë dhe entitete të tjera të virtualizuara.
Drejtuesi i dytë është rrjetet e gjeneratës së pestë. Këto janë shpejtësi të reja dhe vëllime të reja të transferimit të të dhënave. Sipas parashikimeve tona, miratimi i gjerë i 5G do të çojë në një rënie të kërkesës për kartat e memories flash. Pavarësisht se sa memorie ka në telefon, ai përsëri mbaron dhe nëse pajisja ka një kanal 100 megabit, nuk ka nevojë të ruani fotot në vend.
Grupi i tretë i arsyeve pse kërkesa për sistemet e ruajtjes po rritet përfshin zhvillimin e shpejtë të inteligjencës artificiale, kalimin në analitikën e të dhënave të mëdha dhe prirjen drejt automatizimit universal të gjithçkaje të mundshme.
Një tipar i "trafikut të ri" është ai . Ne duhet t'i ruajmë këto të dhëna pa përcaktuar në asnjë mënyrë formatin e tyre. Kërkohet vetëm për leximin e mëvonshëm. Për shembull, për të përcaktuar shumën e disponueshme të kredisë, një sistem vlerësimi bankar do të shikojë fotot që postoni në rrjetet sociale, do të përcaktojë nëse shkoni shpesh në det dhe restorante dhe në të njëjtën kohë do të studiojë ekstraktet nga dokumentet tuaja mjekësore në dispozicion. ndaj saj. Këto të dhëna, nga njëra anë, janë gjithëpërfshirëse, por nga ana tjetër, u mungon homogjeniteti.
Oqeani i të dhënave të pastrukturuara
Çfarë problemesh sjell shfaqja e “të dhënave të reja”? E para midis tyre, natyrisht, është vëllimi i madh i informacionit dhe periudha e parashikuar e ruajtjes së tij. Vetëm një makinë moderne autonome pa shofer gjeneron deri në 60 terabajt të dhëna çdo ditë nga të gjithë sensorët dhe mekanizmat e saj. Për të zhvilluar algoritme të reja të lëvizjes, ky informacion duhet të përpunohet brenda së njëjtës ditë, përndryshe do të fillojë të grumbullohet. Në të njëjtën kohë, duhet të ruhet për një kohë shumë të gjatë - dekada. Vetëm atëherë do të jetë e mundur në të ardhmen të nxirren përfundime të bazuara në mostra të mëdha analitike.
Një pajisje për deshifrimin e sekuencave gjenetike prodhon rreth 6 TB në ditë. Dhe të dhënat e mbledhura me ndihmën e tyre nuk nënkuptojnë fare fshirje, domethënë, hipotetikisht, ato duhet të ruhen përgjithmonë.
Më në fund, të njëjtat rrjete të gjeneratës së pestë. Përveç informacionit aktual të transmetuar, një rrjet i tillë në vetvete është një gjenerues i madh i të dhënave: regjistrat e aktiviteteve, regjistrimet e thirrjeve, rezultatet e ndërmjetme të ndërveprimeve makinë-makinë, etj.
E gjithë kjo kërkon zhvillimin e qasjeve dhe algoritmeve të reja për ruajtjen dhe përpunimin e informacionit. Dhe qasje të tilla po shfaqen.
Teknologjitë e epokës së re
Ekzistojnë tre grupe zgjidhjesh të dizajnuara për të përballuar kërkesat e reja për sistemet e ruajtjes së informacionit: futja e inteligjencës artificiale, evolucioni teknik i mediave të ruajtjes dhe risitë në fushën e arkitekturës së sistemit. Le të fillojmë me AI.
Në zgjidhjet e reja të Huawei, inteligjenca artificiale përdoret në nivelin e vetë ruajtjes, e cila është e pajisur me një procesor AI që lejon sistemin të analizojë në mënyrë të pavarur gjendjen e tij dhe të parashikojë dështimet. Nëse sistemi i ruajtjes është i lidhur me një re shërbimi që ka aftësi të konsiderueshme llogaritëse, inteligjenca artificiale do të jetë në gjendje të përpunojë më shumë informacion dhe të rrisë saktësinë e hipotezave të saj.
Përveç dështimeve, një AI i tillë mund të parashikojë ngarkesën maksimale të ardhshme dhe kohën e mbetur deri në shterimin e kapacitetit. Kjo ju lejon të optimizoni performancën dhe të shkallëzoni sistemin përpara se të ndodhin ndonjë ngjarje të padëshiruar.
Tani në lidhje me evolucionin e mediave të ruajtjes. Disqet e parë flash u bënë duke përdorur teknologjinë SLC (Single-Level Cell). Pajisjet e bazuara në të ishin të shpejta, të besueshme, të qëndrueshme, por kishin një kapacitet të vogël dhe ishin shumë të shtrenjta. Rritja e vëllimit dhe ulja e çmimeve u arritën përmes disa koncesioneve teknike, për shkak të të cilave shpejtësia, besueshmëria dhe jeta e shërbimit të disqeve u zvogëluan. Sidoqoftë, tendenca nuk ndikoi në vetë sistemet e ruajtjes, të cilat, për shkak të trukeve të ndryshme arkitekturore, në përgjithësi u bënë edhe më produktive dhe më të besueshëm.
Por pse ju duheshin sistemet e ruajtjes All-Flash? A nuk ishte e mjaftueshme thjesht zëvendësimi i HDD-ve të vjetra në një sistem tashmë operativ me SSD të reja të të njëjtit faktor? Kjo kërkohej për të përdorur në mënyrë efektive të gjitha burimet e disqeve të reja të gjendjes së ngurtë, gjë që ishte thjesht e pamundur në sistemet e vjetra.
Huawei, për shembull, ka zhvilluar një sërë teknologjish për të zgjidhur këtë problem, një prej të cilave është , i cili bëri të mundur optimizimin e ndërveprimeve "disk-kontrollues" sa më shumë që të ishte e mundur.
Identifikimi inteligjent bëri të mundur zbërthimin e të dhënave në disa rrjedha dhe përballimin e një sërë fenomenesh të padëshirueshme, si p.sh. (shkruaj përforcim). Në të njëjtën kohë, algoritme të reja rikuperimi, në veçanti , rriti shpejtësinë e rindërtimit, duke e reduktuar kohën e tij në shuma krejtësisht të parëndësishme.
Dështimi, mbipopullimi, grumbullimi i mbeturinave - këta faktorë gjithashtu nuk ndikojnë më në performancën e sistemit të ruajtjes falë modifikimeve të veçanta të kontrollorëve.
Dhe blloku i ruajtjes së të dhënave po përgatitet gjithashtu të takohet . Le të kujtojmë se skema klasike për organizimin e aksesit të të dhënave funksionoi si kjo: procesori hyri në kontrolluesin RAID përmes autobusit PCI Express. Kjo, nga ana tjetër, ndërveproi me disqet mekanike nëpërmjet SCSI ose SAS. Përdorimi i NVMe në backend e përshpejtoi ndjeshëm të gjithë procesin, por kishte një pengesë: disqet duhej të lidheshin drejtpërdrejt me procesorin për t'i siguruar atij akses të drejtpërdrejtë në memorie.
Faza tjetër e zhvillimit të teknologjisë që po shohim tani është përdorimi i NVMe-oF (NVMe mbi Fabrics). Sa i përket teknologjive të bllokut Huawei, ato tashmë mbështesin FC-NVMe (NVMe mbi Kanalin Fiber), dhe NVMe mbi RoCE (RDMA mbi Ethernetin e konverguar) është në rrugë e sipër. Modelet e testimit janë mjaft funksionale, kanë mbetur edhe disa muaj para prezantimit të tyre zyrtar. Vini re se e gjithë kjo do të shfaqet në sistemet e shpërndara, ku "Ethernet pa humbje" do të jetë në kërkesë të madhe.
Një mënyrë shtesë për të optimizuar funksionimin e ruajtjes së shpërndarë ishte braktisja e plotë e pasqyrimit të të dhënave. Zgjidhjet e Huawei nuk përdorin më n kopje, si në RAID 1 të zakonshëm, dhe kalojnë plotësisht në (Kodimi i fshirjes). Një paketë e veçantë matematikore llogarit blloqet e kontrollit në një periodicitet të caktuar, të cilat ju lejojnë të rivendosni të dhënat e ndërmjetme në rast humbjeje.
Mekanizmat e deduifikimit dhe të kompresimit bëhen të detyrueshëm. Nëse në sistemet klasike të ruajtjes jemi të kufizuar nga numri i përpunuesve të instaluar në kontrollues, atëherë në sistemet e ruajtjes së shpërndarë horizontalisht të shkallëzuar, çdo nyje përmban gjithçka të nevojshme: disqe, memorie, procesorë dhe ndërlidhje. Këto burime janë të mjaftueshme për të siguruar që heqja e dyfishimit dhe kompresimi të kenë ndikim minimal në performancë.
Dhe në lidhje me metodat e optimizimit të harduerit. Këtu ishte e mundur të zvogëlohej ngarkesa në procesorët qendrorë me ndihmën e çipave shtesë të dedikuar (ose blloqeve të dedikuara në vetë procesorin), të cilët luajnë një rol (TCP/IP Offload Engine) ose duke marrë përsipër detyrat matematikore të EC, deduplication dhe compression.
Qasjet e reja për ruajtjen e të dhënave janë mishëruar në një arkitekturë të ndarë (të shpërndarë). Sistemet e centralizuara të ruajtjes kanë një fabrikë serverësh të lidhur nëpërmjet Fiber Channel me me shumë vargje. Disavantazhet e kësaj qasjeje janë vështirësia e shkallëzimit dhe sigurimit të një niveli të garantuar shërbimi (përsa i përket performancës ose vonesës). Sistemet e hiperkonvergjuara përdorin të njëjtat hoste për ruajtjen dhe përpunimin e informacionit. Kjo jep hapësirë praktikisht të pakufizuar për shkallëzim, por kërkon kosto të larta për ruajtjen e integritetit të të dhënave.
Ndryshe nga të dyja sa më sipër, nënkupton një arkitekturë e ndarë duke e ndarë sistemin në një strukturë kompjuterike dhe një sistem ruajtjeje horizontale. Kjo siguron përfitimet e të dy arkitekturave dhe lejon shkallëzim pothuajse të pakufizuar vetëm të elementit që i mungon performanca.
Nga integrimi në konvergjencë
Një detyrë klasike, rëndësia e së cilës është rritur vetëm gjatë 15 viteve të fundit, është nevoja për të siguruar njëkohësisht ruajtjen e bllokut, aksesin e skedarëve, aksesin në objekte, funksionimin e një ferme të madhe të dhënash, etj. Qershia mbi tortë mund të të jetë, për shembull, një sistem rezervë në shirit magnetik.
Në fazën e parë, vetëm menaxhimi i këtyre shërbimeve mund të unifikohej. Sistemet heterogjene të ruajtjes së të dhënave u lidhën me disa softuer të specializuar, përmes të cilëve administratori shpërndante burime nga grupet e disponueshme. Por duke qenë se këto pishina kishin pajisje të ndryshme, migrimi i ngarkesës mes tyre ishte i pamundur. Në një nivel më të lartë integrimi, grumbullimi ndodhi në nivelin e portës. Nëse ndarja e skedarëve ishte e disponueshme, ajo mund të shërbehej përmes protokolleve të ndryshme.
Metoda më e avancuar e konvergjencës aktualisht e disponueshme për ne përfshin krijimin e një sistemi hibrid universal. Pikërisht ajo që duhet të bëhet e jona . Qasja universale përdor të njëjtat burime harduerike, të ndara logjikisht në grupe të ndryshme, por duke lejuar migrimin e ngarkesës. E gjithë kjo mund të bëhet përmes një tastierë të vetme menaxhimi. Në këtë mënyrë, ne ishim në gjendje të zbatonim konceptin e "një qendër të dhënash - një sistem ruajtjeje".
Kostoja e ruajtjes së informacionit tani përcakton shumë vendime arkitekturore. Dhe megjithëse mund të vihet në mënyrë të sigurtë në ballë, sot ne po diskutojmë ruajtjen "live" me akses aktiv, kështu që performanca duhet të merret parasysh gjithashtu. Një tjetër veçori e rëndësishme e sistemeve të shpërndara të gjeneratës së ardhshme është unifikimi. Në fund të fundit, askush nuk dëshiron të ketë disa sisteme të ndryshme të kontrolluara nga konzola të ndryshme. Të gjitha këto cilësi janë mishëruar në serinë e re të produkteve Huawei .
Sistemi i magazinimit masiv të gjeneratës së re
OceanStor Pacific plotëson kërkesat e besueshmërisë gjashtë-nëntë (99,9999%) dhe mund të përdoret për të krijuar qendra të dhënash të klasës HyperMetro. Me një distancë midis dy qendrave të të dhënave deri në 100 km, sistemet demonstrojnë një vonesë shtesë prej 2 ms, gjë që bën të mundur ndërtimin mbi bazën e tyre çdo zgjidhje rezistente ndaj fatkeqësive, përfshirë ato me serverë kuorum.
Produktet e serive të reja demonstrojnë shkathtësi të protokollit. Tashmë, OceanStor 100D mbështet aksesin në bllok, aksesin e objekteve dhe aksesin Hadoop. Qasja në skedar do të zbatohet gjithashtu në të ardhmen e afërt. Nuk ka nevojë të ruani kopje të shumta të të dhënave nëse ato mund të lëshohen përmes protokolleve të ndryshme.
Do të duket, çfarë lidhje ka koncepti i një "rrjeti pa humbje" me sistemet e ruajtjes? Fakti është se sistemet e ruajtjes së të dhënave të shpërndara janë ndërtuar mbi bazën e një rrjeti të shpejtë që mbështet algoritmet e duhura dhe mekanizmin RoCE. Sistemi i inteligjencës artificiale i mbështetur nga çelësat tanë ndihmon në rritjen e mëtejshme të shpejtësisë së rrjetit dhe zvogëlimin e vonesës. . Fitimi në performancën e ruajtjes kur aktivizohet AI Fabric mund të arrijë në 20%.
Cila është nyja e re e ruajtjes së shpërndarë OceanStor Pacific? Zgjidhja e faktorit të formës 5U përfshin 120 disqe dhe mund të zëvendësojë tre nyje klasike, gjë që siguron më shumë se dyfish kursime në hapësirën e raftit. Duke mos ruajtur kopje, efikasiteti i disqeve rritet ndjeshëm (deri në +92%).
Jemi mësuar me faktin se ruajtja e përcaktuar nga softueri është softuer special i instaluar në një server klasik. Por tani, për të arritur parametra optimalë, kjo zgjidhje arkitekturore kërkon edhe nyje të veçanta. Ai përbëhet nga dy serverë të bazuar në procesorë ARM që menaxhojnë një sërë disqesh tre inç.
Këta serverë nuk janë të përshtatshëm për zgjidhje hiperkonvergjente. Së pari, ka mjaft aplikacione për ARM, dhe së dyti, është e vështirë të ruhet ekuilibri i ngarkesës. Ne propozojmë kalimin në ruajtje të veçantë: një grup kompjuterik, i përfaqësuar nga serverë klasikë ose rack, funksionon veçmas, por është i lidhur me nyjet e ruajtjes së OceanStor Pacific, të cilat gjithashtu kryejnë detyrat e tyre të drejtpërdrejta. Dhe e justifikon veten.
Për shembull, le të marrim një zgjidhje klasike të ruajtjes së të dhënave të mëdha me një sistem hiperkonvergjent që zë 15 rafte serverësh. Nëse e shpërndani ngarkesën midis serverëve të veçantë informatikë dhe nyjeve të ruajtjes së OceanStor Pacific, duke i ndarë ato nga njëri-tjetri, numri i rafteve të kërkuara do të përgjysmohet! Kjo zvogëlon kostot e funksionimit të qendrës së të dhënave dhe zvogëlon koston totale të pronësisë. Në një botë ku vëllimi i informacionit të ruajtur po rritet me 30% në vit, avantazhe të tilla nuk shpërndahen.
***
Mund të merrni më shumë informacion rreth zgjidhjeve të Huawei dhe skenarëve të tyre të aplikimit në faqen tonë ose duke kontaktuar drejtpërdrejt përfaqësuesit e kompanisë.
Burimi: www.habr.com