Vandag sal ons praat oor hoe om data die beste te stoor in 'n wêreld waar vyfdegenerasie-netwerke, genoomskandeerders en selfbesturende motors meer data in 'n dag produseer as wat die hele mensdom voor die industriële revolusie gegenereer het.
Ons wêreld genereer meer en meer inligting. Sommige daarvan is vlugtig en gaan so vinnig verlore as wat dit afgehaal word. Die ander moet langer gestoor word, en die ander een is heeltemal ontwerp "vir eeue" - ten minste is dit hoe ons dit sien uit die hede. Inligtingvloei vestig in datasentrums teen so 'n spoed dat enige nuwe benadering, enige tegnologie wat ontwerp is om aan hierdie eindelose "vraag" te voldoen, vinnig verouderd raak.
40 jaar se ontwikkeling van verspreide berging
Die eerste netwerkbergings in die vorm wat aan ons bekend is, het in die 1980's verskyn. Baie van julle het NFS (Network File System), AFS (Andrew File System) of Coda teëgekom. 'n Dekade later het mode en tegnologie verander, en verspreide lêerstelsels het plek gemaak vir gegroepeerde bergingstelsels gebaseer op GPFS (General Parallel File System), CFS (Clustered File Systems) en StorNext. As basis is blokbergings van klassieke argitektuur gebruik, waarby 'n enkele lêerstelsel met behulp van die sagtewarelaag geskep is. Hierdie en soortgelyke oplossings word steeds gebruik, beslaan hul nis en is baie in aanvraag.
Met die draai van die millennium het die verspreide bergingsparadigma ietwat verander, en stelsels met die SN (Shared-Nothing) argitektuur het die voortou geneem. Daar was 'n oorgang van groepberging na berging op aparte nodusse, wat as 'n reël klassieke bedieners was met sagteware wat betroubare berging verskaf; sulke beginsels is gebou, sê, HDFS (Hadoop Distributed File System) en GFS (Global File System).
Nader aan 2010 het die konsepte onderliggend aan verspreide bergingstelsels toenemend begin om in volwaardige kommersiële produkte, soos VMware vSAN, Dell EMC Isilon, en ons . Agter die genoemde platforms is nie meer 'n gemeenskap van entoesiaste nie, maar spesifieke verskaffers wat verantwoordelik is vir die funksionaliteit, ondersteuning, diensonderhoud van die produk en die verdere ontwikkeling daarvan waarborg. Sulke oplossings is die meeste in aanvraag in verskeie gebiede.
Telekommunikasie-operateurs
Miskien is een van die oudste verbruikers van verspreide bergingstelsels telekommunikasie-operateurs. Die diagram toon watter groepe toepassings die grootste deel van die data produseer. OSS (Operations Support Systems), MSS (Management Support Services) en BSS (Business Support Systems) is drie komplementêre sagtewarelae wat benodig word vir dienslewering aan intekenare, finansiële verslagdoening aan die verskaffer, en operasionele ondersteuning aan die operateur se ingenieurs.
Dikwels word die data van hierdie lae sterk met mekaar vermeng, en om die ophoping van onnodige kopieë te vermy, word verspreide bergings gebruik wat die hele hoeveelheid inligting ophoop wat van 'n werkende netwerk kom. Die bergings word gekombineer in 'n gemeenskaplike swembad, waartoe alle dienste toegang het.
Ons berekeninge toon dat die oorgang van klassieke na blokbergingstelsels jou toelaat om tot 70% van die begroting te bespaar slegs deur toegewyde hoë-end-bergingstelsels te laat vaar en konvensionele klassieke argitektuurbedieners (gewoonlik x86) te gebruik, wat saam met gespesialiseerde sagteware werk. Sellulêre operateurs bekom al lankal sulke oplossings in aansienlike volumes. Veral Russiese operateurs gebruik al meer as ses jaar sulke produkte van Huawei.
Ja, 'n aantal take kan nie met behulp van verspreide stelsels uitgevoer word nie. Byvoorbeeld, met verhoogde prestasievereistes of verenigbaarheid met ouer protokolle. Maar ten minste 70% van die data wat die operateur verwerk, kan in 'n verspreide poel geplaas word.
Bankwese
In enige bank is daar baie uiteenlopende IT-stelsels, wat wissel van verwerking tot 'n outomatiese bankstelsel. Hierdie infrastruktuur werk ook met 'n groot hoeveelheid inligting, terwyl die meeste van die take nie verhoogde werkverrigting en betroubaarheid van bergingstelsels vereis nie, soos ontwikkeling, toetsing, outomatisering van kantoorprosesse, ens. Hier is die gebruik van klassieke bergingstelsels moontlik , maar elke jaar is dit al hoe minder winsgewend. Daarbenewens is daar in hierdie geval geen buigsaamheid in die besteding van bergingshulpbronne nie, waarvan die prestasie uit die pieklading bereken word.
Wanneer verspreide bergingstelsels gebruik word, kan hul nodusse, wat in werklikheid gewone bedieners is, te eniger tyd omgeskakel word, byvoorbeeld in 'n bedienerplaas en as 'n rekenaarplatform gebruik word.
Data mere
Die diagram hierbo toon 'n lys van tipiese diensverbruikers. . Dit kan e-regeringsdienste wees (byvoorbeeld "Gosuslugi"), ondernemings wat digitalisering ondergaan het, finansiële strukture, ens. Almal van hulle moet met groot volumes heterogene inligting werk.
Die werking van klassieke bergingstelsels om sulke probleme op te los is ondoeltreffend, aangesien beide hoëprestasie-toegang tot blokdatabasisse en gereelde toegang tot biblioteke van geskandeerde dokumente wat as voorwerpe gestoor is, vereis word. Hier kan byvoorbeeld 'n stelsel van bestellings deur 'n webportaal gekoppel word. Om dit alles op 'n klassieke bergingsplatform te implementeer, benodig u 'n groot stel toerusting vir verskillende take. Een horisontale universele bergingstelsel kan maklik al die voorheen gelysde take dek: jy hoef net verskeie swembaddens daarin te skep met verskillende bergingskenmerke.
Genereerders van nuwe inligting
Die hoeveelheid inligting wat in die wêreld gestoor word, groei met sowat 30% per jaar. Dit is goeie nuus vir bergingsverskaffers, maar wat is en sal die hoofbron van hierdie data wees?
Tien jaar gelede het sosiale netwerke sulke kragopwekkers geword, wat die skepping van 'n groot aantal nuwe algoritmes, hardeware-oplossings, ens vereis het. Nou is daar drie hoofdrywers van berginggroei. Die eerste is wolkrekenaars. Tans gebruik ongeveer 70% van maatskappye wolkdienste op een of ander manier. Dit kan e-posstelsels, rugsteun en ander gevirtualiseerde entiteite wees.
Die vyfde generasie netwerke word die tweede drywer. Dit is nuwe snelhede en nuwe volumes data-oordrag. Volgens ons voorspellings sal die wydverspreide aanvaarding van 5G lei tot 'n afname in die vraag na flitsgeheuekaarte. Maak nie saak hoeveel geheue daar in die foon is nie, dit eindig steeds, en as die gadget 'n 100-megabit-kanaal het, is dit nie nodig om foto's plaaslik te stoor nie.
Die derde groep redes waarom die vraag na bergingstelsels groei, sluit in die vinnige ontwikkeling van kunsmatige intelligensie, die oorgang na grootdata-analise en die neiging na universele outomatisering van alles wat moontlik is.
'N kenmerk van "nuwe verkeer" is sy . Ons moet hierdie data stoor sonder om die formaat daarvan op enige manier te definieer. Dit word slegs benodig vir daaropvolgende lees. Byvoorbeeld, 'n bankpuntstelsel om die beskikbare leningsgrootte te bepaal, sal kyk na die foto's wat jy op sosiale netwerke geplaas het, bepaal hoe gereeld jy na die see en restaurante gaan, en terselfdertyd uittreksels bestudeer uit jou mediese dokumente wat daarvoor beskikbaar is. Hierdie data, aan die een kant, is omvattend, en aan die ander kant het dit nie homogeniteit nie.
’n Oseaan van ongestruktureerde data
Wat is die probleme wat die ontstaan van "nuwe data" behels? Die eerste onder hulle is natuurlik die hoeveelheid inligting self en die geskatte tydperk van die stoor daarvan. 'n Moderne outonome bestuurderlose motor alleen genereer elke dag tot 60 TB data vanaf al sy sensors en meganismes. Om nuwe bewegingsalgoritmes te ontwikkel, moet hierdie inligting binne dieselfde dag verwerk word, anders sal dit begin ophoop. Terselfdertyd moet dit vir 'n baie lang tyd gestoor word - dekades. Eers dan sal dit moontlik wees om gevolgtrekkings te maak op grond van groot analitiese steekproewe in die toekoms.
Een toestel vir die ontsyfering van genetiese volgordes produseer ongeveer 6 teragrepe per dag. En die data wat met sy hulp ingesamel word, impliseer glad nie uitvee nie, dit wil sê hipoteties moet dit vir ewig gestoor word.
Ten slotte, almal dieselfde netwerke van die vyfde generasie. Benewens die inligting wat self oorgedra word, is so 'n netwerk self 'n groot datagenerator: aktiwiteitlogboeke, oproeprekords, tussentydse resultate van masjien-tot-masjien-interaksies, ens.
Dit alles vereis die ontwikkeling van nuwe benaderings en algoritmes vir die stoor en verwerking van inligting. En sulke benaderings kom na vore.
Tegnologie van die nuwe era
Drie groepe oplossings wat ontwerp is om nuwe vereistes vir inligtingstoorstelsels te hanteer, kan onderskei word: die bekendstelling van kunsmatige intelligensie, die tegniese evolusie van bergingsmedia en innovasies op die gebied van stelselargitektuur. Kom ons begin met KI.
In die nuwe Huawei-oplossings word kunsmatige intelligensie reeds op die vlak van die berging self gebruik, wat toegerus is met 'n AI-verwerker wat die stelsel toelaat om sy toestand onafhanklik te ontleed en mislukkings te voorspel. As die bergingstelsel gekoppel is aan 'n dienswolk wat aansienlike rekenaarvermoëns het, kan kunsmatige intelligensie meer inligting verwerk en die akkuraatheid van sy hipoteses verbeter.
Benewens mislukkings, is sulke KI in staat om die toekomstige pieklading en die tyd wat oorbly totdat kapasiteit uitgeput is, te voorspel. Dit laat jou toe om werkverrigting te optimaliseer en die stelsel te skaal voordat enige ongewenste gebeurtenisse plaasvind.
Nou oor die evolusie van datadraers. Die eerste flash drives is gemaak met behulp van SLC (Single-Level Cell) tegnologie. Die toestelle wat daarop gebaseer was, was vinnig, betroubaar, stabiel, maar het 'n klein kapasiteit en was baie duur. Die toename in volume en afname in prys is bereik deur sekere tegniese toegewings, waardeur die spoed, betroubaarheid en lewensduur van die aandrywers verminder is. Nietemin het die neiging nie die bergingstelsels self beïnvloed nie, wat as gevolg van verskeie argitektoniese truuks oor die algemeen meer produktief en meer betroubaar geword het.
Maar hoekom het jy All-Flash-klasbergingstelsels nodig gehad? Was dit nie genoeg om net ou HDD's in 'n reeds werkende stelsel te vervang met nuwe SSD's van dieselfde vormfaktor nie? Dit was nodig om al die hulpbronne van nuwe SSD's doeltreffend te gebruik, wat eenvoudig onmoontlik was in ouer stelsels.
Huawei het byvoorbeeld 'n aantal tegnologieë ontwikkel om hierdie probleem op te los, waarvan een is , wat dit moontlik gemaak het om die skyfbeheerder-interaksies soveel as moontlik te optimaliseer.
Intelligente identifikasie het dit moontlik gemaak om data in verskeie strome te ontbind en 'n aantal ongewenste verskynsels te hanteer, soos bv. (skryf versterking). Terselfdertyd, veral nuwe herstelalgoritmes , het die spoed van die herbou verhoog, wat sy tyd tot heeltemal onbeduidende waardes verminder het.
Mislukking, oorbevolking, vullisversameling - hierdie faktore beïnvloed ook nie meer die werkverrigting van die bergingstelsel nie, danksy spesiale verfyning van die beheerders.
En blokdatawinkels maak gereed om te ontmoet . Onthou dat die klassieke skema vir die organisering van datatoegang so gewerk het: die verwerker het toegang tot die RAID-beheerder verkry via die PCI Express-bus. Dit het op sy beurt interaksie gehad met meganiese skywe via SCSI of SAS. Die gebruik van NVMe op die agterkant het die hele proses aansienlik bespoedig, maar het een nadeel gehad: die aandrywers moes direk aan die verwerker gekoppel word om dit van direkte geheuetoegang te voorsien.
Die volgende fase van tegnologie-ontwikkeling wat ons nou sien, is die gebruik van NVMe-oF (NVMe over Fabrics). Wat Huawei-bloktegnologieë betref, ondersteun hulle reeds FC-NVMe (NVMe oor Fibre Channel), en NVMe oor RoCE (RDMA over Converged Ethernet) is op pad. Die toetsmodelle is redelik funksioneel, 'n paar maande is oor voor hul amptelike aanbieding. Let daarop dat dit alles ook in verspreide stelsels sal verskyn, waar "Ethernet sonder verlies" in groot aanvraag sal wees.
'n Bykomende manier om die werk van verspreide bergings te optimaliseer, was die volledige verwerping van dataspieëling. Huawei-oplossings gebruik nie meer n kopieë nie, soos in die gewone RAID 1, en skakel heeltemal oor na die meganisme (Vee kodering uit). 'n Spesiale wiskundige pakket bereken beheerblokke met 'n sekere frekwensie, wat jou toelaat om intermediêre data te herstel in geval van verlies.
Deduplisering en kompressiemeganismes word verpligtend. As ons in klassieke bergingstelsels beperk word deur die aantal verwerkers wat in beheerders geïnstalleer is, dan in verspreide horisontaal skaalbare bergingstelsels, bevat elke nodus alles wat jy nodig het: skywe, geheue, verwerkers en interkonneksie. Hierdie hulpbronne is genoeg vir deduplisering en kompressie om 'n minimale impak op prestasie te hê.
En oor hardeware-optimaliseringsmetodes. Hier was dit moontlik om die las op die sentrale verwerkers te verminder met behulp van bykomende toegewyde mikrobane (of toegewyde blokke in die verwerker self), wat die rol speel (TCP/IP Aflaai-enjin) of die wiskundetake van EC, deduplisering en kompressie aanpak.
Nuwe benaderings tot databerging word beliggaam in 'n gedisaggregeerde (verspreide) argitektuur. In gesentraliseerde bergingstelsels is daar 'n bedienerfabriek wat via Fibre Channel gekoppel is met baie skikkings. Die nadele van hierdie benadering is probleme met skaal en die verskaffing van 'n gewaarborgde vlak van diens (in terme van werkverrigting of vertraging). Hipergekonvergeerde stelsels gebruik dieselfde gashere vir beide berging en verwerking van inligting. Dit gee byna onbeperkte ruimte vir skaal, maar behels hoë koste vir die handhawing van data-integriteit.
Anders as albei bogenoemde, impliseer 'n uiteenlopende argitektuur die verdeling van die stelsel in 'n rekenaarfabriek en 'n horisontale bergingstelsel. Dit bied die voordele van beide argitekture en laat byna onbeperkte skaal toe van slegs die element waarvan die prestasie nie genoeg is nie.
Van integrasie tot konvergensie
'n Klassieke taak, waarvan die relevansie net oor die afgelope 15 jaar gegroei het, is die behoefte om terselfdertyd blokberging, lêertoegang, toegang tot voorwerpe, die bedryf van 'n plaas vir groot data te verskaf, ens. Die kersie op die koek kan ook wees, byvoorbeeld, 'n rugsteunstelsel na magneetband.
In die eerste stadium kon slegs die bestuur van hierdie dienste verenig word. Heterogene databergingstelsels was gesluit vir sommige gespesialiseerde sagteware, waardeur die administrateur hulpbronne uit die beskikbare poele versprei het. Maar aangesien hierdie swembaddens anders in hardeware was, was dit onmoontlik om die vrag tussen hulle te migreer. Op 'n hoër vlak van integrasie het die konsolidasie op die poortvlak plaasgevind. As daar 'n gedeelde lêertoegang was, kan dit deur verskillende protokolle gegee word.
Die mees gevorderde konvergensiemetode wat nou tot ons beskikking is, behels die skepping van 'n universele hibriede stelsel. Net soos ons s'n moet wees . Universele toegang gebruik dieselfde hardewarehulpbronne, logies verdeel in verskillende poele, maar laat lasmigrasie toe. Dit alles kan deur 'n enkele bestuurskonsole gedoen word. Op hierdie manier het ons daarin geslaag om die konsep van "een datasentrum - een stoorstelsel" te implementeer.
Die koste van die stoor van inligting bepaal nou baie argitektoniese besluite. En hoewel dit veilig op die voorgrond gestel kan word, bespreek ons vandag "live" berging met aktiewe toegang, dus moet prestasie ook in ag geneem word. Nog 'n belangrike eienskap van die volgende generasie verspreide stelsels is eenwording. Niemand wil immers dat verskeie uiteenlopende stelsels vanaf verskillende konsoles bestuur word nie. Al hierdie eienskappe word beliggaam in die nuwe reeks Huawei-produkte. .
Volgende generasie massaberging
OceanStor Pacific voldoen aan ses nege (99,9999%) betroubaarheidvereistes en kan gebruik word om 'n HyperMetro-klasdatasentrum te skep. Met 'n afstand tussen twee datasentrums van tot 100 km, toon die stelsels 'n bykomende vertraging van 2 ms, wat dit moontlik maak om enige rampvaste oplossings op grond daarvan te bou, insluitend dié met kworumbedieners.
Die produkte van die nuwe reeks toon veelsydigheid in terme van protokolle. OceanStor 100D ondersteun reeds bloktoegang, voorwerptoegang en Hadoop-toegang. Lêertoegang sal in die nabye toekoms geïmplementeer word. Dit is nie nodig om veelvuldige kopieë van die data te hou as dit deur verskillende protokolle uitgereik kan word nie.
Dit wil voorkom, wat het die konsep van "verlieslose netwerk" met berging te doen? Die feit is dat verspreide bergingstelsels gebou word op die basis van 'n vinnige netwerk wat die toepaslike algoritmes en die RoCE-meganisme ondersteun. Die kunsmatige intelligensiestelsel wat deur ons skakelaars ondersteun word, help om netwerkspoed verder te verhoog en latensie te verminder. . Die prestasiewins van bergingstelsels wanneer AI Fabric geaktiveer word, kan 20% bereik.
Wat is die nuwe OceanStor Pacific-verspreide bergingsnodus? Die 5U-vormfaktoroplossing sluit 120 aandrywers in en kan drie klassieke nodusse vervang, wat die rekspasie meer as verdubbel. As gevolg van die weiering om kopieë te stoor, neem die doeltreffendheid van aandrywers aansienlik toe (tot + 92%).
Ons is gewoond aan die feit dat sagteware-gedefinieerde berging 'n spesiale sagteware is wat op 'n klassieke bediener geïnstalleer is. Maar nou, om optimale parameters te bereik, vereis hierdie argitektoniese oplossing ook spesiale nodusse. Dit bestaan uit twee bedieners gebaseer op ARM-verwerkers wat 'n verskeidenheid drie-duim-aandrywers bestuur.
Hierdie bedieners is nie goed geskik vir hipergekonvergeerde oplossings nie. Eerstens is daar min toepassings vir ARM, en tweedens is dit moeilik om 'n lasbalans te handhaaf. Ons stel voor om na aparte berging oor te skakel: 'n rekenaargroepering, verteenwoordig deur klassieke of rekbedieners, werk afsonderlik, maar is gekoppel aan OceanStor Pacific-bergingnodusse, wat ook hul direkte take verrig. En dit regverdig homself.
Kom ons neem byvoorbeeld 'n klassieke hipergekonvergeerde grootdatabergingsoplossing wat 15 bedienerrakke beslaan. As jy die las tussen individuele OceanStor Pacific-rekenaarbedieners en stoornodusse verdeel, en hulle van mekaar skei, sal die aantal vereiste rakke gehalveer word! Dit verminder die koste van die bedryf van die datasentrum en verlaag die totale koste van eienaarskap. In 'n wêreld waar die volume gestoorde inligting teen 30% per jaar groei, is sulke voordele nie verstrooi nie.
***
Vir meer inligting oor Huawei-oplossings en hul toepassingscenario's, besoek asseblief ons of deur die verteenwoordigers van die maatskappy direk te kontak.
Bron: will.com