Hodiaŭ ni parolos pri kiel plej bone stoki datumojn en mondo, kie kvina-generaciaj retoj, genomaj skaniloj kaj memveturaj aŭtoj produktas pli da datumoj en tago ol la tuta homaro generita antaŭ la industria revolucio.
Nia mondo generas pli kaj pli da informoj. Kelkaj el ĝi estas pasema kaj estas perdita tiel rapide kiel ĝi estas kolektita. La alia estu konservata pli longe, kaj la alia estas tute desegnita "dum jarcentoj" - almenaŭ tiel ni vidas ĝin el la nuntempo. Informfluoj instaliĝas en datumcentroj kun tia rapideco, ke ĉiu nova aliro, ajna teknologio desegnita por plenumi ĉi tiun senfinan "postulon" rapide malnoviĝas.
40 jaroj da distribua stokado-disvolviĝo
La unuaj retstokadoj en la formo konata al ni aperis en la 1980-aj jaroj. Multaj el vi renkontis NFS (Network File System), AFS (Andrew File System) aŭ Coda. Jardekon poste, modo kaj teknologio ŝanĝiĝis, kaj distribuitaj dosiersistemoj cedis lokon al amasigitaj stokadsistemoj bazitaj sur GPFS (Ĝenerala Paralela Dosiersistemo), CFS (Clustered File Systems) kaj StorNext. Kiel bazo, blokstokadoj de klasika arkitekturo estis uzitaj, aldone al kiu ununura dosiersistemo estis kreita uzante la softvartavolon. Ĉi tiuj kaj similaj solvoj ankoraŭ estas uzataj, okupas sian niĉon kaj estas sufiĉe postulataj.
Ĉe la jarmilŝanĝo, la distribuita stokadparadigmo iom ŝanĝiĝis, kaj sistemoj kun la SN (Shared-Nothing) arkitekturo ekgvidis. Okazis transiro de areto-stokado al stokado sur apartaj nodoj, kiuj, kiel regulo, estis klasikaj serviloj kun programaro, kiu provizas fidindan stokadon; tiaj principoj estas konstruitaj, ekzemple, HDFS (Hadoop Distributed File System) kaj GFS (Global File System).
Pli proksime al 2010, la konceptoj subestaj distribuitaj stokadsistemoj ĉiam pli komencis esti reflektitaj en plenrajtaj komercaj produktoj, kiel ekzemple VMware vSAN, Dell EMC Isilon, kaj nia. . Malantaŭ la menciitaj platformoj ne plu troviĝas komunumo de entuziasmuloj, sed specifaj vendistoj, kiuj respondecas pri la funkcieco, subteno, serva prizorgado de la produkto kaj garantias ĝian pluan disvolviĝon. Tiaj solvoj estas plej postulataj en pluraj areoj.
Telekomunikaj telefonistoj
Eble unu el la plej maljunaj konsumantoj de distribuitaj stokadsistemoj estas teleentreprenistoj. La diagramo montras kiuj grupoj de aplikoj produktas la plejparton de la datenoj. OSS (Operaciaj Subtenaj Sistemoj), MSS (Administraj Subtenaj Servoj) kaj BSS (Komercaj Subtenaj Sistemoj) estas tri komplementaj softvartavoloj necesaj por servlivero al abonantoj, financa raportado al la provizanto, kaj funkcia subteno al la inĝenieroj de la funkciigisto.
Ofte, la datumoj de ĉi tiuj tavoloj estas forte miksitaj unu kun la alia, kaj por eviti la amasiĝon de nenecesaj kopioj, estas uzataj distribuitaj stokoj, kiuj amasigas la tutan kvanton da informoj venantaj de funkcianta reto. La stokejoj estas kombinitaj en komunan naĝejon, al kiu ĉiuj servoj aliras.
Niaj kalkuloj montras, ke la transiro de klasikaj al blokaj stokadsistemoj ebligas al vi ŝpari ĝis 70% de la buĝeto nur forlasante dediĉitajn altnivelajn stokadsistemojn kaj uzante konvenciajn klasikajn arkitekturajn servilojn (kutime x86), laborante kune kun speciala programaro. Ĉelaj telefonistoj akiras tiajn solvojn en signifaj volumoj dum sufiĉe longa tempo. Precipe, rusaj telefonistoj uzas tiajn produktojn de Huawei dum pli ol ses jaroj.
Jes, kelkaj taskoj ne povas esti plenumitaj per distribuitaj sistemoj. Ekzemple, kun pliigitaj agadopostuloj aŭ kongruo kun pli malnovaj protokoloj. Sed almenaŭ 70% de la datumoj, kiujn la operaciisto prilaboras, povas esti metitaj en distribuitan naĝejon.
Bankado
En iu ajn banko, ekzistas multaj diversaj IT-sistemoj, de prilaborado ĝis aŭtomata banka sistemo. Ĉi tiu infrastrukturo ankaŭ funkcias kun grandega kvanto da informoj, dum la plej multaj el la taskoj ne postulas pliigitan rendimenton kaj fidindecon de stokadsistemoj, kiel disvolviĝo, testado, aŭtomatigo de oficejaj procezoj, ktp. Ĉi tie, la uzo de klasikaj stokadsistemoj eblas. , sed ĉiujare ĝi estas malpli kaj malpli profita. Krome, en ĉi tiu kazo, ne estas fleksebleco en elspezado de stokaj rimedoj, kies agado estas kalkulita de la pinta ŝarĝo.
Kiam oni uzas distribuitajn stokadsistemojn, iliaj nodoj, kiuj fakte estas ordinaraj serviloj, povas esti konvertitaj iam ajn, ekzemple, en servila bieno kaj uzataj kiel komputika platformo.
Datumaj lagoj
La supra diagramo montras liston de tipaj servaj konsumantoj. . Ĉi tiuj povas esti e-registaraj servoj (ekzemple, "Gosuslugi"), entreprenoj kiuj spertis ciferecigon, financaj strukturoj, ktp. Ĉiuj el ili bezonas labori kun grandaj volumoj de heterogenaj informoj.
La funkciado de klasikaj stoksistemoj por solvi tiajn problemojn estas malefika, ĉar kaj alt-efikeca aliro por bloki datumbazojn kaj regula aliro al bibliotekoj de skanitaj dokumentoj stokitaj kiel objektoj estas postulataj. Ĉi tie, ekzemple, sistemo de mendoj per retportalo povas esti ligita. Por efektivigi ĉion ĉi sur klasika stokado-platformo, vi bezonos grandan aron da ekipaĵoj por malsamaj taskoj. Unu horizontala universala stoksistemo povas facile kovri ĉiujn antaŭe listigitajn taskojn: vi nur bezonas krei plurajn naĝejojn en ĝi kun malsamaj stokadkarakterizaĵoj.
Generatoroj de novaj informoj
La kvanto da informoj konservitaj en la mondo kreskas je ĉirkaŭ 30% jare. Ĉi tio estas bona novaĵo por stokadvendistoj, sed kio estas kaj estos la ĉefa fonto de ĉi tiuj datumoj?
Antaŭ dek jaroj, sociaj retoj fariĝis tiaj generatoroj, kiuj postulis la kreadon de granda nombro da novaj algoritmoj, aparataj solvoj, ktp. Nun estas tri ĉefaj ŝoforoj de stokado-kresko. La unua estas nuba komputado. Nuntempe, proksimume 70% de kompanioj uzas nubservojn en unu maniero aŭ alia. Ĉi tiuj povas esti retpoŝtaj sistemoj, sekurkopioj kaj aliaj virtualigitaj entoj.
La kvina generaciaj retoj iĝas la dua ŝoforo. Ĉi tiuj estas novaj rapidoj kaj novaj volumoj de transdono de datumoj. Laŭ niaj prognozoj, la disvastigita adopto de 5G kondukos al malpliigo de postulo por fulmmemorkartoj. Kiom ajn memoro estas en la telefono, ĝi ankoraŭ finiĝas, kaj se la aparato havas 100-megabitan kanalon, ne necesas konservi fotojn loke.
La tria grupo de kialoj, kial la postulo pri stokadsistemoj kreskas, inkluzivas la rapidan disvolviĝon de artefarita inteligenteco, la transiro al analizo de grandaj datumoj kaj la tendenco al universala aŭtomatigo de ĉio, kio eblas.
Trajto de "nova trafiko" estas ĝia . Ni devas konservi ĉi tiujn datumojn sen difini ĝian formaton iel. Ĝi estas postulata nur por posta legado. Ekzemple, banka poentsistemo por determini la disponeblan pruntan grandecon rigardos la fotojn, kiujn vi afiŝis en sociaj retoj, determinante kiom ofte vi iras al la maro kaj restoracioj, kaj samtempe studos ekstraktojn de viaj medicinaj dokumentoj disponeblaj al ĝi. Ĉi tiuj datumoj, unuflanke, estas ampleksaj, kaj aliflanke, al ili mankas homogeneco.
Oceano de nestrukturitaj datumoj
Kio estas la problemoj, kiujn la apero de "novaj datumoj" kunportas? La unua inter ili, kompreneble, estas la kvanto de informoj mem kaj la laŭtaksa periodo de ĝia stokado. Moderna aŭtonoma senŝoforo sole generas ĝis 60TB da datumoj ĉiutage de ĉiuj siaj sensiloj kaj mekanismoj. Por disvolvi novajn movadajn algoritmojn, ĉi tiuj informoj devas esti prilaboritaj ene de la sama tago, alie ĝi komencos amasiĝi. Samtempe, ĝi devas esti stokita dum tre longa tempo - jardekoj. Nur tiam estonte eblos eltiri konkludojn surbaze de grandaj analizaj specimenoj.
Unu aparato por deĉifri genetikajn sekvencojn produktas ĉirkaŭ 6 terabajtojn tage. Kaj la datumoj kolektitaj kun ĝia helpo tute ne implicas forigon, tio estas, hipoteze, ili estu konservitaj por ĉiam.
Fine, ĉiuj samaj retoj de la kvina generacio. Krom la informoj mem transdonitaj, tia reto estas mem grandega datumgeneratoro: agadregistroj, vokaj registroj, mezaj rezultoj de maŝin-al-maŝinaj interagoj, ktp.
Ĉio ĉi postulas la evoluon de novaj aliroj kaj algoritmoj por stokado kaj prilaborado de informoj. Kaj tiaj aliroj aperas.
Teknologioj de la nova epoko
Tri grupoj de solvoj dizajnitaj por trakti novajn postulojn por informaj stokadsistemoj povas esti distingitaj: la enkonduko de artefarita inteligenteco, la teknika evoluo de stokadmedioj, kaj inventoj en la kampo de sistemarkitekturo. Ni komencu per AI.
En la novaj solvoj de Huawei, artefarita inteligenteco jam estas uzata je la nivelo de la stokado mem, kiu estas ekipita per AI-procesoro, kiu permesas al la sistemo sendepende analizi sian staton kaj antaŭdiri misfunkciadojn. Se la stokada sistemo estas konektita al servonubo kiu havas signifajn komputikajn kapablojn, artefarita inteligenteco povas prilabori pli da informoj kaj plibonigi la precizecon de siaj hipotezoj.
Krom fiaskoj, tia AI kapablas antaŭdiri la estontan pintan ŝarĝon kaj la tempon restantan ĝis la kapacito estas elĉerpita. Ĉi tio ebligas al vi optimumigi rendimenton kaj skali la sistemon antaŭ ol okazas nedezirataj eventoj.
Nun pri la evoluo de datumportiloj. La unuaj poŝmemoriloj estis faritaj per SLC (Single-Level Cell) teknologio. La aparatoj bazitaj sur ĝi estis rapidaj, fidindaj, stabilaj, sed havis malgrandan kapaciton kaj estis tre multekostaj. La kresko de volumo kaj malpliigo de prezo estis atingita per iuj teknikaj koncedoj, pro kiuj la rapideco, fidindeco kaj vivo de la diskoj estis reduktitaj. Tamen, la tendenco ne influis la stokajn sistemojn mem, kiuj ĝenerale pro diversaj arkitekturaj trukoj fariĝis kaj pli produktivaj kaj pli fidindaj.
Sed kial vi bezonis All-Flash-klasajn stoksistemojn? Ĉu ne sufiĉis nur anstataŭigi malnovajn HDD-ojn en jam funkcianta sistemo per novaj SSD-oj de la sama formo? Ĉi tio estis postulata por efike uzi ĉiujn rimedojn de novaj SSDoj, kio estis simple malebla en pli malnovaj sistemoj.
Huawei, ekzemple, evoluigis kelkajn teknologiojn por solvi ĉi tiun problemon, unu el kiuj estas , kiu ebligis kiel eble plej optimumigi la interagojn pri disko-regilo.
Inteligenta identigo ebligis malkomponi datumojn en plurajn fluojn kaj trakti kelkajn nedezirindajn fenomenojn, kiel ekzemple (skribi plifortigon). En la sama tempo, novaj reakiro-algoritmoj, precipe , pliigis la rapidecon de la rekonstruo, reduktante ĝian tempon al tute sensignifaj valoroj.
Fiasko, troloĝateco, rubokolektado - ĉi tiuj faktoroj ankaŭ ne plu influas la agadon de la stokada sistemo danke al speciala rafinado de la regiloj.
Kaj blokaj datumbutikoj prepariĝas renkontiĝi . Memoru, ke la klasika skemo por organizi datuman aliron funkciis tiel: la procesoro aliris la RAID-regilon per la buso PCI Express. Tio, siavice, interagis kun mekanikaj diskoj per SCSI aŭ SAS. La uzo de NVMe sur la backend signife akcelis la tutan procezon, sed portis unu malavantaĝon: la diskoj devis esti rekte konektitaj al la procesoro por provizi ĝin per rekta memoraliro.
La sekva fazo de teknologia evoluo, kiun ni nun vidas, estas la uzo de NVMe-oF (NVMe over Fabrics). Koncerne al Huawei-blokaj teknologioj, ili jam subtenas FC-NVMe (NVMe super Fibra Kanalo), kaj NVMe super RoCE (RDMA super Converged Ethernet) estas survoje. La testmodeloj estas sufiĉe funkciaj, kelkaj monatoj restas antaŭ ilia oficiala prezento. Notu, ke ĉio ĉi aperos ankaŭ en distribuitaj sistemoj, kie "Ethernet sen perdo" estos tre postulata.
Plia maniero optimumigi la laboron de distribuitaj stokado estis la kompleta malakcepto de spegulado de datumoj. Huawei-solvoj ne plu uzas n kopiojn, kiel en la kutima RAID 1, kaj tute ŝanĝas al la mekanismo (Forigu kodigon). Speciala matematika pako kalkulas kontrolblokojn kun certa frekvenco, kiuj permesas restarigi interajn datumojn en kazo de perdo.
Deduplikataj kaj kunpremaj mekanismoj iĝas devigaj. Se en klasikaj stokadsistemoj ni estas limigitaj de la nombro da procesoroj instalitaj en regiloj, tiam en distribuitaj horizontale skaleblaj stokadsistemoj, ĉiu nodo enhavas ĉion, kion vi bezonas: diskoj, memoro, procesoroj kaj interkonekto. Ĉi tiuj rimedoj sufiĉas por ke maldupliko kaj kunpremado havu minimuman efikon al rendimento.
Kaj pri aparataj optimumigo-metodoj. Ĉi tie, eblis redukti la ŝarĝon sur la centraj procesoroj helpe de aldonaj dediĉitaj mikrocirkvitoj (aŭ dediĉitaj blokoj en la procesoro mem), kiuj ludas la rolon. (TCP/IP-Malŝarĝa Motoro) aŭ surprenante la matematikajn taskojn de EC, maldupliko kaj kunpremado.
Novaj aliroj al datumstokado estas enkarnigitaj en disigita (distribuita) arkitekturo. En centralizitaj stokadsistemoj, ekzistas servilfabriko ligita per Fibrekanalo al kun multaj tabeloj. La malavantaĝoj de ĉi tiu aliro estas malfacilaĵoj kun skalo kaj disponigado de garantiita servonivelo (laŭ agado aŭ latenteco). Hiperkonverĝaj sistemoj uzas la samajn gastigantojn por kaj stokado kaj prilaborado de informoj. Ĉi tio donas preskaŭ senliman amplekson por grimpi, sed kunportas altajn kostojn por konservi datuman integrecon.
Male al ambaŭ ĉi-supraj, disigita arkitekturo implicas disigante la sistemon en komputikfabrikon kaj horizontalan stoksistemon. Ĉi tio disponigas la avantaĝojn de ambaŭ arkitekturoj kaj permesas preskaŭ senliman skalon de nur la elemento kies agado ne sufiĉas.
De integriĝo ĝis konverĝo
Klasika tasko, kies graveco nur kreskis dum la pasintaj 15 jaroj, estas la bezono samtempe provizi blokan stokadon, aliron al dosieroj, aliron al objektoj, funkciadon de bieno por grandaj datumoj, ktp. La guisaĵo sur la kuko povas ankaŭ esti, ekzemple, rezerva sistemo al magneta bendo.
En la unua etapo, nur la administrado de ĉi tiuj servoj povus esti unuigita. Heterogenaj datumstokaj sistemoj estis fermitaj al iu speciala programaro, per kiu la administranto distribuis resursojn de la disponeblaj naĝejoj. Sed ĉar ĉi tiuj naĝejoj estis malsamaj en aparataro, migri la ŝarĝon inter ili estis neeble. Je pli alta nivelo de integriĝo, la firmiĝo okazis ĉe la enirejnivelo. Se ekzistis komuna dosiera aliro, ĝi povus esti donita per malsamaj protokoloj.
La plej progresinta konverĝa metodo disponebla al ni nun implikas la kreadon de universala hibrida sistemo. Ĝuste kiel la nia devus esti . Universala aliro uzas la samajn aparatarresursojn, logike dividitajn en malsamajn naĝejojn, sed permesante ŝarĝmigradon. Ĉio ĉi povas esti farita per ununura administra konzolo. Tiel ni sukcesis efektivigi la koncepton de "unu datumcentro - unu stokada sistemo".
La kosto de stokado de informoj nun determinas multajn arkitekturajn decidojn. Kaj kvankam ĝi povas esti sekure metita ĉe la avangardo, ni diskutas hodiaŭ "vivan" stokadon kun aktiva aliro, do ankaŭ rendimento devas esti konsiderata. Alia grava posedaĵo de venontgeneraciaj distribuitaj sistemoj estas unuigo. Post ĉio, neniu volas havi plurajn malsimilajn sistemojn administritajn de malsamaj konzoloj. Ĉiuj ĉi tiuj kvalitoj estas enkorpigitaj en la nova serio de Huawei-produktoj. .
Venontgeneracia amasa stokado
OceanStor Pacific plenumas ses naŭ (99,9999%) fidindecpostulojn kaj povas esti uzata por krei HyperMetro-klasan datumcentron. Kun distanco inter du datumcentroj de ĝis 100 km, la sistemoj montras plian prokraston de 2 ms, kio ebligas konstrui ajnajn katastrofajn solvojn bazitajn sur ili, inkluzive de tiuj kun kvorumaj serviloj.
La produktoj de la nova serio pruvas ĉiuflankecon laŭ protokoloj. Jam OceanStor 100D subtenas blokan aliron, objektan aliron kaj Hadoop-aliron. Dosiera aliro estos efektivigita en proksima estonteco. Ne necesas konservi plurajn kopiojn de la datumoj se ili povas esti elsenditaj per malsamaj protokoloj.
Ŝajnus, kion rilatas la koncepto de "senperda reto" kun stokado? La fakto estas, ke distribuitaj stokadsistemoj estas konstruitaj surbaze de rapida reto, kiu subtenas la taŭgajn algoritmojn kaj la mekanismon RoCE. La sistemo de artefarita inteligenteco subtenata de niaj ŝaltiloj helpas plu pliigi retan rapidecon kaj redukti latencian. . La rendimenta gajno de stokadsistemoj kiam AI Fabric estas aktivigita povas atingi 20%.
Kio estas la nova distribua stokada nodo OceanStor Pacific? La solvo de 5U-formfaktoro inkluzivas 120 diskojn kaj povas anstataŭigi tri klasikajn nodojn, pli ol duobligi la rakspacon. Pro la rifuzo konservi kopiojn, la efikeco de diskoj signife pliiĝas (ĝis + 92%).
Ni kutimas, ke programaro-difinita stokado estas speciala programaro instalita sur klasika servilo. Sed nun, por atingi optimumajn parametrojn, ĉi tiu arkitektura solvo ankaŭ postulas specialajn nodojn. Ĝi konsistas el du serviloj bazitaj sur ARM-procesoroj, kiuj administras aron de tri-colaj diskoj.
Ĉi tiuj serviloj ne taŭgas por hiperkonverĝaj solvoj. Unue, ekzistas malmultaj aplikoj por ARM, kaj due, estas malfacile konservi ŝarĝan ekvilibron. Ni sugestas ŝanĝi al aparta stokado: komputika areto, reprezentita de klasikaj aŭ rakaj serviloj, funkcias aparte, sed estas konektita al OceanStor Pacific-stokaj nodoj, kiuj ankaŭ plenumas siajn rektajn taskojn. Kaj ĝi pravigas sin.
Ekzemple, ni prenu klasikan hiperkonverĝan grandan datuman stokan solvon, kiu okupas 15 servilojn. Se vi distribuas la ŝarĝon inter individuaj komputilaj serviloj kaj stokaj nodoj de OceanStor Pacific, apartigante ilin unu de la alia, la nombro da bezonataj rakoj estos duonigita! Ĉi tio reduktas la koston de funkciigado de la datumcentro kaj malaltigas la totalkoston de proprieto. En mondo, kie la volumo de konservitaj informoj kreskas je 30% jare, tiaj profitoj ne estas disaj.
***
Por pliaj informoj pri Huawei-solvoj kaj iliaj aplikaj scenaroj, bonvolu viziti nian aŭ kontaktante la reprezentantojn de la kompanio rekte.
fonto: www.habr.com