Haut schwätze mir iwwer wéi dat am beschten gespäichert gëtt an enger Welt wou fënneften Generatioun Netzwierker, Genom Scanner a selbstfahrend Autoen méi Daten pro Dag produzéieren wéi d'ganz Mënschheet virun der industrieller Revolutioun generéiert gouf.
Eis Welt generéiert ëmmer méi Informatioun. En Deel dovun ass flüchteg a gëtt sou séier verluer wéi et gesammelt gëtt. Eng aner soll méi laang gespäichert ginn, an en aneren ass souguer "fir Joerhonnerte" entworf - op d'mannst dat ass wat mir vun haut gesinn. Informatiounsfléissen settelen sech an Datenzenteren mat esou enger Geschwindegkeet datt all nei Approche, all Technologie entwéckelt fir dës endlos "Nofro" ze erfëllen, séier verouderd gëtt.
40 Joer Entwécklung vun verdeelt Späichersystemer
Déi éischt Netzwierkspäicherung an der Form, déi mir vertraut sinn, koum an den 1980er Joren. Vill vun iech sinn op NFS (Network File System), AFS (Andrew File System) oder Coda begéint. E Jorzéngt méi spéit hunn d'Moud an d'Technologie geännert, a verdeelt Dateiesystemer hunn Plaz gemaach fir clusteréiert Späichersystemer baséiert op GPFS (General Parallel File System), CFS (Clustered File Systems) a StorNext. Blocklagerung vun der klassescher Architektur gouf als Basis benotzt, op deem en eenzegen Dateiesystem mat enger Softwareschicht erstallt gouf. Dës an ähnlech Léisunge ginn nach ëmmer benotzt, besetzen hir Nisch a si ganz gefrot.
Um Tour vum Joerdausend huet de verdeelt Späicherparadigma e bësse geännert, a Systemer mat SN (Shared-Nothing) Architektur hunn déi féierend Positiounen iwwerholl. Et gouf en Iwwergang vu Clusterspeicher op Lagerung op eenzel Knäppercher, déi, an der Regel, klassesch Servere mat Software waren, déi zuverlässeg Späichere ubidden; Op esou Prinzipien, soen, HDFS (Hadoop Distributed File System) an GFS (Global File System) ginn gebaut.
Méi no un den 2010er hunn d'Konzepter, déi verdeelt Späichersystemer ënnerleien, ëmmer méi a vollwäerteg kommerziell Produkter reflektéiert ginn, wéi VMware vSAN, Dell EMC Isilon an eis . Hannert de genannte Plattformen gëtt et net méi eng Gemeinschaft vun Enthusiaster, mee spezifesch Ubidder, déi fir d'Funktionalitéit, d'Ënnerstëtzung an de Service vum Produkt verantwortlech sinn a seng Weiderentwécklung garantéieren. Esou Léisunge sinn am meeschte gefrot a verschiddene Beräicher.
Telekomoperateuren
Vläicht ee vun den eelste Konsumenten vun verdeelt Späichersystemer sinn Telekomoperateuren. D'Diagramm weist wéi eng Gruppe vun Uwendungen de gréissten Deel vun Daten produzéieren. OSS (Operations Support Systems), MSS (Management Support Services) a BSS (Business Support Systems) representéieren dräi komplementär Softwareschichten déi néideg sinn fir Service un Abonnenten ze bidden, finanziell Berichterstattung un de Provider an operationell Ënnerstëtzung fir Bedreiwer Ingenieuren.
Dacks sinn d'Daten vun dëse Schichten staark matenee gemëscht, a fir d'Akkumulation vun onnéidege Kopien ze vermeiden, gëtt verdeelt Späichere benotzt, déi de ganze Betrag vun Informatioun sammelt aus dem Betribsnetz. D'Späichere ginn an e gemeinsame Pool kombinéiert, dee vun all Servicer zougänglech ass.
Eis Berechnunge weisen datt den Iwwergank vu klassesche Späichersystemer op Blocklagersystemer erlaabt Iech bis zu 70% vum Budget nëmmen ze spueren andeems Dir engagéierten Hi-End Späichersystemer opginn an konventionell klassescher Architekturserver benotzt (normalerweis x86), a Verbindung mat spezialiséierten Aarbechten. Software. Cellular Opérateuren hu viru laanger Zäit ugefaang sou Léisungen a grousse Quantitéiten ze kafen. Besonnesch russesch Betreiber hunn esou Produkter vun Huawei fir méi wéi sechs Joer benotzt.
Jo, eng Rei vun Aufgaben kënnen net mat verdeele Systemer ofgeschloss ginn. Zum Beispill, mat verstäerkte Leeschtungsfuerderunge oder Kompatibilitéit mat eelere Protokoller. Awer op d'mannst 70% vun den Donnéeën, déi vum Bedreiwer veraarbecht ginn, kënnen an engem verdeelte Pool sinn.
Bankesektor
An all Bank ginn et vill verschidden IT Systemer, ugefaange vu Veraarbechtung an ophalen mat engem automatiséierte Bankesystem. Dës Infrastruktur funktionnéiert och mat enger enormer Quantitéit un Informatioun, während déi meescht Aufgaben keng erhéicht Leeschtung an Zouverlässegkeet vu Späichersystemer erfuerderen, zum Beispill Entwécklung, Testen, Automatisatioun vun Büroprozesser, etc. Hei ass d'Benotzung vu klassesche Späichersystemer méiglech, mee all Joer ass et manner a manner rentabel. Zousätzlech, ass et an dësem Fall keng Flexibilitéit am Gebrauch vun Stockage System Ressourcen, der Leeschtung vun deem baséiert op Spëtzt Belaaschtung berechent ass.
Wann Dir verdeelt Späichersystemer benotzt, kënnen hir Wirbelen, déi tatsächlech gewéinlech Server sinn, zu all Moment ëmgewandelt ginn, zum Beispill an e Serverfarm an als Rechenplattform benotzt.
Daten Séien
D'Diagramm uewen weist eng Lëscht vun typesche Service Konsumenten . Dëst kéint E-Government Servicer sinn (zum Beispill, "Government Services"), digitaliséiert Entreprisen, Finanzinstituter, etc.. All vun hinnen muss mat grousse Volumen vun heterogen Informatiounen ze schaffen.
Klassesch Späichersystemer benotze fir sou Probleemer ze léisen ass net effikass, well et erfuerdert souwuel héich performant Zougang zu Spärdatenbanken a regelméissegen Zougang zu Bibliothéike vu gescannte Dokumenter, déi als Objete gespäichert sinn. Zum Beispill kann en Bestellungssystem iwwer e Webportal och hei verlinkt ginn. Fir dëst alles op enger klassescher Späicherplattform ëmzesetzen, braucht Dir e grousse Set vun Ausrüstung fir verschidden Aufgaben. Een horizontalen Universallagerungssystem ka gutt all déi virdru opgezielt Aufgaben ofdecken: Dir musst just e puer Poole mat verschiddene Späichereigenschaften erstellen.
Generatoren vun neien Informatiounen
D'Quantitéit un Informatioun, déi op der Welt gespäichert ass, wiisst ëm ongeféier 30% pro Joer. Dëst ass gutt Neiegkeet fir Stockage Ubidder, awer wat ass a wäert d'Haaptquell vun dësen Donnéeën sinn?
Virun zéng Joer sinn sozial Netzwierker esou Generatoren ginn, dëst erfuerdert d'Schafung vun enger grousser Zuel vun neien Algorithmen, Hardwareléisungen, asw. Elo ginn et dräi Haapttreiber fir de Wuesstum vun de Späichervolumen. Déi éischt ass Cloud Computing. De Moment benotzen ongeféier 70% vun de Firmen Cloud Servicer op déi eng oder aner Manéier. Dëst kënnen elektronesch Mailsystemer, Backupkopien an aner virtualiséiert Entitéite sinn.
Déi zweet Chauffer ass fënneften Generatioun Netzwierker. Dëst sinn nei Geschwindegkeet an nei Datenübertragungsvolumen. No eise Prognosen wäert déi verbreet Adoptioun vu 5G zu enger Réckgang vun der Nofro fir Flash Memory Kaarten féieren. Egal wéi vill Erënnerung et am Telefon ass, et leeft nach ëmmer aus, a wann de Gadget en 100-Megabit-Kanal huet, ass et net néideg Fotoen lokal ze späicheren.
Déi drëtt Grupp vu Grënn firwat d'Nofro fir Späichersystemer wiisst enthält déi séier Entwécklung vu kënschtlecher Intelligenz, den Iwwergank op Big Data Analytics an den Trend zu enger universeller Automatisatioun vun alles méiglech.
Eng Feature vum "neie Verkéier" ass seng . Mir mussen dës Donnéeën späicheren ouni säi Format op iergendeng Manéier ze definéieren. Et ass erfuerderlech nëmme fir spéider Liesen. Zum Beispill, fir de verfügbare Prêtbetrag ze bestëmmen, wäert e Banke-Scoring-System d'Fotoen kucken, déi Dir op de sozialen Netzwierker postt, feststellt ob Dir dacks an d'Mier an an de Restauranten gitt, a gläichzäiteg d'Extrakter vun Äre verfügbaren medizineschen Dokumenter studéieren. derzou. Dës Donnéeën, engersäits, sinn iwwergräifend, mä op der anerer Säit, feelen Homogenitéit.
Ozean vun onstrukturéierten Donnéeën
Wéi eng Problemer bréngt d'Entstoe vun "neien Donnéeën" mat? Déi éischt ënnert hinnen, natierlech, ass de grousse Volume vun Informatiounen an der geschätzte Period vu senger Stockage. E modernen autonomen Auto ouni Chauffer eleng generéiert all Dag bis zu 60 Terabytes vun Daten aus all senge Sensoren a Mechanismen. Fir nei Bewegungsalgorithmen z'entwéckelen, muss dës Informatioun am selwechten Dag veraarbecht ginn, soss fänkt se un ze accumuléieren. Zur selwechter Zäit muss et ganz laang gespäichert ginn - Joerzéngte. Nëmmen dann ass et méiglech an Zukunft Conclusiounen ze zéien baséiert op grouss analytesch Echantillon.
Een Apparat fir genetesch Sequenzen z'entschlësselen produzéiert ongeféier 6 TB pro Dag. An d'Donnéeën, déi mat hirer Hëllef gesammelt ginn, implizéiert guer net d'Läschung, dat heescht, hypothetesch, sollten se fir ëmmer gespäichert ginn.
Endlech, déi selwecht fënneften Generatioun Netzwierker. Nieft der aktueller iwwerdroen Informatioun ass sou en Netz selwer e grousse Generator vun Daten: Aktivitéitsprotokoller, Uruffrecords, Tëscheresultater vu Maschinn-zu-Maschinn Interaktiounen, asw.
All dëst erfuerdert d'Entwécklung vun neien Approchen an Algorithmen fir Informatioun ze späicheren an ze veraarbecht. An esou Approche entstinn.
Nei Ära Technologien
Et ginn dräi Gruppe vu Léisungen entwéckelt fir nei Ufuerderunge fir Informatiounsspeichersystemer ze këmmeren: d'Aféierung vu kënschtlecher Intelligenz, d'technesch Evolutioun vu Späichermedien an Innovatiounen am Beräich vun der Systemarchitektur. Loosst eis mat AI ufänken.
An neie Huawei-Léisungen gëtt kënschtlech Intelligenz um Niveau vun der Späichere selwer benotzt, déi mat engem AI-Prozessor ausgestatt ass, deen de System erlaabt onofhängeg säin Zoustand z'analyséieren an Feeler virauszesoen. Wann de Späichersystem mat enger Servicewolk verbonnen ass, déi bedeitend Rechenfäegkeeten huet, kann kënschtlech Intelligenz méi Informatioun veraarbecht an d'Genauegkeet vu sengen Hypothesen erhéijen.
Zousätzlech zu Feeler, kann esou AI zukünfteg Spëtzbelaaschtung viraussoen an d'Zäit déi bleift bis d'Kapazitéit erschöpft ass. Dëst erlaabt Iech d'Performance ze optimiséieren an de System ze skaléieren ier all ongewollt Eventer optrieden.
Elo iwwer d'Evolutioun vu Späichermedien. Déi éischt Flash Drive goufe mat SLC (Single-Level Cell) Technologie gemaach. Apparater baséiert op et ware séier, zouverlässeg, stabil, awer haten eng kleng Kapazitéit a waren ganz deier. Volumen Wuesstem a Präisreduktioun goufen duerch gewësse technesch Konzessiounen erreecht, wéinst deenen d'Geschwindegkeet, d'Zouverlässegkeet an d'Liewensdauer vun den Drive reduzéiert goufen. Trotzdem huet den Trend net d'Späichersystemer selwer beaflosst, déi duerch verschidde architektonesch Tricken allgemeng méi produktiv a méi zouverlässeg ginn.
Awer firwat hutt Dir All-Flash Späichersystemer gebraucht? War et net genuch fir déi al HDDs an engem scho Betribssystem mat neien SSDs vum selwechte Formfaktor ze ersetzen? Dëst war erfuerderlech fir effektiv all d'Ressourcen vun den neie Solid-State Drive ze benotzen, wat an eelere Systemer einfach onméiglech war.
Huawei, zum Beispill, huet eng Rei vun Technologien entwéckelt fir dëse Problem ze léisen, eng vun deenen ass , wat et méiglech gemaach huet, d'Interaktiounen "Disk-Controller" sou vill wéi méiglech ze optimiséieren.
Intelligent Identifikatioun huet et méiglech gemaach Daten an e puer Stréim ze zerbriechen a mat enger Rei vun ongewollten Phänomener ze këmmeren, wéi z.B. (schreiwen amplification). Zur selwechter Zäit, besonnesch nei Erhuelungsalgorithmen , erhéicht d'Geschwindegkeet vum Opbau, reduzéiert seng Zäit op komplett onbedeitend Quantitéiten.
Ausfall, Iwwerbezuelung, Müllsammlung - dës Faktoren beaflossen och net méi d'Performance vum Späichersystem duerch speziell Ännerunge vun de Controller.
A blockéiert Datenspeicher preparéiere sech och fir ze treffen . Loosst eis drun erënneren datt de klassesche Schema fir d'Organisatioun vun Datenzougang esou funktionnéiert: de Prozessor huet den RAID Controller iwwer de PCI Express Bus zougänglech gemaach. Dat, am Tour, interagéiert mat mechanesche Disken iwwer SCSI oder SAS. D'Benotzung vum NVMe um Backend huet de ganze Prozess wesentlech beschleunegt, awer et huet een Nodeel: d'Laufwerke mussen direkt mam Prozessor verbonne sinn fir en direkten Zougang zu Erënnerung ze ginn.
Déi nächst Phas vun der Technologieentwécklung déi mir elo gesinn ass d'Benotzung vun NVMe-oF (NVMe iwwer Stoffer). Wat Huawei Blocktechnologien ugeet, ënnerstëtzen se scho FC-NVMe (NVMe iwwer Fiber Channel), an NVMe iwwer RoCE (RDMA iwwer Converged Ethernet) ass um Wee. D'Testmodeller sinn zimlech funktionell; et sinn e puer Méint ier hir offiziell Presentatioun. Bedenkt datt all dëst an verdeelt Systemer schéngen wäert, wou "lossless Ethernet" wäert an grouss Nofro ginn.
En zousätzleche Wee fir d'Operatioun vun der verdeeler Lagerung ze optimiséieren war de komplette Verzicht vun Datespiegelen. Huawei Léisunge benotzen net méi n Kopien, wéi am üblechen RAID 1, a wiesselen komplett op den (Kodéierung läschen). E spezielle mathematesche Package berechent Kontrollblocken op enger gewësser Periodizitéit, déi Iech erlaben Zwëschendaten am Fall vu Verloscht ze restauréieren.
Deduplication a Kompressiounsmechanismen ginn obligatoresch. Wann a klassesche Späichersystemer mir limitéiert sinn duerch d'Zuel vun de Prozessoren, déi an de Controller installéiert sinn, dann a verdeelt horizontal skalierbare Späichersystemer, enthält all Node alles wat néideg ass: Disken, Erënnerung, Prozessoren an Interconnect. Dës Ressourcen si genuch fir sécherzestellen datt Deduplikatioun a Kompressioun minimalen Impakt op d'Leeschtung hunn.
An iwwer Hardware Optimisatiounsmethoden. Hei war et méiglech d'Laascht op zentrale Prozessoren ze reduzéieren mat der Hëllef vun zousätzlech dedizéierten Chips (oder engagéierte Blocks am Prozessor selwer), déi eng Roll spillen (TCP / IP Offload Engine) oder iwwerhuelen déi mathematesch Aufgaben vun EC, Deduplikatioun a Kompressioun.
Nei Approche fir Datelagerung sinn an enger disaggregéierter (verdeelt) Architektur verkierpert. Zentraliséiert Stockage Systemer hunn e Server Fabréck verbonne via Fiber Channel zu mat vill Arrays. D'Nodeeler vun dëser Approche sinn d'Schwieregkeet fir ze skaléieren an e garantéierte Serviceniveau ze garantéieren (a punkto Leeschtung oder Latenz). Hyperconverged Systemer benotzen déiselwecht Hosten fir Informatioun ze späicheren an ze veraarbecht. Dëst gëtt quasi onlimitéiert Spillraum fir Skaléieren, awer enthält héich Käschten fir d'Datenintegritéit z'erhalen.
Am Géigesaz zu deenen zwee hei uewen, implizéiert eng disaggregéiert Architektur opdeelen de System an engem Rechenzäit Stoff an engem horizontal Stockage System. Dëst bitt d'Virdeeler vu béiden Architekturen an erlaabt bal onlimitéiert Skala vun nëmmen dat Element dat keng Leeschtung huet.
Vun Integratioun bis Konvergenz
Eng klassesch Aufgab, d'Relevanz vun där nëmmen an de leschte 15 Joer gewuess ass, ass d'Noutwendegkeet fir gläichzäiteg Blocklagerung, Dateizougang, Zougang zu Objeten, Operatioun vun engem Big Data Farm, etc. ginn, zum Beispill, engem Backupsatellit System op Magnéitfeld.
Op der éischter Etapp konnt nëmmen d'Gestioun vun dëse Servicer vereenegt ginn. Heterogen Datenspeichersystemer goufen mat e puer spezialiséiert Software ugeschloss, duerch déi den Administrateur Ressourcen aus verfügbare Poole verdeelt huet. Awer well dës Poole verschidde Hardware haten, war d'Laaschtmigratioun tëscht hinnen onméiglech. Op engem méi héijen Integratiounsniveau ass d'Aggregatioun um Paartniveau geschitt. Wann d'Dateiedeelung verfügbar war, kéint et duerch verschidde Protokoller zerwéiert ginn.
Déi meescht fortgeschratt Konvergenzmethod, déi eis aktuell verfügbar ass, beinhalt d'Schafung vun engem universellen Hybridsystem. Genau wat eis soll ginn . Universal Zougang benotzt déiselwecht Hardware Ressourcen, logesch a verschidde Poolen opgedeelt, awer erlaabt d'Laaschtmigratioun. All dëst kann duerch eng eenzeg Gestiounskonsole gemaach ginn. Op dës Manéier konnte mir d'Konzept vun "One Data Center - One Storage System implementéieren."
D'Käschte fir Informatioun ze späicheren bestëmmen elo vill architektonesch Entscheedungen. An obwuel et sécher an der Spëtzt gesat ka ginn, diskutéiere mir haut iwwer "Live" Stockage mat aktiven Zougang, also muss d'Leeschtung och berücksichtegt ginn. Eng aner wichteg Eegeschaft vun der nächster Generatioun verdeelt Systemer ass Unifikatioun. Iwwerhaapt wëll keen e puer disparate Systemer vu verschiddene Konsolen kontrolléiert hunn. All dës Qualitéite sinn an der neier Serie vun Huawei Produkter verkierpert .
Mass Stockage System vun der neier Generatioun
OceanStor Pazifik entsprécht sechs-néng Zouverlässegkeet Ufuerderunge (99,9999%) a ka benotzt ginn fir HyperMetro Klass Datenzenteren ze kreéieren. Mat enger Distanz tëscht zwee Rechenzentren vu bis zu 100 km, weisen d'Systemer eng zousätzlech Latenz vun 2 ms, wat et méiglech mécht op hirer Basis all katastrofebeständeg Léisungen ze bauen, och déi mat Quorumserver.
Déi nei Serie Produkter weisen Protokoll Villsäitegkeet. Scho, OceanStor 100D ënnerstëtzt Block Zougang, Objet Zougang an Hadoop Zougang. Dossier Zougang wäert och an der nächster Zukunft ëmgesat ginn. Et gëtt kee Besoin fir verschidde Kopien vun Daten ze späicheren wa se duerch verschidde Protokoller ausgestallt kënne ginn.
Et géif schéngen, wat huet d'Konzept vun engem "lossless Reseau" mat Stockage Systemer ze maachen? D'Tatsaach ass datt verdeelt Datelagerungssystemer op Basis vun engem schnelle Netzwierk gebaut ginn, deen déi entspriechend Algorithmen an de RoCE Mechanismus ënnerstëtzt. De kënschtlechen Intelligenz System ënnerstëtzt vun eise Schalteren hëlleft d'Netzgeschwindegkeet weider ze erhéijen an d'Latenz ze reduzéieren. . De Gewënn an der Späicherleistung beim Aktivéieren vun AI Fabric kann 20% erreechen.
Wat ass den neien OceanStor Pacific verdeelt Späicherknuet? D'5U Form Faktor Léisung enthält 120 fiert a kann dräi klassesch Wirbelen ersetzen, déi méi wéi zweefach Spuer an Rack Plaz gëtt. Andeems Dir keng Kopien späichert, erhéicht d'Effizienz vun den Drive wesentlech (bis zu +92%).
Mir sinn der Tatsaach Gewunnecht, datt Software-definéiert Stockage speziell Software op engem klassesche Server installéiert ass. Awer elo, fir optimal Parameteren z'erreechen, erfuerdert dës architektonesch Léisung och speziell Wirbelen. Et besteet aus zwee Serveren baséiert op ARM Prozessoren déi eng Array vun dräi Zoll Drive verwalten.
Dës Servere sinn net gëeegent fir hyperkonvergéiert Léisungen. Als éischt ginn et zimmlech e puer Uwendungen fir ARM, an zweetens ass et schwéier d'Laaschtbalance z'erhalen. Mir proposéieren zu separat Stockage Plënneren: engem Rechenzäit Stärekoup, duerch klassesch oder Rack Serveren vertruede, bedreift getrennt, mä ass verbonne mat OceanStor Pazifik Stockage Wirbelen, déi och hir direkt Aufgaben Leeschtunge. An et berechtegt sech.
Zum Beispill, loosst eis eng klassesch grouss Datenspeicherléisung mat engem hyperkonvergéierte System huelen deen 15 Serverrack besetzt. Wann Dir d'Laascht tëscht separat Rechenzäit Serveren an OceanStor Pazifik Stockage Wirbelen verdeelen, trennt se vun all aner, wäert d'Zuel vun néideg Zännstaang halbéiert! Dëst reduzéiert Datenzenterbetriebskäschte a reduzéiert Gesamtkäschte vum Besëtz. An enger Welt wou de Volume vun der gespäichert Informatioun ëm 30% pro Joer wiisst, ginn esou Virdeeler net ëmgedréint.
***
Dir kënnt méi Informatioun iwwer Huawei Léisungen an hir Uwendungsszenarien op eisem kréien oder andeems Dir Firma Vertrieder direkt kontaktéiert.
Source: will.com