Oghje parlemu di cumu megliu per almacenà e dati in un mondu induve e rete di quinta generazione, scanners di genomu è vitture autònuma pruducenu più dati per ghjornu chì tutta l'umanità generata prima di a rivoluzione industriale.
U nostru mondu genera sempre più infurmazione. Una parte di questu hè fugace è hè persa à u mumentu di a cullizzioni. Un altru deve esse guardatu più longu, è un altru hè ancu cuncepitu "per seculi" - almenu hè ciò chì vedemu da u presente. I flussi d'infurmazioni si stallanu in i centri di dati à una tale velocità chì ogni novu approcciu, qualsiasi tecnulugia pensata per suddisfà sta "domanda" infinita diventa rapidamente obsoleta.
40 anni di sviluppu di sistemi di almacenamentu distribuitu
U primu almacenamentu di rete in a forma chì avemu familiarizatu hè apparsu in l'anni 1980. Parechji di voi avete scontru NFS (Network File System), AFS (Andrew File System) o Coda. Un decenniu dopu, a moda è a tecnulugia anu cambiatu, è i sistemi di fugliali distribuiti anu lasciatu u modu à i sistemi di almacenamento clustered basati in GPFS (General Parallel File System), CFS (Clustered File Systems) è StorNext. L'almacenamiento di blocchi di l'architettura classica hè stata utilizata com'è una basa, sopra à quale un sistema di fugliale unicu hè statu creatu cù una capa di software. Queste e suluzioni simili sò sempre usate, occupanu u so nichulu è sò abbastanza in dumanda.
À u turnu di u millenniu, u paradigma di almacenamiento distribuitu hà cambiatu un pocu, è i sistemi cù l'architettura SN (Shared-Nothing) anu pigliatu i pusizioni principali. Ci hè stata una transizione da u almacenamentu di cluster à l'almacenamiento nantu à i nodi individuali, chì, in regula, eranu servitori classici cù software chì furnisce un almacenamentu affidabile; In tali principii, per esempiu, HDFS (Hadoop Distributed File System) è GFS (Global File System) sò custruiti.
Più vicinu à l'anni 2010, i cuncetti sottumessi à i sistemi di almacenamentu distribuitu cuminciaru sempre più à esse riflessi in i prudutti cummirciali cumpleti, cum'è VMware vSAN, Dell EMC Isilon è i nostri prudutti. . Daretu à e plataforme citate ùn ci hè più una cumunità di entusiasti, ma venditori specifichi chì sò rispunsevuli di a funziunalità, u supportu è u serviziu di u pruduttu è guarantiscenu u so sviluppu ulteriore. Tali suluzioni sò più richieste in parechji spazii.
Operatori di telecomunicazioni
Forsi unu di i più antichi cunsumatori di sistemi di almacenamentu distribuitu sò l'operatori di telecomunicazione. U diagramma mostra quale gruppi di applicazioni producenu a maiò parte di dati. OSS (Sistemi di Supportu di Operazioni), MSS (Servizi di Supportu di Gestione) è BSS (Sistemi di Supportu di Business) rapprisentanu trè strati di software cumplementari necessarii per furnisce u serviziu à l'abbonati, rapporti finanziarii à u fornitore è supportu operativu à l'ingegneri di l'operatore.
Spessu, i dati di sti strati sò assai mischiati cù l'altri, è per evità l'accumulazione di copie innecessarii, si usa l'almacenamiento distribuitu, chì accumula tutta a quantità di informazioni chì venenu da a reta operativa. I magazzini sò cumminati in una piscina cumuna, chì hè accessu da tutti i servizii.
I nostri calculi mostranu chì a transizione da i sistemi di almacenamentu classicu à i sistemi di almacenamentu di bluccatu permette di salvà finu à u 70% di u budgetu solu abbandunendu sistemi di almacenamentu dedicati è utilizendu servitori di l'architettura classica cunvinziunali (di solitu x86), chì travaglianu in cunjunzione cù specializati. software. L'operatori di cellulari anu cuminciatu à cumprà tali suluzioni in quantità maiò. In particulare, l'operatori russi anu utilizatu tali prudutti da Huawei per più di sei anni.
Iè, una quantità di travaglii ùn ponu esse cumpletati cù sistemi distribuiti. Per esempiu, cù esigenze di rendiment aumentati o cumpatibilità cù protokolli più antichi. Ma almenu 70% di i dati trattati da l'operatore pò esse situatu in una piscina distribuita.
settore bancariu
In ogni banca ci sò parechji sistemi informatici diffirenti, partendu da a trasfurmazioni è finiscinu cù un sistema bancariu automatizatu. Questa infrastruttura travaglia ancu cù una quantità enorme d'infurmazioni, mentri a maiò parte di i travaglii ùn necessitanu micca un rendimentu aumentatu è affidabilità di i sistemi di almacenamiento, per esempiu, sviluppu, teste, automatizazione di i prucessi di l'uffiziu, ecc. ma ogni annu hè menu è menu prufittu. Inoltre, in questu casu, ùn ci hè micca una flessibilità in l'usu di risorse di u sistema di almacenamentu, u rendimentu di quale hè calculatu basatu nantu à a carica massima.
Quandu si usanu sistemi di almacenamentu distribuitu, i so nodi, chì sò in fattu servitori ordinali, ponu esse cunvertiti in ogni mumentu, per esempiu, in una splutazioni di servitori è utilizati com'è una piattaforma di computing.
Laghi di dati
U diagramma sopra mostra una lista di i cunsumatori tipici di serviziu . Questi puderianu esse servizii di e-government (per esempiu, "Servizi di guvernu"), imprese digitalizzate, istituzioni finanziarii, etc. Tutti anu bisognu di travaglià cù grandi volumi d'infurmazioni eterogenei.
L'usu di sistemi di almacenamento classici per risolve tali prublemi hè inefficace, postu chì esige un accessu d'alta prestazione per bluccà e basa di dati è un accessu regulare à e biblioteche di documenti scansati guardati cum'è oggetti. Per esempiu, un sistema di ordine via un portale web pò ancu esse ligatu quì. Per implementà tuttu questu nantu à una piattaforma di almacenamento classica, avete bisognu di un grande equipamentu per diverse attività. Un sistema d'almacenamiento universale horizontale pò ancu copre tutte e funzioni elencate prima: basta à creà parechje piscine cù caratteristiche di almacenamento diverse in questu.
Generatori di nova infurmazione
A quantità di infurmazione guardata in u mondu cresce da circa 30% annu. Questa hè una bona nutizia per i venditori di almacenamiento, ma chì hè è serà a fonte principale di sta dati?
Dieci anni fà, e rete suciali sò diventati tali generatori; questu hà bisognu di a creazione di un gran numaru di novi algoritmi, suluzioni hardware, etc.. Avà sò trè mutori principali per a crescita di volumi di almacenamiento. U primu hè cloud computing. Attualmente, circa 70% di l'imprese utilizanu servizii cloud in un modu o un altru. Questi ponu esse sistemi di posta elettronica, copie di salvezza è altre entità virtualizate.
U secondu driver hè rete di quinta generazione. Quessi sò novi velocità è novi volumi di trasferimentu di dati. Sicondu e nostre previsioni, l'adopzione generalizata di 5G portarà à una calata di a dumanda di carte di memoria flash. Ùn importa micca a quantità di memoria chì ci hè in u telefuninu, hè sempre esce, è se u gadget hà un canale di 100 megabit, ùn ci hè bisognu di guardà e foto in u locu.
U terzu gruppu di ragiuni per quessa chì a dumanda di sistemi di almacenamiento hè in crescita include u rapidu sviluppu di l'intelligenza artificiale, a transizione à l'analisi di big data è a tendenza à l'automatizazione universale di tuttu ciò chì hè pussibule.
Una caratteristica di u "novu trafficu" hè u so . Avemu bisognu di almacenà sta dati senza definisce u so furmatu in ogni modu. Hè necessariu solu per a lettura successiva. Per esempiu, per determinà l'ammontu di u prestitu dispunibule, un sistema di scoring bancariu hà da guardà e foto chì pubblicate nantu à e rete soziale, determinà s'ellu vai spessu à u mare è in ristoranti, è à u stessu tempu studià l'estratti di i vostri documenti medichi dispunibili. à lu. Queste dati, da una banda, sò cumpletu, ma da l'altra banda, mancanu l'homogeneità.
Oceanu di dati micca strutturati
Chì prublemi implica l'emergenza di "novi dati"? U primu trà elli, sicuru, hè u voluminu di l'infurmazioni è u periodu stimatu di u so almacenamentu. Una muderna vittura autònoma senza cunduttore sola genera finu à 60 terabyte di dati ogni ghjornu da tutti i so sensori è meccanismi. Per sviluppà novi algoritmi di u muvimentu, sta infurmazione deve esse trattata in u stessu ghjornu, altrimenti cumencia à accumulà. À u listessu tempu, deve esse guardatu per un tempu assai longu - decennii. Solu allora serà pussibule in u futuru di piglià cunclusioni basatu nantu à grandi campioni analitici.
Un dispositivu per decifrare e sequenze genetiche produce circa 6 TB per ghjornu. E i dati raccolti cù u so aiutu ùn implicanu micca eliminazione in tuttu, vale à dì, ipoteticamente, deve esse guardatu per sempre.
Infine, i stessi rete di quinta generazione. In più di l'informazioni trasmesse, una rete cusì hè un grande generatore di dati: logs di attività, records di chjama, risultati intermedi di interazzione machine-to-machine, etc.
Tuttu chistu esige u sviluppu di novi approcci è algoritmi per almacenà è trasfurmà l'infurmazioni. È tali approcci sò emergenti.
Tecnulugia nova era
Ci sò trè gruppi di suluzioni pensati per affruntà i novi bisogni per i sistemi di almacenamentu di l'infurmazioni: l'intruduzioni di l'intelligenza artificiale, l'evoluzione tecnica di i media di almacenamiento è l'innuvazioni in u campu di l'architettura di u sistema. Cuminciamu cù AI.
In i novi suluzioni Huawei, l'intelligenza artificiale hè aduprata à u livellu di l'almacenamiento stessu, chì hè furnutu cù un processore AI chì permette à u sistema di analizà indipindentamente a so cundizione è prediche i fallimenti. Se u sistema di almacenamentu hè cunnessu à un nuvola di serviziu chì hà capacità di computing significativu, l'intelligenza artificiale serà capace di processà più infurmazione è aumentà a precisione di e so ipotesi.
In più di i fallimenti, tali AI ponu predicherà a futura carica di punta è u tempu restante finu à chì a capacità hè esaurita. Questu permette di ottimisà u rendiment è scala u sistema prima di qualsiasi avvenimentu indesevule.
Avà circa l'evoluzione di i media di almacenamiento. I primi unità flash sò stati fatti cù a tecnulugia SLC (Single-Level Cell). I dispositi basati nantu à questu eranu veloci, affidabili, stabili, ma avianu una piccula capacità è eranu assai caru. A crescita di u voluminu è a riduzzione di u prezzu sò stati ottenuti per certi cuncessioni tecnichi, per via di quale a velocità, l'affidabilità è a vita di serviziu di i drive sò ridutta. Tuttavia, a tendenza ùn hà micca affettatu i sistemi di almacenamentu stessu, chì, per via di diversi trucchi architettonici, sò generalmente diventati più pruduttivi è più affidabili.
Ma perchè avete bisognu di sistemi di almacenamiento All-Flash? Ùn era micca abbastanza per rimpiazzà i vechji HDD in un sistema operativu digià cù novi SSD di u listessu fattore di forma? Questu era necessariu per utilizà in modu efficace tutte e risorse di i novi unità di u solidu, chì era simplicemente impussibile in i sistemi più vechji.
Huawei, per esempiu, hà sviluppatu una quantità di tecnulugia per risolve stu prublema, unu di i quali hè , chì hà permessu di ottimisà l'interazzione "disk-controller" quantu pussibule.
L'identificazione intelligente hà permessu di scumpressà e dati in parechji flussi è affruntà una quantità di fenomeni indesiderati, cum'è (scrivi l'amplificazione). À u listessu tempu, novi algoritmi di ricuperazione, in particulare , hà aumentatu a veloce di ricustruzzione, riducendu u so tempu à quantità completamente insignificanti.
Fiascu, overcrowding, garbage collection - sti fattori ùn anu più affettanu u funziunamentu di u sistema di almacenamentu grazia à mudificazioni speciali à i cuntrolli.
È l'almacenamiento di dati di bloccu si preparanu ancu à scuntrà . Ricurdemu chì u schema classicu per urganizà l'accessu di dati hà travagliatu cusì: u processatore accede à u controller RAID via u bus PCI Express. Chì, à u turnu, interagisce cù dischi meccanichi via SCSI o SAS. L'usu di NVMe nantu à u backend hà acceleratu significativamente u prucessu tutale, ma hà avutu un inconveniente: i drive anu da esse direttamente cunnessi à u processore per furnisce un accessu direttu à a memoria.
A prossima fase di u sviluppu di a tecnulugia chì vedemu avà hè l'usu di NVMe-oF (NVMe over Fabrics). In quantu à i tecnulugii di blocchi Huawei, supportanu digià FC-NVMe (NVMe over Fibre Channel), è NVMe over RoCE (RDMA over Converged Ethernet) hè in strada. I mudelli di teste sò abbastanza funziunali; ci sò parechji mesi prima di a so presentazione ufficiale. Nota chì tuttu questu apparirà in sistemi distribuiti, induve "Ethernet senza perdita" serà in grande dumanda.
Un modu supplementu per ottimisà u funziunamentu di l'almacenamiento distribuitu era l'abbandunamentu cumpletu di mirroring di dati. I suluzioni Huawei ùn utilizanu più n copie, cum'è in u solitu RAID 1, è cambia completamente à u (Efface u codice). Un pacchettu matematicu speciale calcula blocchi di cuntrollu à una certa periodicità, chì permettenu di restaurà dati intermedi in casu di perdita.
I miccanismi di deduplicazione è cumpressione diventanu ubligatorie. Se in i sistemi di almacenamento classici simu limitati da u nùmeru di processori installati in i cuntrolli, allora in sistemi di almacenamentu scalabile horizontale distribuitu, ogni node cuntene tuttu ciò chì hè necessariu: dischi, memoria, processori è interconnessione. Queste risorse sò abbastanza per assicurà chì a deduplicazione è a compressione anu un impattu minimu in u rendiment.
È nantu à i metudi di ottimisazione di hardware. Quì era pussibule di riduce a carica nantu à i processori cintrali cù l'aiutu di chips dedicati supplementari (o blocchi dedicati in u processatore stessu), chì ghjucanu un rolu. (TCP/IP Offload Engine) o assumendu i travaglii matematichi di EC, deduplicazione è cumpressione.
I novi approcci à l'almacenamiento di dati sò incarnati in una architettura disaggregata (distribuita). I sistemi di almacenamentu centralizati anu una fabbrica di servitore cunnessa via Fibre Channel à cù assai arrays. I svantaghji di questu approcciu sò a difficultà di scaling è assicurà un livellu garantitu di serviziu (in termini di prestazione o latenza). I sistemi Hyperconverged utilizanu i stessi ospiti per l'almacenamentu è u processu di l'infurmazioni. Questu dà un scopu praticamente illimitatu per a scala, ma implica costi elevati per mantene l'integrità di e dati.
A cuntrariu di i dui sopra, una architettura disaggregata implica dividendu u sistema in una tela di computing è un sistema di almacenamiento horizontale. Questu furnisce i benefici di e duie architetture è permette una scala quasi illimitata di solu l'elementu chì ùn manca di prestazione.
Da l'integrazione à a cunvergenza
Un compitu classicu, a pertinenza di quale hè cresciutu solu annantu à l'ultimi 15 anni, hè a necessità di furnisce simultaneamente l'almacenamiento di blocchi, l'accessu à i schedari, l'accessu à l'uggetti, l'operazione di una big data farm, etc. esse, per esempiu, un sistema di salvezza nantu à cinta magnetica.
In u primu stadiu, solu a gestione di sti servizii era pussibule unificà. Sistemi di almacenamentu di dati eterogenei sò stati cunnessi à qualchì software specializatu, per mezu di quale l'amministratore hà distribuitu risorse da e piscine dispunibili. Ma postu chì sti pools avianu hardware diffirenti, a migrazione di carica trà elli era impussibile. À un livellu più altu di integrazione, l'agregazione hè accaduta à u livellu di a porta. Se u spartimentu di u schedariu era dispunibule, puderia esse servutu attraversu diversi protokolli.
U metudu di cunvergenza più avanzatu attualmente dispunibule per noi implica a creazione di un sistema hibridu universale. Esattamente ciò chì u nostru deve diventà . L'accessu universale usa i stessi risorse di hardware, logicamente divisu in diverse piscine, ma chì permettenu a migrazione di carica. Tuttu chistu pò esse fattu attraversu una sola cunsola di gestione. In questu modu, pudemu implementà u cuncettu di "un centru di dati - un sistema di almacenamento".
U costu di almacenà l'infurmazioni ora determina assai decisioni architettoniche. E ancu s'ellu pò esse pusatu in modu sicuru in prima linea, oghje discutemu di u almacenamentu "live" cù accessu attivu, cusì u rendiment deve ancu esse cunsideratu. Un'altra pruprietà impurtante di i sistemi distribuiti di a prossima generazione hè l'unificazione. Dopu tuttu, nimu vole avè parechji sistemi disparati cuntrullati da diverse console. Tutte queste qualità sò incarnate in a nova serie di prudutti Huawei .
Sistema di almacenamentu di massa di a nova generazione
OceanStor Pacific risponde à i requisiti di affidabilità di sei nove (99,9999%) è pò esse usatu per creà centri di dati di classi HyperMetro. Cù una distanza trà dui centri di dati finu à 100 km, i sistemi dimustranu una latenza addiziale di 2 ms, chì permette di custruisce nantu à a so basa ogni suluzione resistente à i disastri, cumpresi quelli chì anu servitori di quorum.
I prudutti di a nova serie dimostranu a versatilità di u protocolu. Dighjà, OceanStor 100D supporta l'accessu di bloccu, l'accessu à l'ughjettu è l'accessu Hadoop. L'accessu à i schedari serà ancu implementatu in un futuru vicinu. Ùn ci hè micca bisognu di almacenà parechje copie di dati si ponu esse emessi attraversu diversi protokolli.
Sembra chì u cuncettu di una "rete senza perdita" hà da fà cù i sistemi di almacenamiento? U fattu hè chì i sistemi di almacenamiento di dati distribuiti sò custruiti nantu à a basa di una reta veloce chì sustene l'algoritmi appropritati è u mecanismu RoCE. U sistema di intelligenza artificiale supportatu da i nostri switch aiuta à aumentà ancu a velocità di a rete è riduce a latenza. . U guadagnu in u rendiment di almacenamentu quandu attivate AI Fabric pò ghjunghje à 20%.
Chì ghjè u novu nodu di almacenamiento distribuitu OceanStor Pacific? A suluzione di fattore di forma 5U include 120 unità è pò rimpiazzà trè nodi classici, chì furnisce più di duppiu risparmiu in u spaziu di rack. Per ùn guardà e copie, l'efficienza di l'unità aumenta significativamente (finu à + 92%).
Semu abituati à u fattu chì l'almacenamiento definitu da u software hè un software speciale installatu in un servitore classicu. Ma avà, per ottene paràmetri ottimali, sta suluzione architettonica hè ancu bisognu di nodi speciali. Hè custituitu da dui servitori basati nantu à i processori ARM chì gestiscenu un array di unità di trè pollici.
Questi servitori ùn sò micca adattati per suluzione iperconvergente. Prima, ci sò parechje applicazioni per ARM, è secondu, hè difficiule di mantene l'equilibriu di carica. Proponemu di trasfurmà à l'almacenamiento separatu: un cluster di computing, rapprisintatu da servitori classici o rack, opera separatamente, ma hè cunnessu à i nodi di almacenamiento OceanStor Pacific, chì facenu ancu e so funzioni dirette. È si ghjustificà.
Per esempiu, pigliemu una soluzione classica di almacenamentu di grande dati cù un sistema iperconvergente chì occupa 15 rack di servitore. Se distribuisce a carica trà i servitori di l'informatica separati è i nodi di almacenamento OceanStor Pacific, sepanduli l'una di l'altru, u numeru di rack richiesti serà dimezzatu! Questu reduce i costi operativi di u centru di dati è riduce u costu tutale di pruprietà. In un mondu induve u voluminu di l'infurmazioni almacenati cresce da 30% annu, tali vantaghji ùn sò micca ghjittati intornu.
***
Pudete ottene più infurmazione circa suluzioni Huawei è i so scenarii applicazione nant'à u nostru o cuntattendu direttamente i rapprisentanti di a cumpagnia.
Source: www.habr.com