Oggi parleremo di come gestire al meglio i dati in un mondo in cui le reti di quinta generazione, i sequenziatori genomici e le auto a guida autonoma producono in un giorno più dati di quanto l'intera umanità abbia generato fino alla rivoluzione industriale.
Il nostro mondo genera sempre più informazioni. Una parte di esse è effimera e scompare tanto rapidamente quanto viene raccolta. Altre devono essere conservate più a lungo, mentre alcune sono destinate a durare "per secoli" — perlomeno, così ci appare dal presente. I flussi informativi si accumulano nei data center con tale velocità che qualsiasi nuovo approccio, qualsiasi tecnologia progettata per soddisfare questa domanda infinita, diventa rapidamente obsoleta.
40 anni di sviluppo di sistemi di archiviazione distribuiti
Le prime soluzioni di archiviazione di rete come le conosciamo oggi sono apparse negli anni '80. Molti di voi avranno avuto a che fare con NFS (Network File System), AFS (Andrew File System) o Coda. Con il passare del decennio, tendenze e tecnologie sono cambiate, e i sistemi di file distribuiti hanno ceduto il posto a SAN cluster basati su GPFS (General Parallel File System), CFS (Clustered File Systems) e StorNext. Le architetture di archiviazione tradizionali alimentavano queste soluzioni, con uno strato software che creava un file system unificato sopra di esse. Questi e simili approcci sono ancora in uso, occupano la loro nicchia e sono assolutamente richiesti.
All'inizio del nuovo millennio, la paradossi dell'archiviazione distribuita hanno subito alcune variazioni, e i sistemi con architettura SN (Shared-Nothing) sono diventati predominanti. Si è passati dall'archiviazione cluster all'archiviazione su nodi singoli, i quali, di norma, erano server tradizionali dotati di software dedicato per la conservazione sicura dei dati; su tali principi si basano, per esempio, HDFS (Hadoop Distributed File System) e GFS (Global File System).
Verso il 2010, i concetti alla base dei sistemi di archiviazione distribuiti hanno cominciato a riflettersi sempre più in prodotti commerciali completi, come VMware vSAN, Dell EMC Isilon e la nostra . Dietro a queste piattaforme non c'è più una comunità di appassionati, ma specifici fornitori che sono responsabili della funzionalità, del supporto, della manutenzione del prodotto e garantiscono il suo sviluppo futuro. Tali soluzioni sono particolarmente richieste in diversi settori.
Operatori di telecomunicazioni
Probabilmente, uno dei più antichi utilizzatori dei sistemi di archiviazione distribuiti sono gli operatori di telecomunicazioni. Nello schema si possono vedere i gruppi di applicazioni che producono la maggior parte dei dati. OSS (Operations Support Systems), MSS (Management Support Services) e BSS (Business Support Systems) rappresentano tre strati software complementari, necessari per fornire servizio agli abbonati, reportistica finanziaria per il fornitore e supporto operativo per gli ingegneri dell'operatore.
Spesso i dati di questi strati sono fortemente mescolati tra loro e, per evitare l'accumulo di copie non necessarie, si utilizzano architetture distribuite, che accumulano l'intero volume di informazioni provenienti dalla rete operativa. Gli archivi si uniscono in un pool comune, a cui accedono tutti i servizi.
Le nostre analisi mostrano che il passaggio dai tradizionali sistemi di archiviazione (SCS) a quelli basati su blocchi consente di risparmiare fino al 70% del budget semplicemente rinunciando a SCS dedicati di alta gamma e utilizzando normali server di architettura classica (di solito x86), operanti in combinazione con software specializzato. Gli operatori cellulari hanno già da tempo iniziato ad acquistare tali soluzioni in volumi significativi. In particolare, gli operatori russi utilizzano prodotti di questo tipo da Huawei da oltre sei anni.
Sì, alcune attività non possono essere eseguite con sistemi distribuiti. Ad esempio, in presenza di requisiti di prestazioni elevate o per la compatibilità con protocolli obsoleti. Tuttavia, non meno del 70% dei dati che elabora l'operatore possono essere collocati in un pool distribuito.
Settore bancario
In ogni banca convivono molteplici sistemi IT eterogenei, che vanno dal processamento fino ai sistemi bancari automatizzati. Questa infrastruttura gestisce anche un enorme volume di informazioni, e gran parte delle attività non richiede elevate prestazioni e affidabilità dei sistemi di archiviazione, come lo sviluppo, il testing, l'automazione dei processi d'ufficio, ecc. Qui l'uso di storage classici è possibile, ma diventa sempre meno vantaggioso di anno in anno. Inoltre, in questo caso, manca la flessibilità nell'utilizzo delle risorse dello storage, la cui prestazione è calcolata in base al picco di carico.
Con l'uso di sistemi di archiviazione distribuiti, i loro nodi, che sono in realtà normali server, possono essere convertiti in qualsiasi momento, ad esempio, in un farm di server e utilizzati come piattaforma di calcolo.
Lago di dati
Nello schema sopra è riportato un elenco dei tipici consumatori di servizi . Queste possono essere agenzie governative digitalizzate (ad esempio, «Servizi pubblici»), strutture finanziarie e altro. Tutti loro devono gestire grandi volumi di informazioni eterogenee.
L'uso di sistemi di archiviazione classici per affrontare tali compiti non è efficace, poiché è necessaria sia un'accesso ad alte prestazioni ai database a blocchi, sia un accesso normale alle biblioteche di documenti scansionati, conservati come oggetti. Inoltre, potrebbe essere collegato, ad esempio, un sistema di ordini tramite un portale web. Per realizzare tutto ciò su una piattaforma di archiviazione classica, sarà necessario un vasto insieme di attrezzature per compiti diversi. Un'unica sistema di archiviazione orizzontale e universale potrebbe soddisfare tranquillamente tutte le esigenze sopra indicate: sarà sufficiente crearvi diverse pool con caratteristiche di archiviazione diverse.
Generatori di nuove informazioni
La quantità di informazioni memorizzate nel mondo cresce di circa il 30% all'anno. Queste sono buone notizie per i fornitori di sistemi di archiviazione, ma quali sono e saranno le principali fonti di questi dati?
Die sozialen Netzwerke wurden vor zehn Jahren zu solchen Generatoren, was die Schaffung einer Vielzahl neuer Algorithmen, Hardwarelösungen usw. erforderte. Gegenwärtig zeichnen sich drei Haupttreiber des Wachstums im Speicherbedarf ab. Der erste ist das Cloud Computing. Derzeit nutzen etwa 70 % der Unternehmen in irgendeiner Form Cloud-Dienste. Dazu gehören E-Mail-Systeme, Backups und andere virtualisierte Entitäten.
Der zweite Treiber sind die 5G-Netzwerke. Diese bieten neue Geschwindigkeiten und neue Datenübertragungsvolumina. Nach unseren Prognosen wird die breite Verbreitung von 5G zu einem Rückgang der Nachfrage nach Flash-Speicherkarten führen. Ganz gleich, wie viel Speicher ein Telefon hat, er geht immer zur Neige, und bei einem 100-Mbit/s-Kanal im Gerät gibt es keine Notwendigkeit, Fotos lokal zu speichern.
Die dritte Gruppe von Gründen für den Anstieg der Nachfrage nach Speichersystemen umfasst die rasante Entwicklung der künstlichen Intelligenz, den Übergang zur Analyse großer Datenmengen und den Trend zur allgemeinen Automatisierung aller erdenklichen Prozesse.
Ein Merkmal des "neuen Traffics" ist seine . Dobbiamo conservare questi dati senza definirne il formato. Questo è necessario solo in fase di successiva lettura. Ad esempio, un sistema di scoring bancario per determinare l'importo del prestito disponibile analizzerà le foto pubblicate sui vostri social media, valutando quanto spesso andate al mare e nei ristoranti, e allo stesso tempo esaminerà gli estratti dei vostri documenti medici. Questi dati, da un lato, sono completi e, dall'altro, privi di omogeneità.
Oceano di dati non strutturati
Quali problemi comporta l'emergere di 'nuovi dati'? Il principale è, ovviamente, il volume dell'informazione e i tempi di conservazione calcolati. Solo un'auto a guida autonoma moderna genera fino a 60 TB di dati al giorno, provenienti da tutti i suoi sensori e meccanismi. Per sviluppare nuovi algoritmi di movimento, queste informazioni devono essere elaborate entro lo stesso giorno, altrimenti inizieranno ad accumularsi. Nel contempo, devono essere conservate a lungo — per decenni. Solo allora, in futuro, sarà possibile trarre conclusioni basate su grandi campioni analitici.
Un dispositivo per la decodifica delle sequenze genetiche produce circa 6 TB al giorno. E i dati raccolti con il suo aiuto non prevedono affatto la cancellazione, quindi ipoteticamente devono essere conservati per sempre.
Infine, ci sono sempre le stesse reti di quinta generazione. Oltre alle informazioni trasmesse, una rete del genere è anch'essa un enorme generatore di dati: registri delle attività, registrazioni delle chiamate, risultati intermedi delle interazioni tra macchine, e così via.
Tutto ciò richiede lo sviluppo di nuovi approcci e algoritmi per l'archiviazione e l'elaborazione delle informazioni. E tali approcci stanno emergendo.
Tecnologie di una nuova era
Possono essere individuati tre gruppi di soluzioni destinate a far fronte alle nuove esigenze dei sistemi di archiviazione delle informazioni: l'implementazione dell'intelligenza artificiale, l'evoluzione tecnologica dei supporti di dati e le innovazioni nel campo dell'architettura dei sistemi. Iniziamo con l'IA.
Nelle nuove soluzioni Huawei, l'intelligenza artificiale è già utilizzata a livello di storage, dotato di un processore AI che consente al sistema di analizzare autonomamente il proprio stato e prevedere i guasti. Se l'archiviazione è collegata a un servizio cloud con significative capacità di calcolo, l'intelligenza artificiale può elaborare più informazioni e aumentare la precisione delle proprie ipotesi.
Oltre ai guasti, questo tipo di intelligenza artificiale è in grado di prevedere il futuro carico di picco e il tempo rimanente fino all'esaurimento della capacità. Ciò consente di ottimizzare le prestazioni e scalare il sistema prima che si verifichino eventi indesiderati.
Ora parliamo dell'evoluzione dei supporti di memorizzazione. Le prime chiavette USB erano basate sulla tecnologia SLC (Single-Level Cell). I dispositivi basati su questa tecnologia erano veloci, affidabili e stabili, ma avevano una capacità limitata e costavano molto. L'aumento della capacità e la riduzione dei costi sono stati ottenuti attraverso alcune concessioni tecniche, che hanno portato a una diminuzione della velocità, dell'affidabilità e della durata dei supporti. Tuttavia, questa tendenza non ha influenzato i sistemi di archiviazione, che grazie a varie soluzioni architettoniche sono diventati nel complesso più performanti e affidabili.
Ma perché erano necessari i sistemi di archiviazione di classe All-Flash? Non bastava semplicemente sostituire negli impianti esistenti i vecchi HDD con nuovi SSD dello stesso formato? Questo era necessario per sfruttare efficacemente tutte le risorse dei nuovi supporti a stato solido, cosa che negli impianti più vecchi era semplicemente impossibile.
L'azienda Huawei, ad esempio, ha sviluppato una serie di tecnologie per affrontare questa sfida, una delle quali è stata , che ha consentito di ottimizzare al massimo le interazioni "disco - controller".
L'identificazione intelligente ha reso possibile suddividere i dati in più flussi e affrontare una serie di fenomeni indesiderati, come (write amplification). Allo stesso tempo, i nuovi algoritmi di recupero, in particolare , hanno aumentato la velocità di ricostruzione, riducendo il tempo a valori trascurabili.
Guasti, overflow e "garbage collection" — questi fattori non influenzano più le prestazioni del sistema di archiviazione grazie a speciali modifiche ai controller.
Inoltre, i sistemi di archiviazione a blocchi sono pronti ad affrontare . Ricordiamo che lo schema classico di accesso ai dati funzionava così: il processore si rivolgeva al controller RAID tramite il bus PCI Express. Questo, a sua volta, interagiva con i dischi meccanici tramite SCSI o SAS. L'uso di NVMe nel backend ha notevolmente accelerato l'intero processo, ma presentava un difetto: le unità dovevano avere una connessione diretta al processore per garantire l'accesso diretto alla memoria.
La fase successiva nello sviluppo della tecnologia che stiamo osservando ora è l'implementazione di NVMe-oF (NVMe over Fabrics). Per quanto riguarda le tecnologie di archiviazione Huawei, esse supportano già FC-NVMe (NVMe over Fibre Channel) e NVMe over RoCE (RDMA over Converged Ethernet) è in arrivo. I modelli di test sono già funzionali, e manca solo qualche mese prima della loro presentazione ufficiale. Va notato che tutto questo sarà disponibile anche nei sistemi distribuiti, dove l'"Ethernet senza perdite" sarà molto richiesto.
Un altro modo per ottimizzare il funzionamento degli archivi distribuiti è l'abbandono totale della mirrorizzazione dei dati. Le soluzioni Huawei non utilizzano più n copie, come nel tradizionale RAID 1, e passano completamente al meccanismo (Erasure coding). Un pacchetto matematico speciale calcola periodicamente i blocchi di controllo, che permettono di ripristinare i dati intermedi in caso di perdita.
I meccanismi di deduplicazione e compressione diventano obbligatori. Mentre nei tradizionali sistemi di archiviazione siamo limitati dalla quantità di processori installati nei controller, nei sistemi di archiviazione distribuiti e orizzontalmente scalabili, ogni nodo contiene tutto il necessario: dischi, memoria, processori e interconnessione. Queste risorse sono sufficienti affinché deduplicazione e compressione abbiano un impatto minimo sulle prestazioni.
E sui metodi hardware di ottimizzazione. Qui il carico sui processori centrali è stato ridotto grazie a circuiti integrati dedicati (o moduli dedicati all'interno dello stesso processore), che svolgono il ruolo di (TCP/IP Offload Engine) o che si occupano di operazioni matematiche EC, deduplicazione e compressione.
Nuovi approcci all'archiviazione dei dati si sono concretizzati in un'architettura disaggregata (distribuita). Nei sistemi di archiviazione centralizzata è presente una fabbrica di server, connessa tramite Fibre Channel a con un elevato numero di array. Gli svantaggi di questo approccio includono difficoltà nella scalabilità e nella garanzia di un livello di servizio (in termini di prestazioni o latenza). I sistemi iperconvergenti utilizzano gli stessi host sia per l'archiviazione che per l'elaborazione delle informazioni. Ciò offre una praticità quasi illimitata nella scalabilità, ma comporta elevati costi per mantenere l'integrità dei dati.
A differenza delle due architetture sopra menzionate, l'architettura disaggregata implica la separazione del sistema in una fabbrica di calcolo e un sistema di archiviazione orizzontale. Questo offre i vantaggi di entrambe le architetture e consente una scalabilità praticamente illimitata solo per quel componente di cui mancano le prestazioni.
Dall'integrazione alla convergenza
Una delle classiche sfide, la cui rilevanza è aumentata continuamente negli ultimi 15 anni, è la necessità di garantire simultaneamente l'archiviazione a blocchi, l'accesso ai file, l'accesso agli oggetti, il funzionamento di farm per big data, e così via. La ciliegina sulla torta potrebbe essere, ad esempio, un sistema di backup su nastro magnetico.
Nella fase iniziale, siamo riusciti a unificare solo la gestione di questi servizi. Diversi sistemi di archiviazione dei dati erano legati a un software specializzato, attraverso il quale l'amministratore allocava le risorse dai pool disponibili. Tuttavia, poiché questi pool erano hardware diversi, la migrazione dei carichi di lavoro tra di essi era impossibile. A un livello di integrazione più elevato, l'unione avveniva a livello di gateway. Con un accesso file comune, era possibile utilizzare diversi protocolli.
Il metodo più avanzato di convergenza disponibile attualmente implica la creazione di un sistema ibrido universale. Questo è esattamente ciò che deve diventare il nostro . L'accesso universale utilizza le stesse risorse hardware, logicamente suddivise in diversi pool, ma che consentono la migrazione del carico. Tutto questo può essere gestito tramite un'unica console di gestione. In questo modo, siamo riusciti a realizzare il concetto di 'un centro dati — una SAN'.
Il costo della conservazione delle informazioni determina attualmente molte decisioni architettoniche. Anche se può essere messo al primo posto, oggi stiamo discutendo dello storage 'live' con accesso attivo, quindi anche le prestazioni devono essere considerate. Un'altra caratteristica importante dei sistemi distribuiti di nuova generazione è l'unificazione. Nessuno vuole avere più sistemi disgiunti gestiti da console diverse. Tutte queste qualità si concretizzano nella nuova serie di prodotti Huawei. .
Soluzioni di storage di nuova generazione
OceanStor Pacific soddisfa i requisiti di affidabilità a livello di 'sei nove' (99,9999%) e può essere utilizzato per creare data center di classe HyperMetro. Con una distanza di un massimo di 100 km tra due data center, i sistemi mostrano una latenza aggiuntiva di soli 2 ms, consentendo di costruire qualsiasi soluzione di resilienza alle catastrofi, compresi server di quorum.
I nuovi prodotti della serie dimostrano la loro versatilità in termini di protocolli. Già adesso l'OceanStor 100D supporta l'accesso a blocchi, l'accesso agli oggetti e l'accesso Hadoop. A breve sarà implementato anche l'accesso ai file. Non è necessario archiviare più copie dei dati se possono essere distribuiti attraverso diversi protocolli.
A prima vista, quale relazione ha il concetto di "rete senza perdite" con lo storage? La questione è che i sistemi di archiviazione distribuiti si basano su una rete veloce che supporta gli algoritmi e il meccanismo RoCE appropriati. Inoltre, la nostra soluzione di switch supportata da intelligenza artificiale contribuisce a incrementare la velocità della rete e a ridurre la latenza. . Il guadagno in prestazioni dello storage attivando AI Fabric può raggiungere il 20%.
Cosa rappresenta il nuovo nodo di storage distribuito OceanStor Pacific? La soluzione con fattore di forma 5U include 120 dischi e può sostituire tre nodi tradizionali, offrendo così un'evidente economia di spazio superiore al doppio nel rack. Grazie all'eliminazione della memorizzazione di copie, l'efficienza dei dischi aumenta significativamente (fino al +92%).
Siamo abituati a pensare che lo storage definito dal software sia un'applicazione speciale installata su un server convenzionale. Ma ora, per raggiungere le prestazioni ottimali, questa soluzione architettonica richiede anche nodi speciali. Essa comprende due server basati su processori ARM, che gestiscono un array di dischi da tre pollici.
Questi server non sono molto adatti per soluzioni iperconvergenti. In primo luogo, ci sono poche applicazioni disponibili per ARM e, in secondo luogo, è difficile mantenere un bilanciamento del carico. Noi proponiamo di passare a uno storage separato: un cluster di calcolo, rappresentato da server classici o rack, funziona separatamente, ma si collega ai nodi di storage OceanStor Pacific, che svolgono anche i propri compiti. Questo approccio si rivela vantaggioso.
Prendiamo ad esempio una soluzione classica per l'archiviazione di grandi dati con un sistema iperconvergente, che occupa 15 rack di server. Se distribuiamo il carico tra diversi server di calcolo e nodi di storage OceanStor Pacific, separandoli, il numero di rack necessari si ridurrà della metà! Questo diminuisce i costi operativi del data center e abbassa il costo totale di proprietà. In un mondo in cui il volume di informazioni archiviato cresce del 30% all'anno, tali vantaggi non vengono trascurati.
***
Puoi ottenere ulteriori informazioni sulle soluzioni Huawei e sugli scenari di applicazione sul nostro o contattando direttamente i rappresentanti dell'azienda.
Fonte: habr.com
