[Supercalcolo 2019]. Storage multi-cloud come ambito di applicazione dei nuovi drive Kingston DC1000M

Immagina di lanciare un'attività medica innovativa: selezione individuale di farmaci basata sull'analisi del genoma umano. Ogni paziente ha 3 miliardi di coppie di geni e il calcolo di un normale server su processori x86 richiederà diversi giorni. Sai che puoi accelerare il processo su un server con un processore FPGA che parallelizza i calcoli su migliaia di thread. Completerà il calcolo del genoma in circa un'ora. Tali server possono essere noleggiati da Amazon Web Services (AWS). Ma il punto è questo: il cliente, l’ospedale, è categoricamente contrario all’inserimento dei dati genetici nel cloud del fornitore. Cosa dovrei fare? Kingston e la startup cloud hanno presentato l'architettura alla mostra Supercomputing-2019 Archiviazione multicloud privata (PMCS), che risolve questo problema.

Tre condizioni per il calcolo ad alte prestazioni

Il calcolo del genoma umano non è l’unico compito nel campo del calcolo ad alte prestazioni (HPC, High Performance Computing). Gli scienziati calcolano i campi fisici, gli ingegneri calcolano le parti degli aerei, i finanzieri calcolano i modelli economici e insieme analizzano i big data, costruiscono reti neurali ed effettuano molti altri calcoli complessi.

Le tre condizioni dell'HPC sono un'enorme potenza di calcolo, uno storage molto ampio e veloce e un throughput di rete elevato. Pertanto, la pratica standard per eseguire i calcoli LPC è nel data center dell’azienda (on-premise) o presso un provider nel cloud.

Ma non tutte le aziende dispongono di propri data center, e quelle che lo fanno spesso sono inferiori ai data center commerciali in termini di efficienza delle risorse (sono necessarie spese in conto capitale per acquistare e aggiornare hardware e software, pagare personale altamente qualificato, ecc.). I fornitori di servizi cloud, al contrario, offrono risorse IT secondo il modello di costo operativo “Pay-as-you-go”, ovvero l'affitto viene addebitato solo per il periodo di utilizzo. Una volta completati i calcoli, i server possono essere rimossi dall'account, risparmiando così sui budget IT. Ma se esiste un divieto legislativo o aziendale sul trasferimento dei dati al fornitore, l’HPC computing nel cloud non è disponibile.

Archiviazione multicloud privata

L'architettura Private MultiCloud Storage è progettata per fornire l'accesso ai servizi cloud lasciando fisicamente i dati stessi sul sito aziendale o in un compartimento sicuro separato del data center utilizzando un servizio di colocation. Essenzialmente, si tratta di un modello di elaborazione distribuita incentrato sui dati in cui i server cloud funzionano con sistemi di archiviazione remoti da un cloud privato. Di conseguenza, utilizzando lo stesso archivio dati locale, puoi lavorare con i servizi cloud dei maggiori fornitori: AWS, MS Azure, Google Cloud Platform‎, ecc.

Mostrando un esempio di implementazione di PMCS alla fiera Supercomputing-2019, Kingston ha presentato un campione di un sistema di archiviazione dati (SSD) ad alte prestazioni basato su unità SSD DC1000M e una delle startup cloud ha presentato il software di gestione StorOne S1 per software- storage definito e canali di comunicazione dedicati con i principali fornitori di servizi cloud.

Va notato che PMCS, come modello operativo di cloud computing con archiviazione privata, è progettato per il mercato nordamericano con la connettività di rete sviluppata tra data center supportata sull'infrastruttura AT&T ed Equinix. Pertanto, il ping tra un sistema di storage in colocation in qualsiasi nodo Equinix Cloud Exchange e il cloud AWS è inferiore a 1 millisecondo (fonte: ITProToday).

Nella dimostrazione dell'architettura PMCS mostrata alla fiera, il sistema di storage su dischi DC1000M NVMe era collocato in colocation e le macchine virtuali erano installate nei cloud AWS, MS Azure e Google Cloud Platform, che si collegavano a vicenda. L'applicazione client-server funzionava da remoto con il sistema di storage Kingston e i server HP DL380 nel data center e, attraverso l'infrastruttura del canale di comunicazione Equinix, accedeva alle piattaforme cloud dei principali fornitori sopra menzionati.

Diapositiva dalla presentazione del Private MultiCloud Storage alla fiera Supercomputing-2019. Fonte: Kingston

Software con funzionalità simili per la gestione dell'architettura dello storage multicloud privato sono offerti da diverse società. I termini per questa architettura possono anche suonare in modo diverso: Private MultiCloud Storage o Private Storage for Cloud.

"I supercomputer di oggi eseguono una varietà di applicazioni HPC che sono all'avanguardia nel progresso, dall'esplorazione di petrolio e gas alle previsioni meteorologiche, ai mercati finanziari e allo sviluppo di nuove tecnologie", ha affermato Keith Schimmenti, responsabile della gestione SSD aziendale presso Kingston. “Queste applicazioni HPC richiedono una corrispondenza molto maggiore tra prestazioni del processore e velocità I/O. Siamo orgogliosi di condividere il modo in cui le soluzioni Kingston stanno contribuendo a compiere progressi nel campo dell'informatica, offrendo le prestazioni necessarie negli ambienti e nelle applicazioni informatiche più estremi del mondo."

Drive DC1000M e un esempio di sistema di storage basato su di esso

L'SSD DC1000M U.2 NVMe è progettato da Kingston per i data center ed è specificamente progettato per applicazioni ad uso intensivo di dati e HPC come applicazioni di intelligenza artificiale (AI) e machine learning (ML).

Unità DC1000M U.2 NVMe da 3.84 TB. Fonte: Kingston

Le unità DC1000M U.2 si basano su memoria NAND Intel 96D a 3 strati, controllata da un controller Silicon Motion SM2270 (PCIe 3.0 e NVMe 3.0). Silicon Motion SM2270 è un controller NVMe aziendale a 16 corsie con interfaccia PCIe 3.0 x8, doppio bus dati DRAM a 32 bit e tre doppi processori ARM Cortex R5.

Vengono offerti per il rilascio DC1000M di diverse capacità: da 0.96 a 7.68 TB (si ritiene che le capacità più popolari siano 3.84 e 7.68 TB). Le prestazioni dell'unità sono stimate a 800mila IOPS.

Sistema di storage con 10x DC1000M U.2 NVMe 7.68 TB. Fonte: Kingston

Come esempio di sistema di storage per applicazioni HPC, Kingston ha presentato al Supercomputing 2019 una soluzione rack con 10 unità DC1000M U.2 NVMe, ciascuna con una capacità di 7.68 TB. Il sistema di storage si basa sull'SB122A-PH, una piattaforma con fattore di forma 1U di AIC. Processori: 2x CPU Intel Xeon E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (codice articolo: KSM24RS4/16HAI). Il sistema operativo installato è Ubuntu 18.04.3 LTS, kernel Linux ver 5.0.0-31. Il test gfio v3.13 (Flexible I/O tester) ha mostrato prestazioni di lettura di 5.8 milioni di IOPS con un throughput di 23.8 Gbps.

Il sistema di storage presentato ha mostrato caratteristiche impressionanti in termini di lettura stabile di 5,8 milioni di IOPS (operazioni di input-output al secondo). Si tratta di due ordini di grandezza più veloci degli SSD per i sistemi del mercato di massa. Questa velocità di lettura è necessaria per le applicazioni HPC in esecuzione su processori specializzati.

HPC di cloud computing con storage privato in Russia

Anche per le aziende russe è rilevante il compito di eseguire calcoli ad alte prestazioni presso il fornitore, ma di archiviare fisicamente i dati in sede. Un altro caso comune negli affari nazionali è quando, quando si utilizzano servizi cloud stranieri, i dati devono trovarsi nel territorio della Federazione Russa. Abbiamo chiesto commenti su queste situazioni per conto del fornitore di servizi cloud Selectel in qualità di partner di lunga data di Kingston.

“In Russia è possibile costruire un’architettura simile, con il servizio in russo e tutti i documenti di rendicontazione per il reparto contabilità del cliente. Se un'azienda ha la necessità di effettuare elaborazioni ad alte prestazioni utilizzando sistemi di storage on-premises, noi di Selectel noleggiamo server con processori di vario tipo, tra cui FPGA, GPU o CPU multi-core. Inoltre, attraverso i nostri partner, organizziamo la posa di un canale ottico dedicato tra l’ufficio del cliente e il nostro data center”, commenta Alexander Tugov, Direttore dello sviluppo dei servizi di Selectel. — Il cliente può anche posizionare il suo sistema di storage in colocation in una sala computer con una modalità di accesso speciale ed eseguire applicazioni sia sui nostri server che nei cloud dei fornitori globali AWS, MS Azure, Google Cloud. Naturalmente, in quest’ultimo caso il ritardo del segnale sarà maggiore che se il sistema di storage del cliente fosse situato negli Stati Uniti, ma verrà fornita una connessione multi-cloud a banda larga”.

Nel prossimo articolo parleremo di un'altra soluzione Kingston, presentata alla fiera Supercomputing 2019 (Denver, Colorado, USA) ed è destinata ad applicazioni di machine learning e analisi di big data tramite GPU. Si tratta della tecnologia GPUDirect Storage, che fornisce il trasferimento diretto dei dati tra lo storage NVMe e la memoria del processore GPU. Inoltre, spiegheremo come siamo riusciti a raggiungere una velocità di lettura dei dati di 5.8 milioni di IOPS in un sistema di archiviazione rack su dischi NVMe.

Per ulteriori informazioni sui prodotti Kingston Technology, visitare il sito Il sito dell'azienda.

Fonte: habr.com