Ciao Habr! I set di dati per Big Data e machine learning stanno crescendo in modo esponenziale e dobbiamo stare al passo con loro. Il nostro post su un'altra tecnologia innovativa nel campo del calcolo ad alte prestazioni (HPC, High Performance Computing), presentata allo stand Kingston al . Si tratta dell'utilizzo di sistemi di archiviazione dati Hi-End (SDS) in server con unità di elaborazione grafica (GPU) e tecnologia bus GPUDirect Storage. Grazie allo scambio diretto di dati tra il sistema di archiviazione e la GPU, bypassando la CPU, il caricamento dei dati negli acceleratori GPU viene accelerato di un ordine di grandezza, quindi le applicazioni Big Data funzionano alle massime prestazioni fornite dalle GPU. A loro volta, gli sviluppatori di sistemi HPC sono interessati ai progressi nei sistemi di storage con le più elevate velocità di I/O, come quelli prodotti da Kingston.
Le prestazioni della GPU superano il caricamento dei dati
Dalla creazione di CUDA, un'architettura di calcolo parallelo hardware-software basata su GPU per lo sviluppo di applicazioni generiche, nel 2007, le capacità hardware delle GPU stesse sono cresciute incredibilmente. Oggi, le GPU sono sempre più utilizzate nelle applicazioni HPC come Big Data, machine learning (ML) e deep learning (DL).
Si noti che, nonostante la somiglianza dei termini, gli ultimi due sono compiti algoritmicamente diversi. ML addestra il computer in base a dati strutturati, mentre DL addestra il computer in base al feedback di una rete neurale. Un esempio per aiutare a capire le differenze è abbastanza semplice. Supponiamo che il computer debba distinguere tra le foto di cani e gatti caricate dal sistema di archiviazione. Per ML, dovresti inviare una serie di immagini con molti tag, ognuno dei quali definisce una caratteristica particolare dell'animale. Per DL è sufficiente caricare un numero molto maggiore di immagini, ma con un solo tag “questo è un gatto” o “questo è un cane”. Il DL è molto simile al modo in cui viene insegnato ai bambini piccoli: vengono semplicemente mostrate immagini di cani e gatti nei libri e nella vita (il più delle volte, senza nemmeno spiegare la differenza dettagliata), e il cervello del bambino stesso inizia a determinare il tipo di animale dopo un certo numero critico di immagini per il confronto (secondo le stime, si tratta solo di un centinaio o due spettacoli durante la prima infanzia). Gli algoritmi DL non sono ancora così perfetti: affinché una rete neurale funzioni con successo anche sull'identificazione delle immagini, è necessario alimentare ed elaborare milioni di immagini nella GPU.
Riepilogo della prefazione: sulla base delle GPU è possibile realizzare applicazioni HPC nel campo dei Big Data, ML e DL, ma c'è un problema: i set di dati sono così grandi che il tempo impiegato per caricare i dati dal sistema di storage alla GPU inizia a ridurre le prestazioni complessive dell'applicazione. In altre parole, le GPU veloci rimangono sottoutilizzate a causa dei dati I/O lenti provenienti da altri sottosistemi. La differenza nella velocità I/O della GPU e del bus verso la CPU/il sistema di archiviazione può essere un ordine di grandezza.
Come funziona la tecnologia GPUDirect Storage?
Il processo I/O è controllato dalla CPU, così come il processo di caricamento dei dati dallo storage alle GPU per un'ulteriore elaborazione. Ciò ha portato a una richiesta di tecnologia che fornisse accesso diretto tra GPU e unità NVMe per comunicare rapidamente tra loro. NVIDIA è stata la prima a offrire tale tecnologia e l'ha chiamata GPUDirect Storage. In realtà, questa è una variazione della tecnologia GPUDirect RDMA (Remote Direct Memory Address) sviluppata in precedenza.
Jensen Huang, CEO di NVIDIA, presenterà GPUDirect Storage come variante di GPUDirect RDMA all'SC-19. Fonte: NVIDIA
La differenza tra GPUDirect RDMA e GPUDirect Storage sta nei dispositivi tra i quali viene effettuato l'indirizzamento. La tecnologia GPUDirect RDMA viene riproposta per spostare i dati direttamente tra la scheda di interfaccia di rete (NIC) front-end e la memoria GPU, mentre GPUDirect Storage fornisce un percorso dati diretto tra storage locale o remoto come NVMe o NVMe over Fabric (NVMe-oF) e Memoria GPU.
Sia GPUDirect RDMA che GPUDirect Storage evitano spostamenti di dati non necessari attraverso un buffer nella memoria della CPU e consentono al meccanismo di accesso diretto alla memoria (DMA) di spostare i dati dalla scheda di rete o dallo storage direttamente alla o dalla memoria della GPU, il tutto senza carico sulla CPU centrale. Per GPUDirect Storage, la posizione dello storage non ha importanza: può essere un disco NVME all'interno di un'unità GPU, all'interno di un rack o connesso alla rete come NVMe-oF.
Schema di funzionamento di GPUDirect Storage. Fonte: NVIDIA
I sistemi di storage Hi-End su NVMe sono richiesti nel mercato delle applicazioni HPC
Rendendosi conto che con l'avvento di GPUDirect Storage, l'interesse dei grandi clienti sarà attirato dall'offerta di sistemi di storage con velocità I/O corrispondenti al throughput della GPU, alla fiera SC-19 Kingston ha mostrato una demo di un sistema composto da un sistema di archiviazione basato su dischi NVMe e un'unità con GPU, che analizzava migliaia di immagini satellitari al secondo. Abbiamo già scritto di un sistema di storage basato su 10 unità DC1000M U.2 NVMe .
Un sistema di storage basato su 10 drive DC1000M U.2 NVMe integra adeguatamente un server con acceleratori grafici. Fonte: Kingston
Questo sistema di storage è progettato come unità rack 1U o più grande e può essere scalato in base al numero di unità DC1000M U.2 NVMe, ciascuna con una capacità di 3.84-7.68 TB. Il DC1000M è il primo modello SSD NVMe nel fattore di forma U.2 nella linea di unità per data center di Kingston. Ha una valutazione di resistenza (DWPD, Drive scrive al giorno), che gli consente di riscrivere i dati alla sua piena capacità una volta al giorno per la durata garantita dell'unità.
Nel test fio v3.13 sul sistema operativo Ubuntu 18.04.3 LTS, kernel Linux 5.0.0-31-generic, il campione di storage espositivo ha mostrato una velocità di lettura (lettura sostenuta) di 5.8 milioni di IOPS con un throughput sostenibile (larghezza di banda sostenuta) ) di 23.8 Gbit/s.
Ariel Perez, Business Manager SSD di Kingston, ha dichiarato dei nuovi sistemi di storage: “Siamo pronti a dotare la prossima generazione di server con soluzioni SSD U.2 NVMe per eliminare molti dei colli di bottiglia nel trasferimento dei dati tradizionalmente associati allo storage. La combinazione di unità SSD NVMe e della nostra Server Premier DRAM premium rende Kingston uno dei fornitori di soluzioni dati end-to-end più complete del settore."
Il test gfio v3.13 ha mostrato un throughput di 23.8 Gbps per il sistema di storage demo su unità DC1000M U.2 NVMe. Fonte: Kingston
Come sarebbe un tipico sistema per applicazioni HPC che utilizza GPUDirect Storage o una tecnologia simile? Si tratta di un'architettura con una separazione fisica delle unità funzionali all'interno di un rack: una o due unità per la RAM, molte altre per i nodi di calcolo GPU e CPU e una o più unità per i sistemi di storage.
Con l'annuncio di GPUDirect Storage e la possibile comparsa di tecnologie simili da parte di altri fornitori di GPU, la domanda di Kingston per sistemi di storage progettati per l'utilizzo nel calcolo ad alte prestazioni è in espansione. L'indicatore sarà la velocità di lettura dei dati dal sistema di archiviazione, paragonabile al throughput delle schede di rete da 40 o 100 Gbit all'ingresso di un'unità di calcolo con GPU. Pertanto, i sistemi di storage ad altissima velocità, inclusi NVMe esterni tramite Fabric, passeranno dall’essere esotici a diventare mainstream per le applicazioni HPC. Oltre ai calcoli scientifici e finanziari, troveranno applicazione in molte altre aree pratiche, come i sistemi di sicurezza a livello metropolitano di Safe City o i centri di sorveglianza dei trasporti, dove sono richieste velocità di riconoscimento e identificazione di milioni di immagini HD al secondo”, ha sottolineato la nicchia di mercato dei migliori sistemi di storage
Ulteriori informazioni sui prodotti Kingston sono disponibili all'indirizzo azienda.
Fonte: habr.com