{"id":54686,"date":"2020-01-01T00:00:00","date_gmt":"2019-12-31T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/5-8-mln-iops-zachem-tak-mnogo"},"modified":"2020-02-18T14:02:44","modified_gmt":"2020-02-18T11:02:44","slug":"5-8-mln-iops-zachem-tak-mnogo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","title":{"rendered":"5,8 milioni di IOPS: perch\u00e9 cos\u00ec tanti?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ciao Habr! I dataset per il Big Data e l'apprendimento automatico stanno crescendo esponenzialmente e dobbiamo essere in grado di elaborarli. Il nostro post tratta di un'altra tecnologia innovativa nel campo del computing ad alte prestazioni (HPC, High Performance Computing), presentata allo stand di Kingston al Supercomputing-2019<\/a><\/noindex>. Questo riguarda l'uso di sistemi di archiviazione dati Hi-End (SASD) nei server con unit\u00e0 di elaborazione grafica (GPU) e tecnologia GPUDirect Storage. Grazie allo scambio diretto di dati tra il SASD e le GPU, evitando la CPU, il caricamento dei dati negli acceleratori GPU avviene con una velocit\u00e0 notevolmente maggiore, quindi le applicazioni Big Data raggiungono il massimo delle prestazioni fornite dalle GPU. Allo stesso tempo, gli sviluppatori di sistemi HPC sono interessati ai progressi nel campo dei SASD con la pi\u00f9 alta velocit\u00e0 di input\/output \u2014 come quelli prodotti da Kingston.<\/p>\n

\"5,8
\n<\/a><\/noindex><\/p>\n

Le prestazioni delle GPU superano il caricamento dei dati <\/h2>\n

\nDal 2007, anno in cui \u00e8 stata introdotta CUDA \u2014 un'architettura software e hardware per il calcolo parallelo basata su GPU per lo sviluppo di applicazioni di uso generale, le capacit\u00e0 stesse delle GPU sono cresciute in modo incredibile. Oggi le GPU trovano un'applicazione sempre pi\u00f9 ampia nel campo delle applicazioni HPC, come i big data, il machine learning (ML) e il deep learning (DL). <\/p>\n

Va notato che, nonostante la somiglianza dei termini, le ultime due sono compiti algoritmicamente diversi. Il ML addestra il computer basandosi su dati strutturati, mentre il DL si basa sulle risposte di una rete neurale. Un esempio che aiuta a comprendere le differenze \u00e8 piuttosto semplice. Supponiamo che un computer debba distinguere foto di gatti e cani caricate da uno storage. Per il ML \u00e8 necessario fornire un insieme di immagini con diversi tag, ognuno dei quali definisce una particolarit\u00e0 specifica dell'animale. Per il DL, \u00e8 sufficiente caricare un numero molto maggiore di immagini, ma con un solo tag che dice \"questo \u00e8 un gatto\" o \"questo \u00e8 un cane\". Il DL \u00e8 molto simile a come si insegnano le cose ai bambini piccoli: vengono semplicemente mostrati immagini di cani e gatti nei libri e nella vita reale (spesso senza nemmeno spiegare le differenze dettagliate), e il cervello del bambino inizia a riconoscere il tipo di animale dopo un certo numero critico di immagini da confrontare (si stima che si tratti solo di un centinaio di visualizzazioni durante l'infanzia). Gli algoritmi DL non sono ancora cos\u00ec sofisticati: affinch\u00e9 una rete neurale possa lavorare altrettanto bene nella identificazione delle immagini, \u00e8 necessario fornire e elaborare tramite GPU milioni di immagini.<\/p>\n

Introduzione: sulla base della GPU \u00e8 possibile costruire applicazioni HPC nel campo dei Big Data, ML e DL, ma esiste un problema: gli insiemi di dati sono cos\u00ec grandi che il tempo necessario per caricare i dati dal sistema di archiviazione nella GPU inizia a ridurre le prestazioni complessive dell'applicazione. In altre parole, le potenti schede grafiche rimangono sottoutilizzate a causa della lenta I\/O dei dati provenienti da altre sottosistemi. La differenza nella velocit\u00e0 di I\/O della GPU e della bus verso la CPU\/storage pu\u00f2 essere anche di un ordine di grandezza.<\/p>\n

Come funziona la tecnologia GPUDirect Storage?<\/h2>\n

\nIl processo di I\/O \u00e8 controllato dalla CPU, cos\u00ec come il processo di caricamento dei dati dallo storage nelle schede grafiche per la successiva elaborazione. Da qui nasce la richiesta di una tecnologia che fornisca accesso diretto tra GPU e dischi NVMe per un'interazione rapida. La prima tecnologia di questo tipo \u00e8 stata proposta da NVIDIA e denominata GPUDirect Storage. In sostanza, si tratta di una variante della tecnologia GPUDirect RDMA (Remote Direct Memory Address) precedentemente sviluppata da loro.<\/p>\n

\"5,8
\nJensen Huang, CEO di NVIDIA, presenta GPUDirect Storage come una variante di GPUDirect RDMA alla mostra SC-19. Fonte: NVIDIA<\/i><\/p>\n

La differenza tra GPUDirect RDMA e GPUDirect Storage riguarda i dispositivi tra cui avviene l'indirizzamento. La tecnologia GPUDirect RDMA \u00e8 progettata per spostare i dati direttamente tra l'adattatore di rete (NIC) e la memoria GPU, mentre GPUDirect Storage fornisce un percorso diretto per il trasferimento dei dati tra uno storage locale o remoto, come NVMe o NVMe over Fabrics (NVMe-oF), e la memoria GPU.<\/p>\n

Entrambe le opzioni, GPUDirect RDMA e GPUDirect Storage, evitano spostamenti superflui dei dati attraverso il buffer nella memoria CPU e permettono al meccanismo di accesso diretto alla memoria (DMA) di trasferire dati dall'adattatore di rete o dallo storage direttamente nella memoria GPU o viceversa, il tutto senza carico sul processore centrale. Per GPUDirect Storage, la posizione dello storage non ha importanza: pu\u00f2 essere un disco NVME all'interno della unit\u00e0 GPU, all'interno di un rack o connesso in rete come NVMe-oF. <\/p>\n

\"5,8
\nSchema di funzionamento di GPUDirect Storage. Fonte: NVIDIA<\/i><\/p>\n

Le soluzioni di archiviazione hi-end basate su NVMe sono richieste nel mercato delle applicazioni HPC.<\/h2>\n

\nComprendendo che con l'arrivo di GPUDirect Storage l'interesse dei grandi clienti si sta rivolgendo verso soluzioni di storage con velocit\u00e0 di input\/output compatibili con la capacit\u00e0 della GPU, durante la fiera SC-19, Kingston ha presentato una demo di un sistema composto da uno storage basato su dischi NVMe e un'unit\u00e0 GPU, che analizzava migliaia di immagini satellitari al secondo. Di questo storage basato su 10 dischi DC1000M U.2 NVMe ne abbiamo gi\u00e0 parlato. nel reportage dalla fiera dei supercomputer<\/a><\/noindex>. <\/p>\n

\"5,8
\nLo storage basato su 10 dischi DC1000M U.2 NVMe integra perfettamente un server con acceleratori grafici. Fonte: Kingston<\/i><\/p>\n

Questo storage si presenta come un'unit\u00e0 rack 1U o superiore e pu\u00f2 scalare a seconda del numero di dischi DC1000M U.2 NVMe, ciascuno con capacit\u00e0 di 3.84-7.68 TB. Il DC1000M \u00e8 il primo modello di SSD NVMe nel formato U.2 della linea di dischi Kingston per i data center. Ha un rating di resistenza (DWPD, Drive writes per day) che consente di riscrivere i dati a piena capacit\u00e0 una volta al giorno per tutta la durata garantita dell'unit\u00e0. <\/p>\n

Nel test fio v3.13 su Ubuntu 18.04.3 LTS, con il kernel Linux 5.0.0-31-generic, il campione di storage ha mostrato una velocit\u00e0 di lettura (Sustained Read) di 5,8 milioni di IOPS con una larghezza di banda sostenuta (Sustained Bandwidth) di 23,8 Gbit\/s.<\/p>\n

Ari\u00ebl Perez, business manager SSD in Kingston, ha descritto cos\u00ec i nuovi sistemi di storage: \u00abSiamo pronti a fornire la prossima generazione di server con soluzioni SSD U.2 NVMe, per eliminare molti dei colli di bottiglia nella trasmissione dei dati che storicamente sono stati associati ai sistemi di storage. La combinazione di unit\u00e0 NVMe SSD e della nostra memoria DRAM Server Premier fa di Kingston uno dei fornitori di soluzioni complete per l'elaborazione dei dati pi\u00f9 completi nel settore\u00bb.<\/p>\n

\"5,8
\nIl test gfio v3.13 ha mostrato una larghezza di banda di 23,8 Gbit\/s per il sistema di storage dimostrativo basato su dischi DC1000M U.2 NVMe. Fonte: Kingston<\/i><\/p>\n

Come sar\u00e0 una tipica architettura per applicazioni HPC, dove \u00e8 implementata la tecnologia GPUDirect Storage o un'alternativa simile? Sar\u00e0 un'architettura con una separazione fisica dei blocchi funzionali all'interno di un rack: uno o due unit\u00e0 per la memoria, alcune per i nodi di calcolo GPU e CPU e una o pi\u00f9 unit\u00e0 per il sistema di storage.<\/p>\n

Con l'annuncio di GPUDirect Storage e il possibile arrivo di tecnologie simili da altri fornitori GPU, cresce la domanda per le soluzioni di storage basate su Kingston, progettate per l'uso in calcoli ad alte prestazioni. Un indicatore chiave sar\u00e0 la velocit\u00e0 di lettura dei dati dallo storage, paragonabile alla capacit\u00e0 di rete delle schede da 40 o 100 Gbit al servizio dell'unit\u00e0 di calcolo con GPU. Pertanto, gli storage ultra-veloci, compresi gli NVMe esterni tramite Fabric, si trasformeranno da nicchia a mainstream per le applicazioni HPC. Oltre alla ricerca e ai calcoli finanziari, troveranno applicazione in molti altri ambiti pratici, come i sistemi di sicurezza a livello metropolitano nel progetto Safe City o nei centri di monitoraggio del trasporto, dove \u00e8 richiesta una velocit\u00e0 di riconoscimento e identificazione nell'ordine di milioni di immagini HD al secondo\u201d, ha evidenziato la nicchia di mercato delle soluzioni di storage di fascia alta.<\/p>\n

Ulteriori informazioni sui prodotti Kingston sono disponibili su sito ufficiale<\/a><\/noindex> dell'azienda.
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u041d\u0430\u0448 \u043f\u043e\u0441\u0442 \u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (HPC, High Performance Computing), \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 Kingston \u043d\u0430 Supercomputing-2019. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Hi-End \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (\u0421\u0425\u0414) \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c\u0438 (GPU) \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0448\u0438\u043d\u044b GPUDirect […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54686","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd475,8 milioni di IOPS: perch\u00e9 cos\u00ec tanti? | ProHoster","description":"Ciao Habr! I set di dati per Big Data e machine learning stanno crescendo in modo esponenziale e dobbiamo essere in grado di elaborarli. Il nostro post parla di un'altra tecnologia innovativa nel campo del calcolo ad alte prestazioni (HPC, High Performance Computing), presentata presso lo stand di Kingston a Supercomputing-2019. Questo riguarda l'uso di sistemi di archiviazione dati Hi-End (SAS) nei server con processori grafici (GPU) e la tecnologia di bus GPUDirect.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd475.8 \u043c\u043b\u043d IOPS: \u0437\u0430\u0447\u0435\u043c \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e? | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u041d\u0430\u0448 \u043f\u043e\u0441\u0442 \u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (HPC, High Performance Computing), \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 Kingston \u043d\u0430 Supercomputing-2019. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Hi-End \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (\u0421\u0425\u0414) \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c\u0438 (GPU) \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0448\u0438\u043d\u044b GPUDirect","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-31T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:44+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54686","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:22:25","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:00:11","updated":"2026-01-24 12:22:25"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/54686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=54686"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/54686\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=54686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=54686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=54686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}