{"id":54686,"date":"2020-01-01T00:00:00","date_gmt":"2019-12-31T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/5-8-mln-iops-zachem-tak-mnogo"},"modified":"2020-02-18T14:02:44","modified_gmt":"2020-02-18T11:02:44","slug":"5-8-mln-iops-zachem-tak-mnogo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","title":{"rendered":"5,8 milioni di IOPS: perch\u00e9 cos\u00ec tanti?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ciao Habr! I set di dati per Big Data e machine learning stanno crescendo esponenzialmente e dobbiamo affrettarci a elaborarli. Il nostro post parla di un'altra tecnologia innovativa nel campo dei calcoli ad alte prestazioni (HPC, High Performance Computing), presentata allo stand Kingston a Supercomputing-2019<\/a><\/noindex>. Questo \u00e8 l'utilizzo di sistemi di archiviazione dati Hi-End (SAS) nei server con processori grafici (GPU) e la tecnologia della bus GPUDirect Storage. Grazie allo scambio diretto di dati tra SAS e GPU, bypassando la CPU, il caricamento dei dati negli acceleratori GPU avviene con un ordine di grandezza pi\u00f9 veloce, quindi le applicazioni di Big Data vengono eseguite al massimo delle prestazioni offerte dalle GPU. A sua volta, i sviluppatori di sistemi HPC sono interessati ai progressi nel campo delle SAS con la massima velocit\u00e0 di input\/output \u2014 come quelle prodotte da Kingston.<\/p>\n

\"5,8
\n<\/a><\/noindex><\/p>\n

Le prestazioni delle GPU superano il caricamento dei dati <\/h2>\n

\nDa quando \u00e8 stata creata nel 2007 la CUDA \u2014 architettura hardware e software per il calcolo parallelo basata su GPU per lo sviluppo di applicazioni generali, le capacit\u00e0 hardware delle GPU stesse sono cresciute in modo incredibile. Oggi le GPU trovano un'applicazione sempre pi\u00f9 ampia nel campo delle applicazioni HPC, come i big data (Big Data), il machine learning (ML, machine learning) e il deep learning (DL, deep learning). <\/p>\n

\u00c8 importante notare che, nonostante la somiglianza dei termini, gli ultimi due rappresentano compiti algoritmicamente diversi. Il ML allena il computer basandosi su dati strutturati, mentre il DL si basa su risposte da reti neurali. Un esempio che aiuta a comprendere le differenze \u00e8 piuttosto semplice. Supponiamo che un computer debba distinguere foto di gatti e cani caricati da uno storage. Per il ML, bisogna fornire un insieme di immagini con molti tag, ognuno dei quali definisce una specifica caratteristica dell'animale. Per il DL, \u00e8 sufficiente caricare un numero significativamente maggiore di immagini, ma con un solo tag \"questo \u00e8 un gatto\" o \"questo \u00e8 un cane\". Il DL \u00e8 molto simile a come vengono educati i bambini piccoli: mostrano semplicemente immagini di cani e gatti nei libri e nella vita reale (spesso, senza nemmeno spiegare le differenze dettagliate), e il cervello del bambino inizia a riconoscere il tipo di animale dopo un certo numero critico di immagini per il confronto (si stima che bastino solo un centinaio di esposizioni durante l'infanzia). Gli algoritmi DL non sono ancora cos\u00ec perfezionati: affinch\u00e9 anche una rete neurale possa lavorare con successo nella definizione delle immagini, \u00e8 necessario fornire e elaborare nel GPU milioni di immagini.<\/p>\n

In sintesi, \u00e8 possibile costruire applicazioni HPC nel campo del Big Data, ML e DL basate su GPU, ma esiste un problema: i set di dati sono cos\u00ec grandi che il tempo necessario per caricare i dati dal sistema di storage nella GPU comincia a ridurre le prestazioni complessive dell'applicazione. In altre parole, le schede grafiche veloci rimangono sotto-utilizzate a causa della lentezza delle operazioni di input-output dei dati provenienti da altre sottosistemi. La differenza di velocit\u00e0 tra input\/output della GPU e bus verso CPU\/storage pu\u00f2 essere di un ordine di grandezza.<\/p>\n

Come funziona la tecnologia GPUDirect Storage?<\/h2>\n

\nIl processo di input-output \u00e8 controllato dalla CPU, cos\u00ec come il processo di caricamento dei dati dallo storage nelle GPU per la successiva elaborazione. Da qui nasce la richiesta di una tecnologia che garantisse un accesso diretto tra GPU e dischi NVMe per un veloce scambio di dati. NVIDIA ha introdotto per prima questa tecnologia, chiamandola GPUDirect Storage. In sostanza, si tratta di una variante della tecnologia GPUDirect RDMA (Remote Direct Memory Address) da loro precedentemente sviluppata.<\/p>\n

\"5,8
\nJensen Huang, CEO di NVIDIA, presenta GPUDirect Storage come una variante di GPUDirect RDMA alla fiera SC-19. Fonte: NVIDIA<\/i><\/p>\n

La differenza tra GPUDirect RDMA e GPUDirect Storage sta nei dispositivi tra cui avviene l'indirizzamento. La tecnologia GPUDirect RDMA \u00e8 progettata per spostare i dati direttamente tra la scheda di interfaccia di rete (NIC) e la memoria GPU, mentre GPUDirect Storage fornisce un percorso diretto per il trasferimento di dati tra uno storage locale o remoto, come NVMe o NVMe over Fabrics (NVMe-oF), e la memoria GPU.<\/p>\n

Entrambe le opzioni, GPUDirect RDMA e GPUDirect Storage, evitano spostamenti superflui di dati attraverso il buffer nella memoria della CPU e consentono al meccanismo di accesso diretto alla memoria (DMA) di trasferire i dati dalla scheda di rete o dallo storage direttamente alla memoria GPU o viceversa, e tutto ci\u00f2 senza carico sulla CPU centrale. Per GPUDirect Storage, la posizione dello storage non ha importanza: pu\u00f2 essere un disco NVME all'interno dell'unit\u00e0 con GPU, all'interno di un rack o connesso in rete come NVMe-oF. <\/p>\n

\"5,8
\nSchema di funzionamento di GPUDirect Storage. Fonte: NVIDIA<\/i><\/p>\n

I sistemi di archiviazione hi-end basati su NVMe sono richiesti nel mercato delle applicazioni HPC.<\/h2>\n

\nComprendendo che con l'avvento di GPUDirect Storage l'interesse dei grandi clienti si concentrer\u00e0 sull'offerta di sistemi di storage con velocit\u00e0 di input\/output corrispondenti alla larghezza di banda delle GPU, alla fiera SC-19 Kingston ha mostrato un demo di un sistema composto da un sistema di storage basato su dischi NVMe e un'unit\u00e0 con GPU, in cui veniva analizzato un numero di migliaia di immagini satellitari al secondo. Abbiamo gi\u00e0 parlato di tale sistema di storage basato su 10 unit\u00e0 DC1000M U.2 NVMe. nel reportage della fiera dei supercomputer.<\/a><\/noindex>. <\/p>\n

\"5,8
\nIl sistema di storage basato su 10 unit\u00e0 DC1000M U.2 NVMe integra perfettamente un server con acceleratori grafici. Fonte: Kingston.<\/i><\/p>\n

Questo sistema di storage \u00e8 realizzato sotto forma di un'unit\u00e0 rack 1U o superiore e pu\u00f2 essere scalato in base al numero di dischi DC1000M U.2 NVMe, dove ognuno ha una capacit\u00e0 di 3.84-7.68 TB. DC1000M \u00e8 il primo modello di SSD NVMe nel fattore di forma U.2 nella gamma di dispositivi di Kingston per i data center. Ha un rating di resistenza (DWPD, Drive writes per day) che consente la riscrittura dei dati sulla capacit\u00e0 totale una volta al giorno per l'intero ciclo di vita garantito del dispositivo. <\/p>\n

Nel test fio v3.13 su sistema operativo Ubuntu 18.04.3 LTS, kernel Linux 5.0.0-31-generic, il campione esposto del sistema di storage ha mostrato una velocit\u00e0 di lettura (Sustained Read) di 5.8 milioni di IOPS con una larghezza di banda sostenuta (Sustained Bandwidth) di 23.8 Gbit\/s.<\/p>\n

Ari\u00ebl Peres, business manager SSD in Kingston, ha descritto cos\u00ec i nuovi sistemi di archiviazione: \u00abSiamo pronti a fornire alla prossima generazione di server soluzioni SSD U.2 NVMe, per eliminare molti colli di bottiglia nella trasmissione dei dati, che tradizionalmente sono stati associati ai sistemi di storage. La combinazione di unit\u00e0 NVMe SSD e della nostra premium RAM Server Premier DRAM rende Kingston uno dei fornitori di soluzioni complete per l'elaborazione dei dati pi\u00f9 completi del settore\u00bb.<\/p>\n

\"5,8
\nIl test gfio v3.13 ha mostrato una latenza di 23.8 Gbit\/s per il sistema di archiviazione in demo su dischi DC1000M U.2 NVMe. Fonte: Kingston<\/i><\/p>\n

Come sar\u00e0 composta un tipica sistema per applicazioni HPC, dove \u00e8 implementata la tecnologia GPUDirect Storage o una simile? Si tratta di un'architettura con separazione fisica dei blocchi funzionali all'interno di un'unit\u00e0: uno o due unit\u00e0 per la RAM, diverse altre per i nodi di calcolo GPU e CPU e una o pi\u00f9 unit\u00e0 per il sistema di storage.<\/p>\n

Con l'annuncio di GPUDirect Storage e l'eventuale introduzione di tecnologie simili presso altri fornitori di GPU, si amplifica la domanda di sistemi di archiviazione progettati per l'uso in calcolo ad alte prestazioni da parte di Kingston. Un parametro chiave sar\u00e0 la velocit\u00e0 di lettura dei dati dal sistema di archiviazione, paragonabile alla larghezza di banda delle schede di rete da 40 o 100 Gbit all'ingresso del nodo di calcolo con GPU. Cos\u00ec, gli ultraveloci sistemi di archiviazione, comprese le unit\u00e0 NVMe esterne via Fabric, passeranno da una condizione esotica a un mainstream per le applicazioni HPC. Oltre alla scienza e ai calcoli finanziari, troveranno applicazione in molti altri ambiti pratici, come i sistemi di sicurezza delle mega citt\u00e0 Safe City o i centri di monitoraggio dei trasporti, dove \u00e8 richiesta una velocit\u00e0 di riconoscimento e identificazione pari a milioni di immagini HD al secondo\u00bb, ha evidenziato la nicchia di mercato dei top di gamma.<\/p>\n

Ulteriori informazioni sui prodotti Kingston possono essere trovate su sito ufficiale<\/a><\/noindex> azienda.
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u041d\u0430\u0448 \u043f\u043e\u0441\u0442 \u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (HPC, High Performance Computing), \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 Kingston \u043d\u0430 Supercomputing-2019. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Hi-End \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (\u0421\u0425\u0414) \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c\u0438 (GPU) \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0448\u0438\u043d\u044b GPUDirect […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54686","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd475.8 milioni di IOPS: a cosa servono cos\u00ec tanti?","description":"Ciao Habr! I set di dati per Big Data e machine learning crescono esponenzialmente e bisogna sapersi adattare per elaborarli.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd475.8 \u043c\u043b\u043d IOPS: \u0437\u0430\u0447\u0435\u043c \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e? | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-31T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:44+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54686","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:22:25","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:00:11","updated":"2026-01-24 12:22:25","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/54686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=54686"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/54686\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=54686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=54686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=54686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}