{"id":54686,"date":"2020-01-01T00:00:00","date_gmt":"2019-12-31T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/5-8-mln-iops-zachem-tak-mnogo"},"modified":"2020-02-18T14:02:44","modified_gmt":"2020-02-18T11:02:44","slug":"5-8-mln-iops-zachem-tak-mnogo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","title":{"rendered":"5.8 millones de IOPS: \u00bfpor qu\u00e9 tanto?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00a1Hola Habr! Los conjuntos de datos para Big Data y aprendizaje autom\u00e1tico est\u00e1n creciendo exponencialmente y necesitamos procesarlos r\u00e1pidamente. Nuestra publicaci\u00f3n trata sobre otra tecnolog\u00eda innovadora en el \u00e1mbito de los c\u00e1lculos de alto rendimiento (HPC, High Performance Computing), presentada en el stand de Kingston en Supercomputing-2019<\/a><\/noindex>. Esta es la aplicaci\u00f3n de sistemas de almacenamiento de datos de gama alta (SASD) en servidores con procesadores gr\u00e1ficos (GPU) y la tecnolog\u00eda de bus GPUDirect Storage. Gracias al intercambio directo de datos entre el SASD y la GPU, evitando la CPU, se acelera considerablemente la carga de datos en los aceleradores GPU, permitiendo que las aplicaciones de Big Data funcionen a m\u00e1xima capacidad, gracias a las GPUs. Por su parte, a los desarrolladores de sistemas HPC les interesan los logros en el \u00e1rea de SASD con velocidad de entrada\/salida extremadamente alta \u2014 tal como los que produce Kingston.<\/p>\n

\"5.8
\n<\/a><\/noindex><\/p>\n

El rendimiento de la GPU supera la carga de datos <\/h2>\n

\nDesde que se cre\u00f3 CUDA en 2007 \u2014 una arquitectura de software y hardware para c\u00e1lculos paralelos basados en GPU para el desarrollo de aplicaciones de prop\u00f3sito general, las capacidades de las propias GPUs han crecido incre\u00edblemente. Hoy, las GPUs tienen cada vez m\u00e1s aplicaciones en el \u00e1mbito de las aplicaciones HPC, como grandes datos (Big Data), aprendizaje autom\u00e1tico (ML, machine learning) y aprendizaje profundo (DL, deep learning). <\/p>\n

Cabe destacar que, a pesar de la similitud de los t\u00e9rminos, los dos \u00faltimos son tareas algor\u00edtmicamente diferentes. ML ense\u00f1a a la computadora a partir de datos estructurados, mientras que DL lo hace a partir de las respuestas de una red neuronal. Un ejemplo que ayuda a comprender las diferencias es bastante simple. Supongamos que una computadora debe distinguir entre fotos de gatos y perros que se cargan desde un sistema de almacenamiento. Para ML, se debe proporcionar un conjunto de im\u00e1genes con m\u00faltiples etiquetas, cada una de las cuales define una caracter\u00edstica particular del animal. Para DL, es suficiente cargar un n\u00famero mucho mayor de im\u00e1genes, pero s\u00f3lo con una etiqueta que diga \"esto es un gato\" o \"esto es un perro\". DL es muy parecido a c\u00f3mo se ense\u00f1an a los ni\u00f1os peque\u00f1os: simplemente se les muestran im\u00e1genes de perros y gatos en libros y en la vida real (a menudo, sin explicar la diferencia detallada), y el cerebro del ni\u00f1o comienza a identificar el tipo de animal despu\u00e9s de un cierto n\u00famero cr\u00edtico de im\u00e1genes para comparar (se estima que son unas cien o m\u00e1s visualizaciones a lo largo de la infancia temprana). Los algoritmos de DL a\u00fan no son tan perfectos: para que la red neuronal pueda trabajar tan exitosamente en la identificaci\u00f3n de im\u00e1genes, es necesario presentar y procesar millones de im\u00e1genes en la GPU.<\/p>\n

Conclusi\u00f3n del prefacio: se pueden construir aplicaciones HPC en base a GPU en el \u00e1mbito de Big Data, ML y DL, pero existe un problema: los conjuntos de datos son tan grandes que el tiempo dedicado a cargar datos del sistema de almacenamiento a la GPU comienza a reducir el rendimiento general de la aplicaci\u00f3n. En otras palabras, las GPUs r\u00e1pidas siguen sin estar completamente cargadas debido a la lenta entrada-salida de datos de otros subsistemas. La diferencia en la velocidad de entrada\/salida entre la GPU y el bus hacia la CPU\/Sistema de almacenamiento puede ser de un orden de magnitud.<\/p>\n

\u00bfC\u00f3mo funciona la tecnolog\u00eda GPUDirect Storage?<\/h2>\n

\nEl proceso de entrada-salida es controlado por la CPU, as\u00ed como el proceso de carga de datos desde el almacenamiento hacia las GPUs para su posterior procesamiento. De aqu\u00ed surge la necesidad de una tecnolog\u00eda que proporcione acceso directo entre la GPU y los discos NVMe para una r\u00e1pida interacci\u00f3n entre ellos. La primera tecnolog\u00eda de este tipo fue propuesta por NVIDIA y se llam\u00f3 GPUDirect Storage. En esencia, es una variante de una tecnolog\u00eda que ellos mismos desarrollaron anteriormente llamada GPUDirect RDMA (Acceso Directo a la Memoria Remota).<\/p>\n

\"5.8
\nJensen Huang, CEO de NVIDIA, presenta GPUDirect Storage como una variante de GPUDirect RDMA en la exhibici\u00f3n SC-19. Fuente: NVIDIA<\/i><\/p>\n

La diferencia entre GPUDirect RDMA y GPUDirect Storage radica en los dispositivos entre los cuales se realiza la direccionamiento. La tecnolog\u00eda GPUDirect RDMA est\u00e1 destinada a mover datos directamente entre la tarjeta de red (NIC) y la memoria de la GPU, mientras que GPUDirect Storage proporciona un camino directo para transferir datos entre el almacenamiento local o remoto, como NVMe o NVMe a trav\u00e9s de Fabric (NVMe-oF) y la memoria de la GPU.<\/p>\n

Ambas opciones, GPUDirect RDMA y GPUDirect Storage, evitan el movimiento innecesario de datos a trav\u00e9s del b\u00fafer en la memoria de la CPU y permiten que el mecanismo de acceso directo a la memoria (DMA) transfiera datos directamente desde la tarjeta de red o almacenamiento a la memoria de la GPU o viceversa, todo sin cargar el procesador central. Para GPUDirect Storage, la ubicaci\u00f3n del almacenamiento no importa: puede ser un disco NVMe dentro de la unidad con GPU, en un rack o conectado a trav\u00e9s de la red como NVMe-oF. <\/p>\n

\"5.8
\nEsquema de funcionamiento de GPUDirect Storage. Fuente: NVIDIA<\/i><\/p>\n

Los sistemas de almacenamiento de alta gama basados en NVMe son muy demandados en el mercado de aplicaciones HPC.<\/h2>\n

\nEntendiendo que con la llegada de GPUDirect Storage el inter\u00e9s de los grandes clientes se enfocar\u00e1 en la oferta de sistemas de almacenamiento que ofrezcan tasas de entrada\/salida que coincidan con el ancho de banda de la GPU, en la exposici\u00f3n SC-19, Kingston mostr\u00f3 un sistema de demostraci\u00f3n compuesto por un sistema de almacenamiento basado en discos NVMe y una unidad con GPU, en el cual se realizaba un an\u00e1lisis de miles de im\u00e1genes satelitales por segundo. Ya hemos escrito sobre este sistema de almacenamiento basado en 10 discos DC1000M U.2 NVMe. en el reportaje de la exposici\u00f3n de supercomputadoras.<\/a><\/noindex>. <\/p>\n

\"5.8
\nEl sistema de almacenamiento basado en 10 discos DC1000M U.2 NVMe complementa a la perfecci\u00f3n un servidor con aceleradores gr\u00e1ficos. Fuente: Kingston<\/i><\/p>\n

Este sistema de almacenamiento se presenta en forma de una unidad en rack de 1U o mayor, y puede escalarse en funci\u00f3n del n\u00famero de discos DC1000M U.2 NVMe, donde cada uno tiene capacidades de 3.84 a 7.68 TB. El DC1000M es el primer modelo de SSD NVMe en factor de forma U.2 en la l\u00ednea de dispositivos de Kingston para centros de datos. Tiene una calificaci\u00f3n de resistencia (DWPD, escrituras por d\u00eda del disco), que permite sobrescribir datos a su capacidad total una vez al d\u00eda durante la vida \u00fatil garantizada del dispositivo. <\/p>\n

En la prueba fio v3.13 sobre el sistema operativo Ubuntu 18.04.3 LTS, kernel de Linux 5.0.0-31-generic, el prototipo de sistema de almacenamiento exhibido mostr\u00f3 una velocidad de lectura (Sustained Read) de 5.8 millones IOPS con un ancho de banda sostenido (Sustained Bandwidth) de 23.8 Gbps.<\/p>\n

Ariel P\u00e9rez, gerente de negocios SSD en Kingston, describi\u00f3 as\u00ed los nuevos sistemas de almacenamiento: \u00abEstamos listos para proporcionar la pr\u00f3xima generaci\u00f3n de servidores con soluciones SSD U.2 NVMe, para eliminar muchos de los cuellos de botella en la transferencia de datos que tradicionalmente han estado asociados con los sistemas de almacenamiento. La combinaci\u00f3n de unidades NVMe SSD y nuestra memoria RAM Server Premier DRAM convierte a Kingston en uno de los proveedores m\u00e1s completos de soluciones integrales para el procesamiento de datos en la industria\u00bb.<\/p>\n

\"5.8
\nLa prueba gfio v3.13 mostr\u00f3 un ancho de banda de 23.8 Gbps para el sistema de almacenamiento de demostraci\u00f3n con discos DC1000M U.2 NVMe. Fuente: Kingston<\/i><\/p>\n

\u00bfC\u00f3mo se ver\u00eda un sistema t\u00edpico para aplicaciones HPC donde se implementa la tecnolog\u00eda GPUDirect Storage o una similar? Se trata de una arquitectura con separaci\u00f3n f\u00edsica de bloques funcionales dentro del rack: una o dos unidades para memoria RAM, varias para nodos de computaci\u00f3n GPU y CPU, y una o m\u00e1s unidades para el sistema de almacenamiento.<\/p>\n

Con el anuncio de GPUDirect Storage y la posible aparici\u00f3n de tecnolog\u00edas similares por parte de otros proveedores de GPU, Kingston experimenta un aumento en la demanda de sistemas de almacenamiento dise\u00f1ados para su uso en computaci\u00f3n de alto rendimiento. Un marcador ser\u00e1 la velocidad de lectura de datos desde el sistema de almacenamiento, comparable al ancho de banda de tarjetas de red de 40 o 100 Gbps en la entrada al nodo de computaci\u00f3n con GPU. As\u00ed, sistemas de almacenamiento ultrarr\u00e1pidos, incluyendo NVMe externos a trav\u00e9s de Fabric, pasar\u00e1n de ser una excentricidad a convertirse en la norma para aplicaciones HPC. Adem\u00e1s de la ciencia y los c\u00e1lculos financieros, encontrar\u00e1n uso en muchas otras \u00e1reas pr\u00e1cticas, como sistemas de seguridad de nivel metropolitano Safe City o centros de monitoreo de transporte, donde se requiere velocidad de reconocimiento e identificaci\u00f3n a niveles de millones de im\u00e1genes HD por segundo\u00bb, estableci\u00f3 el nicho de mercado para los sistemas de almacenamiento de alto rendimiento.<\/p>\n

Puedes encontrar m\u00e1s informaci\u00f3n sobre los productos de Kingston en el sitio web oficial<\/a><\/noindex> la empresa.
\n
Fuente: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u041d\u0430\u0448 \u043f\u043e\u0441\u0442 \u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (HPC, High Performance Computing), \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 Kingston \u043d\u0430 Supercomputing-2019. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Hi-End \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (\u0421\u0425\u0414) \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c\u0438 (GPU) \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0448\u0438\u043d\u044b GPUDirect […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54686","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd475.8 millones de IOPS: \u00bfpor qu\u00e9 tanto?","description":"\u00a1Hola Habr! Los conjuntos de datos para Big Data y aprendizaje autom\u00e1tico est\u00e1n creciendo exponencialmente y debemos estar al d\u00eda con su procesamiento.","canonical_url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"es_ES","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd475.8 \u043c\u043b\u043d IOPS: \u0437\u0430\u0447\u0435\u043c \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e? | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c.","og:url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-31T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:44+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54686","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:22:25","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:00:11","updated":"2026-01-24 12:22:25","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/54686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/comments?post=54686"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/54686\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media?parent=54686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/categories?post=54686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/tags?post=54686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}