{"id":54686,"date":"2020-01-01T00:00:00","date_gmt":"2019-12-31T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/5-8-mln-iops-zachem-tak-mnogo"},"modified":"2020-02-18T14:02:44","modified_gmt":"2020-02-18T11:02:44","slug":"5-8-mln-iops-zachem-tak-mnogo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","title":{"rendered":"5,8 milh\u00f5es de IOPS: por que tanto?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ol\u00e1 Habr! Os conjuntos de dados para Big Data e aprendizado de m\u00e1quina est\u00e3o crescendo exponencialmente e precisamos acompanhar seu processamento. Nosso post sobre mais uma tecnologia inovadora na \u00e1rea de computa\u00e7\u00e3o de alto desempenho (HPC, High Performance Computing), apresentada no estande da Kingston em Supercomputing-2019<\/a><\/noindex>. Esta \u00e9 a aplica\u00e7\u00e3o de sistemas de armazenamento de dados Hi-End (SCD) em servidores com processadores gr\u00e1ficos (GPU) e a tecnologia de barramento GPUDirect Storage. Gra\u00e7as \u00e0 troca direta de dados entre a SCD e a GPU, contornando a CPU, o carregamento de dados nos aceleradores de GPU \u00e9 acelerado de forma significativa, permitindo que aplicativos de Big Data operem em seu m\u00e1ximo desempenho, proporcionado pelas GPUs. Por sua vez, os desenvolvedores de sistemas HPC est\u00e3o interessados nos avan\u00e7os em SCDs com alt\u00edssima velocidade de entrada\/sa\u00edda \u2014 como os produzidos pela Kingston.<\/p>\n

\"5,8
\n<\/a><\/noindex><\/p>\n

O desempenho da GPU supera o carregamento de dados <\/h2>\n

\nDesde que o CUDA foi criado em 2007 \u2014 uma arquitetura de hardware e software para computa\u00e7\u00e3o paralela baseada em GPU para o desenvolvimento de aplicativos de prop\u00f3sito geral, as capacidades dos pr\u00f3prios GPUs cresceram de forma incr\u00edvel. Hoje, os GPUs est\u00e3o se tornando cada vez mais utilizados em aplica\u00e7\u00f5es HPC, como Big Data, aprendizado de m\u00e1quina (ML, machine learning) e aprendizado profundo (DL, deep learning). <\/p>\n

Vale lembrar que, apesar da semelhan\u00e7a dos termos, as duas \u00faltimas s\u00e3o tarefas algoritmicamente diferentes. O ML ensina o computador com base em dados estruturados, enquanto o DL se baseia na resposta de uma rede neural. Um exemplo que ajuda a entender as diferen\u00e7as \u00e9 bem simples. Suponha que o computador precise distinguir fotos de gatos e c\u00e3es carregadas a partir de um armazenamento de dados. Para o ML, \u00e9 necess\u00e1rio fornecer um conjunto de imagens com muitos r\u00f3tulos, cada um definindo uma caracter\u00edstica espec\u00edfica do animal. Para o DL, basta carregar um n\u00famero muito maior de imagens, mas apenas com um r\u00f3tulo, como \u201cisto \u00e9 um gato\u201d ou \u201cisto \u00e9 um c\u00e3o\u201d. O DL se assemelha bastante \u00e0 forma como se ensina crian\u00e7as pequenas \u2014 elas simplesmente veem imagens de c\u00e3es e gatos em livros e na vida real (na maioria das vezes, nem se explicam as diferen\u00e7as detalhadas), e o c\u00e9rebro da crian\u00e7a come\u00e7a a identificar o tipo de animal ap\u00f3s um certo n\u00famero cr\u00edtico de imagens para compara\u00e7\u00e3o (estima-se que esse n\u00famero seja apenas algumas dezenas ao longo da inf\u00e2ncia). Os algoritmos de DL ainda n\u00e3o s\u00e3o t\u00e3o perfeitos: para que uma rede neural funcione t\u00e3o bem na defini\u00e7\u00e3o de imagens, \u00e9 necess\u00e1rio fornecer e processar milh\u00f5es de imagens em uma GPU.<\/p>\n

A conclus\u00e3o da introdu\u00e7\u00e3o \u00e9: com base em GPUs, \u00e9 poss\u00edvel construir aplica\u00e7\u00f5es HPC nas \u00e1reas de Big Data, ML e DL, mas existe um problema \u2014 os conjuntos de dados s\u00e3o t\u00e3o grandes que o tempo gasto para carregar dados do sistema de armazenamento para a GPU come\u00e7a a reduzir o desempenho geral da aplica\u00e7\u00e3o. Em outras palavras, as GPUs r\u00e1pidas permanecem subutilizadas devido \u00e0 lenta entrada e sa\u00edda de dados vindos de outros subsistemas. A diferen\u00e7a de velocidade na entrada\/sa\u00edda da GPU e do barramento para a CPU\/armazenamento pode ser de uma ordem de magnitude.<\/p>\n

Como funciona a tecnologia GPUDirect Storage?<\/h2>\n

\nO processo de entrada e sa\u00edda \u00e9 controlado pela CPU, assim como o processo de carregamento de dados do armazenamento para as GPUs para processamento posterior. Da\u00ed surgiu a demanda por uma tecnologia que proporcionasse acesso direto entre GPUs e discos NVMe para r\u00e1pida intera\u00e7\u00e3o entre si. A primeira tecnologia desse tipo foi proposta pela NVIDIA e chamada de GPUDirect Storage. Essencialmente, \u00e9 uma variante da tecnologia anteriormente desenvolvida por eles chamada GPUDirect RDMA (Acesso Direto \u00e0 Mem\u00f3ria Remota).<\/p>\n

\"5,8
\nJensen Huang, CEO da NVIDIA, apresenta o GPUDirect Storage como uma variante do GPUDirect RDMA na feira SC-19. Fonte: NVIDIA<\/i><\/p>\n

A diferen\u00e7a entre GPUDirect RDMA e GPUDirect Storage reside nos dispositivos envolvidos na endere\u00e7amento. A tecnologia GPUDirect RDMA \u00e9 projetada para mover dados diretamente entre a placa de interface de rede (NIC) e a mem\u00f3ria da GPU, enquanto o GPUDirect Storage fornece um caminho direto para a transmiss\u00e3o de dados entre armazenamento local ou remoto, como NVMe ou NVMe over Fabric (NVMe-oF), e a mem\u00f3ria da GPU.<\/p>\n

Ambas as op\u00e7\u00f5es, GPUDirect RDMA e GPUDirect Storage, evitam movimenta\u00e7\u00f5es desnecess\u00e1rias de dados atrav\u00e9s do buffer na mem\u00f3ria da CPU e permitem que o mecanismo de acesso direto \u00e0 mem\u00f3ria (DMA) transfira dados da placa de rede ou do armazenamento diretamente para a mem\u00f3ria da GPU ou dela \u2014 tudo isso sem sobrecarregar a CPU central. Para o GPUDirect Storage, a localiza\u00e7\u00e3o do armazenamento n\u00e3o importa: pode ser um disco NVME dentro da unidade com a GPU, dentro do rack ou conectado \u00e0 rede como NVMe-oF. <\/p>\n

\"5,8
\nDiagrama de funcionamento do GPUDirect Storage. Fonte: NVIDIA<\/i><\/p>\n

Solu\u00e7\u00f5es de armazenamento de alta performance em NVMe s\u00e3o altamente demandadas no mercado de aplica\u00e7\u00f5es HPC.<\/h2>\n

\nEntendendo que, com o surgimento do GPUDirect Storage, os interesses de grandes clientes se voltariam para sistemas de armazenamento com velocidades de entrada\/sa\u00edda que correspondem \u00e0 largura de banda da GPU, na SC-19, a Kingston demonstrou um sistema composto por um armazenamento baseado em discos NVMe e uma unidade com GPU, que realizava an\u00e1lise de milhares de imagens de sat\u00e9lite por segundo. J\u00e1 discutimos sobre esse sistema de armazenamento baseado em 10 unidades DC1000M U.2 NVMe. no relat\u00f3rio da exposi\u00e7\u00e3o de supercomputadores.<\/a><\/noindex>. <\/p>\n

\"5,8
\nO sistema de armazenamento baseado em 10 unidades DC1000M U.2 NVMe complementa adequadamente um servidor com aceleradores gr\u00e1ficos. Fonte: Kingston.<\/i><\/p>\n

Este sistema de armazenamento \u00e9 apresentado na forma de uma unidade de rack 1U ou maior e pode ser dimensionado de acordo com o n\u00famero de discos DC1000M U.2 NVMe, onde cada um tem capacidade de 3.84-7.68 TB. O DC1000M \u00e9 o primeiro modelo de SSD NVMe no formato U.2 na linha de unidades Kingston para data centers. Ele possui uma classifica\u00e7\u00e3o de durabilidade (DWPD, Drive Writes Per Day), permitindo a regrava\u00e7\u00e3o de dados em sua capacidade total uma vez por dia durante a vida \u00fatil garantida da unidade. <\/p>\n

No teste fio v3.13 no sistema operacional Ubuntu 18.04.3 LTS, kernel Linux 5.0.0-31-generic, a amostra em exibi\u00e7\u00e3o do sistema de armazenamento apresentou uma velocidade de leitura (Sustained Read) de 5.8 milh\u00f5es IOPS com uma largura de banda sustentada (Sustained Bandwidth) de 23.8 Gbps.<\/p>\n

Ari\u00e9l Peres, gerente de neg\u00f3cios de SSD na Kingston, descreveu os novos sistemas de armazenamento: \"Estamos prontos para fornecer a pr\u00f3xima gera\u00e7\u00e3o de servidores com solu\u00e7\u00f5es de SSD U.2 NVMe, para eliminar muitos dos gargalos na transmiss\u00e3o de dados que tradicionalmente estiveram associados a sistemas de armazenamento. A combina\u00e7\u00e3o de unidades NVMe SSD e nossa mem\u00f3ria premium Server Premier DRAM torna a Kingston um dos fornecedores mais completos do setor em solu\u00e7\u00f5es integradas para processamento de dados.\"<\/p>\n

\"5,8
\nO teste gfio v3.13 mostrou uma taxa de transfer\u00eancia de 23,8 Gbps para um sistema de armazenamento demonstrativo com discos DC1000M U.2 NVMe. Fonte: Kingston<\/i><\/p>\n

Como seria um sistema t\u00edpico para aplica\u00e7\u00f5es HPC, onde a tecnologia GPUDirect Storage ou semelhante est\u00e1 implementada? \u00c9 uma arquitetura com separa\u00e7\u00e3o f\u00edsica das unidades funcionais dentro do rack: uma ou duas unidades para a mem\u00f3ria, algumas para n\u00f3s computacionais de GPU e CPU, e uma ou mais unidades para o sistema de armazenamento.<\/p>\n

Com o an\u00fancio do GPUDirect Storage e a poss\u00edvel apari\u00e7\u00e3o de tecnologias semelhantes de outros fornecedores de GPU, a demanda da Kingston por sistemas de armazenamento voltados para computa\u00e7\u00e3o de alto desempenho est\u00e1 aumentando. Um marcador ser\u00e1 a velocidade de leitura de dados do sistema de armazenamento, compar\u00e1vel \u00e0 largura de banda de placas de rede de 40 ou 100 Gbps na entrada da unidade computacional com GPU. Assim, sistemas de armazenamento ultrarr\u00e1pidos, incluindo NVMe externos via Fabric, deixar\u00e3o de ser ex\u00f3ticos e se tornar\u00e3o mainstream para aplica\u00e7\u00f5es HPC. Al\u00e9m da ci\u00eancia e c\u00e1lculos financeiros, eles encontrar\u00e3o aplica\u00e7\u00e3o em muitas outras \u00e1reas pr\u00e1ticas, como sistemas de seguran\u00e7a em grandes cidades, como Safe City, ou centros de monitoramento no transporte, onde \u00e9 necess\u00e1ria uma velocidade de reconhecimento e identifica\u00e7\u00e3o na ordem de milh\u00f5es de imagens HD por segundo\", destacou a import\u00e2ncia dos principais sistemas de armazenamento.<\/p>\n

Mais informa\u00e7\u00f5es sobre os produtos da Kingston podem ser encontradas em site oficial<\/a><\/noindex> a empresa.
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u041d\u0430\u0448 \u043f\u043e\u0441\u0442 \u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (HPC, High Performance Computing), \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 Kingston \u043d\u0430 Supercomputing-2019. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Hi-End \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (\u0421\u0425\u0414) \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c\u0438 (GPU) \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0448\u0438\u043d\u044b GPUDirect […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54686","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd475,8 milh\u00f5es de IOPS: por que tantos?","description":"Ol\u00e1 Habr! Os conjuntos de dados para Big Data e aprendizado de m\u00e1quina est\u00e3o crescendo exponencialmente e precisamos process\u00e1-los rapidamente.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd475.8 \u043c\u043b\u043d IOPS: \u0437\u0430\u0447\u0435\u043c \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e? | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c.","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-31T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:44+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54686","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:22:25","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:00:11","updated":"2026-01-24 12:22:25","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/54686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=54686"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/54686\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=54686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=54686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=54686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}