{"id":54686,"date":"2020-01-01T00:00:00","date_gmt":"2019-12-31T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/5-8-mln-iops-zachem-tak-mnogo"},"modified":"2020-02-18T14:02:44","modified_gmt":"2020-02-18T11:02:44","slug":"5-8-mln-iops-zachem-tak-mnogo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","title":{"rendered":"5,8 millions d'IOPS : pourquoi tant de performances ?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Bonjour Habr ! Les ensembles de donn\u00e9es pour le Big Data et l'apprentissage machine croissent exponentiellement et il est n\u00e9cessaire de pouvoir les traiter. Notre article porte sur une autre technologie innovante dans le domaine du calcul haute performance (HPC, High Performance Computing), pr\u00e9sent\u00e9e sur le stand de Kingston \u00e0 Supercomputing-2019<\/a><\/noindex>. Il s'agit de l'application de syst\u00e8mes de stockage de donn\u00e9es haut de gamme (SDS) dans des serveurs \u00e9quip\u00e9s de processeurs graphiques (GPU) et de la technologie de bus GPUDirect Storage. Gr\u00e2ce \u00e0 l'\u00e9change direct de donn\u00e9es entre les SDS et les GPU, en contournant le CPU, le chargement des donn\u00e9es dans les acc\u00e9l\u00e9rateurs GPU s'acc\u00e9l\u00e8re consid\u00e9rablement, permettant ainsi aux applications Big Data d'atteindre des performances maximales fournies par les GPU. Par cons\u00e9quent, les d\u00e9veloppeurs de syst\u00e8mes HPC s'int\u00e9ressent aux avanc\u00e9es dans le domaine des SDS offrant une vitesse d'entr\u00e9e\/sortie exceptionnelle \u2014 comme celles produites par Kingston.<\/p>\n

\"5,8
\n<\/a><\/noindex><\/p>\n

Les performances des GPU surpassent le chargement des donn\u00e9es <\/h2>\n

\nDepuis la cr\u00e9ation de CUDA en 2007 \u2014 une architecture mat\u00e9rielle et logicielle pour le calcul parall\u00e8le bas\u00e9e sur les GPU pour le d\u00e9veloppement d'applications \u00e0 usage g\u00e9n\u00e9ral, les capacit\u00e9s mat\u00e9rielles des GPU eux-m\u00eames ont incroyablement augment\u00e9. Aujourd'hui, les GPU sont de plus en plus utilis\u00e9s dans les applications HPC, telles que le Big Data, l'apprentissage machine (ML, machine learning) et l'apprentissage profond (DL, deep learning). <\/p>\n

Notons qu'en d\u00e9pit de la similarit\u00e9 des termes, les deux derniers repr\u00e9sentent des t\u00e2ches algorithmiquement diff\u00e9rentes. Le ML forme l'ordinateur \u00e0 partir de donn\u00e9es structur\u00e9es, tandis que le DL utilise des r\u00e9ponses de r\u00e9seaux neuronaux. Un exemple qui aide \u00e0 comprendre les diff\u00e9rences est assez simple. Supposons que l'ordinateur doive distinguer des photos de chats et de chiens t\u00e9l\u00e9charg\u00e9es depuis un stockage. Pour le ML, il faut fournir un ensemble d'images avec de nombreux tags, chacun d\u00e9finissant une caract\u00e9ristique unique de l'animal. Pour le DL, il suffit de t\u00e9l\u00e9charger un nombre beaucoup plus \u00e9lev\u00e9 d'images, mais avec un seul tag \u00ab c'est un chat \u00bb ou \u00ab c'est un chien \u00bb. Le DL ressemble beaucoup \u00e0 la mani\u00e8re dont on apprend aux jeunes enfants : on leur montre simplement des images de chiens et de chats dans des livres et dans la vie (souvent sans m\u00eame expliquer la diff\u00e9rence d\u00e9taill\u00e9e), et le cerveau de l'enfant commence \u00e0 identifier le type d'animal apr\u00e8s un certain nombre critique d'images \u00e0 comparer (estim\u00e9 \u00e0 une centaine ou deux au cours de l'enfance). Les algorithmes de DL ne sont pas encore suffisamment perfectionn\u00e9s : pour qu'un r\u00e9seau neuronal puisse \u00e9galement travailler efficacement \u00e0 l'identification des formes, il faut fournir et traiter des millions d'images sur le GPU.<\/p>\n

Conclusion de l'introduction : il est possible de construire des applications HPC sur des GPU dans le domaine des Big Data, du ML et du DL, mais il existe un probl\u00e8me \u2014 les ensembles de donn\u00e9es sont si vastes que le temps consacr\u00e9 \u00e0 charger les donn\u00e9es depuis le syst\u00e8me de stockage vers le GPU commence \u00e0 r\u00e9duire la performance globale de l'application. En d'autres termes, les processeurs graphiques rapides restent sous-utilis\u00e9s en raison de la lenteur des entr\u00e9es\/sorties de donn\u00e9es provenant d'autres sous-syst\u00e8mes. La diff\u00e9rence de vitesse d'entr\u00e9e\/sortie entre le GPU et le bus vers le CPU\/p\u00e9riph\u00e9rie de stockage peut aller jusqu'\u00e0 un ordre de grandeur.<\/p>\n

Comment fonctionne la technologie GPUDirect Storage ?<\/h2>\n

\nLe processus d'entr\u00e9e\/sortie est contr\u00f4l\u00e9 par le CPU, tout comme le processus de chargement des donn\u00e9es depuis le stockage vers les processeurs graphiques pour un traitement ult\u00e9rieur. Cela a donn\u00e9 lieu \u00e0 une demande pour une technologie qui garantirait un acc\u00e8s direct entre les GPU et les disques NVMe pour une interaction rapide entre eux. NVIDIA a \u00e9t\u00e9 la premi\u00e8re \u00e0 proposer une telle technologie et l'a nomm\u00e9e GPUDirect Storage. En fait, il s'agit d'une variante de leur technologie GPUDirect RDMA (Remote Direct Memory Address) pr\u00e9c\u00e9demment d\u00e9velopp\u00e9e.<\/p>\n

\"5,8
\nJensen Huang, PDG de NVIDIA, pr\u00e9sente GPUDirect Storage comme une variante de GPUDirect RDMA lors du salon S\u0421-19. Source : NVIDIA<\/i><\/p>\n

La diff\u00e9rence entre GPUDirect RDMA et GPUDirect Storage r\u00e9side dans les appareils entre lesquels l'adressage est effectu\u00e9. La technologie GPUDirect RDMA est sp\u00e9cialement con\u00e7ue pour transf\u00e9rer des donn\u00e9es directement entre la carte d'interface r\u00e9seau (NIC) et la m\u00e9moire GPU, tandis que GPUDirect Storage fournit une voie directe pour la transmission de donn\u00e9es entre un stockage local ou distant, tel que NVMe ou NVMe over Fabric (NVMe-oF) et la m\u00e9moire GPU.<\/p>\n

Les deux options, GPUDirect RDMA et GPUDirect Storage, \u00e9vitent les transferts de donn\u00e9es inutiles \u00e0 travers le tampon de la m\u00e9moire CPU et permettent au m\u00e9canisme d'acc\u00e8s direct \u00e0 la m\u00e9moire (DMA) de d\u00e9placer des donn\u00e9es de la carte r\u00e9seau ou du stockage directement vers la m\u00e9moire GPU ou vice versa, sans solliciter le processeur central. Pour GPUDirect Storage, l'emplacement du stockage n'a pas d'importance : cela peut \u00eatre un disque NVMe \u00e0 l'int\u00e9rieur de l'unit\u00e9 avec GPU, dans un rack ou connect\u00e9 via le r\u00e9seau comme NVMe-oF. <\/p>\n

\"5,8
\nSch\u00e9ma de fonctionnement de GPUDirect Storage. Source : NVIDIA<\/i><\/p>\n

Les syst\u00e8mes de stockage haut de gamme sur NVMe sont en forte demande sur le march\u00e9 des applications HPC.<\/h2>\n

\nConscient qu'avec l'\u00e9mergence de GPUDirect Storage, l'int\u00e9r\u00eat des grands clients se portera sur des syst\u00e8mes de stockage capables de fournir des vitesses d'entr\u00e9e\/sortie correspondant \u00e0 la bande passante du GPU, lors de l'exposition SC-19, Kingston a pr\u00e9sent\u00e9 une d\u00e9monstration d'un syst\u00e8me compos\u00e9 d'un stockage \u00e0 base de disques NVMe et d'une unit\u00e9 GPU, analysant des milliers d'images satellites par seconde. Nous avons d\u00e9j\u00e0 parl\u00e9 de ce syst\u00e8me de stockage bas\u00e9 sur 10 disques DC1000M U.2 NVMe. dans le reportage sur l'exposition des superordinateurs.<\/a><\/noindex>. <\/p>\n

\"5,8
\nLe stockage bas\u00e9 sur 10 disques DC1000M U.2 NVMe compl\u00e8te de mani\u00e8re ad\u00e9quate le serveur avec des acc\u00e9l\u00e9rateurs graphiques. Source : Kingston.<\/i><\/p>\n

Ce syst\u00e8me de stockage se pr\u00e9sente sous la forme d'une unit\u00e9 en rack 1U ou plus et peut \u00eatre \u00e9volu\u00e9 en fonction du nombre de disques DC1000M U.2 NVMe, chacun d'une capacit\u00e9 de 3,84 \u00e0 7,68 To. Le DC1000M est le premier mod\u00e8le de SSD NVMe au format U.2 dans la gamme de stockage Kingston pour les centres de donn\u00e9es. Il poss\u00e8de une note d'endurance (DWPD, \u00e9critures de disque par jour) permettant d'\u00e9craser des donn\u00e9es \u00e0 pleine capacit\u00e9 une fois par jour pendant toute la dur\u00e9e de vie garantie du disque. <\/p>\n

Dans le test fio v3.13 sous le syst\u00e8me d'exploitation Ubuntu 18.04.3 LTS, avec le noyau Linux 5.0.0-31-generic, le syst\u00e8me de stockage expos\u00e9 a montr\u00e9 une vitesse de lecture (Lecture durable) de 5,8 millions IOPS avec une bande passante soutenue (Bande passante durable) de 23,8 Gbit\/s.<\/p>\n

Ariel P\u00e9rez, responsable commercial SSD chez Kingston, a d\u00e9crit les nouvelles solutions de stockage comme suit : \u00ab Nous sommes pr\u00eats \u00e0 fournir la prochaine g\u00e9n\u00e9ration de serveurs avec des solutions SSD U.2 NVMe, afin d'\u00e9liminer de nombreux goulets d'\u00e9tranglement li\u00e9s au transfert de donn\u00e9es, qui ont traditionnellement \u00e9t\u00e9 associ\u00e9s aux syst\u00e8mes de stockage. La combinaison de disques NVMe SSD et de notre m\u00e9moire vive premium Server Premier DRAM fait de Kingston l'un des fournisseurs les plus complets dans l'industrie pour des solutions de traitement des donn\u00e9es. \u00bb<\/p>\n

\"5,8
\nLe test gfio v3.13 a montr\u00e9 une bande passante de 23,8 Gbit\/s pour la d\u00e9monstration d'un syst\u00e8me de stockage utilisant des disques DC1000M U.2 NVMe. Source : Kingston<\/i><\/p>\n

\u00c0 quoi ressemblerait un syst\u00e8me typique pour des applications HPC utilisant la technologie GPUDirect Storage ou une technologie similaire ? C'est une architecture avec une s\u00e9paration physique des blocs fonctionnels au sein de l'armoire : une ou deux unit\u00e9s pour la m\u00e9moire vive, plusieurs pour les n\u0153uds de calcul GPU et CPU, et une ou plusieurs unit\u00e9s pour le syst\u00e8me de stockage.<\/p>\n

Avec l'annonce de GPUDirect Storage et l'\u00e9ventuelle arriv\u00e9e de technologies similaires chez d'autres fournisseurs de GPU, Kingston voit une demande croissante pour des syst\u00e8mes de stockage con\u00e7us pour des calculs haute performance. Un indicateur cl\u00e9 sera la vitesse de lecture des donn\u00e9es \u00e0 partir des syst\u00e8mes de stockage, comparable \u00e0 la bande passante des cartes r\u00e9seau de 40 ou 100 Gbit\/s \u00e0 l'entr\u00e9e du n\u0153ud de calcul avec GPU. Ainsi, des syst\u00e8mes de stockage ultra-rapides, y compris des NVMe externes via Fabric, deviendront la norme pour les applications HPC. En dehors de la science et des calculs financiers, ils trouveront leur place dans de nombreux autres domaines pratiques, comme les syst\u00e8mes de s\u00e9curit\u00e9 de niveau m\u00e9tropolitain Safe City ou les centres de surveillance des transports, o\u00f9 la rapidit\u00e9 de reconnaissance et d'identification \u00e0 des millions d'images HD par seconde est requise \u00bb, a soulign\u00e9 la niche de march\u00e9 pour les syst\u00e8mes de stockage haut de gamme.<\/p>\n

Pour plus d'informations sur les produits Kingston, vous pouvez consulter site officiel<\/a><\/noindex> de l'entreprise.
\n
Source : habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u041d\u0430\u0448 \u043f\u043e\u0441\u0442 \u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (HPC, High Performance Computing), \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 Kingston \u043d\u0430 Supercomputing-2019. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Hi-End \u0441\u0438\u0441\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (\u0421\u0425\u0414) \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c\u0438 (GPU) \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0448\u0438\u043d\u044b GPUDirect […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54686","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd475,8 millions IOPS : pourquoi autant ? | ProHoster","description":"Bonjour Habr ! Les ensembles de donn\u00e9es pour le Big Data et l'apprentissage automatique croissent de mani\u00e8re exponentielle et nous devons les traiter rapidement.","canonical_url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"fr_FR","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd475.8 \u043c\u043b\u043d IOPS: \u0437\u0430\u0447\u0435\u043c \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e? | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Big Data \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0438 \u043d\u0430\u0434\u043e \u0443\u0441\u043f\u0435\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c.","og:url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/5-8-mln-iops-zachem-tak-mnogo","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-31T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:44+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54686","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:22:25","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:00:11","updated":"2026-01-24 12:22:25","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/54686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/comments?post=54686"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/54686\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/media?parent=54686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/categories?post=54686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/tags?post=54686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}