Салом Хабр! Маҷмӯи додаҳо барои маълумоти калон ва омӯзиши мошинҳо ба таври экспоненсиалӣ афзоиш меёбанд ва мо бояд бо онҳо пайравӣ кунем. Паёми мо дар бораи технологияи дигари инноватсионӣ дар соҳаи ҳисоббарории баландсифат (HPC, High Performance Computing), ки дар стенди Кингстон дар саҳ. . Ин истифодаи системаҳои нигоҳдории маълумотҳои Hi-End (SDS) дар серверҳо бо воҳидҳои коркарди графикӣ (GPU) ва технологияи автобуси GPUDirect Storage мебошад. Бо шарофати мубодилаи мустақими додаҳо байни системаи нигоҳдорӣ ва GPU, аз CPU гузаштан, боркунии маълумот ба суръатдиҳандаҳои GPU бо тартиби миқёс суръат мегирад, аз ин рӯ барномаҳои Big Data бо ҳадди аксар кор мекунанд, ки GPU-ҳо таъмин мекунанд. Дар навбати худ, таҳиягарони системаи HPC ба пешрафтҳо дар системаҳои нигоҳдорӣ бо суръати баландтарини воридот / баромад, ба монанди системаҳои аз ҷониби Кингстон истеҳсолшуда, таваҷҷӯҳ доранд.
Иҷрои GPU аз боркунии маълумот пештар аст
Аз замони таъсиси CUDA, як меъмории ҳисоббарории параллелӣ ба сахтафзор ва нармафзор дар асоси GPU барои таҳияи замимаҳои умумӣ, дар соли 2007, қобилиятҳои сахтафзори худи GPUҳо бениҳоят афзоиш ёфтанд. Имрӯз, GPU-ҳо дар барномаҳои HPC, ба монанди Big Data, омӯзиши мошинсозӣ (ML) ва омӯзиши амиқ (DL) бештар истифода мешаванд.
Аҳамият диҳед, ки сарфи назар аз шабоҳати истилоҳот, дуи охирин вазифаҳои аз ҷиҳати алгоритмӣ фарқ мекунанд. ML компютерро дар асоси додаҳои сохторӣ таълим медиҳад, дар ҳоле ки DL компютерро дар асоси фикру мулоҳизаҳои шабакаи нейронӣ таълим медиҳад. Намунае барои фаҳмидани фарқиятҳо хеле содда аст. Фарз мекунем, ки компютер бояд байни аксҳои гурбаҳо ва сагҳое, ки аз системаи нигоҳдорӣ бор карда шудаанд, фарқ кунад. Барои ML, шумо бояд маҷмӯи тасвирҳоро бо тегҳои зиёд пешниҳод кунед, ки ҳар яки онҳо як хусусияти махсуси ҳайвонро муайян мекунанд. Барои DL, бор кардани шумораи бештари тасвирҳо кифоя аст, аммо танҳо бо як барчасп "ин гурба аст" ё "ин саг аст". DL ба тарзи таълим додани кӯдакони хурдсол хеле монанд аст - ба онҳо танҳо дар китобҳо ва зиндагӣ расмҳои сагу гурбаҳоро нишон медиҳанд (аксар вақт, ҳатто фарқияти муфассалро шарҳ намедиҳанд) ва худи мағзи сари кӯдак пас аз он ба муайян кардани навъи ҳайвон шурӯъ мекунад. шумораи муайяни интиқодии тасвирҳо барои муқоиса (Тибқи ҳисобҳо, мо танҳо дар бораи сад ё ду намоиш дар тамоми давраи кӯдакӣ гап мезанем). Алгоритмҳои DL ҳанӯз он қадар мукаммал нестанд: барои он ки шабакаи нейрон низ дар муайян кардани тасвирҳо бомуваффақият кор кунад, миллионҳо тасвирро ба GPU интиқол додан ва коркард кардан лозим аст.
Хулосаи муқаддима: дар асоси GPU-ҳо, шумо метавонед барномаҳои HPC-ро дар соҳаи Big Data, ML ва DL созед, аммо мушкилот вуҷуд дорад - маҷмӯи додаҳо он қадар калонанд, ки вақти боркунии маълумот аз системаи нигоҳдорӣ ба GPU сарф мешавад. ба паст кардани кори умумии барнома шуруъ мекунад. Ба ибораи дигар, GPU-ҳои зуд аз сабаби суст будани маълумотҳои воридотӣ / баромад аз зерсистемаҳои дигар кам истифода мешаванд. Тафовут дар суръати вуруд / баромади GPU ва автобус ба CPU/системаи нигоҳдорӣ метавонад фармоиши бузург бошад.
Технологияи GPUDirect Storage чӣ гуна кор мекунад?
Раванди воридот / баромад аз ҷониби CPU назорат карда мешавад, инчунин раванди боркунии маълумот аз анбор ба GPUs барои коркарди минбаъда. Ин ба дархости технологияе оварда расонд, ки дастрасии мустақимро байни GPU ва дискҳои NVMe барои муоширати зуд бо ҳамдигар таъмин мекунад. NVIDIA аввалин касе буд, ки чунин технологияро пешниҳод кард ва онро GPUDirect Storage номид. Дар асл, ин як варианти технологияи GPUDirect RDMA (Remote Memory Direct Address) мебошад, ки онҳо қаблан таҳия карда буданд.
Ҷенсен Хуанг, директори генералии NVIDIA, GPUDirect Storage-ро ҳамчун варианти GPUDirect RDMA дар SC-19 муаррифӣ мекунад. Манбаъ: NVIDIA
Тафовут байни GPUDirect RDMA ва GPUDirect Storage дар дастгоҳҳое мебошад, ки дар байни онҳо адресҳо анҷом дода мешаванд. Технологияи GPUDirect RDMA барои интиқоли маълумот мустақиман байни корти интерфейси шабакавӣ (NIC) ва хотираи GPU таъин карда мешавад ва GPUDirect Storage роҳи мустақими маълумотро байни нигаҳдории маҳаллӣ ё дурдаст таъмин мекунад, ба монанди NVMe ё NVMe бар матоъ (NVMe-oF) ва Хотираи GPU.
Ҳам GPUDirect RDMA ва ҳам GPUDirect Storage аз ҳаракатҳои нолозими маълумот тавассути буфер дар хотираи CPU канорагирӣ мекунанд ва ба механизми дастрасии мустақими хотира (DMA) имкон медиҳад, ки маълумотро аз корти шабака ё нигаҳдорӣ мустақиман ба хотираи GPU ё аз хотираи GPU интиқол диҳад - ҳама бе сарборӣ ба CPU марказӣ. Барои GPUDirect Storage, ҷойгиршавии анбор аҳамият надорад: он метавонад диски NVME дар дохили як воҳиди GPU, дар дохили раф бошад ё тавассути шабака ҳамчун NVMe-oF пайваст бошад.
Нақшаи кори GPUDirect Storage. Манбаъ: NVIDIA
Системаҳои нигоҳдории Hi-End дар NVMe дар бозори барномаҳои HPC талабот доранд
Бо дарки он ки бо пайдоиши GPUDirect Storage, таваҷҷӯҳи муштариёни калон ба пешниҳоди системаҳои нигоҳдорӣ бо суръати I/O, ки ба қобилияти интиқоли GPU мувофиқ аст, ҷалб карда мешавад, дар намоишгоҳи SC-19 Кингстон намоиши системаеро, ки иборат аз системаи нигоҳдорӣ дар асоси дискҳои NVMe ва як воҳиди дорои GPU, ки ҳазорон тасвирҳои моҳвораӣ дар як сония таҳлил. Мо аллакай дар бораи чунин системаи нигоҳдорӣ дар асоси 10 дискҳои DC1000M U.2 NVMe навиштаем. .
Системаи нигоҳдорӣ дар асоси 10 диски DC1000M U.2 NVMe серверро бо суръатдиҳандаҳои графикӣ ба таври кофӣ пурра мекунад. Манбаъ: Кингстон
Ин системаи нигаҳдорӣ ҳамчун як воҳиди рахи 1U ё калонтар тарҳрезӣ шудааст ва метавонад вобаста ба шумораи дискҳои DC1000M U.2 NVMe, ки ҳар кадоми онҳо иқтидори 3.84-7.68 ТБ мебошад, миқёс кардан мумкин аст. DC1000M аввалин модели NVMe SSD дар омили шакли U.2 дар хатти дискҳои маркази додаҳои Кингстон мебошад. Он дорои рейтинги устуворӣ (DWPD, Drive дар як рӯз менависад), ба он имкон медиҳад, ки маълумотро ба иқтидори пуррааш дар як рӯз як маротиба барои мӯҳлати кафолатноки гардонанда дубора нависад.
Дар озмоиши fio v3.13 дар системаи оператсионии Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic, намунаи нигаҳдории намоишгоҳ суръати хониш (хониши устувор) -и 5.8 миллион IOPS -ро бо интиқоли устувор (Барои маҷрои устувор) нишон дод. ) аз 23.8 Гбит/с.
Ариэл Перес, менеҷери тиҷорати SSD дар Кингстон, дар бораи системаҳои нави нигоҳдорӣ гуфт: “Мо омодаем насли ояндаи серверҳоро бо ҳалли U.2 NVMe SSD муҷаҳҳаз созем, то бисёре аз монеаҳои интиқоли маълумотро, ки маъмулан бо нигаҳдорӣ алоқаманд буданд, бартараф созем. Омезиши дискҳои NVMe SSD ва Premium Server Premier DRAM-и мо Кингстонро ба яке аз провайдерҳои ҳамаҷонибаи ҳалли маълумот дар соҳа табдил медиҳад."
Санҷиши gfio v3.13 қобилияти интиқоли 23.8 Гбит / сонияро барои системаи нигаҳдории намоишӣ дар дискҳои DC1000M U.2 NVMe нишон дод. Манбаъ: Кингстон
Системаи маъмулии барномаҳои HPC бо истифода аз GPUDirect Storage ё технологияи шабеҳ чӣ гуна хоҳад буд? Ин як меъморӣ бо ҷудоии ҷисмонии воҳидҳои функсионалӣ дар дохили раф мебошад: як ё ду адад барои RAM, якчанд адад барои гиреҳҳои ҳисоббарории GPU ва CPU ва як ё якчанд адад барои системаҳои нигоҳдорӣ.
Бо эълони GPUDirect Storage ва пайдоиши эҳтимолии технологияҳои шабеҳ аз дигар фурӯшандагони GPU, талаботи Кингстон ба системаҳои нигоҳдорӣ, ки барои истифода дар компютерҳои сермаҳсул тарҳрезӣ шудаанд, васеъ мешавад. Нишондиҳанда суръати хондани маълумот аз системаи нигаҳдорӣ хоҳад буд, ки онро бо қобилияти интиқоли кортҳои шабакавии 40 ё 100 Гбит дар даромадгоҳи воҳиди ҳисоббарорӣ бо GPU муқоиса кардан мумкин аст. Ҳамин тариқ, системаҳои нигаҳдории баландсуръат, аз ҷумла NVMe беруна тавассути Fabric, аз экзотикӣ ба ҷараёни асосӣ барои барномаҳои HPC хоҳанд рафт. Илова ба ҳисобҳои илмӣ ва молиявӣ, онҳо дар бисёр дигар соҳаҳои амалӣ татбиқ хоҳанд шуд, ба монанди системаҳои амниятӣ дар сатҳи метрополитени Шаҳри бехатар ё марказҳои назорати нақлиёт, ки дар онҳо суръати шинохтан ва муайян кардани миллионҳо тасвири HD дар як сония талаб карда мешавад. макони бозории системаи нигаҳдории болоӣ
Маълумоти бештарро дар бораи маҳсулоти Кингстон метавонед дар ин ҷо пайдо кунед ширкат.
Манбаъ: will.com