Pozdravljeni Habr! Nabori podatkov za velike podatke in strojno učenje eksponentno rastejo in jim moramo slediti. Naša objava o še eni inovativni tehnologiji na področju visokozmogljivega računalništva (HPC, High Performance Computing), prikazani na stojnici Kingstona na . To je uporaba Hi-End sistemov za shranjevanje podatkov (SDS) v strežnikih z grafičnimi procesnimi enotami (GPU) in tehnologijo vodila GPUDirect Storage. Zahvaljujoč neposredni izmenjavi podatkov med sistemom za shranjevanje in grafično procesorsko enoto, mimo centralne procesorske enote, se nalaganje podatkov v pospeševalnike grafične procesorske enote pospeši za red velikosti, zato aplikacije Big Data delujejo z največjo zmogljivostjo, ki jo zagotavljajo grafične procesorske enote. Razvijalci sistemov HPC pa se zanimajo za napredek v sistemih za shranjevanje z najvišjimi V/I hitrostmi, kot so tisti, ki jih proizvaja Kingston.
Zmogljivost GPE prehiteva nalaganje podatkov
Odkar je bila leta 2007 ustvarjena CUDA, vzporedna računalniška arhitektura strojne in programske opreme, ki temelji na GPU za razvoj aplikacij splošnega namena, so se zmogljivosti strojne opreme samih GPE neverjetno povečale. Danes se grafični procesorji vedno bolj uporabljajo v aplikacijah HPC, kot so veliki podatki, strojno učenje (ML) in globoko učenje (DL).
Upoštevajte, da sta zadnji dve algoritemsko različni nalogi kljub podobnosti izrazov. ML usposablja računalnik na podlagi strukturiranih podatkov, medtem ko DL usposablja računalnik na podlagi povratnih informacij iz nevronske mreže. Primer, ki pomaga razumeti razlike, je precej preprost. Predpostavimo, da mora računalnik razlikovati med fotografijami mačk in psov, ki so naložene iz sistema za shranjevanje. Za ML bi morali predložiti niz slik s številnimi oznakami, od katerih vsaka definira eno posebno lastnost živali. Za DL je dovolj, da naložite veliko večje število slik, vendar z eno samo oznako "to je mačka" ali "to je pes". DL je zelo podoben temu, kako se učijo majhni otroci - preprosto se jim pokažejo slike psov in mačk v knjigah in življenju (najpogosteje brez podrobne razlage razlike), otrokovi možgani pa začnejo sami določati vrsto živali. določeno kritično število slik za primerjavo ( Po ocenah govorimo le o sto ali dveh predstavah v celotnem zgodnjem otroštvu). Algoritmi DL še niso tako popolni: da bi nevronska mreža uspešno delovala tudi pri prepoznavanju slik, je treba GPU vnesti in obdelati na milijone slik.
Povzetek predgovora: na podlagi grafičnih procesorjev lahko gradite aplikacije HPC na področju velikih podatkov, ML in DL, vendar obstaja težava – nabori podatkov so tako veliki, da čas, porabljen za nalaganje podatkov iz sistema za shranjevanje v grafični procesor, začne zmanjševati splošno delovanje aplikacije. Z drugimi besedami, hitri grafični procesorji ostajajo premalo izkoriščeni zaradi počasnih V/I podatkov, ki prihajajo iz drugih podsistemov. Razlika v V/I hitrosti GPE in vodila do CPE/sistema za shranjevanje je lahko reda velikosti.
Kako deluje tehnologija GPUDirect Storage?
V/I proces nadzira CPE, tako kot proces nalaganja podatkov iz pomnilnika v GPU za nadaljnjo obdelavo. To je vodilo do zahteve po tehnologiji, ki bi omogočala neposreden dostop med grafičnimi procesorji in pogoni NVMe za hitro medsebojno komunikacijo. NVIDIA je prva ponudila takšno tehnologijo in jo poimenovala GPUDirect Storage. Pravzaprav je to različica tehnologije GPUDirect RDMA (Remote Direct Memory Address), ki so jo predhodno razvili.
Jensen Huang, izvršni direktor NVIDIA, bo na SC-19 predstavil GPUDirect Storage kot različico GPUDirect RDMA. Vir: NVIDIA
Razlika med GPUDirect RDMA in GPUDirect Storage je v napravah, med katerimi se izvaja naslavljanje. Tehnologija GPUDirect RDMA je preoblikovana za neposredno premikanje podatkov med sprednjo omrežno vmesniško kartico (NIC) in pomnilnikom GPE, GPUDirect Storage pa zagotavlja neposredno podatkovno pot med lokalnim ali oddaljenim pomnilnikom, kot sta NVMe ali NVMe over Fabric (NVMe-oF) in GPU pomnilnik.
Tako GPUDirect RDMA kot GPUDirect Storage preprečujeta nepotrebne premike podatkov skozi medpomnilnik v pomnilniku CPE in omogočata mehanizmu neposrednega dostopa do pomnilnika (DMA), da premakne podatke iz omrežne kartice ali pomnilnika neposredno v ali iz pomnilnika GPU – vse brez obremenitve osrednjega CPE. Za GPUDirect Storage lokacija pomnilnika ni pomembna: lahko je disk NVME znotraj enote GPE, znotraj omare ali povezan prek omrežja kot NVMe-oF.
Shema delovanja GPUDirect Storage. Vir: NVIDIA
Hi-End sistemi za shranjevanje na NVMe so iskani na trgu aplikacij HPC
Zavedajoč se, da bo s prihodom GPUDirect Storage zanimanje velikih strank usmerjeno v ponudbo sistemov za shranjevanje s hitrostmi V/I, ki ustrezajo prepustnosti GPU, je Kingston na razstavi SC-19 prikazal predstavitev sistema, sestavljenega iz pomnilniški sistem, ki temelji na diskih NVMe in enoti z GPE, ki analizira na tisoče satelitskih posnetkov na sekundo. O takšnem pomnilniškem sistemu na osnovi 10 diskov DC1000M U.2 NVMe smo že pisali .
Sistem za shranjevanje, ki temelji na 10 pogonih DC1000M U.2 NVMe, ustrezno dopolnjuje strežnik z grafičnimi pospeševalci. Vir: Kingston
Ta sistem za shranjevanje je zasnovan kot 1U ali večja enota v omari in ga je mogoče prilagoditi glede na število pogonov DC1000M U.2 NVMe, od katerih ima vsak kapaciteto 3.84–7.68 TB. DC1000M je prvi model NVMe SSD v faktorju oblike U.2 v Kingstonovi liniji pogonov za podatkovne centre. Ima oceno vzdržljivosti (DWPD, Drive writes per day), kar mu omogoča ponovno pisanje podatkov do svoje polne zmogljivosti enkrat na dan za zajamčeno življenjsko dobo pogona.
V testu fio v3.13 na operacijskem sistemu Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic, je razstavni vzorec pomnilnika pokazal hitrost branja (trajno branje) 5.8 milijona IOPS s trajnostno prepustnostjo (trajna pasovna širina ) 23.8 Gbit/s.
Ariel Perez, poslovni vodja SSD pri Kingstonu, je o novih sistemih za shranjevanje povedal: »Pripravljeni smo opremiti naslednjo generacijo strežnikov z rešitvami U.2 NVMe SSD, da odpravimo številna ozka grla pri prenosu podatkov, ki so bila tradicionalno povezana s shranjevanjem. Kombinacija diskov NVMe SSD in našega vrhunskega strežnika Premier DRAM naredi Kingston enega najobsežnejših ponudnikov celovitih podatkovnih rešitev v panogi."
Test gfio v3.13 je pokazal prepustnost 23.8 Gbps za demo sistem za shranjevanje na pogonih DC1000M U.2 NVMe. Vir: Kingston
Kako bi bil videti tipičen sistem za aplikacije HPC z uporabo GPUDirect Storage ali podobne tehnologije? To je arhitektura s fizično ločitvijo funkcionalnih enot znotraj omare: ena ali dve enoti za RAM, več dodatnih za GPU in CPE računalniška vozlišča ter ena ali več enot za sisteme za shranjevanje.
Z napovedjo GPUDirect Storage in morebitnim pojavom podobnih tehnologij drugih prodajalcev GPE se Kingstonovo povpraševanje po sistemih za shranjevanje, zasnovanih za uporabo v visoko zmogljivem računalništvu, povečuje. Oznaka bo hitrost branja podatkov iz pomnilniškega sistema, primerljiva s prepustnostjo 40- ali 100-Gbitnih omrežnih kartic na vhodu v računalniško enoto z GPE. Tako bodo sistemi za shranjevanje ultra visoke hitrosti, vključno z zunanjim NVMe prek Fabric, prešli iz eksotike v mainstream za aplikacije HPC. Poleg znanosti in finančnih izračunov bodo našli uporabo na številnih drugih praktičnih področjih, kot so varnostni sistemi na metropolitanski ravni Varnega mesta ali centri za nadzor prometa, kjer so potrebne hitrosti prepoznavanja in identifikacije milijonov HD slik na sekundo,« je poudaril. tržna niša vrhunskega sistema za shranjevanje
Več informacij o izdelkih Kingston najdete na podjetje.
Vir: www.habr.com