Hallo Habr! Datastelle vir Big Data en masjienleer groei eksponensieel en ons moet daarmee tred hou. Ons plasing oor nog 'n innoverende tegnologie op die gebied van hoëprestasie-rekenaarkunde (HPC, High Performance Computing), vertoon by die Kingston-stand by . Dit is die gebruik van Hi-End-databergingstelsels (SDS) in bedieners met grafiese verwerkingseenhede (GPU) en GPUDirect Storage-bustegnologie. Danksy direkte data-uitruiling tussen die stoorstelsel en die GPU, wat die SVE omseil, word die laai van data in GPU-versnellers met 'n orde van grootte versnel, sodat Big Data-toepassings teen die maksimum werkverrigting werk wat GPU's bied. Op hul beurt stel HPC-stelselontwikkelaars belang in vooruitgang in bergingstelsels met die hoogste I/O-spoed, soos dié wat deur Kingston vervaardig word.
GPU-werkverrigting oortref datalaai
Sedert CUDA, 'n GPU-gebaseerde hardeware en sagteware parallelle rekenaarargitektuur vir die ontwikkeling van algemene doel toepassings, in 2007 geskep is, het die hardeware vermoëns van GPU's self ongelooflik gegroei. Vandag word GPU's toenemend gebruik in HPC-toepassings soos Big Data, masjienleer (ML) en deep learning (DL).
Let daarop dat ten spyte van die ooreenkomste van terme, die laaste twee algoritmies verskillende take is. ML lei die rekenaar op gebaseer op gestruktureerde data, terwyl DL die rekenaar oplei op grond van terugvoer van 'n neurale netwerk. 'n Voorbeeld om die verskille te help verstaan, is redelik eenvoudig. Kom ons neem aan dat die rekenaar moet onderskei tussen foto's van katte en honde wat vanaf die stoorstelsel gelaai word. Vir ML moet jy 'n stel beelde met baie merkers indien, wat elkeen een spesifieke kenmerk van die dier definieer. Vir DL is dit genoeg om 'n baie groter aantal beelde op te laai, maar met net een merker "hierdie is 'n kat" of "dit is 'n hond". DL is baie soortgelyk aan hoe jong kinders geleer word - hulle word bloot prente van honde en katte in boeke en in die lewe gewys (meestal sonder om eers die gedetailleerde verskil te verduidelik), en die kind se brein begin self die tipe dier bepaal nadat 'n sekere kritieke aantal prente vir vergelyking (Volgens skattings praat ons net van honderd of twee vertonings deur die vroeë kinderjare). DL-algoritmes is nog nie so perfek nie: vir 'n neurale netwerk om ook suksesvol te werk om beelde te identifiseer, is dit nodig om miljoene beelde in die GPU in te voer en te verwerk.
Opsomming van die voorwoord: gebaseer op GPU's, kan jy HPC-toepassings bou op die gebied van Big Data, ML en DL, maar daar is 'n probleem - die datastelle is so groot dat die tyd spandeer word om data van die stoorstelsel na die GPU te laai begin om die algehele prestasie van die toepassing te verminder. Met ander woorde, vinnige GPU's bly onderbenut as gevolg van stadige I/O-data wat van ander substelsels af kom. Die verskil in I/O-spoed van die GPU en die bus na die SVE/bergingstelsel kan 'n orde van grootte wees.
Hoe werk GPUDirect Storage-tegnologie?
Die I/O-proses word deur die SVE beheer, so ook die proses om data van berging na die GPU's te laai vir verdere verwerking. Dit het gelei tot 'n versoek vir tegnologie wat direkte toegang tussen GPU's en NVMe-aandrywers sou verskaf om vinnig met mekaar te kommunikeer. NVIDIA was die eerste wat sulke tegnologie aangebied het en het dit GPUDirect Storage genoem. Trouens, dit is 'n variasie van die GPUDirect RDMA (Remote Direct Memory Address) tegnologie wat hulle voorheen ontwikkel het.
Jensen Huang, uitvoerende hoof van NVIDIA, sal GPUDirect Storage as 'n variant van GPUDirect RDMA by SC-19 aanbied. Bron: NVIDIA
Die verskil tussen GPUDirect RDMA en GPUDirect Storage is in die toestelle waartussen adressering uitgevoer word. GPUDirect RDMA-tegnologie is herdoel om data direk tussen die front-end netwerkkoppelvlakkaart (NIC) en GPU-geheue te skuif, en GPUDirect Storage bied 'n direkte datapad tussen plaaslike of afgeleë berging soos NVMe of NVMe oor Fabric (NVMe-oF) en GPU geheue.
Beide GPUDirect RDMA en GPUDirect Storage vermy onnodige databewegings deur 'n buffer in SVE-geheue en laat die direkte geheuetoegang (DMA) meganisme toe om data vanaf die netwerkkaart of berging direk na of van GPU-geheue te skuif - alles sonder om op die sentrale SVE te laai. Vir GPUDirect-berging maak die ligging van die berging nie saak nie: dit kan 'n NVME-skyf binne 'n GPU-eenheid, binne 'n rek wees, of as NVMe-oF oor die netwerk gekoppel wees.
Skema van werking van GPUDirect Storage. Bron: NVIDIA
Hi-End-bergingstelsels op NVMe is in aanvraag in die HPC-toepassingsmark
Met die besef dat met die koms van GPUDirect Storage, die belangstelling van groot kliënte gevestig sal word op die aanbied van bergingstelsels met I/O-snelhede wat ooreenstem met die deurset van die GPU, het Kingston by die SC-19-uitstalling 'n demonstrasie gewys van 'n stelsel wat bestaan uit 'n stoorstelsel gebaseer op NVMe-skywe en 'n eenheid met 'n GPU, wat duisende satellietbeelde per sekonde ontleed het. Ons het reeds geskryf oor so 'n bergingstelsel gebaseer op 10 DC1000M U.2 NVMe-aandrywers .
'n Bergingstelsel gebaseer op 10 DC1000M U.2 NVMe-aandrywers vul 'n bediener voldoende aan met grafiese versnellers. Bron: Kingston
Hierdie stoorstelsel is ontwerp as 'n 1U of groter rakeenheid en kan geskaal word na gelang van die aantal DC1000M U.2 NVMe-aandrywers, elk met 'n kapasiteit van 3.84-7.68 TB. Die DC1000M is die eerste NVMe SSD-model in die U.2-vormfaktor in Kingston se reeks datasentrumaandrywers. Dit het 'n uithouvermoë-gradering (DWPD, Drive skryf per dag), wat dit toelaat om data een keer per dag tot sy volle kapasiteit te herskryf vir die gewaarborgde leeftyd van die aandrywer.
In die fio v3.13-toets op die Ubuntu 18.04.3 LTS-bedryfstelsel, Linux-kern 5.0.0-31-generies, het die uitstallingsbergingmonster 'n leesspoed (Volgehoue Lees) van 5.8 miljoen IOPS met 'n volhoubare deurset (Volgehoue Bandwydte) getoon ) van 23.8 Gbit/s.
Ariel Perez, SSD-besigheidsbestuurder by Kingston, het oor die nuwe bergingstelsels gesê: “Ons is gereed om die volgende generasie bedieners toe te rus met U.2 NVMe SSD-oplossings om baie van die data-oordrag-bottelnekke wat tradisioneel met berging geassosieer is, uit te skakel. Die kombinasie van NVMe SSD-aandrywers en ons premium Server Premier DRAM maak Kingston een van die bedryf se mees omvattende verskaffers van end-tot-end data-oplossings.”
Die gfio v3.13-toets het 'n deurset van 23.8 Gbps vir die demo-bergingstelsel op DC1000M U.2 NVMe-aandrywers getoon. Bron: Kingston
Hoe sal 'n tipiese stelsel vir HPC-toepassings lyk met behulp van GPUDirect Storage of soortgelyke tegnologie? Dit is 'n argitektuur met 'n fisiese skeiding van funksionele eenhede binne 'n rek: een of twee eenhede vir RAM, verskeie meer vir GPU- en SVE-rekenaarnodusse, en een of meer eenhede vir bergingstelsels.
Met die aankondiging van GPUDirect Storage en die moontlike opkoms van soortgelyke tegnologieë van ander GPU-verskaffers, brei Kingston se vraag na bergingstelsels wat ontwerp is vir gebruik in hoëprestasie-rekenaars uit. Die merker sal die spoed wees om data vanaf die stoorstelsel te lees, vergelykbaar met die deurset van 40- of 100-Gbit-netwerkkaarte by die ingang van 'n rekenaareenheid met 'n GPU. Dus sal ultrahoëspoedbergingstelsels, insluitend eksterne NVMe via Fabric, van eksoties wees na die hoofstroom vir HPC-toepassings. Benewens wetenskap en finansiële berekeninge, sal hulle toepassing vind in baie ander praktiese gebiede, soos sekuriteitstelsels op die Safe City-metropolitaanse vlak of vervoerbewakingsentrums, waar herkenning en identifikasiespoed van miljoene HD-beelde per sekonde vereis word,” het uiteengesit. die marknis van die topbergingstelsel
Meer inligting oor Kingston-produkte kan gevind word by maatskappy.
Bron: will.com