Silav Habr! Komên daneyan ji bo Daneyên Mezin û fêrbûna makîneyê bi qatjimarî mezin dibin û pêdivî ye ku em bi wan re bimeşin. Posta me di derbarê teknolojiyek din a nûjen de di warê hesabkirina performansa bilind de (HPC, Computing Performansa Bilind), ku li standa Kingston li . Ev karanîna pergalên hilanîna daneya Hi-End (SDS) di serverên bi yekîneyên pêvajoyek grafîkî (GPU) û teknolojiya otobusê ya GPUDirect Storage de ye. Bi saya danûstendina rasterast a daneyê di navbera pergala hilanînê û GPU de, CPU derbas dike, barkirina daneyan li lezkerên GPU bi rêzek mezinahiyê bileztir dibe, ji ber vê yekê serîlêdanên Daneyên Mezin bi performansa herî zêde ya ku GPU peyda dikin dimeşin. Wekî din, pêşdebirên pergala HPC bi pêşkeftinên pergalên hilanînê yên bi leza I/O ya herî bilind re eleqedar dibin, mîna yên ku ji hêla Kingston ve têne hilberandin.
Performansa GPU ji barkirina daneyê derbas dibe
Ji ber ku CUDA, mîmariya hesabkeriya paralel a bingehîn a GPU-yê û nermalava ji bo pêşdebirina serîlêdanên gelemperî-armanca, di sala 2007-an de hate afirandin, kapasîteyên hardware yên GPU-yan bixwe pir zêde bûne. Îro, GPU di serîlêdanên HPC yên wekî Daneyên Mezin, fêrbûna makîneyê (ML), û fêrbûna kûr (DL) de zêde têne bikar anîn.
Bala xwe bidinê ku tevî wekheviya peyvan, her du paşîn ji hêla algorîtmîkî ve karên cûda ne. ML komputerê li ser bingeha daneya birêkûpêk perwerde dike, dema ku DL komputerê li ser bingeha bertekên ji tora neuralî perwerde dike. Mînakek ku ji bo fêmkirina cûdahiyan bibe alîkar pir hêsan e. Ka em bihesibînin ku komputer divê wêneyên pisîk û kûçikan ên ku ji pergala hilanînê hatine barkirin ji hev cuda bike. Ji bo ML, divê hûn komek wêneyan bi gelek nîşanan bişînin, ku her yek ji wan taybetmendiyek taybetî ya heywanê diyar dike. Ji bo DL, bes e ku meriv hejmareke pir mezintir wêneyan bar bike, lê tenê bi yek etîketê "ev pisîk e" an "ev kûçik e". DL pir dişibihe ku çawa zarokên piçûk têne fêr kirin - ew bi tenê di pirtûk û jiyanê de wêneyên kûçik û pisîkan têne xuyang kirin (bi gelemperî, bêyî ku cûdahiya hûrgulî jî rave bikin), û mêjiyê zarok bixwe dest pê dike ku celebê heywanê diyar bike. hejmareke girîng a wêneyan ji bo berhevdanê (Li gorî texmînan, em tenê li ser sed an du pêşandan li seranserê zaroktiya zû diaxivin). Algorîtmayên DL hîn ne ew qas bêkêmasî ne: ji bo ku torgilokek neuralî jî bi serfirazî li ser tespîtkirina wêneyan bixebite, pêdivî ye ku bi mîlyonan wêneyan di GPU-yê de were xwarin û pêvajo kirin.
Kurteya pêşgotinê: li ser bingeha GPU-yan, hûn dikarin serîlêdanên HPC-ê di warê Daneyên Mezin, ML û DL-ê de ava bikin, lê pirsgirêkek heye - berhevokên daneyê ew qas mezin in ku dema barkirina daneyan ji pergala hilanînê ji GPU re derbas dibe. dest bi kêmkirina performansa giştî ya serîlêdanê dike. Bi gotinek din, GPU-yên bilez ji ber daneyên I/O yên hêdî ku ji bine pergalên din têne kêm têne bikar anîn. Cûdahiya leza I/O ya GPU û otobusê berbi CPU/pergala hilanînê dikare rêzek mezinahiyê be.
Teknolojiya GPUDirect Storage çawa dixebite?
Pêvajoya I/O ji hêla CPU ve tê kontrol kirin, wekî ku pêvajoya barkirina daneyan ji hilanînê berbi GPU-yan ji bo pêvajoyek din ve tê kontrol kirin. Vê yekê bû sedema daxwazek teknolojiyê ku dê rasterast di navbera GPU û ajokarên NVMe de peyda bike da ku zû bi hevûdu re têkilî daynin. NVIDIA yekem bû ku teknolojiyek wusa pêşkêş kir û jê re got GPUDirect Storage. Bi rastî, ev guhertoyek teknolojiya GPUDirect RDMA (Navnîşana Bîra Rasterast a Dûr) ya ku wan berê pêş xistiye.
Jensen Huang, CEO ya NVIDIA, dê GPUDirect Storage wekî guhertoyek GPUDirect RDMA li SC-19 pêşkêşî bike. Çavkanî: NVIDIA
Cûdahiya di navbera GPUDirect RDMA û GPUDirect Storage de di cîhazên ku di navbera wan de navnîşan têne kirin de ye. Teknolojiya GPUDirect RDMA ji nû ve tête armanc kirin ku daneyan rasterast di navbera qerta pêwendiya torê ya pêşîn (NIC) û bîra GPU de biguhezîne, û GPUDirect Storage rêyek daneya rasterast di navbera hilanîna herêmî an dûr de wekî NVMe an NVMe li ser Fabric (NVMe-oF) peyda dike û bîra GPU.
Hem GPUDirect RDMA û hem jî GPUDirect Storage ji tevgerên daneyê yên nehewce bi navgîniya tamponek di bîra CPU-yê de dûr dikevin û rê didin mekanîzmaya gihîştina bîranîna rasterast (DMA) ku daneyan ji qerta torê an hilanînê rasterast berbi an ji bîra GPU-yê veguhezîne - hemî bêyî barkirina li ser CPU-ya navendî. Ji bo GPUDirect Storage, cîhê hilanînê ne girîng e: ew dikare di hundurê yekîneyek GPU-yê de, di hundurê raftek de, dîskek NVME be, an jî wekî NVMe-oF li ser torê ve girêdayî be.
Plana xebitandina GPUDirect Storage. Çavkanî: NVIDIA
Pergalên hilanîna Hi-End li ser NVMe di bazara serîlêdana HPC-ê de daxwaz in
Fêm kirin ku bi hatina GPUDirect Storage re, eleqeya xerîdarên mezin dê were pêşkêş kirin ku pergalên hilanînê yên bi leza I/O-yê ku li gorî guheztina GPU-yê têkildar e, li pêşangeha SC-19 Kingston demoyek pergalek ku ji pergalê pêk tê nîşan da. pergala hilanînê ya li ser bingeha dîskên NVMe û yekîneyek bi GPU, ku di çirkeyê de bi hezaran wêneyên satelîtê analîz dike. Me berê li ser pergalek hilanînê ya ku li ser bingeha 10 ajokarên DC1000M U.2 NVMe nivîsandiye. .
Pergalek hilanînê ya ku li ser bingeha 10 ajokarên DC1000M U.2 NVMe ye, serverek bi lezkerên grafîkê re bi têra xwe temam dike. Çavkanî: Kingston
Ev pergala hilanînê wekî yekîneyek 1U an mezintir hatî sêwirandin û li gorî hejmara ajokarên DC1000M U.2 NVMe, her yek bi kapasîteya 3.84-7.68 TB, dikare were pîvandin. DC1000M yekem modela NVMe SSD ye ku di faktora forma U.2 de di rêza ajokarên navenda daneyê ya Kingston de ye. Ew xwedan rêjeyek bîhnfirehiyê ye (DWPD, Drive her roj dinivîse), ku dihêle ew ji bo jiyana garantîkirî ya ajokê rojê carekê daneyan bi tevahî kapasîteya xwe ji nû ve binivîsîne.
Di ceribandina fio v3.13 de li ser pergala xebitandinê Ubuntu 18.04.3 LTS, kernel Linux 5.0.0-31-generic, nimûneya hilanînê ya pêşangehê leza xwendinê (Xwenda Berdewam) ya 5.8 mîlyon IOPS bi rêgezek domdar (Bandwidtha domdar) nîşan da. ) ya 23.8 Gbit/s.
Ariel Perez, rêveberê karsaziya SSD li Kingston, di derbarê pergalên hilanînê yên nû de wiha got: "Em amade ne ku nifşa din a pêşkêşkeran bi çareseriyên U.2 NVMe SSD-ê ve girêbidin da ku gelek kêşeyên veguheztina daneyê yên ku bi kevneşopî bi hilanînê re têkildar in ji holê rakin. Kombûna ajokarên NVMe SSD û DRAM-a meya premium Server Premier, Kingston dike yek ji pêşkêşkerên çareseriyên daneya dawî-bi-dawî yên pîşesaziyê."
Testa gfio v3.13 ji bo pergala hilanînê ya demo ya li ser ajokarên DC23.8M U.1000 NVMe rêgezek 2 Gbps nîşan da. Çavkanî: Kingston
Pergalek tîpîk ji bo serîlêdanên HPC-ê bi karanîna GPUDirect Storage an teknolojiyek mîna wê çawa xuya dike? Ev mîmariyek e ku bi veqetandina laşî ya yekîneyên fonksiyonel ên di hundurê refikê de ye: yek an du yekîne ji bo RAM, çendekên din ji bo girêkên hesabkirina GPU û CPU, û yek an bêtir yekîne ji bo pergalên hilanînê.
Bi ragihandina GPUDirect Storage û derketina gengaz a teknolojiyên wekhev ji firoşkarên din ên GPU re, daxwaza Kingston ji bo pergalên hilanînê yên ku ji bo karanîna di berhevoka performansa bilind de hatine çêkirin, berfireh dibe. Nîşanker dê leza xwendina daneya ji pergala hilanînê be, ku bi kartên torê yên 40- an 100-Gbit re li ber deriyê yekîneyek hesabkirinê ya bi GPU re were berhev kirin. Bi vî rengî, pergalên hilanînê yên bi leza-bilind, tevî NVMe-ya derveyî bi riya Fabric-ê, dê ji bo serîlêdanên HPC-ê ji biyanîbûnê berbi serekî ve biçin. Ji bilî zanistî û hesabên darayî, ew ê di gelek warên din ên pratîkî de serîlêdanê bibînin, wek pergalên ewlehiyê li ser asta metropolê ya Ewle an navendên çavdêriya veguheztinê, ku li wir leza naskirin û naskirinê ya bi mîlyonan wêneyên HD di çirkeyê de hewce ne, " destnîşan kir. cihê bazarê ya pergala hilanînê ya jorîn
Zêdetir agahdarî li ser hilberên Kingston dikarin li vir werin dîtin pargîdanî.
Source: www.habr.com