Hello Habr! Hababka xogta ee Xogta Weyn iyo barashada mashiinka ayaa si aad ah u koraya waxaanan u baahanahay inaan la socono. Boostadayada ku saabsan tignoolajiyada kale ee hal-abuurka leh ee dhinaca xisaabinta waxqabadka sare (HPC, Xisaabinta Waxqabadka Sare), oo lagu muujiyey Kingston booth ee . Tani waa adeegsiga nidaamyada kaydinta xogta Hi-End (SDS) ee serferada leh unug farsamaynta garaafyada (GPU) iyo GPUDirect Storage technology baska. Waad ku mahadsan tahay is-weydaarsiga tooska ah ee xogta u dhexeeya nidaamka kaydinta iyo GPU, ka gudubka CPU, ku shubista xogta xawaaraha GPU-da waxaa lagu dardargeliyay nidaam baaxad weyn, sidaas darteed codsiyada Big Data waxay ku shaqeeyaan waxqabadka ugu sarreeya ee GPU-yadu bixiyaan. Dhanka kale, horumarinta nidaamka HPC ayaa xiiseynaya horumarka nidaamyada kaydinta ee leh xawaaraha I/O ee ugu sarreeya, sida kuwa ay soo saartay Kingston.
Waxqabadka GPU wuxuu ka sarreeyaa rarista xogta
Tan iyo markii CUDA, qalab GPU-ku-salaysan iyo qaab-dhismeed isbarbar-bar-socod software ah oo loogu talagalay horumarinta codsiyada ujeeddada guud, ayaa la abuuray 2007, awoodaha qalabka GPU-yada laftooda ayaa si cajiib ah u koray. Maanta, GPU-yada waxaa si isa soo taraysa loogu isticmaalaa codsiyada HPC sida Xogta Weyn, barashada mashiinka (ML), iyo barashada qoto dheer (DL).
Ogsoonow in kasta oo ay isku ekaanshaha ereyadu, labada ugu dambeeya ay yihiin hawlo algorithm ahaan kala duwan. ML waxay ku tababartaa kumbuyuutarka iyadoo lagu saleynayo xogta habeysan, halka DL ay tababarto kumbuyuutarka iyadoo lagu saleynayo jawaab celinta shabakada neerfaha. Tusaale kaa caawinaya fahamka kala duwanaanshiyaha waa wax fudud. Aynu ka soo qaadno in kombuyuutarku ay tahay inuu kala saaro sawirada bisadaha iyo eeyaha ee laga soo raray nidaamka kaydinta. ML, waa inaad soo gudbisaa sawiro sawir leh oo leh calaamado badan, kuwaas oo mid kastaa qeexayo hal sifo gaar ah oo xayawaanka ah. DL, way ku filan tahay in la soo geliyo tiro aad u badan oo sawirro ah, laakiin leh hal sumad "tani waa bisad" ama "tani waa eey". DL waxay la mid tahay sida carruurta yaryar wax loo baro - waxaa si fudud loo tusi doonaa sawirada eeyaha iyo bisadaha buugaagta iyo nolosha (inta badan, iyada oo aan xitaa sharraxin farqiga faahfaahsan), iyo maskaxda ilmaha lafteedu waxay bilaabataa inay go'aamiso nooca xayawaanka ka dib. tiro gaar ah oo sawirro ah oo muhiim ah marka la barbardhigo (Marka loo eego qiyaasaha, waxaan ka hadlaynaa boqol ama laba bandhig oo keliya inta lagu jiro carruurnimada hore). Algorithms-yada DL wali maaha kuwo kaamil ah: shabakada neerfaha si ay sidoo kale si guul leh uga shaqeyso aqoonsiga sawirada, waxaa lagama maarmaan ah in la quudiyo oo lagu farsameeyo malaayiin sawirro ah GPU-ga.
Soo koobida hordhaca: iyadoo lagu salaynayo GPU-yada, waxaad ku dhisi kartaa codsiyada HPC ee goobta xogta Big Data, ML iyo DL, laakiin waxaa jirta dhibaato - xogta xogta aad bay u weyn tahay waqtiga lagu qaatay dejinta xogta nidaamka kaydinta ilaa GPU. wuxuu bilaabaa inuu yareeyo waxqabadka guud ee codsiga. Si kale haddii loo dhigo, GPU-yada degdega ah ayaa ah kuwo aan laga faa'iidaysan sababtoo ah xogta I/O oo gaabis ah oo ka imanaysa nidaamyada kale. Farqiga u dhexeeya xawaaraha I/O ee GPU-ga iyo baska u socda CPU/nidaamka kaydinta waxay noqon karaan amar kala sarreeya.
Sidee buu u shaqeeyaa tignoolajiyada Kaydinta GPUDirect?
Habka I/O waxaa gacanta ku haya CPU, si la mid ah habka raritaanka xogta kaydinta GPU-yada si loo sii habeeyo. Tani waxay keentay codsi teknoolajiyada oo si toos ah u siinaya GPU-yada iyo darawalada NVMe si ay si dhakhso leh ula xiriiraan midba midka kale. NVIDIA waxay ahayd tii ugu horreysay ee bixisa tignoolajiyada noocaas ah waxayna u bixisay kaydinta GPUDirect. Dhab ahaantii, kani waa kala duwanaanshiyaha GPUDirect RDMA (Cinwaanka Xusuusta Tooska ah) ee tignoolajiyada ay hore u soo saareen.
Jensen Huang, CEO of NVIDIA, ayaa soo bandhigi doona GPUDirect Kaydinta sida kala duwanaansho GPUDirect RDMA at SC-19. Xigasho: NVIDIA
Farqiga u dhexeeya GPUDirect RDMA iyo GPUDirect Kaydinta waxay ku jirtaa aaladaha u dhexeeya wax ka qabashada. Tiknoolajiyada GPUDirect RDMA ayaa dib loo habeeyey si ay si toos ah ugu dhaqaajiso xogta inta u dhaxaysa kaadhka interneedka hore ee shabakada (NIC) iyo xusuusta GPU, iyo kaydinta GPUDirect waxay bixisaa dariiqa xogta tooska ah ee udhaxaysa kaydinta maxaliga ah ama fog sida NVMe ama NVMe ee ka sarreeya Fabric (NVMe-oF) iyo xusuusta GPU.
Labada GPUDirect RDMA iyo GPUDirect Kaydinta waxay ka fogaadaan dhaqdhaqaaqyada xogta aan loo baahnayn iyada oo loo marayo kaydinta xusuusta CPU waxayna u oggolaadaan habka helitaanka xusuusta tooska ah (DMA) inuu si toos ah xogta uga wareejiyo kaadhka shabakadda ama kaydinta si toos ah ama looga soo dejiyo xusuusta GPU - dhammaan iyada oo aan culays ku jirin CPU-da dhexe. Kaydinta GPUDirect, goobta kaydinta dhib malahan: waxay noqon kartaa saxan NVME gudaha cutubka GPU, gudaha rack, ama ku xidhan shabakada NVMe-oF.
Qorshaha hawlgalka ee GPUDirect Kaydinta. Xigasho: NVIDIA
Nidaamyada kaydinta Hi-End ee NVMe ayaa looga baahan yahay suuqa codsiga HPC
Iyaga oo ogaanaya in marka ay timaado kaydinta GPUDirect, xiisaha macaamiisha waaweyn ayaa loo soo jiidi doonaa in ay bixiyaan nidaamyada kaydinta ee xawaaraha I/O ee u dhiganta wax soo saarka GPU-da, bandhigga SC-19 Kingston wuxuu muujiyay demo nidaam ka kooban nidaamka kaydinta ee ku salaysan NVMe disks iyo unug leh GPU, kaas oo lafa-guray kumanaan sawiro dayax gacmeed ilbiriqsikii. Waxaan horeyba wax uga qornay nidaamka kaydinta ee ku saleysan 10 DC1000M U.2 NVMe .
Nidaamka kaydinta ee ku salaysan 10 DC1000M U.2 NVMe wadoyinka si ku filan u dhamaystiraya serverka leh xawaaraha garaafyada. Xigasho: Kingston
Nidaamkan kaydinta waxaa loo qaabeeyey sidii 1U ama unug ka weyn waxaana la miisaami karaa iyadoo ku xiran tirada DC1000M U.2 NVMe drives, mid kasta oo leh awood 3.84-7.68 TB. DC1000M waa moodelkii ugu horreeyay ee NVMe SSD ee qaabka U.2 ee khadka Kingston ee wadeyaasha xogta xarunta. Waxay leedahay qiimaynta dulqaadka (DWPD, Drive ayaa qoraysa maalintii), taasoo u oggolaanaysa inay dib u qorto xogta awooddeeda buuxda hal mar maalintii nolosha dammaanadda ah ee wadista.
Tijaabada fio v3.13 ee nidaamka hawlgalka Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic, muunadda kaydinta bandhigga waxay muujisay xawaaraha akhrinta (Akhrinta Joogtada ah) ee 5.8 milyan IOPS oo leh wax soo saar waara (Bandwidth Joogto ah) ) ee 23.8 Gbit/s.
Ariel Perez, maamulaha ganacsiga SSD ee Kingston, ayaa ka sheegay nidaamyada kaydinta cusub: "Waxaan diyaar u nahay inaan ku qalabeyno jiilka soo socda ee server-yada U.2 NVMe SSD xalalka si loo baabi'iyo qaar badan oo ka mid ah caqabadaha wareejinta xogta ee dhaqan ahaan lala xiriiriyay kaydinta. Isku darka NVMe SSD darawalada iyo adeegyadeena premium ee Premier DRAM waxay Kingston ka dhigaysaa mid ka mid ah bixiyeyaasha xalinta xogta dhamaadka-ilaa-dhamaadka ee warshadaha.
Tijaabada gfio v3.13 waxay muujisay soo-saarka 23.8 Gbps ee nidaamka kaydinta demo ee darawallada DC1000M U.2 NVMe. Xigasho: Kingston
Sidee buu u ekaan karaa nidaamka caadiga ah ee codsiyada HPC iyadoo la isticmaalayo kaydinta GPUDirect ama tignoolajiyada la midka ah? Kani waa qaab dhismeed leh kala qaybsanaan jireed oo unug shaqaynaya oo ku dhex jira raakidh: hal ama laba unug oo RAM ah, dhawr ka badan oo ah GPU iyo noodhka xisaabinta CPU, iyo hal ama ka badan oo unugyo kaydinta.
Iyada oo lagu dhawaaqayo Kaydinta GPUDirect iyo soo ifbaxa suurtogalka ah ee tignoolajiyada la midka ah ee ka imanaya iibiyaasha GPU kale, baahida Kingston ee nidaamyada kaydinta ee loogu talagalay isticmaalka xisaabinta waxqabadka sare waa sii kordhaysa. Calaamadeeyuhu waxay noqon doontaa xawaaraha akhrinta xogta ee nidaamka kaydinta, marka la barbar dhigo soo-saarka kaararka shabakada 40- ama 100-Gbit ee albaabka unugga xisaabinta ee GPU. Markaa, nidaamyada kaydinta xawaaraha-sare ee aadka u sarreeya, oo ay ku jiraan NVMe-ka dibedda ee loo maro Fabric, waxay ka bixi doonaan inay noqdaan kuwo qalaad ilaa heerka caadiga ah ee codsiyada HPC. Marka laga soo tago xisaabinta sayniska iyo maaliyadda, waxay ka heli doonaan codsi meelo kale oo badan oo la taaban karo, sida nidaamyada amniga ee heerka magaalada Safe City ama xarumaha ilaalada gaadiidka, halkaas oo aqoonsiga iyo aqoonsiga xawaaraha malaayiin sawir HD ilbiriqsi loo baahan yahay, "la qeexay. niche suuqa ee nidaamka Kaydinta sare
Macluumaad dheeraad ah oo ku saabsan alaabta Kingston waxaa laga heli karaa at shirkad.
Source: www.habr.com