Hello Habr! Susunan data pikeun Big Data sareng pembelajaran mesin ngembang sacara éksponénsial sareng urang kedah nuturkeunana. Tulisan kami ngeunaan téknologi inovatif anu sanés dina widang komputasi kinerja luhur (HPC, Komputasi Kinerja Tinggi), dipidangkeun di stan Kingston di . Ieu mangrupikeun panggunaan sistem panyimpen data Hi-End (SDS) dina server kalayan unit pangolahan grafis (GPU) sareng téknologi beus GPUDirect Storage. Hatur nuhun kana bursa data langsung antara sistem panyimpen sarta GPU, bypassing CPU, loading data kana akselerator GPU gancangan ku urutan gedena, jadi aplikasi Big Data ngajalankeun dina kinerja maksimum nu GPUs nyadiakeun. Sabalikna, pamekar sistem HPC museurkeun kamajuan dina sistem panyimpen kalayan kecepatan I / O pangluhurna, sapertos anu diproduksi ku Kingston.
kinerja GPU outpaces data loading
Kusabab nyiptakeun CUDA, arsitéktur komputasi paralel paralel hardware-software dumasar GPU pikeun ngembangkeun aplikasi tujuan umum, dina 2007, kamampuan hardware GPU sorangan parantos ningkat luar biasa. Kiwari, GPU beuki dipaké dina aplikasi HPC sapertos Big Data, machine learning (ML), sareng deep learning (DL).
Catet yén sanajan kasaruaan istilah, dua panungtungan nyaéta tugas algorithmically béda. ML ngalatih komputer dumasar kana data terstruktur, sedengkeun DL ngalatih komputer dumasar kana eupan balik ti jaringan saraf. Hiji conto pikeun mantuan ngartos béda téh cukup basajan. Hayu urang nganggap yén komputer kudu ngabedakeun antara poto ucing jeung anjing nu dimuat tina sistem gudang. Pikeun ML, anjeun kedah ngalebetkeun sakumpulan gambar sareng seueur tag, anu masing-masing netepkeun hiji fitur khusus sato. Pikeun DL, cukup unggah sajumlah gambar anu langkung ageung, tapi ngan ukur hiji tag "ieu ucing" atanapi "ieu anjing". DL pisan sarupa kumaha barudak ngora diajarkeun - aranjeunna ngan ditémbongkeun gambar anjing jeung ucing dina buku jeung dina kahirupan (paling sering, tanpa malah ngajelaskeun bédana lengkep), sarta otak anak sorangan mimiti nangtukeun jenis sato sanggeus. jumlah kritis tangtu gambar pikeun babandingan (Numutkeun perkiraan, urang ngobrol ngeunaan ngan saratus atawa dua nempokeun sapanjang PAUD). Algoritma DL henteu acan sampurna: pikeun jaringan neural ogé suksés dianggo dina ngaidentipikasi gambar, perlu eupan sareng ngolah jutaan gambar kana GPU.
Ringkesan prasasti: dumasar kana GPUs, anjeun tiasa ngawangun aplikasi HPC dina widang Big Data, ML sareng DL, tapi aya masalah - set data ageung pisan sahingga waktos nyéépkeun data tina sistem panyimpen ka GPU. dimimitian pikeun ngurangan kinerja sakabéh aplikasi. Dina basa sejen, GPUs gancang tetep underutilized alatan slow I / O data datang ti subsistem séjén. Beda dina I / O speed GPU na beus ka CPU / Sistim gudang bisa jadi hiji urutan gedena.
Kumaha téhnologi GPUDirect Panyimpenan jalan?
Prosés I/O dikontrol ku CPU, kitu ogé prosés ngamuat data ti gudang ka GPUs pikeun ngolah salajengna. Ieu nyababkeun paménta téknologi anu bakal nyayogikeun aksés langsung antara GPU sareng drive NVMe pikeun gancang komunikasi. NVIDIA mangrupikeun anu munggaran nawiskeun téknologi sapertos kitu sareng nyebatna GPUDirect Storage. Nyatana, ieu mangrupikeun variasi téknologi GPUDirect RDMA (Alamat Mémori Langsung Jauh) anu aranjeunna dikembangkeun sateuacana.
Jensen Huang, CEO NVIDIA, bakal nampilkeun GPUDirect Storage salaku varian GPUDirect RDMA di SC-19. Sumber: NVIDIA
Beda antara GPUDirect RDMA sareng GPUDirect Panyimpenan aya dina alat-alat antara anu alamatna dilaksanakeun. téhnologi GPUDirect RDMA ieu repurposed mun mindahkeun data langsung antara kartu panganteur jaringan hareup-tungtung (NIC) jeung memori GPU, sarta GPUDirect Panyimpenan nyadiakeun jalur data langsung antara gudang lokal atawa jauh kayaning NVMe atanapi NVMe over Fabric (NVMe-oF) jeung mémori GPU.
Duanana GPUDirect RDMA na GPUDirect Panyimpenan ulah gerakan data perlu ngaliwatan panyangga dina memori CPU sarta ngidinan aksés memori langsung (DMA) mékanisme pikeun mindahkeun data tina kartu jaringan atawa neundeun langsung ka atanapi ti memori GPU - kabeh tanpa beban dina CPU sentral. Pikeun Panyimpenan GPUDirect, lokasi neundeun henteu masalah: tiasa janten disk NVME di jero unit GPU, di jero rak, atanapi dihubungkeun dina jaringan sapertos NVMe-oF.
Skéma operasi GPUDirect Panyimpenan. Sumber: NVIDIA
Sistem panyimpen Hi-End dina NVMe diperyogikeun di pasar aplikasi HPC
Nyadar yén kalawan mecenghulna GPUDirect Panyimpenan, minat konsumén badag bakal ditarik ka nawiskeun sistem gudang kalayan speeds I / O pakait jeung throughput tina GPU, dina paméran SC-19 Kingston némbongkeun hiji demo sistem diwangun ku a Sistim gudang dumasar kana disk NVMe sarta Unit kalawan GPU a, nu dianalisis rébuan gambar satelit per detik. Kami parantos nyerat ngeunaan sistem panyimpen sapertos kitu dumasar kana 10 DC1000M U.2 NVMe drive .
Hiji sistem gudang dumasar kana 10 DC1000M U.2 NVMe drive adequately complements hiji server kalawan akselerator grafik. Sumber: Kingston
Sistem panyimpen ieu dirancang salaku unit rak 1U atanapi langkung ageung sareng tiasa diskalakeun gumantung kana jumlah drive DC1000M U.2 NVMe, masing-masing kapasitasna 3.84-7.68 TB. DC1000M mangrupikeun modél NVMe SSD munggaran dina faktor bentuk U.2 dina garis drive pusat data Kingston. Mibanda rating daya tahan (DWPD, Drive nyerat per poé), sahingga bisa nulis ulang data ka kapasitas pinuh na sakali sapoé pikeun hirup dijamin drive.
Dina uji fio v3.13 dina sistem operasi Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generik, sampel gudang paméran némbongkeun laju dibaca (Sustained Read) tina 5.8 juta IOPS kalawan throughput sustainable (Sustained Bandwidth). ) tina 23.8 Gbit/s.
Ariel Perez, manajer bisnis SSD di Kingston, ceuk ngeunaan sistem gudang anyar: "Kami poised pikeun digitus generasi saterusna server kalawan solusi U.2 NVMe SSD pikeun ngaleungitkeun loba bottlenecks mindahkeun data nu geus tradisional geus pakait sareng gudang. Kombinasi drive NVMe SSD sareng Server Premier DRAM premium kami ngajantenkeun Kingston salah sahiji panyadia solusi data tungtung-ka-tungtung anu paling komprehensif di industri."
Test gfio v3.13 némbongkeun throughput 23.8 Gbps pikeun sistem gudang demo on DC1000M U.2 NVMe drive. Sumber: Kingston
Kumaha sistem has pikeun aplikasi HPC sapertos nganggo GPUDirect Storage atanapi téknologi anu sami? Ieu mangrupikeun arsitéktur kalayan pamisahan fisik unit fungsional dina rak: hiji atanapi dua unit pikeun RAM, sababaraha deui pikeun titik komputasi GPU sareng CPU, sareng hiji atanapi langkung unit pikeun sistem panyimpenan.
Kalayan pengumuman tina GPUDirect Storage sareng kamungkinan munculna téknologi anu sami ti padagang GPU anu sanés, paménta Kingston pikeun sistem panyimpen anu dirancang pikeun dianggo dina komputasi berprestasi tinggi. Pananda bakal laju maca data tina sistem panyimpen, dibandingkeun sareng throughput kartu jaringan 40- atanapi 100-Gbit di lawang ka unit komputasi kalayan GPU. Ku kituna, sistem panyimpen ultra-speed tinggi, kaasup NVMe éksternal via Fabric, bakal balik ti aheng kana mainstream pikeun aplikasi HPC. Salian itungan sains sareng kauangan, aranjeunna bakal mendakan aplikasi dina seueur daérah praktis anu sanés, sapertos sistem kaamanan di tingkat metropolitan Kota Aman atanapi pusat panjagaan angkutan, dimana pangakuan sareng idéntifikasi laju jutaan gambar HD per detik diperyogikeun, ”digariskeun. niva pasar tina sistem Panyimpenan luhur
Inpo nu langkung lengkep ihwal produk Kingston bisa kapanggih dina parusahaan.
sumber: www.habr.com