5.8 yuta IOPS: kok dadi akeh?

Hello Habr! Set data kanggo Big Data lan machine learning tuwuh kanthi eksponensial lan kita kudu ngetutake. Kiriman kita babagan teknologi inovatif liyane ing bidang komputasi kinerja dhuwur (HPC, High Performance Computing), ditampilake ing stan Kingston ing Supercomputing-2019. Iki minangka panggunaan sistem panyimpenan data Hi-End (SDS) ing server kanthi unit pangolahan grafis (GPU) lan teknologi bus GPUDirect Storage. Thanks kanggo exchange data langsung antarane sistem panyimpenan lan GPU, bypassing CPU, loading data menyang akselerator GPU digawe cepet dening urutan gedhene, supaya aplikasi Big Data mbukak ing kinerja maksimum sing GPUs nyedhiyani. Sabanjure, pangembang sistem HPC kasengsem ing kemajuan ing sistem panyimpenan kanthi kecepatan I/O paling dhuwur, kayata sing diprodhuksi dening Kingston.

Kinerja GPU ngluwihi data loading

Wiwit CUDA, arsitektur komputasi paralel hardware lan piranti lunak basis GPU kanggo ngembangake aplikasi tujuan umum, digawe ing 2007, kemampuan hardware GPU dhewe wis berkembang banget. Saiki, GPU saya akeh digunakake ing aplikasi HPC kayata Big Data, machine learning (ML), lan deep learning (DL).

Elinga yen sanajan istilah sing padha, loro sing pungkasan minangka tugas sing beda-beda kanthi algoritma. ML nglatih komputer adhedhasar data terstruktur, dene DL nglatih komputer adhedhasar umpan balik saka jaringan saraf. Conto kanggo mbantu ngerti bedane cukup prasaja. Ayo nganggep yen komputer kudu mbedakake antarane foto kucing lan asu sing dimuat saka sistem panyimpenan. Kanggo ML, sampeyan kudu ngirim sakumpulan gambar kanthi akeh tag, sing saben-saben nemtokake siji fitur tartamtu saka kewan kasebut. Kanggo DL, cukup kanggo ngunggah gambar sing luwih akeh, nanging mung siji tag "iki kucing" utawa "iki asu". DL meh padha karo carane bocah-bocah diwulangake - mung ditampilake gambar asu lan kucing ing buku lan ing urip (paling asring, tanpa njlentrehake bedane rinci), lan otak bocah kasebut dhewe wiwit nemtokake jinis kewan sawise. nomer kritis tartamtu saka gambar kanggo comparison (Miturut prakiraan, kita ngomong bab mung satus utawa loro nuduhake saindhenging PAUD). Algoritma DL durung dadi sampurna: kanggo jaringan syaraf uga kasil bisa ing ngenali gambar, iku perlu kanggo feed lan proses mayuta-yuta gambar menyang GPU.

Ringkesan pambuka: GPU bisa digunakake kanggo mbangun aplikasi HPC ing wilayah Big Data, ML lan DL, nanging ana masalah - set data gedhe banget nganti wektu sing digunakake kanggo ngisi data saka sistem panyimpenan menyang GPU diwiwiti. kanggo nyuda kinerja sakabèhé saka aplikasi. Ing tembung liyane, GPUs cepet tetep underutilized amarga I / O data alon teka saka subsistem liyane. Bentenipun ing I / O kacepetan GPU lan bis menyang CPU / sistem panyimpenan bisa dadi urutan gedhene.

Kepiye cara kerja teknologi GPUDirect Storage?

Proses I / O dikontrol dening CPU, uga proses loading data saka panyimpenan menyang GPU kanggo diproses luwih lanjut. Iki nyebabake panjaluk teknologi sing bakal menehi akses langsung ing antarane GPU lan drive NVMe supaya bisa komunikasi kanthi cepet. NVIDIA minangka sing pertama nawakake teknologi kasebut lan diarani GPUDirect Storage. Nyatane, iki minangka variasi saka teknologi GPUDirect RDMA (Remote Direct Memory Address) sing dikembangake sadurunge.

Jensen Huang, CEO NVIDIA, bakal nampilake GPUDirect Storage minangka varian GPUDirect RDMA ing SC-19. Sumber: NVIDIA

Bedane antarane GPUDirect RDMA lan GPUDirect Storage ana ing piranti ing antarane sing ditindakake. Teknologi GPUDirect RDMA repurposed kanggo mindhah data langsung antarane kertu antarmuka jaringan ngarep-mburi (NIC) lan memori GPU, lan GPUDirect Storage menehi path data langsung antarane panyimpenan lokal utawa remot kayata NVMe utawa NVMe liwat Fabric (NVMe-oF) lan memori GPU.

Loro-lorone GPUDirect RDMA lan GPUDirect Storage ngindhari obahe data rasah liwat buffer ing memori CPU lan ngidini akses memori langsung (DMA) mekanisme kanggo mindhah data saka kertu jaringan utawa panyimpenan langsung menyang utawa saka memori GPU - kabeh tanpa mbukak ing CPU tengah. Kanggo GPUDirect Storage, lokasi panyimpenan ora masalah: bisa dadi disk NVME ing unit GPU, ing rak, utawa disambungake liwat jaringan minangka NVMe-oF.

Skema operasi GPUDirect Storage. Sumber: NVIDIA

Sistem panyimpenan Hi-End ing NVMe dikarepake ing pasar aplikasi HPC

Sadar yen karo tekane saka GPUDirect Panyimpenan, kapentingan pelanggan gedhe bakal digambar kanggo nawakake sistem panyimpenan karo kecepatan I / O cocog kanggo throughput saka GPU, ing pameran SC-19 Kingston nuduhake demo saka sistem dumadi saka a sistem panyimpenan adhedhasar disk NVMe lan unit karo GPU, kang analisa ewu gambar satelit per detik. Kita wis nulis babagan sistem panyimpenan kasebut adhedhasar drive 10 DC1000M U.2 NVMe ing laporan saka pameran superkomputer.

Sistem panyimpenan adhedhasar 10 DC1000M U.2 NVMe drive cekap nglengkapi server karo akselerator grafis. Sumber: Kingston

Sistem panyimpenan iki dirancang minangka unit rak 1U utawa luwih gedhe lan bisa diukur gumantung saka jumlah drive NVMe DC1000M U.2, saben kanthi kapasitas 3.84-7.68 TB. DC1000M minangka model NVMe SSD pisanan ing faktor wangun U.2 ing baris drive pusat data Kingston. Nduwe rating daya tahan (DWPD, Drive nulis saben dina), saéngga bisa nulis ulang data kanthi kapasitas kebak sapisan dina kanggo umur drive sing dijamin.

Ing tes fio v3.13 ing sistem operasi Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generik, sampel panyimpenan pameran nuduhake kacepetan maca (Sustained Read) 5.8 yuta IOPS kanthi throughput sustainable (Sustained Bandwidth). ) saka 23.8 Gbit/s.

Ariel Perez, manajer bisnis SSD ing Kingston, ngandika saka sistem panyimpenan anyar: "We are poised kanggo nglengkapi generasi sabanjuré saka server karo solusi U.2 NVMe SSD kanggo ngilangke akeh bottlenecks transfer data sing wis tradisional wis digandhengake karo panyimpenan. Kombinasi drive NVMe SSD lan Server Premier DRAM premium ndadekake Kingston minangka salah sawijining panyedhiya solusi data end-to-end paling lengkap ing industri.

Tes gfio v3.13 nuduhake throughput 23.8 Gbps kanggo sistem panyimpenan demo ing drive DC1000M U.2 NVMe. Sumber: Kingston

Kaya apa sistem khas kanggo aplikasi HPC nggunakake GPUDirect Storage utawa teknologi sing padha? Iki minangka arsitektur kanthi pamisahan fisik saka unit fungsional ing rak: siji utawa rong unit kanggo RAM, sawetara liyane kanggo GPU lan simpul komputasi CPU, lan siji utawa luwih unit kanggo sistem panyimpenan.

Kanthi woro-woro Panyimpenan GPUDirect lan kemungkinan munculé teknologi sing padha saka vendor GPU liyane, panjaluk Kingston kanggo sistem panyimpenan sing dirancang kanggo digunakake ing komputasi kanthi kinerja dhuwur. Marker bakal kacepetan maca data saka sistem panyimpenan, iso dibandhingke karo throughput saka 40- utawa 100-Gbit kertu jaringan ing lawang menyang unit komputasi karo GPU. Mangkono, sistem panyimpenan ultra-kacepetan dhuwur, kalebu NVMe eksternal liwat Fabric, bakal pindhah saka eksotis menyang mainstream kanggo aplikasi HPC. Saliyane kalkulasi ilmiah lan finansial, dheweke bakal nemokake aplikasi ing akeh wilayah praktis liyane, kayata sistem keamanan ing tingkat metropolitan Safe City utawa pusat pengawasan transportasi, ing ngendi pangenalan lan identifikasi kecepatan jutaan gambar HD per detik dibutuhake, "ujare. niche pasar sistem Storage ndhuwur

Informasi luwih lengkap babagan produk Kingston bisa ditemokake ing situs resmi perusahaan.

Source: www.habr.com