Halo Habr! Kumpulan data untuk Big Data dan pembelajaran mesin tumbuh secara eksponensial dan kita perlu mengikutinya. Postingan kami tentang teknologi inovatif lainnya di bidang komputasi kinerja tinggi (HPC, High Performance Computing), ditampilkan di stan Kingston di . Ini adalah penggunaan sistem penyimpanan data (SDS) Hi-End di server dengan unit pemrosesan grafis (GPU) dan teknologi bus Penyimpanan GPUDirect. Berkat pertukaran data langsung antara sistem penyimpanan dan GPU, melewati CPU, memuat data ke akselerator GPU dipercepat berdasarkan urutan besarnya, sehingga aplikasi Big Data berjalan pada kinerja maksimum yang disediakan oleh GPU. Sebaliknya, pengembang sistem HPC tertarik pada kemajuan sistem penyimpanan dengan kecepatan I/O tertinggi, seperti yang diproduksi oleh Kingston.
Performa GPU melebihi pemuatan data
Sejak terciptanya CUDA, arsitektur komputasi paralel perangkat keras-perangkat lunak berbasis GPU untuk mengembangkan aplikasi tujuan umum, pada tahun 2007, kemampuan perangkat keras dari GPU itu sendiri telah berkembang pesat. Saat ini, GPU semakin banyak digunakan dalam aplikasi HPC seperti Big Data, machine learning (ML), dan deep learning (DL).
Perhatikan bahwa meskipun istilahnya serupa, dua yang terakhir adalah tugas yang berbeda secara algoritmik. ML melatih komputer berdasarkan data terstruktur, sedangkan DL melatih komputer berdasarkan umpan balik dari jaringan saraf. Contoh untuk membantu memahami perbedaannya cukup sederhana. Misalkan komputer harus membedakan foto kucing dan anjing yang diambil dari sistem penyimpanan. Untuk ML, Anda harus mengirimkan sekumpulan gambar dengan banyak tag, yang masing-masing mendefinisikan satu fitur tertentu dari hewan tersebut. Untuk DL cukup dengan mengupload gambar dalam jumlah yang jauh lebih banyak, namun cukup dengan satu tag βini kucingβ atau βini anjingβ. DL sangat mirip dengan cara mengajar anak kecil - mereka hanya diperlihatkan gambar anjing dan kucing di buku dan kehidupan (paling sering, bahkan tanpa menjelaskan perbedaan detailnya), dan otak anak itu sendiri mulai menentukan jenis hewan setelahnya. sejumlah gambar kritis tertentu untuk perbandingan ( Menurut perkiraan, kita hanya berbicara tentang seratus atau dua pertunjukan sepanjang masa kanak-kanak). Algoritme DL belum begitu sempurna: agar jaringan saraf juga berhasil mengidentifikasi gambar, jutaan gambar perlu dimasukkan dan diproses ke dalam GPU.
Ringkasan kata pengantar: berdasarkan GPU, Anda dapat membangun aplikasi HPC di bidang Big Data, ML dan DL, tetapi ada masalah - kumpulan datanya sangat besar sehingga waktu yang dihabiskan untuk memuat data dari sistem penyimpanan ke GPU mulai mengurangi kinerja aplikasi secara keseluruhan. Dengan kata lain, GPU yang cepat masih kurang dimanfaatkan karena lambatnya data I/O yang berasal dari subsistem lain. Perbedaan kecepatan I/O GPU dan bus ke CPU/sistem penyimpanan bisa sangat besar.
Bagaimana cara kerja teknologi Penyimpanan GPUDirect?
Proses I/O dikendalikan oleh CPU, begitu pula proses memuat data dari penyimpanan ke GPU untuk diproses lebih lanjut. Hal ini menyebabkan permintaan akan teknologi yang akan menyediakan akses langsung antara GPU dan drive NVMe untuk berkomunikasi satu sama lain dengan cepat. NVIDIA adalah yang pertama menawarkan teknologi tersebut dan menyebutnya GPUDirect Storage. Sebenarnya ini merupakan variasi dari teknologi GPUDirect RDMA (Remote Direct Memory Address) yang mereka kembangkan sebelumnya.
Jensen Huang, CEO NVIDIA, akan menghadirkan GPUDirect Storage sebagai varian GPUDirect RDMA di SC-19. Sumber: NVIDIA
Perbedaan antara GPUDirect RDMA dan GPUDirect Storage terletak pada perangkat yang pengalamatannya dilakukan. Teknologi GPUDirect RDMA dirancang ulang untuk memindahkan data secara langsung antara kartu antarmuka jaringan (NIC) front-end dan memori GPU, dan GPUDirect Storage menyediakan jalur data langsung antara penyimpanan lokal atau jarak jauh seperti NVMe atau NVMe over Fabric (NVMe-oF) dan memori GPU.
Baik GPUDirect RDMA maupun GPUDirect Storage menghindari pergerakan data yang tidak perlu melalui buffer di memori CPU dan memungkinkan mekanisme akses memori langsung (DMA) untuk memindahkan data dari kartu jaringan atau penyimpanan secara langsung ke atau dari memori GPU - semuanya tanpa beban pada CPU pusat. Untuk Penyimpanan GPUDirect, lokasi penyimpanan tidak menjadi masalah: dapat berupa disk NVME di dalam unit GPU, di dalam rak, atau terhubung melalui jaringan sebagai NVMe-oF.
Skema pengoperasian Penyimpanan GPUDirect. Sumber: NVIDIA
Sistem penyimpanan Hi-End di NVMe diminati di pasar aplikasi HPC
Menyadari bahwa dengan munculnya GPUDirect Storage, minat pelanggan besar akan tertarik untuk menawarkan sistem penyimpanan dengan kecepatan I/O yang sesuai dengan throughput GPU, pada pameran SC-19 Kingston menunjukkan demo sistem yang terdiri dari a sistem penyimpanan berdasarkan disk NVMe dan unit dengan GPU, yang menganalisis ribuan citra satelit per detik. Kami telah menulis tentang sistem penyimpanan berdasarkan 10 drive DC1000M U.2 NVMe .
Sistem penyimpanan berdasarkan 10 drive DC1000M U.2 NVMe cukup melengkapi server dengan akselerator grafis. Sumber: Kingston
Sistem penyimpanan ini dirancang sebagai unit rak 1U atau lebih besar dan dapat diskalakan tergantung pada jumlah drive DC1000M U.2 NVMe, masing-masing berkapasitas 3.84-7.68 TB. DC1000M adalah model SSD NVMe pertama dalam faktor bentuk U.2 di jajaran drive pusat data Kingston. Ia memiliki peringkat ketahanan (DWPD, Drive menulis per hari), yang memungkinkannya menulis ulang data ke kapasitas penuhnya sekali sehari untuk menjamin masa pakai drive.
Pada pengujian fio v3.13 pada sistem operasi Ubuntu 18.04.3 LTS, kernel Linux 5.0.0-31-generic, sampel penyimpanan pameran menunjukkan kecepatan baca (Sustained Read) sebesar 5.8 juta IOPS dengan throughput berkelanjutan (Sustained Bandwidth ) sebesar 23.8 Gbit/dtk.
Ariel Perez, manajer bisnis SSD di Kingston, mengatakan tentang sistem penyimpanan baru ini: βKami siap melengkapi server generasi berikutnya dengan solusi SSD NVMe U.2 untuk menghilangkan banyak hambatan transfer data yang biasanya dikaitkan dengan penyimpanan. Kombinasi drive NVMe SSD dan DRAM Server Premier premium kami menjadikan Kingston salah satu penyedia solusi data end-to-end paling komprehensif di industri."
Pengujian gfio v3.13 menunjukkan throughput 23.8 Gbps untuk sistem penyimpanan demo pada drive DC1000M U.2 NVMe. Sumber: Kingston
Seperti apa sistem tipikal untuk aplikasi HPC yang menggunakan GPUDirect Storage atau teknologi serupa? Ini adalah arsitektur dengan pemisahan fisik unit fungsional dalam rak: satu atau dua unit untuk RAM, beberapa unit lagi untuk node komputasi GPU dan CPU, dan satu atau lebih unit untuk sistem penyimpanan.
Dengan diumumkannya GPUDirect Storage dan kemungkinan munculnya teknologi serupa dari vendor GPU lainnya, permintaan Kingston terhadap sistem penyimpanan yang dirancang untuk digunakan dalam komputasi berkinerja tinggi semakin meningkat. Penandanya adalah kecepatan membaca data dari sistem penyimpanan, sebanding dengan throughput kartu jaringan 40 atau 100 Gbit saat masuk ke unit komputasi dengan GPU. Dengan demikian, sistem penyimpanan berkecepatan sangat tinggi, termasuk NVMe eksternal melalui Fabric, akan berubah dari sistem penyimpanan eksotik menjadi sistem penyimpanan mainstream untuk aplikasi HPC. Selain perhitungan sains dan keuangan, teknologi ini juga dapat diterapkan di banyak bidang praktis lainnya, seperti sistem keamanan di tingkat metropolitan Kota Aman atau pusat pengawasan transportasi, yang memerlukan kecepatan pengenalan dan identifikasi jutaan gambar HD per detik,β jelasnya. ceruk pasar sistem Penyimpanan teratas
Informasi lebih lanjut tentang produk Kingston dapat ditemukan di perusahaan.
Sumber: www.habr.com