Mesin panyimpenan HSE sumber terbuka Micron sing dioptimalake kanggo SSD

Micron Technology, perusahaan DRAM lan memori flash, diwenehi engine panyimpenan anyar HSE (Heterogenous-memori Storage Engine), dirancang njupuk menyang akun spesifik panggunaan ing drive SSD adhedhasar lampu kilat NAND (X100, TLC, QLC 3D NAND) utawa memori permanen (NVDIMM). Mesin dirancang minangka perpustakaan kanggo semat menyang aplikasi liyane lan ndhukung pangolahan data ing format tombol-nilai. Kode HSE ditulis ing C lan disebarake dening dilisensi ing Apache 2.0.

Ing antarane area aplikasi mesin kasebut, kasebut digawe saka panyimpenan data tingkat rendah ing DBMS NoSQL, panyimpenan piranti lunak (SDS, Storage Defined Software) kayata Ceph lan Scality RING, platform kanggo ngolah data kanthi jumlah gedhe (Data Big). , sistem komputasi kinerja dhuwur (HPC), piranti Internet of things (IoT) lan solusi kanggo sistem pembelajaran mesin.

HSE dioptimalake ora mung kanggo kinerja maksimal, nanging uga kanggo umur dawa ing macem-macem kelas SSD. Kacepetan operasi sing dhuwur digayuh liwat model panyimpenan hibrida - data sing paling relevan disimpen ing RAM, sing nyuda jumlah akses menyang drive. Minangka conto nggabungake mesin anyar menyang proyek pihak katelu disiapake versi DBMS MongoDB sing berorientasi dokumen, diterjemahake kanggo nggunakake HSE.

Secara teknologi, HSE ngandelake modul kernel tambahan mpool, sing ngetrapake antarmuka panyimpenan obyek khusus kanggo drive solid-state, kanthi nganggep kemampuan lan fitur, sing ngidini sampeyan entuk karakteristik kinerja lan daya tahan sing beda-beda. Mpool uga minangka pangembangan Teknologi Micron, mbukak bebarengan karo HSE, nanging dipisahake dadi proyek infrastruktur independen. Mpool nganggep panggunaan memori terus-terusan и fasilitas panyimpenan zonal, nanging saiki mung ndhukung SSDs tradisional.

Tes kinerja nggunakake paket kasebut YCSB (Yahoo Cloud Serving Benchmark) nuduhake peningkatan kinerja sing signifikan nalika nggunakake panyimpenan 2 TB kanthi ngolah blok data 1 KB. Peningkatan kinerja utamane sing diamati ing tes kanthi distribusi seragam saka operasi maca lan nulis (test "A" ing grafik).

Contone, MongoDB nganggo mesin HSE kira-kira 8 kaping luwih cepet tinimbang versi karo mesin WiredTiger standar, lan RocksDB DBMS luwih cepet tinimbang mesin HSE luwih saka 6 kaping. Kinerja apik banget uga katon ing tes sing melu 95% operasi maca lan 5% ngowahi utawa nambah operasi (tes "B" lan "D" ing grafik). Tes C, sing mung kalebu operasi maca, nuduhake gain kira-kira 40%. Tambah ing survivability saka SSD drive sak operasi nulis dibandhingake solusi adhedhasar RocksDB kira-kira 7 kaping.

Fitur utama HSE:

• Dhukungan kanggo operator standar lan lengkap kanggo ngolah data ing format kunci/nilai;
• Dhukungan lengkap kanggo transaksi lan kanthi kemampuan kanggo ngisolasi irisan panyimpenan liwat nggawe jepretan (snapshot uga bisa digunakake kanggo njaga koleksi mandiri ing siji panyimpenan);
• Kemampuan kanggo nggunakake kursor kanggo ngliwati data ing tampilan adhedhasar snapshot;
• Model data sing dioptimalake kanggo jinis beban campuran ing panyimpenan siji;
• Mekanisme fleksibel kanggo ngatur linuwih panyimpenan;
• Skema orkestrasi data sing bisa disesuaikan (distribusi ing macem-macem jinis memori sing ana ing panyimpenan);
• Pustaka kanthi API C sing bisa nyambung kanthi dinamis menyang aplikasi apa wae;
• Kemampuan kanggo skala menyang terabyte data lan atusan milyar kunci ing panyimpenan;
• Pangolahan efisien ewonan operasi paralel;
• Tambah gedhe ing throughput, suda latensi lan tambah kinerja nulis / maca kanggo macem-macem jinis beban kerja dibandhingake karo solusi alternatif standar;
• Kemampuan kanggo nggunakake drive SSD saka kelas beda ing siji panyimpenan kanggo ngoptimalake kinerja lan kekiatan.

Source: opennet.ru