Micron Technology, sebuah perusahaan yang mengkhususkan diri dalam produksi DRAM dan memori flash, mesin penyimpanan baru (Mesin Penyimpanan Memori Heterogen), dirancang untuk digunakan pada SSD berbasis flash NAND (X100, TLC, QLC 3D NAND) atau memori permanen (NVDIMM). Mesinnya dibuat dalam bentuk perpustakaan untuk ditanamkan ke aplikasi lain dan mendukung pemrosesan data dalam format nilai kunci. Kode HSE ditulis dalam bahasa C dan berlisensi di bawah Apache 2.0.
Dari bidang penerapan mesin, digunakan untuk penyimpanan data tingkat rendah di DBMS NoSQL, penyimpanan perangkat lunak (SDS, Software-Defined Storage) seperti Ceph dan Scality RING, platform untuk memproses data dalam jumlah besar (Big Data) , komputasi kinerja tinggi (HPC), perangkat Internet (IoT) dan solusi untuk sistem pembelajaran mesin.
HSE dioptimalkan tidak hanya untuk kinerja maksimum, tetapi juga untuk umur panjang di berbagai kelas SSD. Kecepatan tinggi dicapai melalui model penyimpanan hybrid - data terbaru disimpan dalam cache dalam RAM, sehingga mengurangi jumlah akses ke drive. Sebagai contoh pengintegrasian mesin baru ke dalam proyek pihak ketiga varian dari DBMS MongoDB berorientasi dokumen, diterjemahkan menggunakan HSE.
Secara teknologi, HSE mengandalkan modul kernel tambahan , yang mengimplementasikan antarmuka penyimpanan objek khusus untuk solid-state drive, dengan mempertimbangkan kemampuan dan fiturnya, yang memungkinkan Anda mendapatkan karakteristik kinerja dan daya tahan yang berbeda secara mendasar. Mpool juga merupakan pengembangan dari Teknologi Micron, dibuka bersamaan dengan HSE, namun dipisahkan menjadi proyek infrastruktur independen. Mpool mengasumsikan penggunaannya и , namun saat ini hanya SSD tradisional yang didukung.
Pengujian kinerja dengan sebuah paket (Yahoo Cloud Serving Benchmark) menunjukkan peningkatan kinerja yang signifikan saat menggunakan penyimpanan 2TB dengan pemrosesan blok 1KB. Peningkatan kinerja yang sangat signifikan diamati dalam pengujian dengan distribusi operasi baca dan tulis yang seragam (uji "A" pada grafik).
Misalnya, MongoDB dengan mesin HSE ternyata sekitar 8 kali lebih cepat dibandingkan versi dengan mesin WiredTiger standar, dan mesin HSE mengungguli DBMS RocksDB lebih dari 6 kali lipat. Performa luar biasa juga terlihat dalam pengujian yang melibatkan 95% pembacaan dan 5% perubahan atau penambahan (pengujian "B" dan "D" pada grafik). Tes "C", yang hanya mengasumsikan operasi baca, menunjukkan peningkatan sekitar 40%. Peningkatan ketahanan drive SSD selama operasi penulisan dibandingkan dengan solusi berbasis RocksDB diperkirakan mencapai 7 kali lipat.
Fitur utama HSE:
- Dukungan untuk operator umum dan tambahan untuk menangani data dalam format kunci/nilai;
- Dukungan penuh untuk transaksi dan dengan kemampuan untuk mengisolasi potongan penyimpanan melalui pembuatan snapshot (snapshot juga dapat digunakan untuk memelihara koleksi independen dalam satu penyimpanan);
- Kemampuan untuk menggunakan kursor untuk melintasi data dalam tampilan berbasis snapshot;
- Model data dioptimalkan untuk jenis beban campuran dalam satu penyimpanan;
- Mekanisme manajemen keandalan penyimpanan yang fleksibel;
- Skema orkestrasi data yang dapat disesuaikan (distribusi di berbagai jenis memori yang ada di penyimpanan);
- Pustaka dengan C API yang dapat terhubung secara dinamis ke aplikasi apa pun;
- Kemampuan untuk meningkatkan data hingga terabyte dan ratusan miliar kunci dalam penyimpanan;
- Pemrosesan ribuan operasi paralel yang efisien;
- Peningkatan throughput yang signifikan, latensi yang lebih rendah, dan peningkatan tulis/baca untuk berbagai jenis beban dibandingkan dengan solusi alternatif pada umumnya;
- Kemampuan untuk menggunakan kelas SSD yang berbeda dalam penyimpanan yang sama untuk mengoptimalkan kinerja dan daya tahan.
Sumber: opennet.ru