Micron Technology, spesialis dalam produksi DRAM dan memori flash, telah menerbitkan rilis mesin penyimpanan HSE 3.0 (Heterogeneous-memory Storage Engine), yang dirancang khusus untuk digunakan pada SSD dan memori hanya-baca (NVDIMM). Engine dibuat dalam bentuk library untuk disematkan ke dalam aplikasi lain dan mendukung pemrosesan data dalam format key-value. Kode HSE ditulis dalam bahasa C dan didistribusikan di bawah lisensi Apache 2.0.
HSE dioptimalkan tidak hanya untuk performa maksimal, tetapi juga untuk umur panjang di berbagai kelas SSD. Kecepatan tinggi dicapai melalui model penyimpanan hybrid - data terbaru di-cache di RAM, yang mengurangi jumlah akses ke drive. Mesin dapat digunakan untuk penyimpanan data tingkat rendah di NoSQL DBMS, penyimpanan perangkat lunak (SDS, Penyimpanan yang Ditentukan Perangkat Lunak) seperti Ceph dan Scacity RING, platform untuk memproses data dalam jumlah besar (Big Data), komputasi kinerja tinggi (HPC ) sistem, perangkat Internet of Things (IoT) ) dan solusi untuk sistem pembelajaran mesin. Sebagai contoh pengintegrasian mesin ke proyek pihak ketiga, varian DBMS MongoDB berorientasi dokumen telah disiapkan, diterjemahkan ke dalam penggunaan HSE.
Fitur utama HSE:
- Dukungan untuk operator umum dan tambahan untuk menangani data dalam format kunci/nilai;
- Dukungan penuh untuk transaksi dengan kemampuan untuk mengisolasi irisan penyimpanan melalui pembuatan snapshot (snapshot juga dapat digunakan untuk memelihara koleksi independen dalam satu penyimpanan);
- Kemampuan untuk menggunakan kursor untuk mengulangi data dalam tampilan berbasis snapshot;
- Model data dioptimalkan untuk jenis beban campuran;
- Mekanisme manajemen keandalan penyimpanan yang fleksibel;
- Skema orkestrasi data yang dapat disesuaikan (distribusi di berbagai jenis memori yang ada di penyimpanan);
- Pustaka dengan API C yang dapat ditautkan secara dinamis ke aplikasi apa pun. Binding untuk Python dan Java;
- Dukungan untuk menyimpan kunci dan data dalam bentuk terkompresi.
- Kemampuan untuk meningkatkan data hingga terabyte dan ratusan miliar kunci dalam penyimpanan;
- Pemrosesan ribuan operasi paralel yang efisien;
- Kemampuan untuk menggunakan berbagai kelas drive SSD dalam penyimpanan yang sama untuk mengoptimalkan kinerja dan memperpanjang masa pakai drive.
Perubahan nomor versi yang signifikan di HSE 3.0 disebabkan oleh perubahan API, CLI, opsi konfigurasi, antarmuka REST, dan format penyimpanan yang merusak kompatibilitas mundur. Dalam menyiapkan rilis baru, fokusnya adalah pada pengoptimalan penyimpanan untuk meningkatkan performa di bawah beberapa beban kerja kritis. Di antara peningkatan yang paling menonjol:
- Performa operasi kursor sekarang tidak bergantung pada panjang filter, yang memungkinkan untuk melakukan iterasi pada tombol tanpa mengurangi throughput menggunakan kursor dengan filter arbitrer.
- Performa baca dan tulis telah ditingkatkan dalam situasi di mana kunci yang meningkat secara monoton digunakan, misalnya, saat menyimpan irisan nilai parameter yang direkam pada interval tertentu, dalam sistem pemantauan, platform keuangan, dan sistem untuk status sensor polling.
- API menyediakan kemampuan untuk mengontrol kompresi pada tingkat nilai individual, yang memungkinkan Anda menyimpan rekaman terkompresi dan tidak terkompresi dalam penyimpanan yang sama.
- Mode pembukaan KVDB baru telah ditambahkan yang memungkinkan Anda membuat kueri ke database dalam penyimpanan hanya-baca.
Sumber: opennet.ru