Micron Technology, sebuah syarikat yang mengkhusus dalam pengeluaran DRAM dan memori denyar, telah menerbitkan keluaran enjin storan HSE 3.0 (Heterogenous-memory Storage Engine), yang direka dengan mengambil kira spesifik penggunaan pada pemacu SSD dan memori baca sahaja ( NVDIMM). Enjin direka bentuk sebagai perpustakaan untuk membenamkan ke dalam aplikasi lain dan menyokong pemprosesan data dalam format nilai kunci. Kod HSE ditulis dalam C dan dilesenkan di bawah lesen Apache 2.0.
HSE dioptimumkan bukan sahaja untuk prestasi maksimum, tetapi juga untuk jangka hayat merentasi pelbagai kelas SSD. Kelajuan operasi yang tinggi dicapai melalui model storan hibrid - data yang paling relevan dicache dalam RAM, yang mengurangkan bilangan akses kepada pemacu. Enjin boleh digunakan untuk storan data peringkat rendah dalam NoSQL DBMS, storan perisian (SDS, Software-Defined Storage) seperti Ceph dan Scality RING, platform untuk memproses sejumlah besar data (Big Data), pengkomputeran berprestasi tinggi (HPC). ) sistem, peranti Internet Perkara (IoT) ) dan penyelesaian untuk sistem pembelajaran mesin. Sebagai contoh penyepaduan enjin ke dalam projek pihak ketiga, versi DBMS MongoDB berorientasikan dokumen telah disediakan, ditukar kepada menggunakan HSE.
Ciri-ciri utama HSE:
- Sokongan untuk operator standard dan lanjutan untuk memproses data dalam format kunci/nilai;
- Sokongan penuh untuk transaksi dengan keupayaan untuk mengasingkan kepingan storan melalui penciptaan syot kilat (syot kilat juga boleh digunakan untuk mengekalkan koleksi bebas dalam satu storan);
- Keupayaan untuk menggunakan kursor untuk lelaran melalui data dalam paparan berasaskan syot kilat;
- Model data dioptimumkan untuk jenis beban kerja campuran;
- Mekanisme fleksibel untuk menguruskan kebolehpercayaan storan;
- Skim orkestrasi data yang boleh disesuaikan (pengedaran merentasi pelbagai jenis memori yang terdapat dalam storan);
- Perpustakaan dengan API C yang boleh memaut secara dinamik ke mana-mana aplikasi. Ketersediaan pengikatan untuk Python dan Java;
- Sokongan untuk menyimpan kunci dan data dalam bentuk termampat.
- Keupayaan untuk menskalakan kepada terabait data dan ratusan bilion kunci dalam storan;
- Pemprosesan cekap beribu-ribu operasi selari;
- Keupayaan untuk menggunakan pemacu SSD kelas berbeza dalam satu storan untuk mengoptimumkan prestasi dan memanjangkan hayat perkhidmatan pemacu.
Perubahan nombor versi yang ketara dalam HSE 3.0 adalah disebabkan oleh perubahan dalam API, CLI, pilihan konfigurasi, antara muka REST dan format storan yang memecahkan keserasian ke belakang. Keluaran baharu memfokuskan pada mengoptimumkan storan data untuk meningkatkan prestasi bagi beberapa beban kerja kritikal. Antara penambahbaikan yang paling ketara:
- Prestasi operasi kursor kini tidak bergantung pada panjang penapis, membolehkan anda mengulangi kekunci menggunakan kursor dengan penapis sewenang-wenangnya tanpa mengurangkan daya pemprosesan.
- Prestasi membaca dan menulis telah ditingkatkan dalam situasi di mana kekunci meningkat secara monoton digunakan, sebagai contoh, apabila menyimpan hirisan nilai parameter yang direkodkan pada selang waktu tertentu dalam sistem pemantauan, platform kewangan dan sistem untuk keadaan sensor undian.
- API menyediakan keupayaan untuk mengawal pemampatan pada tahap nilai individu, membolehkan anda menyimpan kedua-dua rekod dimampatkan dan tidak dimampatkan dalam storan yang sama.
- Mod baharu untuk membuka KVDB telah ditambah, membolehkan anda membentuk pertanyaan kepada pangkalan data dalam storan baca sahaja.
Sumber: opennet.ru