Micron Technology, sebuah syarikat DRAM dan memori kilat, enjin simpanan baharu (Enjin Penyimpanan Memori Heterogen), direka bentuk dengan mengambil kira penggunaan khusus pada pemacu SSD berdasarkan denyar NAND (X100, TLC, QLC 3D NAND) atau memori kekal (NVDIMM). Enjin direka bentuk sebagai perpustakaan untuk membenamkan ke dalam aplikasi lain dan menyokong pemprosesan data dalam format nilai kunci. Kod HSE ditulis dalam C dan berlesen di bawah Apache 2.0.
Di antara bidang aplikasi enjin, sebutan dibuat mengenai storan data peringkat rendah dalam DBMS NoSQL, storan perisian (SDS, Storan Tertakrif Perisian) seperti Ceph dan Scality RING, platform untuk memproses sejumlah besar data (Data Besar) , sistem pengkomputeran berprestasi tinggi (HPC), peranti Internet of things (IoT) dan penyelesaian untuk sistem pembelajaran mesin.
HSE dioptimumkan bukan sahaja untuk prestasi maksimum, tetapi juga untuk jangka hayat merentasi pelbagai kelas SSD. Kelajuan operasi tinggi dicapai melalui model storan hibrid - data yang paling relevan dicache dalam RAM, yang mengurangkan bilangan akses kepada pemacu. Sebagai contoh penyepaduan enjin baharu ke dalam projek pihak ketiga versi DBMS MongoDB berorientasikan dokumen, diterjemahkan untuk menggunakan HSE.
Dari segi teknologi, HSE bergantung pada modul kernel tambahan , yang melaksanakan antara muka penyimpanan objek khusus untuk pemacu keadaan pepejal, dengan mengambil kira keupayaan dan cirinya, yang membolehkan anda memperoleh ciri prestasi dan ketahanan yang berbeza secara asas. Mpool juga merupakan pembangunan Teknologi Micron, dibuka pada masa yang sama dengan HSE, tetapi dipisahkan menjadi projek infrastruktur bebas. Mpool menganggap penggunaannya ΠΈ , tetapi pada masa ini hanya menyokong SSD tradisional.
Ujian prestasi menggunakan pakej (Tanda Aras Penyajian Awan Yahoo) menunjukkan peningkatan prestasi yang ketara apabila menggunakan storan 2 TB dengan memproses blok data 1 KB. Peningkatan prestasi yang ketara diperhatikan dalam ujian dengan pengedaran seragam operasi baca dan tulis (ujian "A" dalam graf).
Sebagai contoh, MongoDB dengan enjin HSE ternyata kira-kira 8 kali lebih pantas daripada versi dengan enjin WiredTiger standard, dan DBMS RocksDB lebih laju daripada enjin HSE sebanyak lebih daripada 6 kali. Prestasi cemerlang juga boleh dilihat dalam ujian yang melibatkan 95% operasi baca dan 5% ubah suai atau tambah operasi (ujian βBβ dan βDβ dalam graf). Ujian C, yang hanya melibatkan operasi baca, menunjukkan keuntungan kira-kira 40%. Peningkatan dalam kemandirian pemacu SSD semasa operasi tulis berbanding penyelesaian berdasarkan RocksDB dianggarkan sebanyak 7 kali ganda.
Ciri-ciri utama HSE:
- Sokongan untuk operator standard dan lanjutan untuk memproses data dalam format kunci/nilai;
- Sokongan penuh untuk transaksi dan dengan keupayaan untuk mengasingkan kepingan storan melalui penciptaan syot kilat (syot kilat juga boleh digunakan untuk mengekalkan koleksi bebas dalam satu storan);
- Keupayaan untuk menggunakan kursor untuk melintasi data dalam paparan berasaskan syot kilat;
- Model data dioptimumkan untuk jenis beban bercampur dalam satu storan;
- Mekanisme fleksibel untuk menguruskan kebolehpercayaan storan;
- Skim orkestrasi data yang boleh disesuaikan (pengedaran merentasi pelbagai jenis memori yang terdapat dalam storan);
- Perpustakaan dengan API C yang boleh memaut secara dinamik ke mana-mana aplikasi;
- Keupayaan untuk menskalakan kepada terabait data dan ratusan bilion kunci dalam storan;
- Pemprosesan cekap beribu-ribu operasi selari;
- Peningkatan ketara dalam pemprosesan, pengurangan kependaman dan peningkatan prestasi tulis/baca untuk pelbagai jenis beban kerja berbanding penyelesaian alternatif standard;
- Keupayaan untuk menggunakan pemacu SSD kelas berbeza dalam satu storan untuk mengoptimumkan prestasi dan ketahanan.
Sumber: opennet.ru