Micron open sourced engine gudang HSE dioptimalkeun pikeun SSD

Micron Technology, perusahaan DRAM sareng mémori flash, ditepikeun mesin gudang anyar HSE (Memori Hétérogén Panyimpenan Engine), dirancang nyokot kana akun spésifik pamakéan dina drive SSD dumasar kana flash NAND (X100, TLC, QLC 3D NAND) atawa memori permanén (NVDIMM). Mesin dirancang salaku perpustakaan pikeun embedding kana aplikasi sejenna tur ngarojong ngolah data dina format konci-nilai. Kode HSE ditulis dina C jeung disebarkeun ku dilisensikeun dina Apache 2.0.

Di antara wewengkon aplikasi mesin, disebatkeun dijieun gudang data tingkat low di NoSQL DBMS, storages software (SDS, Software-Defined Storage) kayaning Ceph na Scality RING, platform keur ngolah jumlah badag data (Data Big). , Sistem komputasi berkinerja tinggi (HPC), alat Internét tina hal (IoT) sareng solusi pikeun sistem pembelajaran mesin.

HSE dioptimalkeun henteu ngan ukur pikeun pagelaran maksimal, tapi ogé pikeun umur panjang dina sababaraha kelas SSD. Kecepatan operasi anu luhur dihontal ku modél panyimpen hibrida - data anu paling relevan disimpen dina RAM, anu ngirangan jumlah aksés kana drive. Salaku conto ngahijikeun mesin anyar kana proyék pihak katilu disiapkeun versi DBMS MongoDB berorientasi dokumen, ditarjamahkeun ngagunakeun HSE.

Téknologis, HSE ngandelkeun modul kernel tambahan mpool, nu implements a panganteur gudang obyék husus pikeun solid-state drive, nyokot kana akun kamampuhan sarta fitur maranéhna, nu ngidinan Anjeun pikeun ménta kinerja béda fundamental na ciri durability. Mpool ogé mangrupikeun pamekaran Téknologi Micron, dibuka dina waktos anu sami sareng HSE, tapi dipisahkeun kana proyék infrastruktur mandiri. Mpool nganggap pamakéan memori pengkuh и fasilitas gudang zonal, tapi ayeuna ngan ngarojong SSDs tradisional.

Uji kinerja ngagunakeun pakét YCSB (Yahoo Cloud Serving Patokan) némbongkeun kanaékan signifikan dina kinerja nalika ngagunakeun gudang 2 TB jeung ngolah 1 blok data KB. Paningkatan kinerja anu penting pisan dititénan dina tés kalayan distribusi seragam operasi maca sareng nyerat (tés "A" dina grafik).

Contona, MongoDB kalawan mesin HSE tétéla 8 kali leuwih gancang ti versi kalawan mesin WiredTiger baku, sarta RocksDB DBMS éta leuwih gancang ti mesin HSE ku leuwih ti 6 kali. Kinerja anu saé ogé katingali dina tés anu ngalibatkeun 95% operasi maca sareng 5% ngarobih atanapi nambihan operasi (tés "B" sareng "D" dina grafik). Tés C, anu ngan ukur ngalibatkeun operasi maca, nunjukkeun kauntungan sakitar 40%. Paningkatan kasalametan drive SSD salami operasi nulis dibandingkeun sareng solusi dumasar kana RocksDB diperkirakeun 7 kali.

Keunggulan HSE:

• Rojongan pikeun operator standar sareng diperpanjang pikeun ngolah data dina format konci / nilai;
• Pangrojong pinuh pikeun transaksi sareng kamampuan pikeun ngasingkeun irisan neundeun ngaliwatan kreasi snapshots (snapshots ogé tiasa dianggo pikeun ngajaga koleksi mandiri dina hiji panyimpenan);
• Kamampuhan ngagunakeun kursor pikeun ngaliwat data dina pintonan dumasar snapshot;
• Modél data dioptimalkeun pikeun jenis beban campuran dina gudang tunggal;
• mékanisme fléksibel pikeun ngatur reliabiliti gudang;
• Skéma orkestrasi data anu tiasa disaluyukeun (distribusi dina sababaraha jinis mémori anu aya dina panyimpenan);
• A perpustakaan jeung C API nu dinamis bisa numbu ka aplikasi mana wae;
• Kamampuhan pikeun skala kana terabytes data sareng ratusan milyaran konci dina panyimpenan;
• Ngolah efisien rébuan operasi paralel;
• Paningkatan signifikan dina throughput, ngurangan latency jeung ngaronjat kinerja nulis / maca pikeun rupa-rupa workload dibandingkeun solusi alternatif baku;
• Kamampuhan ngagunakeun drive SSD tina kelas anu béda dina hiji gudang pikeun ngaoptimalkeun kinerja sareng daya tahan.

sumber: opennet.ru