Micron Technology, DRAM eta flash memoria enpresa bat, biltegiratze motor berria (Heterogeneous-memory Storage Engine), NAND flash (X100, TLC, QLC 3D NAND) edo memoria iraunkorrean (NVDIMM) oinarritutako SSD unitateetan erabiltzeko berezitasunak kontuan hartuta diseinatua. Motorra beste aplikazio batzuetan txertatzeko liburutegi gisa diseinatuta dago eta datuak gako-balio formatuan prozesatzen ditu. HSE kodea C eta idatzita dago Apache 2.0 lizentziapean.
Motorraren aplikazio-eremuen artean, behe-mailako datuen biltegiratzea NoSQL DBMSn, software biltegiratzeak (SDS, Software-Defined Storage) esaterako Ceph eta Scality RING, datu kopuru handiak prozesatzeko plataformak (Big Data) aipatzen dira. , errendimendu handiko sistema informatikoak (HPC), gauzen Interneteko gailuak (IoT) eta ikaskuntza automatikoko sistemetarako soluzioak.
HSE optimizatuta dago errendimendurik handiena lortzeko, baita SSD klase ezberdinetan iraupenerako ere. Eragiketa-abiadura handia biltegiratze eredu hibrido baten bidez lortzen da - datu garrantzitsuenak RAM-en gordetzen dira, eta horrek unitaterako sarbide kopurua murrizten du. Motor berri bat hirugarrenen proiektuetan integratzearen adibide gisa dokumentuetara zuzendutako MongoDB DBMSaren bertsioa, HSE erabiltzeko itzulia.
Teknologikoki, HSE kernel modulu gehigarri batean oinarritzen da , egoera solidoko unitateetarako objektuak biltegiratzeko interfaze espezializatua ezartzen duena, haien gaitasunak eta ezaugarriak kontuan hartuta, eta horrek funtsean errendimendu eta iraunkortasun ezaugarri desberdinak lortzeko aukera ematen du. Mpool Micron Technologyren garapena ere bada, HSErekin aldi berean irekia, baina azpiegitura proiektu independente batean bereizita. Mpool-ek bere gain hartzen du erabilera ΠΈ , baina gaur egun SSD tradizionalak soilik onartzen ditu.
Errendimendu-probak paketea erabiliz (Yahoo Cloud Serving Benchmark) errendimenduaren gorakada nabarmena izan du 2 TB biltegiratzean 1 KB datu-blokeak prozesatzen dituzunean. Errendimenduaren gehikuntza bereziki nabarmena ikusten da proban irakurketa eta idazketa eragiketen banaketa uniforme batekin (grafikoko βAβ proba).
Adibidez, HSE motorra duen MongoDB WiredTiger motor estandarra duen bertsioa baino 8 aldiz azkarragoa izan da eta RocksDB DBMS HSE motorra baino 6 aldiz azkarragoa izan da. Errendimendu bikaina ere ikusten da % 95eko irakurketa-eragiketak eta % 5eko eragiketak aldatzeko edo eransteko egiten dituzten probetan (grafikoetan βBβ eta βDβ probak). C probak, irakurketa eragiketak baino ez dituena, gutxi gorabehera %40ko irabazia erakusten du. Idazketa-eragiketetan SSD unitateen biziraupenaren hazkundea RocksDBn oinarritutako soluzio batekin alderatuta 7 aldiz izango dela kalkulatzen da.
HSEren ezaugarri nagusiak:
- Operadore estandar eta hedatuentzako laguntza gako/balio formatuan datuak prozesatzeko;
- Transakzioetarako laguntza osoa eta biltegiratze xerrak isolatzeko gaitasunarekin argazkien sorreraren bidez (instantaneak biltegiratze bakarrean bilduma independenteak mantentzeko ere erabil daitezke);
- Argazkietan oinarritutako ikuspegietan datuak zeharkatzeko kurtsoreak erabiltzeko gaitasuna;
- Biltegiratze bakarreko karga mota mistoetarako optimizatutako datu-eredua;
- Biltegiratze fidagarritasuna kudeatzeko mekanismo malguak;
- Datu pertsonalizagarriak antolatzeko eskemak (biltegiratzean dauden memoria mota ezberdinetan banatuta);
- Edozein aplikaziorekin dinamikoki lotu daitekeen C APIa duen liburutegia;
- Datuen terabyte eta biltegiratzeko ehunka mila milioi gakora eskalatzeko gaitasuna;
- Milaka eragiketa paraleloen prozesamendu eraginkorra;
- Errendimenduaren igoera nabarmena, latentzia murriztua eta idazketa/irakurketa errendimendua areagotu lan-karga mota ezberdinetarako soluzio alternatibo estandarrekin alderatuta;
- Biltegiratze bakarrean klase ezberdinetako SSD unitateak erabiltzeko gaitasuna errendimendua eta iraunkortasuna optimizatzeko.
Iturria: opennet.ru