Micron Technology, DRAM kaj fulmmemorfirmao, nova stoka motoro (Heterogene-memoriga Stokado-Motoro), dizajnita konsiderante la specifaĵojn de uzo sur SSD-diskoj bazitaj sur NAND-fulmo (X100, TLC, QLC 3D NAND) aŭ permanenta memoro (NVDIMM). La motoro estas desegnita kiel biblioteko por enkonstruado en aliajn aplikojn kaj subtenas pretigajn datumojn en ŝlosilvalora formato. La HSE-kodo estas skribita en C kaj licencita sub Apache 2.0.
Inter la kampoj de aplikado de la motoro, menciiĝas malaltnivela datumstokado en NoSQL DBMS, programaro-stokado (SDS, Software-Defined Storage) kiel Ceph kaj Scality RING, platformoj por prilaborado de grandaj kvantoj da datumoj (Big Data) , alt-efikecaj komputikaj sistemoj (HPC), Interretaj aparatoj (IoT) kaj solvoj por maŝinlernado-sistemoj.
HSE estas optimumigita ne nur por maksimuma rendimento, sed ankaŭ por longviveco tra diversaj SSD-klasoj. Alta operacia rapideco estas atingita per hibrida stokado-modelo - la plej gravaj datumoj estas konservitaj en RAM, kio reduktas la nombron da aliroj al la stirado. Kiel ekzemplo de integriĝo de nova motoro en triapartajn projektojn versio de la dokument-orientita DBMS MongoDB, tradukita por uzi HSE.
Teknologie, HSE dependas de kroma kernomodulo , kiu efektivigas specialan objektan stokado-interfacon por solidsubstancaj diskoj, konsiderante iliajn kapablojn kaj funkciojn, kiu ebligas al vi akiri esence malsamajn agadon kaj fortikecajn trajtojn. Mpool ankaŭ estas evoluo de Micron Technology, malfermita samtempe kun HSE, sed apartigita en sendependan infrastrukturan projekton. Mpool supozas la uzon и , sed nuntempe nur subtenas tradiciajn SSDojn.
Efikectestado uzante la pakaĵon (Yahoo Cloud Serving Benchmark) montris signifan pliiĝon en rendimento dum uzado de 2 TB-stokado kun prilaborado de 1 KB datumblokoj. Aparte signifa rendimentopliiĝo estas observita en la testo kun unuforma distribuo de legado kaj skriba operacioj (testo "A" en la grafeo).
Ekzemple, MongoDB kun la HSE-motoro montriĝis proksimume 8 fojojn pli rapida ol la versio kun la norma WiredTiger-motoro, kaj la RocksDB DBMS estis pli rapida ol la HSE-motoro je pli ol 6 fojojn. Bonega rendimento ankaŭ videblas en testoj, kiuj implikas 95% legajn operaciojn kaj 5% modifas aŭ aldonas operaciojn (testoj "B" kaj "D" en la grafikaĵoj). Testo C, kiu implikas nur legajn operaciojn, montras gajnon de proksimume 40%. La pliiĝo de postvivebleco de SSD-diskoj dum skribaj operacioj kompare kun solvo bazita sur RocksDB estas taksita 7 fojojn.
Ĉefaj trajtoj de HSE:
- Subteno por normaj kaj plilongigitaj operatoroj por prilaborado de datumoj en ŝlosila/valorformato;
- Plena subteno por transakcioj kaj kun la kapablo izoli stokajn tranĉaĵojn per la kreado de momentfotoj (momentfotoj ankaŭ povas esti uzataj por konservi sendependajn kolektojn en unu stokado);
- Kapablo uzi kursorojn por trairi datumojn en momentfot-bazitaj vidoj;
- Datuma modelo optimumigita por miksitaj ŝarĝspecoj en ununura stokado;
- Flekseblaj mekanismoj por administri stokan fidindecon;
- Agordigeblaj datumaj instrumentadskemoj (distribuo tra malsamaj specoj de memoro ĉeestanta en la stokado);
- Biblioteko kun C API kiu povas dinamike ligi al iu ajn aplikaĵo;
- Kapablo grimpi al terabajtoj da datumoj kaj centoj da miliardoj da ŝlosiloj en stokado;
- Efika pretigo de miloj da paralelaj operacioj;
- Signifa pliiĝo en trairo, reduktita latenteco kaj pliigita skrib/legado por diversaj specoj de laborkvanto kompare al normaj alternativaj solvoj;
- La kapablo uzi SSD-diskojn de malsamaj klasoj en unu stokado por optimumigi rendimenton kaj fortikecon.
fonto: opennet.ru