Micron Technology, një specialist në prodhimin e memories DRAM dhe flash, ka publikuar lëshimin e motorit të ruajtjes HSE 3.0 (Heterogeneous-Memory Storage Engine), i krijuar posaçërisht për përdorim në SSD dhe memorie vetëm për lexim (NVDIMM). Motori është bërë në formën e një biblioteke për t'u futur në aplikacione të tjera dhe mbështet përpunimin e të dhënave në formatin e vlerës-kyç. Kodi HSE është shkruar në C dhe shpërndahet nën licencën Apache 2.0.
HSE është optimizuar jo vetëm për performancë maksimale, por edhe për jetëgjatësi në klasa të ndryshme të SSD-ve. Shpejtësia e lartë arrihet përmes një modeli ruajtjeje hibride - të dhënat më të përditësuara ruhen në memorien e kujtesës në RAM, gjë që zvogëlon numrin e akseseve në disk. Motori mund të përdoret për ruajtje të nivelit të ulët të të dhënave në NoSQL DBMS, ruajtje softuerësh (SDS, Softuer-Defined Storage) si Ceph dhe Scality RING, platforma për përpunimin e sasive të mëdha të të dhënave (Big Data), informatikë me performancë të lartë (HPC ) sistemet, pajisjet e Internetit të Gjërave (IoT) dhe zgjidhjet për sistemet e mësimit të makinerive. Si shembull i integrimit të motorit në projekte të palëve të treta, është përgatitur një variant i DBMS MongoDB i orientuar nga dokumenti, i përkthyer në përdorimin e HSE.
Karakteristikat kryesore të HSE:
- Mbështetje për operatorët gjenerikë dhe të zgjeruar për trajtimin e të dhënave në formatin kyç/vlerë;
- Mbështetje e plotë për transaksionet me aftësinë për të izoluar pjesët e ruajtjes përmes krijimit të fotografive (fotografitë mund të përdoren gjithashtu për të mbajtur koleksione të pavarura në një ruajtje);
- Aftësia për të përdorur kursorët për të përsëritur mbi të dhënat në pamjet e bazuara në fotografi;
- Modeli i të dhënave i optimizuar për llojet e ngarkesave të përziera;
- Mekanizma fleksibël të menaxhimit të besueshmërisë së ruajtjes;
- Skema të personalizueshme të orkestrimit të të dhënave (shpërndarja nëpër lloje të ndryshme memorie të pranishme në ruajtje);
- Një bibliotekë me një API C që mund të lidhet në mënyrë dinamike me çdo aplikacion. Lidhjet për Python dhe Java;
- Mbështetje për ruajtjen e çelësave dhe të dhënave në një formë të ngjeshur.
- Aftësia për të shkallëzuar deri në terabajt të dhëna dhe qindra miliarda çelësa në ruajtje;
- Përpunimi efikas i mijëra operacioneve paralele;
- Aftësia për të përdorur klasa të ndryshme të disqeve SSD në të njëjtën hapësirë ruajtëse për të optimizuar performancën dhe për të zgjatur jetën e diskut.
Ndryshimi i rëndësishëm i numrit të versionit në HSE 3.0 është për shkak të ndryshimeve në API, CLI, opsionet e konfigurimit, ndërfaqen REST dhe formatin e ruajtjes që prishin përputhshmërinë mbrapsht. Në përgatitjen e versionit të ri, fokusi ishte në optimizimin e ruajtjes për të përmirësuar performancën nën disa ngarkesa kritike të punës. Ndër përmirësimet më të dukshme:
- Performanca e operacioneve të kursorit tani është e pavarur nga gjatësia e filtrit, gjë që bën të mundur përsëritjen mbi çelësat pa reduktuar xhiron duke përdorur një kursor me filtra arbitrar.
- Performanca e leximit dhe shkrimit është përmirësuar në situatat kur përdoren çelësat në rritje monotonike, për shembull, kur ruhen pjesë të vlerave të parametrave të regjistruara në intervale të caktuara, në sistemet e monitorimit, platformat financiare dhe sistemet për gjendjet e sensorëve të votimit.
- API ofron mundësinë për të kontrolluar kompresimin në nivelin e vlerave individuale, gjë që ju lejon të mbani të dhënat e ngjeshur dhe të pakompresuar në të njëjtën ruajtje.
- Janë shtuar mënyra të reja hapjeje të KVDB-së që ju lejojnë të krijoni pyetje në bazën e të dhënave në depo vetëm për lexim.
Burimi: opennet.ru