Micron Technology, një kompani DRAM dhe memorie flash, motor i ri ruajtjeje (Motor i ruajtjes me memorie heterogjene), i krijuar duke marrë parasysh specifikat e përdorimit në disqet SSD të bazuara në flash NAND (X100, TLC, QLC 3D NAND) ose memorie të përhershme (NVDIMM). Motori është projektuar si një bibliotekë për t'u futur në aplikacione të tjera dhe mbështet përpunimin e të dhënave në formatin me vlerë kyçe. Kodi HSE është shkruar në C dhe licencuar sipas Apache 2.0.
Ndër fushat e aplikimit të motorit, përmendet ruajtja e nivelit të ulët të të dhënave në NoSQL DBMS, ruajtja e softuerit (SDS, ruajtja e përcaktuar nga softueri) si Ceph dhe Scality RING, platformat për përpunimin e sasive të mëdha të të dhënave (Big Data) , sisteme kompjuterike me performancë të lartë (HPC), pajisje të gjërave në internet (IoT) dhe zgjidhje për sistemet e mësimit të makinerive.
HSE është optimizuar jo vetëm për performancë maksimale, por edhe për jetëgjatësi në një sërë klasash SSD. Shpejtësia e lartë e funksionimit arrihet përmes një modeli ruajtjeje hibride - të dhënat më të rëndësishme ruhen në RAM, gjë që zvogëlon numrin e akseseve në disk. Si shembull i integrimit të një motori të ri në projekte të palëve të treta një version i DBMS MongoDB i orientuar nga dokumenti, i përkthyer për të përdorur HSE.
Teknologjikisht, HSE mbështetet në një modul shtesë të kernelit , i cili zbaton një ndërfaqe të specializuar për ruajtjen e objekteve për disqet në gjendje të ngurtë, duke marrë parasysh aftësitë dhe veçoritë e tyre, gjë që ju lejon të merrni karakteristika thelbësisht të ndryshme të performancës dhe qëndrueshmërisë. Mpool është gjithashtu një zhvillim i Micron Technology, i hapur në të njëjtën kohë me HSE, por i ndarë në një projekt të pavarur infrastrukturor. Mpool supozon përdorimin и , por aktualisht mbështet vetëm SSD-të tradicionale.
Testimi i performancës duke përdorur paketën (Yahoo Cloud Serving Benchmark) tregoi një rritje të konsiderueshme të performancës kur përdorte hapësirën ruajtëse 2 TB me përpunimin e blloqeve të të dhënave 1 KB. Një rritje veçanërisht domethënëse e performancës vërehet në test me një shpërndarje uniforme të operacioneve të leximit dhe shkrimit (testi "A" në grafik).
Për shembull, MongoDB me motorin HSE doli të ishte rreth 8 herë më i shpejtë se versioni me motorin standard WiredTiger, dhe RocksDB DBMS ishte më i shpejtë se motori HSE për më shumë se 6 herë. Performanca e shkëlqyer është gjithashtu e dukshme në testet që përfshijnë 95% operacione leximi dhe 5% operacione modifikimi ose shtimi (testet "B" dhe "D" në grafikë). Testi C, i cili përfshin vetëm operacione leximi, tregon një fitim prej afërsisht 40%. Rritja e mbijetesës së disqeve SSD gjatë operacioneve të shkrimit në krahasim me një zgjidhje të bazuar në RocksDB vlerësohet të jetë 7 herë.
Karakteristikat kryesore të HSE:
- Mbështetje për operatorët gjenerikë dhe të zgjeruar për trajtimin e të dhënave në formatin kyç/vlerë;
- Mbështetje e plotë për transaksionet dhe me aftësinë për të izoluar pjesët e ruajtjes përmes krijimit të fotografive (fotografitë mund të përdoren gjithashtu për të mbajtur koleksione të pavarura në një ruajtje);
- Aftësia për të përdorur kursorët për të përshkuar të dhënat në pamjet e bazuara në fotografi;
- Modeli i të dhënave i optimizuar për llojet e ngarkesave të përziera në një ruajtje të vetme;
- Mekanizma fleksibël të menaxhimit të besueshmërisë së ruajtjes;
- Skema të personalizueshme të orkestrimit të të dhënave (shpërndarja nëpër lloje të ndryshme memorie të pranishme në ruajtje);
- Një bibliotekë me një API C që mund të lidhet në mënyrë dinamike me çdo aplikacion;
- Aftësia për të shkallëzuar deri në terabajt të dhëna dhe qindra miliarda çelësa në ruajtje;
- Përpunimi efikas i mijëra operacioneve paralele;
- Rritje e ndjeshme e xhiros, zvogëlim i vonesës dhe rritje e performancës së shkrimit/leximit për lloje të ndryshme të ngarkesës së punës në krahasim me zgjidhjet alternative standarde;
- Aftësia për të përdorur disqet SSD të klasave të ndryshme në një hapësirë ruajtëse për të optimizuar performancën dhe qëndrueshmërinë.
Burimi: opennet.ru