Micron Technology, spoločnosť vyrábajúca DRAM a flash pamäte, nový skladovací motor (Heterogeneous-memory Storage Engine), navrhnutý s ohľadom na špecifiká použitia na SSD diskoch založených na NAND flash (X100, TLC, QLC 3D NAND) alebo permanentnej pamäti (NVDIMM). Engine je navrhnutý ako knižnica pre vkladanie do iných aplikácií a podporuje spracovanie dát vo formáte kľúč-hodnota. HSE kód je napísaný v C a licencovaný pod Apache 2.0.
Z oblastí použitia enginu sa spomína nízkoúrovňové ukladanie dát v NoSQL DBMS, softvérové úložiská (SDS, Software-Defined Storage) ako Ceph a Scality RING, platformy na spracovanie veľkého množstva dát (Big Data) , vysokovýkonné počítačové systémy (HPC), internetové zariadenia vecí (IoT) a riešenia pre systémy strojového učenia.
HSE je optimalizované nielen pre maximálny výkon, ale aj pre dlhú životnosť v rámci rôznych tried SSD. Vysoká prevádzková rýchlosť je dosiahnutá prostredníctvom hybridného modelu úložiska – najrelevantnejšie dáta sa ukladajú do pamäte RAM, čo znižuje počet prístupov k disku. Ako príklad integrácie nového motora do projektov tretích strán verzia DBMS MongoDB orientovaná na dokumenty, preložená na používanie HSE.
Technologicky sa HSE spolieha na dodatočný modul jadra , ktorá implementuje špecializované rozhranie na ukladanie objektov pre SSD, berúc do úvahy ich možnosti a vlastnosti, čo umožňuje získať zásadne odlišné charakteristiky výkonu a odolnosti. Mpool je tiež vývojom Micron Technology, ktorý je otvorený súčasne s HSE, ale je rozdelený do nezávislého infraštruktúrneho projektu. Mpool predpokladá použitie и , ale momentálne podporuje iba tradičné SSD disky.
Testovanie výkonu pomocou balíka (Yahoo Cloud Serving Benchmark) preukázal výrazný nárast výkonu pri použití 2 TB úložiska so spracovaním 1 KB dátových blokov. Obzvlášť významný nárast výkonu sa pozoruje pri teste s rovnomerným rozložením operácií čítania a zápisu (test „A“ v grafe).
Napríklad MongoDB s motorom HSE sa ukázal byť asi 8-krát rýchlejší ako verzia so štandardným motorom WiredTiger a RocksDB DBMS bol rýchlejší ako motor HSE viac ako 6-krát. Vynikajúci výkon je viditeľný aj v testoch, ktoré zahŕňajú 95 % operácií čítania a 5 % operácií úprav alebo pridania (testy „B“ a „D“ v grafoch). Test C, ktorý zahŕňa iba operácie čítania, ukazuje zisk približne 40 %. Nárast životnosti SSD diskov počas operácií zápisu v porovnaní s riešením založeným na RocksDB sa odhaduje na 7-násobok.
Kľúčové vlastnosti HSE:
- Podpora štandardných a rozšírených operátorov na spracovanie údajov vo formáte kľúč/hodnota;
- Plná podpora transakcií a schopnosť izolovať časti úložiska prostredníctvom vytvárania snímok (snímky možno použiť aj na udržiavanie nezávislých kolekcií v jednom úložisku);
- Schopnosť používať kurzory na prechádzanie údajov v zobrazeniach založených na snímkach;
- Dátový model optimalizovaný pre zmiešané typy zaťaženia v jednom úložisku;
- Flexibilné mechanizmy na riadenie spoľahlivosti úložiska;
- Prispôsobiteľné schémy orchestrácie údajov (distribúcia cez rôzne typy pamäte prítomnej v úložisku);
- Knižnica s C API, ktorá sa môže dynamicky spájať s ľubovoľnou aplikáciou;
- Schopnosť škálovať na terabajty údajov a stovky miliárd kľúčov v úložisku;
- Efektívne spracovanie tisícok paralelných operácií;
- Výrazné zvýšenie priepustnosti, znížená latencia a zvýšený výkon zápisu/čítania pre rôzne typy pracovného zaťaženia v porovnaní so štandardnými alternatívnymi riešeniami;
- Schopnosť používať SSD disky rôznych tried v jednom úložisku na optimalizáciu výkonu a odolnosti.
Zdroj: opennet.ru