Micron Technology, spoločnosť špecializujúca sa na výrobu DRAM a flash pamätí, zverejnila vydanie úložného motora HSE 3.0 (Heterogeneous-memory Storage Engine), navrhnutého s ohľadom na špecifiká použitia na SSD diskoch a pamäti iba na čítanie ( NVDIMM). Engine je navrhnutý ako knižnica pre vkladanie do iných aplikácií a podporuje spracovanie dát vo formáte kľúč-hodnota. HSE kód je napísaný v jazyku C a je licencovaný pod licenciou Apache 2.0.
HSE je optimalizované nielen pre maximálny výkon, ale aj pre dlhú životnosť v rámci rôznych tried SSD. Vysoká prevádzková rýchlosť je dosiahnutá prostredníctvom hybridného modelu úložiska – najrelevantnejšie dáta sa ukladajú do pamäte RAM, čo znižuje počet prístupov k disku. Motor je možné použiť na ukladanie údajov na nízkej úrovni v NoSQL DBMS, softvérové úložiská (SDS, Software-Defined Storage) ako Ceph a Scality RING, platformy na spracovanie veľkého množstva údajov (Big Data), vysokovýkonné výpočty (HPC ) systémy, zariadenia internetu vecí (IoT) a riešenia pre systémy strojového učenia. Ako príklad integrácie enginu do projektov tretích strán bola pripravená verzia dokumentovo orientovaného DBMS MongoDB, konvertovaná na používanie HSE.
Hlavné vlastnosti HSE:
- Podpora štandardných a rozšírených operátorov na spracovanie údajov vo formáte kľúč/hodnota;
- Plná podpora transakcií so schopnosťou izolovať úložné rezy prostredníctvom vytvárania snímok (snímky možno použiť aj na udržiavanie nezávislých kolekcií v jednom úložisku);
- Schopnosť používať kurzory na iteráciu údajov v zobrazeniach založených na snímkach;
- Dátový model optimalizovaný pre zmiešané typy pracovného zaťaženia;
- Flexibilné mechanizmy na riadenie spoľahlivosti úložiska;
- Prispôsobiteľné schémy orchestrácie údajov (distribúcia cez rôzne typy pamäte prítomnej v úložisku);
- Knižnica s C API, ktorá sa môže dynamicky prepájať s ľubovoľnou aplikáciou. Dostupnosť väzieb pre Python a Java;
- Podpora ukladania kľúčov a údajov v komprimovanej forme.
- Schopnosť škálovať na terabajty údajov a stovky miliárd kľúčov v úložisku;
- Efektívne spracovanie tisícok paralelných operácií;
- Možnosť použitia SSD diskov rôznych tried v jednom úložisku na optimalizáciu výkonu a predĺženie životnosti disku.
Významná zmena čísla verzie v HSE 3.0 je spôsobená zmenami v rozhraní API, CLI, konfiguračných možnostiach, rozhraní REST a formáte úložiska, ktoré narúšajú spätnú kompatibilitu. Nové vydanie sa zameralo na optimalizáciu ukladania údajov s cieľom zlepšiť výkon pri niektorých kritických pracovných zaťaženiach. Medzi najvýznamnejšie vylepšenia:
- Výkon kurzorových operácií je teraz nezávislý od dĺžky filtra, čo vám umožňuje iterovať klávesy pomocou kurzora s ľubovoľnými filtrami bez zníženia priepustnosti.
- Výkon čítania a zápisu sa zvýšil v situáciách, keď sa používajú monotónne rastúce kľúče, napríklad pri ukladaní častí hodnôt parametrov zaznamenaných v určitých intervaloch v monitorovacích systémoch, finančných platformách a systémoch na meranie stavu senzorov.
- Rozhranie API poskytuje možnosť riadiť kompresiu na úrovni jednotlivých hodnôt, čo vám umožňuje ukladať komprimované aj nekomprimované záznamy do rovnakého úložiska.
- Boli pridané nové režimy otvárania KVDB, ktoré vám umožňujú vytvárať dopyty do databázy v úložiskách iba na čítanie.
Zdroj: opennet.ru