DRAM- en flitsgeheue-vervaardiger Micron Technology het sy HSE 3.0 (Heterogeneous-memory Storage Engine)-bergingsenjin vrygestel, wat spesifiek ontwerp is vir gebruik op SSD's en leesalleengeheue (NVDIMM). Die enjin word gemaak in die vorm van 'n biblioteek vir inbedding in ander toepassings en ondersteun dataverwerking in die sleutel-waarde-formaat. Die HSE-kode is in C geskryf en onder die Apache 2.0-lisensie versprei.
HSE is nie net geoptimaliseer vir maksimum werkverrigting nie, maar ook vir lang lewe oor verskillende klasse SSD's. Hoë spoed word bereik deur 'n hibriede bergingsmodel - die mees opgedateerde data word in die RAM gekas, wat die aantal toegang tot die skyf verminder. Die enjin kan gebruik word vir lae-vlak databerging in NoSQL DBMS, sagtewarebergings (SDS, Software-Defined Storage) soos Ceph en Scality RING, platforms vir die verwerking van groot hoeveelhede data (Big Data), hoë-prestasie rekenaar (HPC) ) stelsels, Internet of Things (IoT) toestelle ) en oplossings vir masjienleerstelsels. As 'n voorbeeld van die integrasie van die enjin in derdeparty-projekte, is 'n variant van die dokument-georiënteerde DBBS MongoDB voorberei, vertaal na die gebruik van HSE.
Belangrikste kenmerke van HSE:
- Ondersteuning vir generiese en uitgebreide operateurs vir die hantering van data in sleutel/waarde-formaat;
- Volledige ondersteuning vir transaksies met die vermoë om stoorskywe te isoleer deur die skep van kiekies (kiekies kan ook gebruik word om onafhanklike versamelings in een berging te onderhou);
- Vermoë om wysers te gebruik om oor data te herhaal in momentopname-gebaseerde aansigte;
- Datamodel geoptimaliseer vir gemengde vragtipes;
- Buigsame berging betroubaarheid bestuur meganismes;
- Aanpasbare data-orkestrasieskemas (verspreiding oor verskillende tipes geheue teenwoordig in die berging);
- 'n Biblioteek met 'n C API wat dinamies aan enige toepassing kan koppel. Bindings vir Python en Java;
- Ondersteuning vir die stoor van sleutels en data in 'n saamgeperste vorm.
- Vermoë om op te skaal tot teragrepe data en honderde biljoene sleutels in berging;
- Doeltreffende verwerking van duisende parallelle operasies;
- Die vermoë om verskillende klasse SSD-aandrywers in dieselfde berging te gebruik om werkverrigting te optimaliseer en die lewe van die skyf te verleng.
Die beduidende weergawe nommer verandering in HSE 3.0 is as gevolg van veranderinge in die API, CLI, konfigurasie opsies, REST koppelvlak, en berging formaat wat terugwaartse verenigbaarheid breek. Met die voorbereiding van die nuwe vrystelling was die fokus op die optimalisering van berging om werkverrigting onder sekere kritieke werkladings te verbeter. Van die mees noemenswaardige verbeterings:
- Die werkverrigting van wyserbewerkings is nou onafhanklik van die lengte van die filter, wat dit moontlik maak om oor sleutels te herhaal sonder om deurset te verminder deur 'n wyser met arbitrêre filters te gebruik.
- Lees- en skryfwerkverrigting is verbeter in situasies waar monotoon toenemende sleutels gebruik word, byvoorbeeld wanneer stukke parameterwaardes wat met sekere intervalle aangeteken is, gestoor word, in moniteringstelsels, finansiële platforms en stelsels vir stemsensortoestande.
- Die API bied die vermoë om kompressie op die vlak van individuele waardes te beheer, wat jou toelaat om beide saamgeperste en ongecomprimeerde rekords in dieselfde berging te hou.
- Nuwe modusse bygevoeg vir die opening van KVDB, wat jou toelaat om navrae na die databasis te genereer in leesalleen-bergings.
Bron: opennet.ru