Micron Technology, een bedrijf gespecialiseerd in de productie van DRAM en flash-geheugen, heeft de release gepubliceerd van de HSE 3.0-opslagengine (Heterogeneous-memory Storage Engine), ontworpen rekening houdend met de specifieke kenmerken van gebruik op SSD-schijven en alleen-lezen geheugen ( NVDIMM). De engine is ontworpen als een bibliotheek voor insluiting in andere applicaties en ondersteunt het verwerken van gegevens in sleutelwaardeformaat. De HSE-code is geschreven in C en valt onder de Apache 2.0-licentie.
HSE is niet alleen geoptimaliseerd voor maximale prestaties, maar ook voor een lange levensduur in verschillende SSD-klassen. Een hoge werksnelheid wordt bereikt via een hybride opslagmodel - de meest relevante gegevens worden in de cache opgeslagen in RAM, waardoor het aantal toegangen tot de schijf wordt verminderd. De engine kan worden gebruikt voor dataopslag op laag niveau in NoSQL DBMS, softwareopslag (SDS, Software-Defined Storage) zoals Ceph en Scality RING, platforms voor het verwerken van grote hoeveelheden data (Big Data), high-performance computing (HPC ) systemen, Internet of Things (IoT)-apparaten) en oplossingen voor machine learning-systemen. Als voorbeeld van de integratie van de engine in projecten van derden is een versie van het documentgeoriënteerde DBMS MongoDB voorbereid, geconverteerd om HSE te gebruiken.
Belangrijkste kenmerken van HSE:
- Ondersteuning voor standaard en uitgebreide operators voor het verwerken van gegevens in sleutel/waarde-indeling;
- Volledige ondersteuning voor transacties met de mogelijkheid om opslagplakken te isoleren door het maken van snapshots (snapshots kunnen ook worden gebruikt om onafhankelijke collecties in één opslag te onderhouden);
- De mogelijkheid om cursors te gebruiken om door gegevens te bladeren in op momentopnamen gebaseerde weergaven;
- Datamodel geoptimaliseerd voor gemengde soorten werkbelasting;
- Flexibele mechanismen voor het beheren van de betrouwbaarheid van opslag;
- Aanpasbare data-orkestratieschema's (distributie over verschillende soorten geheugen aanwezig in de opslag);
- Een bibliotheek met een C API die dynamisch kan koppelen aan elke applicatie. Beschikbaarheid van bindingen voor Python en Java;
- Ondersteuning voor het opslaan van sleutels en gegevens in gecomprimeerde vorm.
- Mogelijkheid om te schalen naar terabytes aan gegevens en honderden miljarden sleutels in opslag;
- Efficiënte verwerking van duizenden parallelle bewerkingen;
- De mogelijkheid om SSD-schijven van verschillende klassen in één opslag te gebruiken om de prestaties te optimaliseren en de levensduur van de schijf te verlengen.
De aanzienlijke wijziging in het versienummer in HSE 3.0 is te wijten aan veranderingen in de API, CLI, configuratieopties, REST-interface en opslagformaat die de achterwaartse compatibiliteit verbreken. De nieuwe release was gericht op het optimaliseren van gegevensopslag om de prestaties voor een aantal kritieke werklasten te verbeteren. Een van de meest opvallende verbeteringen:
- De prestaties van cursorbewerkingen zijn nu onafhankelijk van de filterlengte, waardoor u toetsen kunt herhalen met behulp van een cursor met willekeurige filters zonder de doorvoer te verminderen.
- De lees- en schrijfprestaties zijn verbeterd in situaties waarin monotoon toenemende sleutels worden gebruikt, bijvoorbeeld bij het opslaan van segmenten van parameterwaarden die met bepaalde tussenpozen zijn vastgelegd in monitoringsystemen, financiële platforms en systemen voor het opvragen van sensorstatussen.
- De API biedt de mogelijkheid om de compressie op individueel waardeniveau te regelen, waardoor u zowel gecomprimeerde als ongecomprimeerde records in dezelfde opslag kunt opslaan.
- Er zijn nieuwe modi voor het openen van KVDB toegevoegd, waardoor u query's naar de database kunt vormen in alleen-lezen opslag.
Bron: opennet.ru