Micron open source HSE-opslagengine geoptimaliseerd voor SSD

Micron Technology, een DRAM- en flash-geheugenbedrijf, gepresenteerd nieuwe opslagmotor HSE (Heterogeneous-memory Storage Engine), ontworpen rekening houdend met de specifieke kenmerken van het gebruik op SSD-schijven op basis van NAND-flash (X100, TLC, QLC 3D NAND) of permanent geheugen (NVDIMM). De engine is ontworpen als een bibliotheek voor insluiting in andere applicaties en ondersteunt het verwerken van gegevens in sleutelwaardeformaat. De HSE-code is geschreven in C en gedistribueerd door gelicentieerd onder Apache 2.0.

Onder de toepassingsgebieden van de engine wordt melding gemaakt van gegevensopslag op laag niveau in NoSQL DBMS, softwareopslag (SDS, Software-Defined Storage) zoals Ceph en Scality RING, platforms voor het verwerken van grote hoeveelheden gegevens (Big Data) , high-performance computersystemen (HPC), Internet devices of things (IoT) en oplossingen voor machine learning-systemen.

HSE is niet alleen geoptimaliseerd voor maximale prestaties, maar ook voor een lange levensduur in verschillende SSD-klassen. Een hoge werksnelheid wordt bereikt via een hybride opslagmodel - de meest relevante gegevens worden in de cache opgeslagen in RAM, waardoor het aantal toegangen tot de schijf wordt verminderd. Als voorbeeld van het integreren van een nieuwe engine in projecten van derden bereid een versie van het documentgeoriënteerde DBMS MongoDB, vertaald om HSE te gebruiken.

Technologisch gezien vertrouwt HSE op een extra kernelmodule mpool, dat een gespecialiseerde objectopslaginterface voor solid-state drives implementeert, rekening houdend met hun mogelijkheden en kenmerken, waardoor u fundamenteel verschillende prestatie- en duurzaamheidskenmerken kunt verkrijgen. Mpool is ook een ontwikkeling van Micron Technology, open tegelijk met HSE, maar opgedeeld in een onafhankelijk infrastructuurproject. Mpool neemt het gebruik over hardnekkige herinnering и zonale opslagfaciliteiten, maar ondersteunt momenteel alleen traditionele SSD's.

Prestatietesten met behulp van het pakket YCSB (Yahoo Cloud Serving Benchmark) liet een aanzienlijke prestatieverbetering zien bij gebruik van 2 TB opslag met verwerking van datablokken van 1 KB. Een bijzonder significante prestatieverbetering wordt waargenomen in de test met een uniforme verdeling van lees- en schrijfbewerkingen (test “A” in de grafiek).

MongoDB met de HSE-engine bleek bijvoorbeeld ongeveer 8 keer sneller te zijn dan de versie met de standaard WiredTiger-engine, en de RocksDB DBMS was ruim 6 keer sneller dan de HSE-engine. Uitstekende prestaties zijn ook zichtbaar bij tests waarbij 95% leesbewerkingen en 5% wijzigings- of toevoegingsbewerkingen betrokken zijn (tests “B” en “D” in de grafieken). Test C, waarbij alleen leesbewerkingen betrokken zijn, laat een winst zien van ongeveer 40%. De toename van de overlevingskansen van SSD-schijven tijdens schrijfbewerkingen vergeleken met een oplossing op basis van RocksDB wordt geschat op zeven keer.

Belangrijkste kenmerken van HSE:

• Ondersteuning voor standaard en uitgebreide operators voor het verwerken van gegevens in sleutel/waarde-indeling;
• Volledige ondersteuning voor transacties en met de mogelijkheid om opslagplakken te isoleren door het maken van snapshots (snapshots kunnen ook worden gebruikt om onafhankelijke collecties in één opslag te bewaren);
• Mogelijkheid om cursors te gebruiken om gegevens te doorkruisen in op momentopnamen gebaseerde weergaven;
• Datamodel geoptimaliseerd voor gemengde belastingstypen in één opslag;
• Flexibele mechanismen voor het beheren van de betrouwbaarheid van opslag;
• Aanpasbare data-orkestratieschema's (distributie over verschillende soorten geheugen aanwezig in de opslag);
• Een bibliotheek met een C API die dynamisch kan koppelen aan elke applicatie;
• Mogelijkheid om te schalen naar terabytes aan gegevens en honderden miljarden sleutels in opslag;
• Efficiënte verwerking van duizenden parallelle bewerkingen;
• Aanzienlijke toename van de doorvoer, verminderde latentie en betere schrijf-/leesprestaties voor verschillende soorten werklast vergeleken met standaard alternatieve oplossingen;
• De mogelijkheid om SSD-schijven van verschillende klassen in één opslag te gebruiken om de prestaties en duurzaamheid te optimaliseren.

Bron: opennet.ru