Micron Technology, 'n DRAM- en flitsgeheuemaatskappy, nuwe stoor enjin (Heterogene-geheue Storage Engine), ontwerp met inagneming van die besonderhede van gebruik op SSD-aandrywers gebaseer op NAND-flits (X100, TLC, QLC 3D NAND) of permanente geheue (NVDIMM). Die enjin is ontwerp as 'n biblioteek vir inbedding in ander toepassings en ondersteun verwerking van data in sleutelwaarde-formaat. Die HSE-kode is geskryf in C en gelisensieer onder Apache 2.0.
Onder die toepassingsareas van die enjin word melding gemaak van laevlak databerging in NoSQL DBMS, sagtewarebergings (SDS, Software-Defined Storage) soos Ceph en Scality RING, platforms vir die verwerking van groot hoeveelhede data (Big Data) , hoë-prestasie rekenaarstelsels (HPC), Internet toestelle van dinge (IoT) en oplossings vir masjienleerstelsels.
HSE is nie net geoptimaliseer vir maksimum werkverrigting nie, maar ook vir lang lewe oor 'n verskeidenheid SSD-klasse. Hoë bedryfspoed word bereik deur 'n hibriede bergingsmodel - die mees relevante data word in die RAM gekas, wat die aantal toegang tot die aandrywer verminder. As 'n voorbeeld van die integrasie van 'n nuwe enjin in derdeparty-projekte 'n weergawe van die dokument-georiënteerde DBBS MongoDB, vertaal om HSE te gebruik.
Tegnologies maak HSE staat op 'n bykomende kernmodule , wat 'n gespesialiseerde objekbergingskoppelvlak vir vaste-toestand-aandrywers implementeer, met inagneming van hul vermoëns en kenmerke, wat jou toelaat om fundamenteel verskillende werkverrigting- en duursaamheideienskappe te verkry. Mpool is ook 'n ontwikkeling van Micron Technology, oop op dieselfde tyd as HSE, maar geskei in 'n onafhanklike infrastruktuurprojek. Mpool aanvaar die gebruik и , maar ondersteun tans slegs tradisionele SSD's.
Prestasietoetsing deur die pakket te gebruik (Yahoo Cloud Serving Benchmark) het 'n aansienlike toename in werkverrigting getoon wanneer 2 TB-berging gebruik is met die verwerking van 1 KB-datablokke. 'n Besonder betekenisvolle prestasieverhoging word in die toets waargeneem met 'n eenvormige verspreiding van lees- en skryfbewerkings (toets "A" in die grafiek).
Byvoorbeeld, MongoDB met die HSE-enjin was ongeveer 8 keer vinniger as die weergawe met die standaard WiredTiger-enjin, en die RocksDB DBMS was meer as 6 keer vinniger as die HSE-enjin. Uitstekende prestasie is ook sigbaar in toetse wat 95% leesbewerkings en 5% wysigings- of byvoegbewerkings behels (toetse "B" en "D" in die grafieke). Toets C, wat slegs leesbewerkings behels, toon 'n wins van ongeveer 40%. Die toename in oorlewingsvermoë van SSD-aandrywers tydens skryfbewerkings in vergelyking met 'n oplossing gebaseer op RocksDB word geskat op 7 keer.
Sleutelkenmerke van HSE:
- Ondersteuning vir generiese en uitgebreide operateurs vir die hantering van data in sleutel/waarde-formaat;
- Volledige ondersteuning vir transaksies en met die vermoë om stoorskywe te isoleer deur die skep van kiekies (kiekies kan ook gebruik word om onafhanklike versamelings in een berging te onderhou);
- Vermoë om wysers te gebruik om data in momentopname-gebaseerde aansigte te deurkruis;
- Datamodel geoptimaliseer vir gemengde vragtipes in 'n enkele berging;
- Buigsame berging betroubaarheid bestuur meganismes;
- Aanpasbare data-orkestrasieskemas (verspreiding oor verskillende tipes geheue teenwoordig in die berging);
- 'n Biblioteek met 'n C API wat dinamies aan enige toepassing kan koppel;
- Vermoë om op te skaal tot teragrepe data en honderde biljoene sleutels in berging;
- Doeltreffende verwerking van duisende parallelle operasies;
- Aansienlike toename in deurset, verminderde latensie en verhoogde skryf/lees werkverrigting vir verskeie tipes werklading in vergelyking met standaard alternatiewe oplossings;
- Die vermoë om SSD-aandrywers van verskillende klasse in een berging te gebruik om werkverrigting en duursaamheid te optimaliseer.
Bron: opennet.ru