Micron Technology, et selskap som spesialiserer seg på produksjon av DRAM og flash-minne, ny lagringsmotor (Heterogen-minne Storage Engine), designet for bruk på SSD-er basert på NAND-flash (X100, TLC, QLC 3D NAND) eller permanent minne (NVDIMM). Motoren er laget i form av et bibliotek for innbygging i andre applikasjoner og støtter databehandling i nøkkelverdi-formatet. HMS-koden er skrevet på C-språk og lisensiert under Apache 2.0.
Av bruksområdene til motoren brukes den til datalagring på lavt nivå i NoSQL DBMS, programvarelagring (SDS, Software-Defined Storage) som Ceph og Scality RING, plattformer for behandling av store datamengder (Big Data) , høyytelses databehandling (HPC), Internet devices of things (IoT) og løsninger for maskinlæringssystemer.
HSE er ikke bare optimalisert for maksimal ytelse, men også for lang levetid på tvers av forskjellige klasser av SSD-er. Høy hastighet oppnås gjennom en hybrid lagringsmodell - de mest oppdaterte dataene bufres i RAM, noe som reduserer antall tilganger til stasjonen. Som et eksempel på å integrere en ny motor i tredjepartsprosjekter en variant av det dokumentorienterte DBMS MongoDB, oversatt til å bruke HMS.
Teknologisk sett er HMS avhengig av en ekstra kjernemodul , som implementerer et spesialisert objektlagringsgrensesnitt for solid-state-stasjoner, som tar hensyn til deres evner og funksjoner, som lar deg få fundamentalt forskjellige ytelses- og holdbarhetsegenskaper. Mpool er også en utvikling av Micron Technology åpen samtidig med HMS, men utskilt i et selvstendig infrastrukturprosjekt. Mpool antar bruken и , men bare tradisjonelle SSD-er støttes for øyeblikket.
Ytelsestesting med en pakke (Yahoo Cloud Serving Benchmark) viste betydelige ytelsesgevinster ved bruk av 2TB lagring med 1KB blokkbehandling. En spesielt betydelig økning i ytelse observeres i testen med en jevn fordeling av lese- og skriveoperasjoner (test "A" på grafen).
MongoDB med HMS-motor viste seg for eksempel å være omtrent 8 ganger raskere enn versjonen med standard WiredTiger-motor, og HMS-motoren overtok RocksDB DBMS med mer enn 6 ganger. Utmerket ytelse sees også i tester som involverer 95 % av avlesningene og 5 % av endringer eller tillegg (testene "B" og "D" i grafene). "C"-testen, som kun antar leseoperasjoner, viser en gevinst på ca. 40 %. Økningen i overlevelsesevnen til SSD-stasjoner under skriveoperasjoner sammenlignet med løsningen basert på RocksDB er estimert til 7 ganger.
Hovedtrekk ved HMS:
- Støtte for generiske og utvidede operatører for håndtering av data i nøkkel/verdi-format;
- Full støtte for transaksjoner og med muligheten til å isolere lagringsstykker gjennom å lage øyeblikksbilder (øyeblikksbilder kan også brukes til å opprettholde uavhengige samlinger i ett lager);
- Evne til å bruke markører til å krysse data i øyeblikksbildebaserte visninger;
- Datamodell optimalisert for blandede lasttyper i ett lager;
- Fleksible styringsmekanismer for lagringspålitelighet;
- Tilpassbare dataorkestreringsskjemaer (distribusjon på tvers av forskjellige typer minne som finnes i lagringen);
- Et bibliotek med en C API som dynamisk kan koble til en hvilken som helst applikasjon;
- Evne til å skalere opp til terabyte med data og hundrevis av milliarder av nøkler i lagring;
- Effektiv behandling av tusenvis av parallelle operasjoner;
- Betydelig økning i gjennomstrømming, lavere latens og økt skriv/lesing for ulike typer belastning sammenlignet med typiske alternative løsninger;
- Muligheten til å bruke forskjellige SSD-klasser i samme lagring for å optimalisere ytelse og holdbarhet.
Kilde: opennet.ru