Micron open source HSE-lagringsmotor optimeret til SSD

Micron Technology, et DRAM- og flashhukommelsesfirma, fremlagde ny lagermotor HSE (Heterogen-memory Storage Engine), designet under hensyntagen til de særlige forhold ved brug på SSD-drev baseret på NAND-flash (X100, TLC, QLC 3D NAND) eller permanent hukommelse (NVDIMM). Motoren er designet som et bibliotek til indlejring i andre applikationer og understøtter behandling af data i nøgleværdi-format. HSE-koden er skrevet i C og distribueret af licenseret under Apache 2.0.

Blandt motorens anvendelsesområder nævnes datalagring på lavt niveau i NoSQL DBMS, softwarelagring (SDS, Software-Defined Storage) såsom Ceph og Scality RING, platforme til behandling af store mængder data (Big Data) , højtydende computersystemer (HPC), Internet devices of things (IoT) og løsninger til maskinlæringssystemer.

HSE er ikke kun optimeret til maksimal ydeevne, men også til lang levetid på tværs af en række SSD-klasser. Høj driftshastighed opnås gennem en hybrid lagringsmodel - de mest relevante data cachelagres i RAM, hvilket reducerer antallet af adgange til drevet. Som et eksempel på at integrere en ny motor i tredjepartsprojekter forberedt en version af det dokumentorienterede DBMS MongoDB, oversat til at bruge HSE.

Teknologisk er HSE afhængig af et ekstra kernemodul mpool, som implementerer en specialiseret objektlagringsgrænseflade til solid-state-drev, under hensyntagen til deres muligheder og funktioner, som giver dig mulighed for at opnå fundamentalt forskellige ydelses- og holdbarhedsegenskaber. Mpool er også en udvikling af Micron Technology, åben samtidig med HSE, men opdelt i et selvstændigt infrastrukturprojekt. Mpool påtager sig brugen vedvarende hukommelse и zoneopbevaringsfaciliteter, men understøtter i øjeblikket kun traditionelle SSD'er.

Ydelsestest ved hjælp af pakken YCSB (Yahoo Cloud Serving Benchmark) viste en betydelig stigning i ydeevnen ved brug af 2 TB lager med behandling af 1 KB datablokke. En særlig markant præstationsforøgelse observeres i testen med en ensartet fordeling af læse- og skriveoperationer (test "A" i grafen).

For eksempel viste MongoDB med HSE-motoren sig at være omkring 8 gange hurtigere end versionen med standard WiredTiger-motoren, og RocksDB DBMS var mere end 6 gange hurtigere end HSE-motoren. Fremragende ydeevne er også synlig i test, der involverer 95 % læseoperationer og 5 % ændrings- eller tilføjelsesoperationer (test "B" og "D" i graferne). Test C, som kun involverer læseoperationer, viser en gevinst på ca. 40 %. Stigningen i overlevelsesevnen for SSD-drev under skriveoperationer sammenlignet med en løsning baseret på RocksDB er estimeret til at være 7 gange.

Nøgletræk ved HSE:

• Understøttelse af standard- og udvidede operatører til behandling af data i nøgle/værdi-format;
• Fuld understøttelse af transaktioner og med evnen til at isolere lagerudsnit gennem oprettelse af snapshots (snapshots kan også bruges til at opretholde uafhængige samlinger i ét lager);
• Evne til at bruge markører til at krydse data i snapshot-baserede visninger;
• Datamodel optimeret til blandede belastningstyper i et enkelt lager;
• Fleksible mekanismer til styring af lagerpålidelighed;
• Brugerdefinerbare dataorkestreringsordninger (fordeling på tværs af forskellige typer hukommelse, der findes i lageret);
• Et bibliotek med en C API, der dynamisk kan linke til enhver applikation;
• Evne til at skalere til terabyte af data og hundredvis af milliarder af nøgler på lager;
• Effektiv behandling af tusindvis af parallelle operationer;
• Betydelig stigning i gennemløb, reduceret latens og øget skrive-/læseydelse for forskellige typer arbejdsbyrde sammenlignet med alternative standardløsninger;
• Evnen til at bruge SSD-drev af forskellige klasser i ét lager for at optimere ydeevne og holdbarhed.

Kilde: opennet.ru