Micron Technology, ett DRAM- och flashminnesföretag, ny lagringsmotor (Heterogen-minne Storage Engine), utformad med hänsyn till specifikationerna för användning på SSD-enheter baserade på NAND-flash (X100, TLC, QLC 3D NAND) eller permanent minne (NVDIMM). Motorn är designad som ett bibliotek för inbäddning i andra applikationer och stöder bearbetning av data i nyckel-värde-format. HSE-koden är skriven i C och licensierad under Apache 2.0.
Bland tillämpningsområdena för motorn nämns lågnivådatalagring i NoSQL DBMS, mjukvarulagringar (SDS, Software-Defined Storage) såsom Ceph och Scality RING, plattformar för bearbetning av stora datamängder (Big Data) , högpresterande datorsystem (HPC), Internet devices of things (IoT) och lösningar för maskininlärningssystem.
HSE är optimerad inte bara för maximal prestanda, utan också för lång livslängd över en mängd olika SSD-klasser. Hög driftshastighet uppnås genom en hybridlagringsmodell - den mest relevanta datan cachelagras i RAM, vilket minskar antalet åtkomster till enheten. Som ett exempel på att integrera en ny motor i tredjepartsprojekt en version av det dokumentorienterade DBMS MongoDB, översatt till att använda HSE.
Tekniskt sett är HSE beroende av en extra kärnmodul , som implementerar ett specialiserat objektlagringsgränssnitt för solid-state-enheter, med hänsyn till deras kapacitet och funktioner, vilket gör att du kan få fundamentalt olika prestanda- och hållbarhetsegenskaper. Mpool är också en utveckling av Micron Technology, öppen samtidigt med HSE, men uppdelad i ett oberoende infrastrukturprojekt. Mpool antar användningen и , men stöder för närvarande bara traditionella SSD-enheter.
Prestandatestning med paketet (Yahoo Cloud Serving Benchmark) visade en signifikant ökning i prestanda när man använde 2 TB lagring med bearbetning av 1 KB datablock. En särskilt signifikant prestandaökning observeras i testet med en enhetlig fördelning av läs- och skrivoperationer (test "A" i grafen).
Till exempel visade sig MongoDB med HSE-motorn vara cirka 8 gånger snabbare än versionen med standard WiredTiger-motorn, och RocksDB DBMS var snabbare än HSE-motorn med mer än 6 gånger. Utmärkt prestanda är också synligt i tester som involverar 95 % läsoperationer och 5 % modifierings- eller tilläggsoperationer (test "B" och "D" i graferna). Test C, som endast innefattar läsoperationer, visar en vinst på cirka 40 %. Ökningen i överlevnadsförmåga för SSD-enheter under skrivoperationer jämfört med en lösning baserad på RocksDB uppskattas till 7 gånger.
Viktiga egenskaper hos HSE:
- Stöd för standard- och utökade operatörer för bearbetning av data i nyckel-/värdeformat;
- Fullständigt stöd för transaktioner och med möjligheten att isolera lagringsskivor genom att skapa ögonblicksbilder (ögonblicksbilder kan också användas för att upprätthålla oberoende samlingar i en lagring);
- Möjlighet att använda markörer för att gå igenom data i ögonblicksbildsbaserade vyer;
- Datamodell optimerad för blandade belastningstyper i en enda lagring;
- Flexibla mekanismer för att hantera lagringssäkerhet;
- Anpassningsbara dataorkestreringsscheman (fördelning över olika typer av minne som finns i lagringen);
- Ett bibliotek med ett C API som dynamiskt kan länka till vilken applikation som helst;
- Möjlighet att skala till terabyte data och hundratals miljarder nycklar i lagring;
- Effektiv bearbetning av tusentals parallella operationer;
- Betydande ökning av genomströmning, minskad latens och ökad skriv-/läsprestanda för olika typer av arbetsbelastning jämfört med alternativa standardlösningar;
- Möjligheten att använda SSD-enheter av olika klasser i en lagring för att optimera prestanda och hållbarhet.
Källa: opennet.ru