Micron open source HSE storage engine optimalizovaný pro SSD

Micron Technology, společnost zabývající se DRAM a flash paměti, prezentovány nový úložný engine HSE (Heterogeneous-memory Storage Engine), navržený s ohledem na specifika použití na SSD discích založených na NAND flash (X100, TLC, QLC 3D NAND) nebo permanentní paměti (NVDIMM). Engine je navržen jako knihovna pro vložení do jiných aplikací a podporuje zpracování dat ve formátu klíč-hodnota. HSE kód je napsán v C a distribuovány licencováno pod Apache 2.0.

Z oblastí použití enginu je zmíněno nízkoúrovňové ukládání dat v NoSQL DBMS, softwarová úložiště (SDS, Software-Defined Storage) jako Ceph a Scality RING, platformy pro zpracování velkého množství dat (Big Data) , vysoce výkonné výpočetní systémy (HPC), internetová zařízení věcí (IoT) a řešení pro systémy strojového učení.

HSE je optimalizováno nejen pro maximální výkon, ale také pro dlouhou životnost napříč různými třídami SSD. Vysoké provozní rychlosti je dosaženo díky hybridnímu modelu úložiště – nejrelevantnější data se ukládají do mezipaměti RAM, což snižuje počet přístupů k disku. Jako příklad integrace nového enginu do projektů třetích stran připravený verze dokumentově orientovaného DBMS MongoDB, přeložená pro použití HSE.

Technologicky se HSE spoléhá na další modul jádra mpool, která implementuje specializované rozhraní pro ukládání objektů pro disky SSD s přihlédnutím k jejich možnostem a vlastnostem, což umožňuje získat zásadně odlišné charakteristiky výkonu a odolnosti. Mpool je také vývojem Micron Technology, otevřený současně s HSE, ale rozdělený do nezávislého infrastrukturního projektu. Mpool předpokládá použití trvalá paměť и zónová skladovací zařízení, ale v současné době podporuje pouze tradiční SSD.

Testování výkonu pomocí balíčku YCSB (Yahoo Cloud Serving Benchmark) vykázal výrazný nárůst výkonu při použití 2 TB úložiště se zpracováním 1 KB datových bloků. Zvláště významný nárůst výkonu je pozorován v testu s rovnoměrným rozložením operací čtení a zápisu (test „A“ v grafu).

Například MongoDB s motorem HSE se ukázal být asi 8krát rychlejší než verze se standardním motorem WiredTiger a RocksDB DBMS byl rychlejší než motor HSE více než 6krát. Vynikající výkon je viditelný také v testech, které zahrnují 95 % operací čtení a 5 % operací úprav nebo připojení (testy „B“ a „D“ v grafech). Test C, který zahrnuje pouze operace čtení, ukazuje zisk přibližně 40 %. Odhaduje se, že zvýšení odolnosti SSD disků během operací zápisu ve srovnání s řešením založeným na RocksDB je 7násobné.

Klíčové vlastnosti HSE:

• Podpora standardních a rozšířených operátorů pro zpracování dat ve formátu klíč/hodnota;
• Plná podpora transakcí a se schopností izolovat části úložiště prostřednictvím vytváření snímků (snímky lze také použít k udržování nezávislých kolekcí v jednom úložišti);
• Schopnost používat kurzory k procházení dat v pohledech založených na snímcích;
• Datový model optimalizovaný pro smíšené typy zatížení v jednom úložišti;
• Flexibilní mechanismy pro správu spolehlivosti úložiště;
• Přizpůsobitelná schémata orchestrace dat (distribuce napříč různými typy paměti přítomné v úložišti);
• Knihovna s C API, která se může dynamicky propojovat s libovolnou aplikací;
• Schopnost škálovat na terabajty dat a stovky miliard klíčů v úložišti;
• Efektivní zpracování tisíců paralelních operací;
• Výrazné zvýšení propustnosti, snížená latence a zvýšený výkon zápisu/čtení pro různé typy zátěže ve srovnání se standardními alternativními řešeními;
• Možnost používat SSD disky různých tříd v jednom úložišti pro optimalizaci výkonu a odolnosti.

Zdroj: opennet.ru