A Micron Technology egy DRAM és flash memória cég, új tároló motor (Heterogeneous-memory Storage Engine), amelyet a NAND flash (X100, TLC, QLC 3D NAND) vagy állandó memória (NVDIMM) alapú SSD-meghajtók használatának sajátosságainak figyelembevételével terveztek. A motort más alkalmazásokba való beágyazáshoz könyvtárnak tervezték, és támogatja az adatok kulcsérték formátumú feldolgozását. A HSE kód C és betűkkel van írva Apache 2.0 licenc alatt.
A motor alkalmazási területei közül megemlítik az alacsony szintű adattárolást a NoSQL DBMS-ben, a szoftvertárolókat (SDS, Software-Defined Storage), mint a Ceph és a Scality RING, a nagy mennyiségű adat feldolgozására szolgáló platformokat (Big Data) , nagy teljesítményű számítástechnikai rendszerek (HPC), dolgok internetes eszközei (IoT) és megoldások gépi tanulási rendszerekhez.
A HSE-t nemcsak a maximális teljesítményre, hanem a hosszú élettartamra is optimalizálták a különböző SSD-osztályokon. A nagy működési sebességet egy hibrid tárolómodell éri el – a legfontosabb adatok a RAM-ban vannak gyorsítótárazva, ami csökkenti a meghajtóhoz való hozzáférések számát. Példaként egy új motor harmadik féltől származó projektekbe való integrálására a dokumentum-orientált DBMS MongoDB változata, HSE-re lefordítva.
Technológiailag a HSE egy további kernelmodulra támaszkodik , amely a szilárdtestalapú meghajtókhoz speciális objektumtároló interfészt valósít meg, figyelembe véve azok képességeit és jellemzőit, amely lehetővé teszi, hogy alapvetően eltérő teljesítmény- és tartóssági jellemzőket érjünk el. Az Mpool a Micron Technology fejlesztése is, amely a HSE-vel egy időben nyitott, de egy független infrastrukturális projektre tagolódik. Az Mpool vállalja a használatot и , de jelenleg csak a hagyományos SSD-ket támogatja.
Teljesítményteszt a csomag segítségével (Yahoo Cloud Serving Benchmark) jelentős teljesítménynövekedést mutatott, ha 2 TB-os tárhelyet használtak 1 KB-os adatblokkok feldolgozásával. Különösen jelentős teljesítménynövekedés figyelhető meg az olvasási és írási műveletek egyenletes eloszlásával járó tesztben (a grafikonon „A” teszt).
Például a HSE motorral ellátott MongoDB körülbelül 8-szor gyorsabbnak bizonyult, mint a szabványos WiredTiger motorral ellátott verzió, és a RocksDB DBMS több mint 6-szor gyorsabb volt, mint a HSE motor. A kiváló teljesítmény azoknál a teszteknél is látható, amelyek 95%-ban olvasási, 5%-ban módosító vagy hozzáfűző műveleteket foglalnak magukban (a grafikonokon „B” és „D” teszt). A C teszt, amely csak olvasási műveleteket tartalmaz, körülbelül 40%-os nyereséget mutat. Becslések szerint hétszeresére nőtt az SSD-meghajtók túlélése írási műveletek során a RocksDB-n alapuló megoldáshoz képest.
A HSE főbb jellemzői:
- Szabványos és kiterjesztett operátorok támogatása kulcs/érték formátumú adatok feldolgozásához;
- A tranzakciók teljes körű támogatása és a tárolási szeletek elkülönítésének képessége pillanatképek létrehozásával (a pillanatképek független gyűjtemények egy tárolóban való fenntartására is használhatók);
- Képesség kurzorok használatára adatok bejárására pillanatfelvétel alapú nézetekben;
- Vegyes terheléstípusokhoz optimalizált adatmodell egyetlen tárolóban;
- Rugalmas mechanizmusok a tárolási megbízhatóság kezelésére;
- Testreszabható adatrendezési sémák (elosztás a tárolóban lévő különböző típusú memóriák között);
- C API-val rendelkező könyvtár, amely bármilyen alkalmazáshoz dinamikusan kapcsolódhat;
- Terabájt adatmennyiségre és több százmilliárd kulcsra skálázhatóság a tárhelyen;
- Több ezer párhuzamos művelet hatékony feldolgozása;
- Jelentős növekedés az átviteli sebességben, csökkentett késleltetés és megnövekedett írási/olvasási teljesítmény különféle típusú munkaterhelések esetén a szabványos alternatív megoldásokhoz képest;
- Különböző osztályú SSD-meghajtók egy tárolóban való használatának képessége a teljesítmény és a tartósság optimalizálása érdekében.
Forrás: opennet.ru