Mikroni avatud lähtekoodiga HSE-salvestusmootor, mis on optimeeritud SSD jaoks

Micron Technology, DRAM-i ja välkmäluettevõte, esitatakse uus salvestusmootor HSE (heterogeense mäluga salvestusmootor), mis on loodud NAND-välklambi (X100, TLC, QLC 3D NAND) või püsimälu (NVDIMM) baasil SSD-draivide kasutamise eripärasid arvestades. Mootor on loodud raamatukoguna teistesse rakendustesse manustamiseks ja toetab andmete töötlemist võtmeväärtuse vormingus. HSE kood on kirjutatud C ja jaotatud litsentsitud Apache 2.0 alusel.

Mootori rakendusvaldkondadest mainitakse madala taseme andmesalvestust NoSQL DBMS-is, tarkvarasalvestusi (SDS, Software-Defined Storage) nagu Ceph ja Scality RING, platvorme suurte andmemahtude töötlemiseks (Big Data) , kõrgjõudlusega andmetöötlussüsteemid (HPC), asjade Interneti-seadmed (IoT) ja masinõppesüsteemide lahendused.

HSE on optimeeritud mitte ainult maksimaalse jõudluse, vaid ka pikaealisuse tagamiseks erinevates SSD klassides. Kõrge töökiirus saavutatakse hübriidsalvestusmudeli abil – kõige olulisemad andmed salvestatakse RAM-i vahemällu, mis vähendab draivi juurdepääsude arvu. Näitena uue mootori integreerimisest kolmandate osapoolte projektidesse ette valmistatud dokumendile orienteeritud DBMS-i MongoDB versioon, mis on tõlgitud kasutama HSE-d.

Tehnoloogiliselt tugineb HSE täiendavale tuumamoodulile mpool, mis rakendab tahkisketaste jaoks spetsiaalset objektide salvestusliidest, võttes arvesse nende võimalusi ja funktsioone, mis võimaldab teil saada põhimõtteliselt erinevad jõudlus- ja vastupidavusnäitajad. Mpool on ka Micron Technology arendus, mis on avatud HSE-ga samal ajal, kuid on eraldatud iseseisvaks infrastruktuuriprojektiks. Mpool eeldab kasutamist püsiv mälu и tsoonilised hoidlad, kuid praegu toetab see ainult traditsioonilisi SSD-sid.

Toimivuse testimine paketi abil YCSB (Yahoo Cloud Serving Benchmark) näitas märkimisväärset jõudluse kasvu, kui kasutati 2 TB salvestusruumi koos 1 KB andmeplokkide töötlemisega. Eriti olulist jõudluse kasvu täheldatakse lugemis- ja kirjutamisoperatsioonide ühtlase jaotusega testis (graafikul test “A”).

Näiteks osutus HSE mootoriga MongoDB umbes 8 korda kiiremaks kui tavalise WiredTiger mootoriga versioon ja RocksDB DBMS oli HSE mootorist enam kui 6 korda kiirem. Suurepärane jõudlus on nähtav ka testides, mis hõlmavad 95% lugemistoiminguid ja 5% muutmise või lisamise toiminguid (graafikute testid "B" ja "D". Test C, mis hõlmab ainult lugemisoperatsioone, näitab umbes 40% võimendust. SSD-draivide vastupidavuse suurenemine kirjutamisoperatsioonide ajal võrreldes RocksDB-l põhineva lahendusega on hinnanguliselt 7 korda.

HSE peamised omadused:

• Standardsete ja laiendatud operaatorite tugi andmete töötlemiseks võtme/väärtuse vormingus;
• Tehingute täielik tugi ja võimalus salvestuslõike eraldada hetktõmmiste loomise kaudu (hetktõmmiseid saab kasutada ka sõltumatute kogude säilitamiseks ühes salvestusruumis);
• Võimalus kasutada kursoreid andmete läbimiseks hetktõmmisepõhistes vaadetes;
• Andmemudel, mis on optimeeritud kombineeritud laadimistüüpide jaoks ühes salvestusruumis;
• Paindlikud mehhanismid salvestuskindluse juhtimiseks;
• Kohandatavad andmete orkestreerimisskeemid (jaotus salvestusruumis olevate eri tüüpi mälude vahel);
• C API-ga teek, mis suudab dünaamiliselt linkida mis tahes rakendusega;
• Võimalus skaleerida terabaitidele andmemahtudele ja sadadele miljarditele võtmetele salvestusruumis;
• Tuhandete paralleelsete toimingute tõhus töötlemine;
• Märkimisväärne läbilaskevõime suurenemine, latentsuse vähenemine ja suurenenud kirjutamis-/lugemisjõudlus erinevat tüüpi töökoormuse korral võrreldes standardsete alternatiivsete lahendustega;
• Võimalus kasutada eri klasside SSD-draive ühes salvestusruumis, et optimeerida jõudlust ja vastupidavust.

Allikas: opennet.ru