Mikronų atvirojo kodo HSE saugojimo variklis, optimizuotas SSD

„Micron Technology“, DRAM ir „flash“ atminties įmonė, pateiktas naujas saugojimo variklis HSE (Heterogeneous-memory Storage Engine), sukurta atsižvelgiant į naudojimo specifiką SSD diskuose, pagrįstuose NAND blykste (X100, TLC, QLC 3D NAND) arba nuolatine atmintimi (NVDIMM). Variklis sukurtas kaip biblioteka, skirta įterpti į kitas programas, ir palaiko duomenų apdorojimą rakto vertės formatu. HSE kodas parašytas C ir išplatino licencijuota pagal Apache 2.0.

Tarp variklio taikymo sričių minimos žemo lygio duomenų saugojimas NoSQL DBVS, programinės įrangos saugyklos (SDS, Software-Defined Storage), tokios kaip Ceph ir Scality RING, platformos, skirtos apdoroti didelius duomenų kiekius (Big Data). , didelio našumo skaičiavimo sistemos (HPC), daiktų interneto įrenginiai (IoT) ir mašininio mokymosi sistemų sprendimai.

HSE optimizuotas ne tik maksimaliam našumui, bet ir ilgaamžiškumui įvairiose SSD klasėse. Didelis veikimo greitis pasiekiamas naudojant hibridinį saugojimo modelį – aktualiausi duomenys talpinami RAM, o tai sumažina prieigų prie disko skaičių. Kaip naujo variklio integravimo į trečiųjų šalių projektus pavyzdys paruošta į dokumentus orientuotos DBVS MongoDB versija, išversta naudoti HSE.

Technologiškai HSE remiasi papildomu branduolio moduliu mpool, kurioje įdiegta specializuota kietojo kūno diskų objektų saugojimo sąsaja, atsižvelgiant į jų galimybes ir savybes, leidžianti gauti iš esmės skirtingas veikimo ir ilgaamžiškumo charakteristikas. „Mpool“ taip pat yra „Micron Technology“ plėtra, atidaryta tuo pačiu metu kaip ir HSE, tačiau atskirta į nepriklausomą infrastruktūros projektą. Mpool prisiima naudojimą nuolatinė atmintis и zoninės saugyklos, tačiau šiuo metu palaiko tik tradicinius SSD.

Veikimo testavimas naudojant paketą YCSB („Yahoo Cloud Serving Benchmark“) parodė reikšmingą našumo padidėjimą naudojant 2 TB saugyklą ir apdorojant 1 KB duomenų blokus. Ypač reikšmingas našumo padidėjimas stebimas teste, kai skaitymo ir rašymo operacijos pasiskirsto tolygiai (grafike „A“ testas).

Pavyzdžiui, MongoDB su HSE varikliu pasirodė esąs maždaug 8 kartus greitesnis nei versija su standartiniu „WiredTiger“ varikliu, o „RocksDB DBMS“ buvo greitesnis už HSE variklį daugiau nei 6 kartus. Puikus našumas taip pat matomas atliekant testus, kuriuose 95% nuskaitymo operacijų ir 5% modifikavimo ar pridėjimo operacijų (testai „B“ ir „D“ diagramose). C testas, apimantis tik skaitymo operacijas, rodo maždaug 40 % padidėjimą. Apskaičiuota, kad SSD diskų patvarumas padidės rašymo operacijų metu, palyginti su RocksDB pagrindu sukurtu sprendimu, 7 kartus.

Pagrindinės HSE savybės:

• Standartinių ir išplėstinių operatorių palaikymas duomenų apdorojimui rakto/vertės formatu;
• Visiškas operacijų palaikymas ir galimybė atskirti saugyklos dalis kuriant momentines nuotraukas (momentinės nuotraukos taip pat gali būti naudojamos nepriklausomoms kolekcijoms išlaikyti vienoje saugykloje);
• Galimybė naudoti žymeklius duomenims peržiūrėti momentiniais vaizdais pagrįstuose rodiniuose;
• Duomenų modelis, optimizuotas mišriems apkrovų tipams vienoje saugykloje;
• Lankstūs saugojimo patikimumo valdymo mechanizmai;
• Pritaikomos duomenų orkestravimo schemos (paskirstymas įvairių tipų atmintyje esančiame saugykloje);
• Biblioteka su C API, kuri gali dinamiškai susieti su bet kuria programa;
• Galimybė padidinti iki terabaitų duomenų ir šimtus milijardų raktų saugykloje;
• Efektyvus tūkstančių lygiagrečių operacijų apdorojimas;
• Žymus pralaidumo padidėjimas, sumažėjęs delsos laikas ir didesnis rašymo / skaitymo našumas esant įvairaus tipo darbo krūviams, palyginti su standartiniais alternatyviais sprendimais;
• Galimybė naudoti skirtingų klasių SSD diskus vienoje saugykloje, siekiant optimizuoti našumą ir ilgaamžiškumą.

Šaltinis: opennet.ru