Micron Technology, o companie DRAM și memorie flash, noul motor de stocare (Heterogeneous-memory Storage Engine), conceput ținând cont de specificul utilizării pe unitățile SSD bazate pe flash NAND (X100, TLC, QLC 3D NAND) sau memorie permanentă (NVDIMM). Motorul este conceput ca o bibliotecă pentru încorporarea în alte aplicații și acceptă procesarea datelor în format cheie-valoare. Codul HSE este scris în C și licențiat sub Apache 2.0.
Dintre domeniile de aplicare a motorului se menționează stocarea de date la nivel scăzut în DBMS NoSQL, stocarea software (SDS, Software-Defined Storage) precum Ceph și Scality RING, platformele de procesare a cantităților mari de date (Big Data) , sisteme de calcul de înaltă performanță (HPC), dispozitive de internet (IoT) și soluții pentru sisteme de învățare automată.
HSE este optimizat nu numai pentru performanță maximă, ci și pentru longevitate într-o varietate de clase SSD. Viteza mare de operare este atinsă printr-un model de stocare hibrid - cele mai relevante date sunt stocate în cache în RAM, ceea ce reduce numărul de accesări la unitate. Ca exemplu de integrare a unui nou motor în proiecte terțe o versiune a DBMS MongoDB orientată spre documente, tradusă pentru a utiliza HSE.
Din punct de vedere tehnologic, HSE se bazează pe un modul kernel suplimentar , care implementează o interfață specializată de stocare a obiectelor pentru unitățile SSD, ținând cont de capacitățile și caracteristicile acestora, ceea ce vă permite să obțineți caracteristici de performanță și durabilitate fundamental diferite. Mpool este, de asemenea, o dezvoltare a Micron Technology, deschisă în același timp cu HSE, dar separată într-un proiect de infrastructură independent. Mpool își asumă utilizarea и , dar în prezent acceptă doar SSD-urile tradiționale.
Testarea performanței folosind pachetul (Yahoo Cloud Serving Benchmark) a arătat o creștere semnificativă a performanței atunci când se utilizează spațiu de stocare de 2 TB cu procesarea blocurilor de date de 1 KB. O creștere deosebit de semnificativă a performanței este observată în test cu o distribuție uniformă a operațiilor de citire și scriere (testul „A” în grafic).
De exemplu, MongoDB cu motorul HSE s-a dovedit a fi de aproximativ 8 ori mai rapid decât versiunea cu motorul WiredTiger standard, iar DBMS RocksDB a fost mai rapid decât motorul HSE de peste 6 ori. Performanța excelentă este vizibilă și în testele care implică 95% operații de citire și 5% operațiuni de modificare sau anexare (testele „B” și „D” în grafice). Testul C, care implică doar operații de citire, arată un câștig de aproximativ 40%. Creșterea capacității de supraviețuire a unităților SSD în timpul operațiunilor de scriere în comparație cu o soluție bazată pe RocksDB este estimată a fi de 7 ori.
Caracteristici cheie ale HSE:
- Suport pentru operatorii standard și extinși pentru prelucrarea datelor în format cheie/valoare;
- Suport complet pentru tranzacții și cu capacitatea de a izola segmentele de stocare prin crearea de instantanee (instantaneele pot fi, de asemenea, utilizate pentru a menține colecții independente într-un singur stocare);
- Abilitatea de a utiliza cursoare pentru a parcurge date în vizualizări bazate pe instantanee;
- Model de date optimizat pentru tipuri de încărcări mixte într-o singură stocare;
- Mecanisme flexibile pentru gestionarea fiabilității stocării;
- Scheme personalizabile de orchestrare a datelor (distribuție pe diferite tipuri de memorie prezente în stocare);
- O bibliotecă cu un API C care se poate conecta dinamic la orice aplicație;
- Abilitatea de a scala la terabytes de date și sute de miliarde de chei în stocare;
- Prelucrarea eficientă a mii de operații paralele;
- Creștere semnificativă a debitului, latență redusă și performanță crescută de scriere/citire pentru diferite tipuri de încărcături de lucru în comparație cu soluțiile alternative standard;
- Abilitatea de a utiliza unități SSD de diferite clase într-un singur spațiu de stocare pentru a optimiza performanța și durabilitatea.
Sursa: opennet.ru