Micron Technology, una empresa de memòria flash i DRAM, nou motor d'emmagatzematge (Heterogeneous-memory Storage Engine), dissenyat tenint en compte les especificitats d'ús de les unitats SSD basades en flash NAND (X100, TLC, QLC 3D NAND) o memòria permanent (NVDIMM). El motor està dissenyat com una biblioteca per incrustar-se en altres aplicacions i admet el processament de dades en format clau-valor. El codi HSE està escrit en C i amb llicència d'Apache 2.0.
Entre les àrees d'aplicació del motor, s'esmenten l'emmagatzematge de dades de baix nivell en DBMS NoSQL, emmagatzematges de programari (SDS, Software-Defined Storage) com Ceph i Scality RING, plataformes per processar grans quantitats de dades (Big Data) , sistemes informàtics d'alt rendiment (HPC), dispositius d'Internet de les coses (IoT) i solucions per a sistemes d'aprenentatge automàtic.
HSE està optimitzat no només per obtenir el màxim rendiment, sinó també per a la longevitat en una varietat de classes de SSD. S'aconsegueix una alta velocitat de funcionament mitjançant un model d'emmagatzematge híbrid: les dades més rellevants s'emmagatzemen en memòria cau a la memòria RAM, la qual cosa redueix el nombre d'accessos a la unitat. Com a exemple d'integració d'un nou motor en projectes de tercers una versió del DBMS MongoDB orientat a documents, traduït per utilitzar HSE.
Tecnològicament, HSE es basa en un mòdul del nucli addicional , que implementa una interfície d'emmagatzematge d'objectes especialitzada per a unitats d'estat sòlid, tenint en compte les seves capacitats i característiques, que permet obtenir característiques de rendiment i durabilitat fonamentalment diferents. Mpool també és un desenvolupament de Micron Technology, obert al mateix temps que HSE, però separat en un projecte d'infraestructura independent. Mpool assumeix l'ús и , però actualment només admet SSD tradicionals.
Proves de rendiment amb el paquet (Yahoo Cloud Serving Benchmark) va mostrar un augment significatiu del rendiment quan s'utilitzava emmagatzematge de 2 TB amb el processament de blocs de dades d'1 KB. S'observa un augment de rendiment especialment significatiu a la prova amb una distribució uniforme de les operacions de lectura i escriptura (prova “A” al gràfic).
Per exemple, MongoDB amb el motor HSE va resultar ser unes 8 vegades més ràpid que la versió amb el motor WiredTiger estàndard, i el DBMS RocksDB va ser més de 6 vegades més ràpid que el motor HSE. Un rendiment excel·lent també és visible a les proves que impliquen un 95% d'operacions de lectura i un 5% d'operacions de modificació o adjunta (proves "B" i "D" als gràfics). La prova C, que només implica operacions de lectura, mostra un guany d'aproximadament el 40%. S'estima que l'augment de la supervivència de les unitats SSD durant les operacions d'escriptura en comparació amb una solució basada en RocksDB és 7 vegades.
Característiques clau d'HSE:
- Suport per a operadors estàndard i ampliats per processar dades en format clau/valor;
- Compatibilitat total per a transaccions i amb la capacitat d'aïllar les parts d'emmagatzematge mitjançant la creació d'instantànies (les instantànies també es poden utilitzar per mantenir col·leccions independents en un emmagatzematge);
- Capacitat d'utilitzar cursors per recórrer dades en vistes basades en instantànies;
- Model de dades optimitzat per a tipus de càrrega mixta en un únic emmagatzematge;
- Mecanismes flexibles per gestionar la fiabilitat de l'emmagatzematge;
- Esquemes d'orquestració de dades personalitzables (distribució entre diferents tipus de memòria presents a l'emmagatzematge);
- Una biblioteca amb una API C que pot enllaçar dinàmicament a qualsevol aplicació;
- Capacitat d'escalar a terabytes de dades i centenars de milers de milions de claus a l'emmagatzematge;
- Processament eficient de milers d'operacions paral·leles;
- Augment significatiu del rendiment, latència reduïda i augment del rendiment d'escriptura/lectura per a diversos tipus de càrrega de treball en comparació amb solucions alternatives estàndard;
- La capacitat d'utilitzar unitats SSD de diferents classes en un emmagatzematge per optimitzar el rendiment i la durabilitat.
Font: opennet.ru