Micron Technology, azienda specializzata nella produzione di DRAM e memorie flash, nuovo motore di archiviazione (Heterogeneous-memory Storage Engine), progettato per l'utilizzo su SSD basati su flash NAND (X100, TLC, QLC 3D NAND) o memoria permanente (NVDIMM). Il motore è realizzato sotto forma di libreria da incorporare in altre applicazioni e supporta l'elaborazione dei dati nel formato chiave-valore. Il codice HSE è scritto in linguaggio C e concesso in licenza con Apache 2.0.
Tra gli ambiti di applicazione del motore, viene utilizzato per l'archiviazione di dati di basso livello in DBMS NoSQL, archivi software (SDS, Software-Defined Storage) come Ceph e Scality RING, piattaforme per l'elaborazione di grandi quantità di dati (Big Data) , calcolo ad alte prestazioni (HPC), dispositivi Internet delle cose (IoT) e soluzioni per sistemi di machine learning.
L'HSE è ottimizzato non solo per le massime prestazioni, ma anche per la longevità tra diverse classi di SSD. L'alta velocità si ottiene attraverso un modello di archiviazione ibrido: i dati più aggiornati vengono memorizzati nella cache della RAM, riducendo così il numero di accessi all'unità. Come esempio di integrazione di un nuovo motore in progetti di terze parti una variante del DBMS orientato ai documenti MongoDB, tradotto per utilizzare HSE.
Tecnologicamente, HSE si basa su un modulo kernel aggiuntivo , che implementa un'interfaccia specializzata per l'archiviazione di oggetti per unità a stato solido, tenendo conto delle loro capacità e caratteristiche, che consente di ottenere caratteristiche di prestazioni e durata fondamentalmente diverse. Mpool è anche uno sviluppo di Micron Technology, aperto contemporaneamente a HSE, ma separato in un progetto infrastrutturale indipendente. Mpool ne assume l'uso и , ma attualmente sono supportati solo gli SSD tradizionali.
Test delle prestazioni con un pacchetto (Yahoo Cloud Serving Benchmark) ha mostrato miglioramenti significativi delle prestazioni quando si utilizza uno spazio di archiviazione di 2 TB con elaborazione di blocchi da 1 KB. Un aumento particolarmente significativo delle prestazioni si osserva nel test con una distribuzione uniforme delle operazioni di lettura e scrittura (test "A" nel grafico).
Ad esempio, MongoDB con il motore HSE si è rivelato circa 8 volte più veloce della versione con il motore WiredTiger standard e il motore HSE ha superato il DBMS RocksDB di oltre 6 volte. Ottime prestazioni si riscontrano anche nei test che coinvolgono il 95% di letture e il 5% di modifiche o aggiunte (test “B” e “D” nei grafici). Il test "C", che presuppone solo operazioni di lettura, mostra un guadagno di circa il 40%. L'aumento della sopravvivenza delle unità SSD durante le operazioni di scrittura rispetto alla soluzione basata su RocksDB è stimato in 7 volte.
Caratteristiche principali dell’HSE:
- Supporto per operatori generici ed estesi per la gestione dei dati in formato chiave/valore;
- Pieno supporto per le transazioni e con la possibilità di isolare le porzioni di storage attraverso la creazione di snapshot (le snapshot possono essere utilizzate anche per mantenere raccolte indipendenti in un unico storage);
- Possibilità di utilizzare i cursori per attraversare i dati in visualizzazioni basate su istantanee;
- Modello dati ottimizzato per tipi di carico misti in un unico storage;
- Meccanismi flessibili di gestione dell'affidabilità dello storage;
- Schemi di orchestrazione dei dati personalizzabili (distribuzione tra diversi tipi di memoria presenti nello storage);
- Una libreria con un'API C che può collegarsi dinamicamente a qualsiasi applicazione;
- Capacità di scalare fino a terabyte di dati e centinaia di miliardi di chiavi nello storage;
- Elaborazione efficiente di migliaia di operazioni parallele;
- Aumento significativo del throughput, minore latenza e aumento di scrittura/lettura per vari tipi di carico rispetto alle tipiche soluzioni alternative;
- La possibilità di utilizzare diverse classi SSD nello stesso spazio di archiviazione per ottimizzare prestazioni e durata.
Fonte: opennet.ru