Micron Technology, una cumpagnia di DRAM è memoria flash, novu mutore di almacenamiento (Motore di Storage Heterogeneous-memory), cuncepitu tenendu in contu e specificità di l'usu di unità SSD basate in NAND flash (X100, TLC, QLC 3D NAND) o memoria permanente (NVDIMM). U mutore hè cuncepitu cum'è una biblioteca per l'incrustazione in altre applicazioni è supporta l'elaborazione di dati in formatu chjave-valore. U codice HSE hè scrittu in C è licenziatu sottu Apache 2.0.
Trà l'area di applicazione di u mutore, ci hè una menzione di l'almacenamiento di dati di bassu livellu in NoSQL DBMS, magazzini di software (SDS, Software-Defined Storage) cum'è Ceph è Scality RING, piattaforme per trasfurmà grandi quantità di dati (Big Data) , sistemi di computing high-performance (HPC), dispusitivi Internet di e cose (IoT) è suluzioni per i sistemi di apprendimentu machine.
HSE hè ottimizatu micca solu per u massimu rendimentu, ma ancu per a longevità in una varietà di classi SSD. L'alta velocità operativa hè ottenuta per mezu di un mudellu di almacenamentu hibridu - i dati più pertinenti sò in cache in RAM, chì reduce u numeru di accessi à l'unità. Cum'è un esempiu di integrazione di un novu mutore in prughjetti di terzu una versione di u DBMS MongoDB orientatu à documentu, traduttu per aduprà HSE.
Tecnologicamente, HSE si basa in un modulu di kernel supplementu , chì implementa una interfaccia d'almacenamiento d'ughjettu specializata per unità di u statu solidu, tenendu in contu e so capacità è e caratteristiche, chì vi permette di ottene caratteristiche di prestazione è durabilità fundamentale differenti. Mpool hè ancu un sviluppu di Micron Technology, apertu à u stessu tempu cum'è HSE, ma separatu in un prughjettu di infrastruttura indipendente. Mpool assume l'usu и , ma attualmente supporta solu SSD tradiziunali.
Test di rendiment cù u pacchettu (Yahoo Cloud Serving Benchmark) hà dimustratu un aumentu significativu di u rendiment quandu si usa l'almacenamiento di 2 TB cù l'elaborazione di blocchi di dati 1 KB. Un aumentu di rendiment particularmente significativu hè osservatu in a prova cù una distribuzione uniforme di operazioni di lettura è scrittura (test "A" in u graficu).
Per esempiu, MongoDB cù u mutore HSE hè statu circa 8 volte più veloce di a versione cù u mutore WiredTiger standard, è u RocksDB DBMS era più veloce di u mutore HSE da più di 6 volte. Eccellente prestazione hè ancu visibile in i testi chì implicanu 95% di operazioni di lettura è 5% di mudificà o appiccicà operazioni (testi "B" è "D" in i grafici). A prova C, chì implica solu operazioni di lettura, mostra un guadagnu di circa 40%. L'aumentu di a sopravvivenza di i dischi SSD durante l'operazione di scrittura paragunatu à una suluzione basata nantu à RocksDB hè stimatu à 7 volte.
Caratteristiche principali di HSE:
- Supportu per l'operatori generici è estesi per a gestione di dati in formatu chjave / valore;
- Supportu cumpletu per e transazzione è cù a capacità di isolà fette di almacenamento attraversu a creazione di snapshots (i snapshots ponu ancu esse aduprati per mantene e cullezzione indipendenti in un almacenamentu);
- Capacità di utilizà i cursori per traversà e dati in viste basate in snapshot;
- Mudellu di dati ottimizatu per tippi di carica misti in un unicu almacenamentu;
- Meccanismi flessibili di gestione di l'affidabilità di u almacenamentu;
- Schemi di orchestrazione di dati persunalizabili (distribuzione in diversi tipi di memoria presenti in u almacenamentu);
- Una biblioteca cù una API C chì pò ligà dinamicamente à qualsiasi applicazione;
- Capacità di scala à terabyte di dati è centinaie di miliardi di chjave in u almacenamentu;
- Trattamentu efficace di millaie di operazioni parallele;
- Aumentu significativu di u throughput, riduzzione di latenza è aumentu di u rendiment di scrittura / lettura per diversi tipi di carichi di travagliu cumparatu cù soluzioni alternative standard;
- A capacità di utilizà unità SSD di diverse classi in un almacenamentu per ottimisà u rendiment è a durabilità.
Source: opennet.ru