Micron Technology, un specialista in a produzzione di DRAM è memoria flash, hà publicatu a liberazione di u mutore di almacenamiento HSE 3.0 (Heterogeneous-memory Storage Engine), cuncepitu apposta per l'utilizazione in SSD è memoria di sola lettura (NVDIMM). U mutore hè fattu in forma di una biblioteca per l'incrustazione in altre applicazioni è sustene a trasfurmazioni di dati in u formatu chjave-valore. U codice HSE hè scrittu in C è distribuitu sottu a licenza Apache 2.0.
HSE hè ottimizatu micca solu per u massimu rendimentu, ma ancu per a longevità in diverse classi di SSD. L'alta velocità hè ottenuta per mezu di un mudellu di almacenamentu hibridu - i dati più aghjurnati sò in cache in RAM, chì riduce u numeru di accessi à l'unità. U mutore pò esse usatu per l'almacenamiento di dati à livellu bassu in NoSQL DBMS, magazzini di software (SDS, Software-Defined Storage) cum'è Ceph è Scality RING, piattaforme per processà grandi quantità di dati (Big Data), computing high-performance (HPC). ), i dispositi Internet di e Cose (IoT) ) è e soluzioni per i sistemi di apprendimentu automaticu. Comu esempiu di integrazione di u mutore in prughjetti di terzu, hè stata preparata una variante di u DBMS MongoDB orientatu à documentu, traduttu à l'usu di HSE.
Caratteristiche principali di HSE:
- Supportu per l'operatori generici è estesi per a gestione di dati in formatu chjave / valore;
- Supportu cumpletu per e transazzione cù a capacità di isolà fette di almacenamento attraversu a creazione di snapshots (snapshots ponu ancu esse aduprati per mantene e cullezzione indipendenti in un almacenamentu);
- Capacità di utilizà i cursori per iterà nantu à e dati in viste basate in snapshot;
- Mudellu di dati ottimizatu per tippi di carica mischiata;
- Meccanismi flessibili di gestione di l'affidabilità di u almacenamentu;
- Schemi di orchestrazione di dati persunalizabili (distribuzione in diversi tipi di memoria presenti in u almacenamentu);
- Una biblioteca cù una C API chì pò ligà dinamicamente à qualsiasi applicazione. Bindings per Python è Java;
- Supportu per almacenà chjavi è dati in una forma compressa.
- Capacità di scala à terabyte di dati è centinaie di miliardi di chjave in u almacenamentu;
- Trattamentu efficace di millaie di operazioni parallele;
- A capacità di utilizà diverse classi di unità SSD in u stessu almacenamentu per ottimisà u rendiment è allargà a vita di l'unità.
U cambiamentu significativu di u numeru di versione in HSE 3.0 hè dovutu à cambiamenti in l'API, CLI, opzioni di cunfigurazione, interfaccia REST è formatu di almacenamiento chì rompenu a cumpatibilità inversa. In a preparazione di a nova versione, l'enfasi era nantu à l'ottimisazione di l'almacenamiento per migliurà u rendiment sottu certi carichi di travagliu critichi. Trà i megliurenze più notevuli:
- A prestazione di l'operazioni di u cursore hè oghji indipindente da a durata di u filtru, chì permette di iterà nantu à e chjavi senza riduce u throughput usendu un cursore cù filtri arbitrarii.
- A prestazione di lettura è scrittura hè stata migliurata in situazioni induve si usanu chjavi monotonicamente crescente, per esempiu, quandu si guardanu fette di valori di parametri registrati à certi intervalli, in sistemi di monitoraghju, piattaforme finanziarie, è sistemi per i stati di sensori di polling.
- L'API furnisce a capacità di cuntrullà a cumpressione à u livellu di i valori individuali, chì vi permette di mantene i registri cumpressi è micca cumpressi in u stessu almacenamentu.
- I novi modi di apertura KVDB sò stati aghjunti chì permettenu di creà dumande à a basa di dati in magazzini di sola lettura.
Source: opennet.ru