Micron Technology, azienda specializzata nella produzione di DRAM e memorie flash, ha pubblicato il rilascio dello storage engine HSE 3.0 (Heterogeneous-memory Storage Engine), progettato tenendo conto delle specificità di utilizzo su unità SSD e memorie di sola lettura ( NVDIMM). Il motore è progettato come libreria da incorporare in altre applicazioni e supporta l'elaborazione dei dati in formato chiave-valore. Il codice HSE è scritto in C ed è concesso in licenza con la licenza Apache 2.0.
HSE è ottimizzato non solo per le massime prestazioni, ma anche per la longevità in una varietà di classi SSD. L'elevata velocità operativa è raggiunta attraverso un modello di archiviazione ibrido: i dati più rilevanti vengono memorizzati nella cache della RAM, riducendo il numero di accessi all'unità. Il motore può essere utilizzato per l'archiviazione di dati di basso livello in DBMS NoSQL, archivi software (SDS, Software-Defined Storage) come Ceph e Scality RING, piattaforme per l'elaborazione di grandi quantità di dati (Big Data), calcolo ad alte prestazioni (HPC ), dispositivi Internet of Things (IoT) ) e soluzioni per sistemi di machine learning. Come esempio di integrazione del motore in progetti di terze parti, è stata preparata una versione del DBMS orientato ai documenti MongoDB, convertito per utilizzare HSE.
Principali caratteristiche dell’HSE:
- Supporto per operatori generici ed estesi per la gestione dei dati in formato chiave/valore;
- Pieno supporto per le transazioni con la possibilità di isolare le porzioni di storage attraverso la creazione di snapshot (le snapshot possono essere utilizzate anche per mantenere raccolte indipendenti in un unico storage);
- La possibilità di utilizzare i cursori per scorrere i dati in visualizzazioni basate su snapshot;
- Modello dati ottimizzato per tipi di carichi di lavoro misti;
- Meccanismi flessibili di gestione dell'affidabilità dello storage;
- Schemi di orchestrazione dei dati personalizzabili (distribuzione tra diversi tipi di memoria presenti nello storage);
- Una libreria con un'API C che può collegarsi dinamicamente a qualsiasi applicazione. Disponibilità di collegamenti per Python e Java;
- Supporto per l'archiviazione di chiavi e dati in formato compresso.
- Capacità di scalare fino a terabyte di dati e centinaia di miliardi di chiavi nello storage;
- Elaborazione efficiente di migliaia di operazioni parallele;
- La possibilità di utilizzare unità SSD di classi diverse in un unico dispositivo di archiviazione per ottimizzare le prestazioni e prolungare la durata dell'unità.
Il cambiamento significativo del numero di versione in HSE 3.0 è dovuto a modifiche nell'API, nella CLI, nelle opzioni di configurazione, nell'interfaccia REST e nel formato di archiviazione che interrompono la compatibilità con le versioni precedenti. La nuova versione si concentra sull'ottimizzazione dell'archiviazione dei dati per migliorare le prestazioni di alcuni carichi di lavoro critici. Tra i miglioramenti più notevoli:
- Le prestazioni delle operazioni del cursore sono ora indipendenti dalla lunghezza del filtro, consentendo di scorrere le chiavi utilizzando un cursore con filtri arbitrari senza ridurre la velocità effettiva.
- Le prestazioni di lettura e scrittura sono state aumentate in situazioni in cui vengono utilizzate chiavi monotonicamente crescenti, ad esempio quando si memorizzano porzioni di valori di parametri registrati a determinati intervalli in sistemi di monitoraggio, piattaforme finanziarie e sistemi per il polling degli stati dei sensori.
- L'API offre la possibilità di controllare la compressione a livello di singolo valore, consentendo di archiviare sia i record compressi che quelli non compressi nello stesso archivio.
- Sono state aggiunte nuove modalità per l'apertura di KVDB, che consentono di formulare query al database in archivi di sola lettura.
Fonte: opennet.ru