Micron Technology, especialista en la producción de DRAM y memoria flash, ha publicado el lanzamiento del motor de almacenamiento HSE 3.0 (Heterogeneous-memory Storage Engine), diseñado específicamente para su uso en SSD y memoria de solo lectura (NVDIMM). El motor está hecho en forma de biblioteca para integrarse en otras aplicaciones y admite el procesamiento de datos en el formato clave-valor. El código HSE está escrito en C y se distribuye bajo la licencia Apache 2.0.
HSE está optimizado no solo para el máximo rendimiento, sino también para la longevidad en diferentes clases de SSD. La alta velocidad se logra a través de un modelo de almacenamiento híbrido: los datos más actualizados se almacenan en caché en la RAM, lo que reduce la cantidad de accesos a la unidad. El motor se puede utilizar para el almacenamiento de datos de bajo nivel en NoSQL DBMS, almacenamientos de software (SDS, Software-Defined Storage) como Ceph y Scality RING, plataformas para procesar grandes cantidades de datos (Big Data), computación de alto rendimiento (HPC ), dispositivos de Internet de las cosas (IoT) y soluciones para sistemas de aprendizaje automático. Como ejemplo de integración del motor en proyectos de terceros, se ha preparado una variante del DBMS MongoDB orientado a documentos, traducida al uso de HSE.
Características principales de HSE:
- Soporte para operadores genéricos y extendidos para manejar datos en formato clave/valor;
- Soporte completo para transacciones con la capacidad de aislar segmentos de almacenamiento a través de la creación de instantáneas (las instantáneas también se pueden usar para mantener colecciones independientes en un almacenamiento);
- Capacidad de usar cursores para iterar sobre datos en vistas basadas en instantáneas;
- Modelo de datos optimizado para tipos de carga mixtos;
- Mecanismos flexibles de gestión de la confiabilidad del almacenamiento;
- Esquemas de orquestación de datos personalizables (distribución entre diferentes tipos de memoria presentes en el almacenamiento);
- Una biblioteca con una API C que puede vincularse dinámicamente a cualquier aplicación. Enlaces para Python y Java;
- Soporte para almacenar claves y datos en forma comprimida.
- Capacidad de escalar hasta terabytes de datos y cientos de miles de millones de claves almacenadas;
- Procesamiento eficiente de miles de operaciones paralelas;
- La capacidad de usar diferentes clases de unidades SSD en el mismo almacenamiento para optimizar el rendimiento y prolongar la vida útil de la unidad.
El cambio significativo del número de versión en HSE 3.0 se debe a cambios en la API, la CLI, las opciones de configuración, la interfaz REST y el formato de almacenamiento que rompen la compatibilidad con versiones anteriores. Al preparar la nueva versión, la atención se centró en optimizar el almacenamiento para mejorar el rendimiento en algunas cargas de trabajo críticas. Entre las mejoras más destacables:
- El rendimiento de las operaciones del cursor ahora es independiente de la longitud del filtro, lo que hace posible iterar sobre las claves sin reducir el rendimiento utilizando un cursor con filtros arbitrarios.
- El rendimiento de lectura y escritura se ha mejorado en situaciones en las que se utilizan claves que aumentan de forma monótona, por ejemplo, al almacenar segmentos de valores de parámetros registrados en ciertos intervalos, en sistemas de monitoreo, plataformas financieras y sistemas para sondear los estados de los sensores.
- La API brinda la capacidad de controlar la compresión a nivel de valores individuales, lo que le permite mantener registros comprimidos y sin comprimir en el mismo almacenamiento.
- Se agregaron nuevos modos para abrir KVDB, lo que le permite generar consultas a la base de datos en almacenamientos de solo lectura.
Fuente: opennet.ru