Micron Technology, una empresa de memorias DRAM y flash, nuevo motor de almacenamiento (Motor de almacenamiento de memoria heterogénea), diseñado teniendo en cuenta las características específicas de uso en unidades SSD basadas en flash NAND (X100, TLC, QLC 3D NAND) o memoria permanente (NVDIMM). El motor está diseñado como una biblioteca para integrarse en otras aplicaciones y admite el procesamiento de datos en formato clave-valor. El código HSE está escrito en C y licenciado bajo Apache 2.0.
Entre las áreas de aplicación del motor se menciona el almacenamiento de datos de bajo nivel en DBMS NoSQL, almacenamientos de software (SDS, Software-Defined Storage) como Ceph y Scality RING, plataformas para procesar grandes cantidades de datos (Big Data). , sistemas informáticos de alto rendimiento (HPC), dispositivos de Internet de las cosas (IoT) y soluciones para sistemas de aprendizaje automático.
HSE está optimizado no solo para obtener el máximo rendimiento, sino también para una mayor longevidad en una variedad de clases de SSD. La alta velocidad de funcionamiento se logra mediante un modelo de almacenamiento híbrido: los datos más relevantes se almacenan en caché en la RAM, lo que reduce la cantidad de accesos al disco. Como ejemplo de integración de un nuevo motor en proyectos de terceros una versión del DBMS MongoDB orientado a documentos, traducida para usar HSE.
Tecnológicamente, HSE se basa en un módulo de kernel adicional , que implementa una interfaz de almacenamiento de objetos especializada para unidades de estado sólido, teniendo en cuenta sus capacidades y características, lo que permite obtener características de rendimiento y durabilidad fundamentalmente diferentes. Mpool también es un desarrollo de Micron Technology, abierto al mismo tiempo que HSE, pero separado en un proyecto de infraestructura independiente. Mpool asume el uso и , pero actualmente solo admite SSD tradicionales.
Pruebas de rendimiento utilizando el paquete. (Yahoo Cloud Serving Benchmark) mostró un aumento significativo en el rendimiento al utilizar 2 TB de almacenamiento con procesamiento de bloques de datos de 1 KB. Se observa un aumento de rendimiento particularmente significativo en la prueba con una distribución uniforme de las operaciones de lectura y escritura (prueba “A” en el gráfico).
Por ejemplo, MongoDB con el motor HSE resultó ser aproximadamente 8 veces más rápido que la versión con el motor WiredTiger estándar, y el DBMS RocksDB fue más rápido que el motor HSE más de 6 veces. El excelente rendimiento también es visible en pruebas que involucran un 95 % de operaciones de lectura y un 5 % de operaciones de modificación o adición (pruebas “B” y “D” en los gráficos). La prueba C, que implica únicamente operaciones de lectura, muestra una ganancia de aproximadamente el 40%. Se estima que el aumento en la capacidad de supervivencia de las unidades SSD durante las operaciones de escritura en comparación con una solución basada en RocksDB es 7 veces.
Características clave de HSE:
- Soporte para operadores genéricos y extendidos para manejar datos en formato clave/valor;
- Soporte total para transacciones y capacidad de aislar segmentos de almacenamiento mediante la creación de instantáneas (las instantáneas también se pueden utilizar para mantener colecciones independientes en un almacenamiento);
- Capacidad de utilizar cursores para recorrer datos en vistas basadas en instantáneas;
- Modelo de datos optimizado para tipos de carga mixtos en un único almacenamiento;
- Mecanismos flexibles de gestión de la confiabilidad del almacenamiento;
- Esquemas de orquestación de datos personalizables (distribución entre diferentes tipos de memoria presentes en el almacenamiento);
- Una biblioteca con una API C que puede vincularse dinámicamente a cualquier aplicación;
- Capacidad de escalar hasta terabytes de datos y cientos de miles de millones de claves almacenadas;
- Procesamiento eficiente de miles de operaciones paralelas;
- Aumento significativo del rendimiento, latencia reducida y mayor rendimiento de escritura/lectura para varios tipos de carga de trabajo en comparación con soluciones alternativas estándar;
- La capacidad de utilizar unidades SSD de diferentes clases en un solo almacenamiento para optimizar el rendimiento y la durabilidad.
Fuente: opennet.ru