Micron Technology, unha empresa especializada na produción de DRAM e memoria flash, publicou o lanzamento do motor de almacenamento HSE 3.0 (Heterogeneous-memory Storage Engine), deseñado tendo en conta as particularidades de uso nas unidades SSD e na memoria de só lectura ( NVDIMM). O motor está deseñado como unha biblioteca para incorporar noutras aplicacións e admite o procesamento de datos en formato clave-valor. O código HSE está escrito en C e está licenciado baixo a licenza Apache 2.0.
HSE está optimizado non só para o máximo rendemento, senón tamén para a lonxevidade nunha variedade de clases de SSD. A alta velocidade de funcionamento conséguese a través dun modelo de almacenamento híbrido: os datos máis relevantes almacénanse na memoria caché na memoria RAM, o que reduce o número de accesos á unidade. O motor pódese usar para almacenamento de datos de baixo nivel en DBMS NoSQL, almacenamentos de software (SDS, Software-Defined Storage) como Ceph e Scality RING, plataformas para procesar grandes cantidades de datos (Big Data), computación de alto rendemento (HPC). ), dispositivos de Internet das cousas (IoT) e solucións para sistemas de aprendizaxe automática. Como exemplo de integración do motor en proxectos de terceiros, preparouse unha versión do DBMS MongoDB orientado a documentos, convertido para usar HSE.
Características principais de HSE:
- Soporte para operadores estándar e estendidos para procesar datos en formato clave/valor;
- Compatibilidade total para transaccións coa capacidade de illar porcións de almacenamento mediante a creación de instantáneas (as instantáneas tamén se poden usar para manter coleccións independentes nun só almacenamento);
- A capacidade de usar cursores para iterar a través dos datos en vistas baseadas en instantáneas;
- Modelo de datos optimizado para tipos de carga de traballo mixtos;
- Mecanismos flexibles para xestionar a fiabilidade do almacenamento;
- Esquemas de orquestración de datos personalizables (distribución en diferentes tipos de memoria presentes no almacenamento);
- Unha biblioteca cunha API C que pode ligar de forma dinámica a calquera aplicación. Dispoñibilidade de enlaces para Python e Java;
- Soporte para almacenar claves e datos en forma comprimida.
- Capacidade de escalar a terabytes de datos e centos de miles de millóns de claves no almacenamento;
- Procesamento eficiente de miles de operacións paralelas;
- A capacidade de usar unidades SSD de diferentes clases nun só almacenamento para optimizar o rendemento e prolongar a vida útil da unidade.
O cambio significativo do número de versión en HSE 3.0 débese a cambios na API, a CLI, as opcións de configuración, a interface REST e o formato de almacenamento que rompen a compatibilidade con versións anteriores. A nova versión centrouse na optimización do almacenamento de datos para mellorar o rendemento dalgunhas cargas de traballo críticas. Entre as melloras máis salientables:
- O rendemento das operacións do cursor agora é independente da lonxitude do filtro, o que lle permite iterar sobre as teclas usando un cursor con filtros arbitrarios sen reducir o rendemento.
- O rendemento de lectura e escritura aumentou en situacións nas que se usan claves que aumentan monótonamente, por exemplo, cando se almacenan porcións de valores de parámetros rexistrados a determinados intervalos en sistemas de monitorización, plataformas financeiras e sistemas de sondaxe de estados dos sensores.
- A API ofrece a capacidade de controlar a compresión a nivel de valor individual, o que lle permite almacenar rexistros comprimidos e non comprimidos no mesmo almacenamento.
- Engadíronse novos modos para abrir KVDB, o que lle permite facer consultas á base de datos en almacenamentos de só lectura.
Fonte: opennet.ru