Micron Technology, unha empresa de DRAM e memoria flash, novo motor de almacenamento (Motor de almacenamento de memoria heteroxénea), deseñado tendo en conta as especificidades de uso nas unidades SSD baseadas en flash NAND (X100, TLC, QLC 3D NAND) ou memoria permanente (NVDIMM). O motor está deseñado como unha biblioteca para incorporar noutras aplicacións e admite o procesamento de datos en formato clave-valor. O código HSE está escrito en C e licenciado baixo Apache 2.0.
Entre as áreas de aplicación do motor destacan o almacenamento de datos de baixo nivel en DBMS NoSQL, os almacenamentos de software (SDS, Software-Defined Storage) como Ceph e Scality RING, plataformas para procesar grandes cantidades de datos (Big Data) , sistemas informáticos de alto rendemento (HPC), dispositivos de Internet das cousas (IoT) e solucións para sistemas de aprendizaxe automática.
HSE está optimizado non só para o máximo rendemento, senón tamén para a lonxevidade nunha variedade de clases de SSD. A alta velocidade de funcionamento conséguese a través dun modelo de almacenamento híbrido: os datos máis relevantes almacénanse na memoria caché na memoria RAM, o que reduce o número de accesos á unidade. Como exemplo de integración dun novo motor en proxectos de terceiros unha versión do DBMS MongoDB orientado a documentos, traducido para usar HSE.
Tecnoloxicamente, HSE depende dun módulo de núcleo adicional , que implementa unha interface de almacenamento de obxectos especializada para unidades de estado sólido, tendo en conta as súas capacidades e características, o que lle permite obter características de rendemento e durabilidade fundamentalmente diferentes. Mpool é tamén un desenvolvemento de Micron Technology, aberto ao mesmo tempo que HSE, pero separado nun proxecto de infraestrutura independente. Mpool asume o uso и , pero actualmente só admite SSD tradicionais.
Probas de rendemento usando o paquete (Yahoo Cloud Serving Benchmark) mostrou un aumento significativo no rendemento ao usar almacenamento de 2 TB co procesamento de bloques de datos de 1 KB. Obsérvase un aumento do rendemento especialmente significativo na proba cunha distribución uniforme das operacións de lectura e escritura (proba "A" no gráfico).
Por exemplo, MongoDB co motor HSE resultou ser unhas 8 veces máis rápido que a versión co motor WiredTiger estándar e o DBMS RocksDB foi máis de 6 veces máis rápido que o motor HSE. Un excelente rendemento tamén é visible nas probas que implican un 95 % de operacións de lectura e un 5 % de operacións de modificación ou adición (probas “B” e “D” nos gráficos). A proba C, que implica só operacións de lectura, mostra unha ganancia de aproximadamente un 40%. Estímase que o aumento da supervivencia das unidades SSD durante as operacións de escritura en comparación cunha solución baseada en RocksDB é 7 veces.
Características principais de HSE:
- Soporte para operadores estándar e estendidos para procesar datos en formato clave/valor;
- Compatibilidade total para transaccións e coa capacidade de illar porcións de almacenamento mediante a creación de instantáneas (as instantáneas tamén se poden usar para manter coleccións independentes nun só almacenamento);
- Capacidade de usar cursores para percorrer datos en vistas baseadas en instantáneas;
- Modelo de datos optimizado para tipos de carga mixtos nun único almacenamento;
- Mecanismos flexibles para xestionar a fiabilidade do almacenamento;
- Esquemas de orquestración de datos personalizables (distribución en diferentes tipos de memoria presentes no almacenamento);
- Unha biblioteca cunha API C que pode ligar de forma dinámica a calquera aplicación;
- Capacidade de escalar a terabytes de datos e centos de miles de millóns de claves no almacenamento;
- Procesamento eficiente de miles de operacións paralelas;
- Aumento significativo do rendemento, redución da latencia e aumento do rendemento de escritura/lectura para varios tipos de carga de traballo en comparación coas solucións alternativas estándar;
- A capacidade de usar unidades SSD de diferentes clases nun só almacenamento para optimizar o rendemento e a durabilidade.
Fonte: opennet.ru