A Micron Technology, empresa especializada na produção de DRAM e memória flash, publicou o lançamento do mecanismo de armazenamento HSE 3.0 (Heterogeneous-memory Storage Engine), projetado levando em consideração as especificidades de uso em drives SSD e memória somente leitura ( NVDIMM). O mecanismo foi projetado como uma biblioteca para incorporação em outros aplicativos e suporta o processamento de dados em formato de valor-chave. O código HSE é escrito em C e licenciado sob a licença Apache 2.0.
O HSE é otimizado não apenas para desempenho máximo, mas também para longevidade em diversas classes de SSD. A alta velocidade operacional é alcançada por meio de um modelo de armazenamento híbrido – os dados mais relevantes são armazenados em cache na RAM, o que reduz o número de acessos ao drive. O mecanismo pode ser usado para armazenamento de dados de baixo nível em SGBD NoSQL, armazenamentos de software (SDS, Software-Defined Storage) como Ceph e Scality RING, plataformas para processamento de grandes quantidades de dados (Big Data), computação de alto desempenho (HPC ) sistemas, dispositivos de Internet das Coisas (IoT)) e soluções para sistemas de aprendizado de máquina. Como exemplo de integração do motor em projetos de terceiros, foi preparada uma versão do SGBD MongoDB orientado a documentos, convertida para uso em HSE.
Principais características do SMS:
- Suporte a operadores padrão e estendidos para processamento de dados em formato chave/valor;
- Suporte total para transações com capacidade de isolar fatias de armazenamento através da criação de snapshots (os snapshots também podem ser usados para manter coleções independentes em um storage);
- A capacidade de usar cursores para iterar dados em visualizações baseadas em instantâneos;
- Modelo de dados otimizado para tipos de carga de trabalho mistos;
- Mecanismos flexíveis para gerenciar a confiabilidade do armazenamento;
- Esquemas customizáveis de orquestração de dados (distribuição entre diferentes tipos de memória presentes no armazenamento);
- Uma biblioteca com API C que pode ser vinculada dinamicamente a qualquer aplicativo. Disponibilidade de ligações para Python e Java;
- Suporte para armazenamento de chaves e dados em formato compactado.
- Capacidade de escalar até terabytes de dados e centenas de bilhões de chaves em armazenamento;
- Processamento eficiente de milhares de operações paralelas;
- A capacidade de usar unidades SSD de diferentes classes em um armazenamento para otimizar o desempenho e prolongar a vida útil da unidade.
A mudança significativa no número de versão no HSE 3.0 se deve a mudanças na API, CLI, opções de configuração, interface REST e formato de armazenamento que quebram a compatibilidade com versões anteriores. A nova versão focou na otimização do armazenamento de dados para melhorar o desempenho de algumas cargas de trabalho críticas. Entre as melhorias mais notáveis:
- O desempenho das operações do cursor agora é independente do comprimento do filtro, permitindo iterar sobre chaves usando um cursor com filtros arbitrários sem reduzir o rendimento.
- O desempenho de leitura e gravação foi aumentado em situações em que chaves crescentes monotonicamente são usadas, por exemplo, ao armazenar fatias de valores de parâmetros registrados em determinados intervalos em sistemas de monitoramento, plataformas financeiras e sistemas para sondar estados de sensores.
- A API fornece a capacidade de controlar a compactação no nível de valor individual, permitindo armazenar registros compactados e descompactados no mesmo armazenamento.
- Novos modos de abertura do KVDB foram adicionados, permitindo que você faça consultas ao banco de dados em armazenamentos somente leitura.
Fonte: opennet.ru