A Micron Technology, uma empresa de DRAM e memória flash, novo mecanismo de armazenamento (Mecanismo de armazenamento de memória heterogênea), projetado levando em consideração as especificidades de uso em drives SSD baseados em flash NAND (X100, TLC, QLC 3D NAND) ou memória permanente (NVDIMM). O mecanismo foi projetado como uma biblioteca para incorporação em outros aplicativos e suporta o processamento de dados em formato de valor-chave. O código HSE é escrito em C e licenciado sob Apache 2.0.
Dentre as áreas de aplicação do motor, destacam-se o armazenamento de dados de baixo nível em SGBD NoSQL, armazenamentos de software (SDS, Software-Defined Storage) como Ceph e Scality RING, plataformas para processamento de grandes quantidades de dados (Big Data) , sistemas de computação de alto desempenho (HPC), dispositivos de Internet das coisas (IoT) e soluções para sistemas de aprendizado de máquina.
O HSE é otimizado não apenas para desempenho máximo, mas também para longevidade em diversas classes de SSD. A alta velocidade operacional é alcançada por meio de um modelo de armazenamento híbrido – os dados mais relevantes são armazenados em cache na RAM, o que reduz o número de acessos ao drive. Como exemplo de integração de um novo mecanismo em projetos de terceiros uma versão do DBMS MongoDB orientado a documentos, traduzido para usar HSE.
Tecnologicamente, o HSE depende de um módulo de kernel adicional , que implementa uma interface especializada de armazenamento de objetos para unidades de estado sólido, levando em consideração suas capacidades e características, o que permite obter características de desempenho e durabilidade fundamentalmente diferentes. Mpool também é um desenvolvimento da Micron Technology, aberta ao mesmo tempo que HSE, mas separada em um projeto de infraestrutura independente. Mpool assume o uso и , mas atualmente oferece suporte apenas a SSDs tradicionais.
Teste de desempenho usando o pacote (Yahoo Cloud Serving Benchmark) mostrou um aumento significativo no desempenho ao usar armazenamento de 2 TB com processamento de blocos de dados de 1 KB. Um aumento de desempenho particularmente significativo é observado no teste com distribuição uniforme de operações de leitura e gravação (teste “A” no gráfico).
Por exemplo, o MongoDB com o mecanismo HSE acabou sendo cerca de 8 vezes mais rápido que a versão com o mecanismo WiredTiger padrão, e o RocksDB DBMS foi mais rápido que o mecanismo HSE em mais de 6 vezes. O excelente desempenho também é visível em testes que envolvem 95% de operações de leitura e 5% de operações de modificação ou acréscimo (testes “B” e “D” nos gráficos). O teste C, que envolve apenas operações de leitura, apresenta um ganho de aproximadamente 40%. O aumento na capacidade de sobrevivência de unidades SSD durante operações de gravação em comparação com uma solução baseada em RocksDB é estimado em 7 vezes.
Principais recursos do SMS:
- Suporte a operadores padrão e estendidos para processamento de dados em formato chave/valor;
- Suporte total a transações e com capacidade de isolar fatias de armazenamento através da criação de snapshots (os snapshots também podem ser usados para manter coleções independentes em um storage);
- Capacidade de usar cursores para percorrer dados em visualizações baseadas em instantâneos;
- Modelo de dados otimizado para tipos de carga mistos em um único armazenamento;
- Mecanismos flexíveis para gerenciar a confiabilidade do armazenamento;
- Esquemas customizáveis de orquestração de dados (distribuição entre diferentes tipos de memória presentes no armazenamento);
- Uma biblioteca com API C que pode ser vinculada dinamicamente a qualquer aplicativo;
- Capacidade de escalar até terabytes de dados e centenas de bilhões de chaves em armazenamento;
- Processamento eficiente de milhares de operações paralelas;
- Aumento significativo no rendimento, latência reduzida e maior desempenho de gravação/leitura para vários tipos de carga de trabalho em comparação com soluções alternativas padrão;
- A capacidade de usar unidades SSD de diferentes classes em um único armazenamento para otimizar o desempenho e a durabilidade.
Fonte: opennet.ru