O que os novos storages para sistemas de IA e ML oferecerão?

MAX Data será combinado com Optane DC para funcionar efetivamente com sistemas de IA e ML.

O que os novos storages para sistemas de IA e ML oferecerão?
Фото - Hitesh Choudhary - Unsplash

Em Conforme De acordo com um estudo do MIT Sloan Management Review e do The Boston Consulting Group, 85% dos três mil gestores inquiridos acreditam que os sistemas de IA ajudarão as suas empresas a obter uma vantagem competitiva no mercado. Porém, apenas 39% das empresas tentaram implementar algo semelhante na prática.

Uma das razões para esta situação é que trabalhar de forma eficaz com dados e otimizar o uso de energia para tarefas de aprendizado de máquina não é uma tarefa fácil. Na IDC celebrar, que uma nova tecnologia baseada em memória permanente (Memória Persistente, PMEM) poderia resolver a situação.

Esta tecnologia foi proposta pela NetApp e Intel, unindo Dados NetApp Memory Accelerated (MAX) e memória persistente Intel Optane DC para um produto de armazenamento de memória persistente local.

Как это работает

MAX Data é uma tecnologia de servidor que melhora o desempenho de aplicativos por meio do uso de PMEM ou DRAM, mas não requer alterações na arquitetura de software.

Ele implementa os princípios de armazenamento automatizado multinível, distribuindo dados entre níveis e armazenamento dependendo da frequência de uso - o armazenamento mais acessível é usado para dados “frios” e os dados usados ​​​​com frequência estão “disponíveis” - em Memória Persistente, que minimiza a latência ao trabalhar com esses dados.

A versão 1.1 usa memória DRAM e NVDIMM. Ambas as implementações têm suas desvantagens – perda relativa de eficiência e altos custos de memória, respectivamente – em comparação com o Optane DCPMM. Um gráfico que fornece uma estimativa comparativa da latência é apresentado aqui (p. 4).

Технология suporta o и POSIX e trabalhar com a semântica de sistemas de blocos ou arquivos. A proteção e recuperação de dados no nível do armazenamento são implementadas usando MAX Snap e MAX Recovery. Estas tecnologias utilizam snapshots, a ferramenta SnapMirror e outros mecanismos de segurança ONTAP.

Esquematicamente, a implementação é assim:

O que os novos storages para sistemas de IA e ML oferecerão?

Ainda não existe PMEM neste circuito, mas os desenvolvedores prometem adicionar suporte para esse tipo de memória até o final do ano. Até agora, Max Data funciona com DRAM e DIMM.

Potencial de solução

Na IDC reivindicar, que nos próximos anos haverá mais desenvolvimentos como o MAX Data, uma vez que o volume de dados corporativos está em constante crescimento e as empresas não têm capacidade suficiente para processá-los de forma eficaz. Tecnologia lata útil em um ambiente de nuvem em grande escala e para trabalhar com tarefas que consomem muitos recursos, como treinamento de redes neurais. Encontrará aplicação em plataformas de negociação, sistemas de segurança da informação e quaisquer outros produtos de software que requeiram acesso constante e rápido a grandes volumes de informação.

Também existe a possibilidade de a tecnologia não se enraizar imediatamente no mercado. Como observamos acima, apenas um terço das empresas em todo o mundo trabalha com sistemas de IA de uma forma ou de outra. Deste ponto de vista, muitos poderão considerar prematuro o aparecimento do MAX Data e centrarão a sua atenção numa infra-estrutura mais acessível que lhes permita resolver os problemas actuais.

Nossos outros materiais sobre infraestrutura de TI:

Fonte: habr.com

Adicionar um comentário