O sistema reduzirá os custos de energia pela metade.
/ foto CC BY-SA
Por que precisamos de uma nova arquitetura?
Até 2030, os dispositivos eletrônicos consumirão 40% de toda a energia gerada no planeta. Aproximadamente 20% desse volume virá do setor de TI e data centers. Por Segundo analistas europeus, os data centers já “levam” 1,4% de toda a eletricidade. Espera-se que isso .
O armazenamento SSD consome uma parcela significativa de eletricidade. No período de 2012 a 2017, a participação de unidades de estado sólido em data centers . Embora os SSDs consumam um terço menos energia () do que os HDD, as contas de eletricidade continuam elevadas na escala dos data centers.
Para reduzir o consumo de energia das unidades de estado sólido no data center, os engenheiros do MIT desenvolveram uma nova arquitetura de armazenamento SSD. É chamado LightStore e permite conectar unidades diretamente a uma rede de data center, ignorando os servidores de armazenamento. Por autores, o sistema reduzirá os custos de energia pela metade.
Как это работает
LightStore é um armazenamento de valor-chave flash que mapeia as solicitações do usuário para unidades como chaves. Eles são então enviados ao servidor, que libera os dados associados a essa chave.
Sistema processador integrado com eficiência energética, memória DRAM e NAND. É controlado por um controlador e software especial. O controlador é responsável por trabalhar com arrays NAND, e o software é responsável por processar solicitações KV e armazenar pares de chaves. A arquitetura de software é construída com base , que é usado em muitos SGBDs modernos.
O diagrama de arquitetura pode ser representado da seguinte forma:
O diagrama mostra os componentes básicos do LightStore. Um cluster de nós opera em pares chave-valor. Os servidores de aplicativos são conectados ao sistema por meio de adaptadores. Eles convertem solicitações de clientes (como fread() da API POSIX) em solicitações KV. A arquitetura também possui adaptadores separados para , bloco (baseado no módulo BUSE) e armazenamento de arquivos.
Ao distribuir solicitações, o adaptador usa . É usado em sistemas como Redis ou Swift. Usando a chave de solicitação KV, o adaptador gera uma chave hash cujo valor identifica o nó de destino.
A capacidade do cluster LightStore é dimensionada linearmente – basta conectar nós adicionais à rede. Em alguns casos, pode ser necessário adquirir novos switches. No entanto, os desenvolvedores equiparam cada nó com slots adicionais para conectar chips NAND.
O potencial da arquitetura
Os engenheiros do MIT dizem que a solução baseada em LightStore tem uma taxa de transferência de 620 Mbps em 10 Gigabit Ethernet. Um nó consome 10 W em vez dos habituais 20 W (nos sistemas SSD usados atualmente pelos data centers). Além disso, o equipamento ocupa metade do espaço.
Agora os desenvolvedores estão finalizando alguns aspectos. Por exemplo, o LightStore não pode funcionar com consultas de intervalo e consultas pequenas. Esses recursos serão adicionados no futuro, já que o LightStore utiliza árvores LSM. Além disso, o sistema ainda possui um conjunto limitado de adaptadores - YCSB e adaptadores de bloco são suportados. No futuro, o LightStore poderá processar consultas SQL, etc.
Outros desenvolvimentos
No verão de 2018, a Marvell, uma empresa de desenvolvimento de armazenamento, lançou uma nova linha de controladores SSD baseados em sistemas de IA. Os desenvolvedores integraram aceleradores de aprendizado profundo da NVIDIA em controladores padrão para data centers e aplicativos clientes. Como resultado, eles criaram uma arquitetura independente que consome menos energia em comparação com os controladores SSD clássicos. A empresa espera que o sistema encontre aplicação em computação de ponta, análise de big data e IoT.
A linha de unidades Western Digital Blue foi atualizada recentemente. Em abril, os desenvolvedores apresentaram uma solução - o SSD WD Blue baseado em tecnologias SanDisk, que a WD adquiriu há um ano. Os SSDs WD Blue atualizados oferecem melhor desempenho e eficiência energética. A arquitetura é construída com base na especificação , que fornece acesso a SSDs conectados via PCI Express.
Esta especificação melhora a eficiência das unidades SSD com um grande número de solicitações simultâneas e acelera o acesso aos dados. Além disso, o NVMe permite padronizar a interface SSD – mais para fabricantes de hardware para o desenvolvimento de drivers, conectores e formatos exclusivos.
Perspectivas
O mercado de SSD para data centers está migrando para uma arquitetura simplificada, automação de componentes de armazenamento e maior eficiência energética. O desenvolvimento de engenheiros do MIT resolve este último problema. Autores que o LightStore se tornará o padrão da indústria para armazenamento SSD em data centers. E podemos supor que no futuro surgirão arquiteturas novas e ainda mais eficientes baseadas nele.
Vários materiais do primeiro blog sobre IaaS corporativo:
Fonte: habr.com