O sistema reduzirá os custos de eletricidade pela metade.
/ фото CC BY-SA
Por que uma nova arquitetura é necessária
, até 2030, dispositivos eletrônicos consumirã 40% de toda a energia gerada no planeta. Aproximadamente 20% desse volume será destinado ao setor de TI e aos data centers. De acordo com analistas europeus, os data centers já estão consumindo 1,4% de toda a eletricidade. Espera-se que esse .
Uma parte significativa da eletricidade é consumida por armazenamento SSD. De 2012 a 2017, a participação de unidades de estado sólido nos data centers . Embora os SSDs consumam um terço menos de energia (), as contas de eletricidade nos data centers permanecem altas.
Para reduzir o consumo de energia dos SSDs nos data centers, engenheiros do MIT desenvolveram uma nova arquitetura de armazenamento SSD. Ela foi nomeada LightStore e permite a conexão direta dos dispositivos à rede dos data centers, contornando os servidores de armazenamento. De acordo com os autores, o sistema reduzirá os custos de eletricidade pela metade.
Como funciona
LightStore é um armazenamento flash do tipo chave-valor, onde as solicitações do usuário aos dispositivos são representadas como chaves. Depois, são enviadas para um servidor que libera os dados associados a essa chave.
Sistema um processador integrado eficiente em termos de energia, DRAM e memória NAND. É controlado por um controlador e um software especial. O controlador gere os arrays NAND, enquanto o software é responsável pelo processamento de solicitações KV e armazenamento de pares de chaves. A arquitetura do software é baseada em , que é usada em muitos sistemas de gerenciamento de banco de dados modernos.
A estrutura da arquitetura pode ser representada da seguinte forma:
O diagrama mostra os componentes básicos da LightStore. Um cluster de nós trabalha com pares chave-valor. Os servidores de aplicativo se conectam ao sistema por meio de adaptadores. Eles convertem as solicitações do cliente (por exemplo, fread() da API POSIX) em solicitações KV. A arquitetura também possui adaptadores separados para , armazenamento em bloco (com base no módulo BUSE) e armazenamento de arquivos.
Distribuindo as solicitações, o adaptador utiliza . Ele é utilizado em sistemas como Redis ou Swift. Com a chave da solicitação KV, o adaptador gera uma chave de hash, cujo valor determina o nó alvo.
A capacidade do cluster LightStore é escalável linearmente — basta conectar nós adicionais à rede. Em alguns casos, pode ser necessário adquirir novos switches. No entanto, os desenvolvedores forneceram a cada nó slots adicionais para conectar chips NAND.
O Potencial da Arquitetura
Engenheiros do MIT afirmam que a largura de banda da solução baseada no LightStore é de 620 Mbps para Ethernet de 10 gigabits. Um nó consome 10 W em vez dos habituais 20 W (em sistemas SSD usados por data centers hoje). Além disso, o equipamento ocupa metade do espaço.
Atualmente, os desenvolvedores estão aprimorando alguns aspectos. Por exemplo, o LightStore não é capaz de lidar com consultas de intervalo e pequenas consultas. Essas funções serão adicionadas no futuro, uma vez que o LightStore utiliza árvores LSM. Além disso, o sistema ainda possui um conjunto limitado de adaptadores — são suportados adaptadores YCSB e de bloco. No futuro, o LightStore poderá processar consultas SQL e outras.
Outros Desenvolvimentos
No verão de 2018, a Marvell, empresa desenvolvedora de sistemas de armazenamento, apresentou uma nova linha de controladores SSD baseados em sistemas de IA. Os desenvolvedores integraram aceleradores de aprendizado profundo da NVIDIA nos controladores padrão para data centers e aplicações de clientes. Como resultado, criaram uma arquitetura autônoma que consome menos energia em comparação com controladores SSD clássicos. A empresa espera que o sistema encontre aplicação na computação de borda, análise de grandes dados e IoT.
Recentemente, a linha de unidades de armazenamento Western Digital Blue foi atualizada. Em abril, os desenvolvedores apresentaram a solução — WD Blue SSD com base nas tecnologias SanDisk, adquiridas pela WD um ano atrás. Os novos WD Blue SSD se destacam por sua maior performance e eficiência energética. A arquitetura é baseada na especificação , que permite o acesso a SSDs conectados via PCI Express.
Essa especificação aumenta a eficiência operacional de unidades SSD com um grande número de consultas simultâneas e acelera o acesso a dados. Além disso, o NVMe padroniza a interface SSD — os fabricantes de hardware não precisarão mais no desenvolvimento de drivers, conectores e formatos únicos.
Perspectivas
O mercado de SSDs para data centers está se movendo em direção à simplificação da arquitetura, automação do funcionamento dos componentes de armazenamento e aumento da eficiência energética. O desenvolvimento de engenheiros do MIT aborda a última questão. Os autores , afirmam que o LightStore se tornará o padrão da indústria para SSDs em data centers. Pode-se supor que, no futuro, novas arquiteturas ainda mais eficientes surgirão baseadas nele.
Alguns materiais do Primeiro blog sobre IaaS corporativo:
Fonte: habr.com
