Arguamos detalhadamente o que torna o OceanStor Dorado 18000 V6 um verdadeiro sistema de armazenamento de alta performance com bom potencial para os próximos anos. Ao mesmo tempo, desmistificamos preocupações comuns sobre armazenamentos All-Flash e mostramos como a Huawei extrai o máximo deles: NVMe de ponta a ponta, cache adicional em SCM e uma série de outras soluções.
Um novo cenário de dados — novo armazenamento de dados
A intensidade do trabalho com dados está aumentando em todos os setores. E o setor bancário é a ilustração mais clara disso. Nos últimos anos, o número de transações bancárias aumentou mais de dez vezes. Como mostra , apenas na Rússia, no período de 2010 a 2018, o número de transações sem dinheiro utilizando cartões plásticos teve um crescimento mais de trinta vezes — de 5,8 para 172 por pessoa por ano. Isso se deve, antes de tudo, ao triunfo dos micropagamentos: a maioria de nós se acostumou ao internet banking, e agora o banco está em nossas mãos — no celular.
A infraestrutura de TI da instituição financeira deve estar pronta para esse desafio. E isso é realmente um desafio. Além de tudo, se antes o banco precisava garantir a disponibilidade dos dados apenas em seu horário de funcionamento, agora — 24/7. Recentemente, 5 ms eram considerados um atraso aceitável, e agora? Atualmente, até mesmo 1 ms é demais. Para um sistema de armazenamento de dados moderno, o valor-alvo é de 0,5 ms.
O mesmo se aplica à confiabilidade: na década de 2010, surgiu a compreensão empírica de que bastava elevar seu nível a "cinquenta" — 99,999%. No entanto, essa compreensão já se tornou obsoleta. Em 2020, é absolutamente normal para os negócios exigir 99,9999% para armazenamento e 99,99999% para a solução arquitetônica como um todo. E isso não é capricho, mas uma necessidade urgente: ou não há janela de tempo para manutenção da infraestrutura, ou é extremamente pequena.
Para melhor visualização, é conveniente projetar esses indicadores em um plano de dinheiro. O mais fácil é usar o exemplo de organizações financeiras. No gráfico acima, está indicada a quantia que cada um dos 10 maiores bancos do mundo ganha em uma hora. Apenas o Banco da Indústria e Comércio da China arrecada, nada mais nada menos, $5 milhões. Este é o custo do tempo de inatividade da infraestrutura de TI da maior instituição de crédito da China (considerando apenas a perda de lucro!). Com essa perspectiva, fica claro que a redução do tempo de inatividade e o aumento da confiabilidade são totalmente razoáveis, não apenas por motivos de aumento da competitividade, mas também simplesmente para manter as posições de mercado.
Mudanças comparáveis estão ocorrendo em outras indústrias. Por exemplo, no transporte aéreo: antes da pandemia, o tráfego aéreo crescia ano após ano, e muitos passaram a usá-lo quase como um táxi. No que diz respeito aos padrões de consumo, a sociedade adotou a cultura da total acessibilidade aos serviços: ao chegarmos ao aeroporto, precisamos de conexão Wi-Fi, acesso a serviços de pagamento, mapas de localização, etc. Como resultado, a carga na infraestrutura e nos serviços em espaços públicos aumentou exponencialmente. E os métodos de construção dessa infraestrutura que considerávamos aceitáveis até um ano atrás estão rapidamente se tornando obsoletos.
Não é cedo demais para migrar para All-Flash?
Para resolver as tarefas mencionadas acima, do ponto de vista de desempenho, AFA — all-flash arrays, ou seja, arrays totalmente baseados em flash, são mais adequados do que nunca. No entanto, até recentemente, havia dúvidas sobre se eram comparáveis em termos de confiabilidade aos arrays baseados em HDD e aos híbridos. Afinal de contas, a memória flash sólida tem um indicador, chamado média de tempo entre falhas, ou MTBF (mean time between failures). A degradação das células devido a operações de entrada e saída é, infelizmente, uma realidade.
Portanto, as perspectivas para All-Flash eram ofuscadas pela questão de como prevenir a perda de dados caso o SSD falhe. O backup é uma opção conhecida, mas o tempo de recuperação pode ser inaceitavelmente longo, de acordo com os requisitos modernos. Outra solução é implementar um segundo nível de armazenamento em unidades de disco giratórias, mas, neste formato, parte das vantagens do sistema "puramente flash" é perdida.
No entanto, os números dizem algo diferente: as estatísticas dos gigantes da economia digital, incluindo o Google, nos últimos anos demonstram que o flash é significativamente mais confiável do que os discos rígidos. E isso se aplica tanto a períodos curtos quanto longos: em média, os dispositivos flash duram de quatro a seis anos antes de falharem. Em termos de confiabilidade no armazenamento de dados, eles não ficam atrás das unidades de disco rotativo, e muitas vezes até superam-nas.
Outro argumento tradicional a favor das unidades de disco rotativo é a sua acessibilidade financeira. Não há dúvida de que o custo de armazenar um terabyte em um disco rígido ainda é relativamente baixo. E se considerar apenas os gastos com equipamentos, manter um terabyte em uma unidade rotativa é mais barato do que em uma unidade de estado sólido. No entanto, em termos de planejamento financeiro, não conta apenas o preço de compra do dispositivo específico, mas também qual é o custo total de propriedade ao longo do tempo — de três a sete anos.
Sob essa perspectiva, a situação muda completamente. Mesmo desconsiderando a deduplicação e a compressão, que geralmente são aplicadas a arrays flash e tornam sua operação mais econômica, permanecem características como o espaço ocupado pelos dispositivos no rack, a dissipação de calor e o consumo de energia. E nesses aspectos, o flash supera seus antecessores. Como resultado, o TCO (custo total de propriedade) dos sistemas de armazenamento de dados em flash, considerando todos os parâmetros, costuma ser quase duas vezes menor do que no caso de arrays com unidades de disco rotativo ou híbridas.
De acordo com os relatórios da agência ESG, em sistemas de armazenamento All-Flash Dorado V6 é possível alcançar uma redução no custo total de propriedade de até 78% ao longo de cinco anos — incluindo a deduplicação e compressão eficientes, além do baixo consumo de energia e geração de calor. A empresa analítica alemã DCIG também recomenda seu uso como a melhor opção em termos de TCO disponível atualmente.
O uso de unidades de estado sólido permite economizar espaço útil, reduz o número de falhas, diminui o tempo de manutenção da solução e reduz tanto o consumo de energia quanto a geração de calor nos sistemas de armazenamento. E é evidente que AFA é financeiramente pelo menos comparável a matrizes tradicionais com discos giratórios, frequentemente superando-as.
Royal Flash da Huawei
Entre nossos sistemas All-Flash, o lugar de destaque pertence ao sistema hi-end OceanStor Dorado 18000 V6. E não apenas entre os nossos: no setor como um todo, ele detém o recorde de velocidade — até 20 milhões de IOPS na configuração máxima. Além disso, é extremamente confiável: mesmo que dois controladores falhem ao mesmo tempo, ou até sete controladores um após o outro, ou um mecanismo inteiro de uma vez — os dados permanecerão intactos. Vários benefícios do "dezoito mil" vêm da inteligência artificial embutida, incluindo flexibilidade na gestão dos processos internos. Vamos ver como tudo isso é alcançado.
A empresa Huawei tem uma vantagem significativa no mercado porque é o único fabricante que desenvolve sistemas de armazenamento de dados totalmente por conta própria. Temos nosso próprio design eletrônico, nosso próprio microcódigo e nosso próprio serviço de atendimento.
O controlador nos sistemas OceanStor Dorado é construído com um processador desenvolvido e produzido pela Huawei — Kunpeng 920. Ele emprega um módulo de gestão Intelligent Baseboard Management Controller (iBMC), também nosso. Os chips de IA, especificamente o Ascend 310, que otimizam as previsões de falhas e oferecem recomendações de configuração, também são da Huawei, assim como os módulos de entrada/saída — o módulo Smart I/O. Por fim, os controladores nas unidades de estado sólido são projetados e fabricados por nós. Tudo isso proporcionou a base para criar uma solução integralmente equilibrada e de alto desempenho.
No último ano, realizamos um projeto de implementação deste, o nosso mais avançado sistema de armazenamento (SAC) em um dos grandes bancos russos. Como resultado, mais de 40 unidades OceanStor Dorado 18000 V6 em um metro-cluster apresentam desempenho estável: de cada sistema conseguimos atingir mais de um milhão de IOPS, mesmo considerando as latências devido à distância.
NVMe de ponta a ponta
Os mais recentes sistemas de armazenamento da Huawei suportam NVMe de ponta a ponta, o que não é por acaso que fazemos questão de destacar. Os protocolos de acesso a unidades tradicionalmente usados foram desenvolvidos na antiguidade da TI: na sua base estão os comandos SCSI (olá, anos 80!), que carregam uma série de funcionalidades para garantir a retrocompatibilidade. Qualquer forma de acesso que se considere, o overhead do protocolo é colossal nesse caso. Como resultado, os armazenamentos que usam protocolos baseados em SCSI não conseguem ter uma latência de entrada e saída abaixo de 0,4 a 0,5 ms. Por sua vez, sendo um protocolo criado para trabalhar com memória flash e livre de restrições em nome da tão falada retrocompatibilidade, o NVMe – Non-Volatile Memory Express – reduz a latência para 0,1 ms, e isso não apenas em SACs, mas em toda a pilha, desde o host até as unidades. Não é surpreendente que o NVMe esteja alinhado com as tendências de desenvolvimento de armazenamento de dados para o futuro próximo. Também apostamos no NVMe e estamos nos afastando gradualmente do SCSI. Todos os sistemas de armazenamento produzidos hoje pela Huawei, incluindo a linha Dorado, suportam NVMe (embora, como ponta a ponta, esteja implementado apenas nos modelos avançados da série Dorado V6).
FlashLink: um conjunto de tecnologias
A tecnologia fundamental para toda a linha OceanStor Dorado é o FlashLink. Na verdade, é um termo que abrange um conjunto integrado de tecnologias que garantem alto desempenho e confiabilidade. Isso inclui tecnologias de deduplicação e compressão, funcionamento do sistema de distribuição de dados RAID 2.0+, separação de dados 'quentes' e 'frios', gravação sequencial de dados em fatias completas (gravações aleatórias, com novos e dados alterados, são agrupadas em uma pilha grande e gravadas sequencialmente, aumentando a velocidade de leitura e gravação).
Além de tudo isso, o FlashLink inclui duas componentes importantes – Wear Leveling e Global Garbage Collection. Vale a pena parar um pouco em cada uma delas.
Na verdade, qualquer unidade de estado sólido é uma SAN em miniatura, com um grande número de blocos e um controlador que garante a disponibilidade dos dados. Isso é garantido também pela transferência de dados das células "danificadas" para as "não danificadas", assegurando que eles poderão ser lidos. Existem diversos algoritmos para essa transferência. Geralmente, o controlador tenta equilibrar o desgaste de todas as células da unidade. Essa abordagem tem uma desvantagem: quando ocorre a movimentação de dados dentro do SSD, o número de operações de entrada e saída que ele realiza diminui drasticamente. No momento, isso é um mal necessário.
Assim, se houver muitos SSDs no sistema, no gráfico de desempenho, aparece uma "serra" com picos e quedas acentuadas. O problema é que um único SSD do pool pode iniciar a migração de dados a qualquer momento, e o desempenho geral é afetado simultaneamente por todos os SSDs no arranjo. Mas os engenheiros da Huawei descobriram como evitar a formação da "serra".
Felizmente, tanto os controladores nas unidades, quanto o controlador de armazenamento e o microcódigo da Huawei são "nativos"; esses processos no OceanStor Dorado 18000 V6 são iniciados de forma centralizada e síncrona em todas as unidades do arranjo. E isso acontece sob comando do controlador da SAN e precisamente quando não há grande carga de entrada e saída.
O chip de inteligência artificial também participa da escolha do momento certo para a transferência de dados: com base nas estatísticas de acessos dos últimos meses, ele é capaz de prever com alta probabilidade se haverá uma entrada e saída ativa em breve e, se a resposta for negativa e a carga no sistema for baixa no momento, o controlador instrui todas as unidades: as que precisam de Wear Leveling devem realizá-lo de uma vez e de forma síncrona.
Além disso, o controlador do sistema monitora o estado de cada célula da unidade, ao contrário das SANs de fabricantes concorrentes: estes são obrigados a adquirir unidades de estado sólido de fornecedores terceirizados, o que impede o nível de detalhamento celular de estar acessível aos controladores desses sistemas.
Como resultado, o OceanStor Dorado 18000 V6 tem um período muito curto de perda de desempenho nas operações de Wear Leveling, que ocorre principalmente quando não interfere em outros processos. Isso proporciona um desempenho altamente estável de forma contínua.
Do que é feita a confiabilidade do OceanStor Dorado 18000 V6
Nos sistemas modernos de armazenamento de dados, são destacados quatro níveis de confiabilidade:
- nível de hardware, no nível do dispositivo de armazenamento;
- nível arquitetônico, no nível do hardware;
- nível arquitetônico junto com o software;
- conjunta, referente à solução como um todo.
Como lembramos, todas as partes componentes do sistema de armazenamento são projetadas e fabricadas pela nossa empresa, garantindo a confiabilidade em cada um dos quatro níveis, com a capacidade de monitorar de forma detalhada o que acontece em cada um deles no momento.
A confiabilidade dos dispositivos de armazenamento é garantida principalmente pelos Wear Leveling e Global Garbage Collection descritos anteriormente. Quando um SSD se apresenta para o sistema como uma caixa-preta, ele não sabe exatamente como as células estão se desgastando. Para o OceanStor Dorado 18000 V6, os dispositivos de armazenamento são transparentes, o que permite um balanceamento uniforme entre todos os dispositivos do array. Dessa forma, é possível prolongar significativamente a vida útil do SSD e garantir um alto nível de confiabilidade em seu funcionamento.
Além disso, o número adicional de células redundantes no dispositivo também influencia sua confiabilidade. Além da reserva simples, no sistema de armazenamento são utilizados os chamados DIF-cells, que contêm somas de verificação, bem como códigos adicionais que ajudam a proteger cada bloco contra erros simples, além da proteção no nível do array RAID.
A garantia da confiabilidade arquitetônica é a solução SmartMatrix. Resumidamente, trata-se de quatro controladores que operam em um backplane passivo como parte de um único motor (engine). Dois desses motores — respectivamente, com oito controladores — são conectados a prateleiras compartilhadas com dispositivos de armazenamento. Graças ao SmartMatrix, mesmo que sete controladores de oito parem de funcionar, o acesso a todos os dados será mantido, tanto para leitura quanto para gravação. E com a perda de seis controladores de oito, ainda será possível continuar as operações de caching.
As placas de entrada e saída naquele mesmo backplane passivo estão disponíveis para todos os controladores, tanto no frontend quanto no backend. Com essa configuração de conexão full-mesh, qualquer falha não impede o acesso aos armazenamentos.
A confiabilidade da arquitetura é mais adequada para ser discutida no contexto de modos de falha, cuja proteção o sistema de armazenamento pode garantir.
O armazenamento suportará sem perdas uma situação em que dois controladores falhem, inclusive simultaneamente. Essa robustez é alcançada pelo fato de que cada bloco de cache possui pelo menos duas cópias em diferentes controladores, ou seja, existe um total de três cópias. Ademais, pelo menos uma está em outro motor. Assim, mesmo que um motor inteiro deixe de funcionar — com todos os seus quatro controladores —, a informação que estava na memória cache será garantidamente preservada, pois pelo menos em um controlador do motor restante o cache será duplicado. Finalmente, em uma conexão sequencial, é possível perder até sete controladores, e mesmo que falhem em blocos de dois, ainda assim todo o input-output e todos os dados da memória cache serão preservados.
Ao comparar com armazenamentos de classe hi-end de outros fabricantes, observa-se que apenas a Huawei oferece proteção total dos dados e acesso completo, mesmo após a falha de dois controladores ou de um motor inteiro. A maioria dos fornecedores utiliza um esquema com chamados pares de controladores, aos quais os armazenamentos são conectados. Infelizmente, nessa configuração, a falha de dois controladores acarreta o risco de perda de acesso ao armazenamento via input-output.
Infelizmente, a falha de um único componente não pode ser excluída. Nesse caso, a performance pode cair temporariamente: é necessário que o caminho seja reestruturado e o acesso às operações de entrada e saída seja retomado em relação aos blocos que ou foram gravados, mas ainda não tinham sido finalizados, ou que foram solicitados para leitura. No OceanStor Dorado 18000 V6, o tempo médio de reestruturação é de cerca de um segundo — significativamente menor do que o do seu mais próximo concorrente na indústria (4 s). Isso se deve ao mesmo backplane passivo: quando um controlador falha, os outros imediatamente veem suas operações de entrada e saída, e em particular qual bloco de dados não foi gravado; como resultado, o controlador mais próximo assume o processo. Daí a possibilidade de recuperar a performance literalmente em um segundo. Deve-se acrescentar que o intervalo é estável: um segundo para um controlador, um segundo para outro, e assim por diante.
No backplane passivo do OceanStor Dorado 18000 V6, todas as placas estão acessíveis a todos os controladores sem qualquer endereçamento adicional. Isso significa que qualquer controlador pode assumir as operações de entrada e saída por qualquer porta. Não importa qual porta de front-end receba a entrada e saída, o controlador estará pronto para processá-la. Daí — o número mínimo de transferências internas e uma simplificação notável do balanceamento.
O balanceamento no front-end é realizado por meio do driver de multipath, e adicionalmente, há um balanceamento dentro do próprio sistema, uma vez que todos os controladores visualizam todas as portas de entrada e saída.
Tradicionalmente, todos os arrays da Huawei são projetados de maneira a não terem um único ponto de falha. Todos os seus componentes podem ser trocados a quente, sem reiniciar o sistema: controladores, módulos de energia, módulos de refrigeração, placas de entrada e saída, etc.
Aumenta a confiabilidade do sistema em geral e uma tecnologia como o RAID-TP. Este é o nome de um grupo RAID que permite se precaver contra a falha simultânea de até três unidades de armazenamento. E também a reconstrução de 1 TB leva consistentemente menos de 30 minutos. O melhor resultado registrado é até oito vezes mais rápido do que com a mesma quantidade de dados em um disco rígido convencional. Assim, existe a possibilidade de utilizar unidades extremamente grandes, como 7,68 ou até 15 TB, sem se preocupar com a confiabilidade do sistema.
É importante que o rebuild seja realizado não em um drive reserva, mas em um espaço reserva — capacidade de backup. Em cada dispositivo de armazenamento, há espaço alocado para a recuperação de dados após uma falha. Assim, a recuperação não é feita na configuração 'muito para um', mas de 'muito para muito', o que permite acelerar significativamente o processo. E enquanto houver capacidade livre, a recuperação pode continuar.
Vale a pena mencionar a confiabilidade da solução que envolve vários armazenamentos — em um metro-cluster, ou, na terminologia da Huawei, HyperMetro. Esses esquemas são suportados em toda a nossa linha de sistemas de armazenamento e permitem operação tanto com acesso a arquivos quanto com acesso em bloco. No acesso em bloco, funciona tanto por Fibre Channel quanto por Ethernet (incluindo iSCSI).
Essencialmente, trata-se de replicação bidirecional de uma SAN para outra, onde ao LUN replicado é atribuído o mesmo LUN-ID que ao principal. A tecnologia funciona principalmente devido à consistência dos caches de dois sistemas diferentes. Assim, para o host, não faz diferença de qual lado ele esteja: tanto aqui quanto lá ele vê o mesmo disco lógico. Como resultado, nada impede a implantação de um cluster de alta disponibilidade estendido em dois locais.
Para o quórum, utiliza-se uma máquina Linux física ou virtual. Esta pode estar localizada em um terceiro local, e as exigências de recursos são pequenas. Um cenário comum é alugar um local virtual exclusivamente para hospedar a VM de quórum.
A tecnologia também permite expansão: dois armazenamentos — em um metro-cluster, local adicional — com replicação assíncrona.
Historicamente, muitos clientes formam uma "zoológico de armazenamento": um monte de sistemas de armazenamento de diferentes fabricantes, modelos, gerações e funcionalidades variadas. Além disso, o número de hosts pode ser impressionante, e muitas vezes eles são virtualizados. Nessas condições, uma das tarefas prioritárias da administração é fornecer rapidamente, de maneira uniforme e conveniente, discos lógicos para os hosts, preferencialmente sem a necessidade de se aprofundar em onde esses discos estão fisicamente localizados. É para isso que nossa solução de software OceanStor DJ é projetada, permitindo gerenciar de maneira unificada diferentes sistemas de armazenamento de dados e fornecer serviços deles sem a vinculação a um modelo específico de armazenamento.
Os mesmos e IA
Como já mencionado, o OceanStor Dorado 18000 V6 possui processadores com algoritmos de inteligência artificial — Ascend. Eles são usados, em primeiro lugar, para prever falhas e, em segundo lugar, para gerar recomendações de configuração, o que também aumenta a performance e a confiabilidade do armazenamento.
O horizonte de previsões é de dois meses: a maquinaria de IA presume que, com alta probabilidade, algo pode acontecer nesse período, como a necessidade de realizar expansões, mudar políticas de acesso, etc. As recomendações são fornecidas antecipadamente, permitindo que janelas para manutenção do sistema sejam programadas com antecedência.
A próxima etapa no desenvolvimento da IA da Huawei prevê sua expansão a um nível global. Durante o serviço de manutenção — ao abordar falhas ou recomendações — a Huawei agrega informações de sistemas de log de todos os armazenamentos de nossos clientes. Com base nas informações coletadas, é feita uma análise das falhas ocorridas ou potencialmente possíveis, e recomendações globais são emitidas — não apenas com base no funcionamento de um único sistema de armazenamento ou mesmo de uma dezena, mas do que acontece e aconteceu com milhares de dispositivos desse tipo. A amostra é enorme, e com base nela, os algoritmos de IA começam a aprender extremamente rápido, o que aumenta significativamente a precisão das previsões.
Compatibilidade
Entre 2019 e 2020, houve muitas insinuações sobre a interação do nosso equipamento com os produtos VMware. Para acabar definitivamente com isso, afirmamos com responsabilidade: a VMware é parceira da Huawei. Todos os testes de compatibilidade do nosso hardware com seu software foram realizados, e, no site da VMware, o documento de compatibilidade de hardware indica os sistemas de armazenamento da nossa produção atualmente disponíveis sem quaisquer ressalvas. Em outras palavras, os armazenamento Huawei, incluindo o Dorado V6, são compatíveis com o ambiente de software da VMware, com total suporte.
O mesmo se aplica à nossa colaboração com a Brocade. Continuamos a interagir e realizar testes de compatibilidade de nossos produtos — e, com base nos resultados, afirmamos com total confiança que nossos sistemas de armazenamento são completamente compatíveis com os mais recentes switches FC da Brocade.
E agora?
Continuamos a desenvolver e aprimorar nossos processadores: eles se tornam mais rápidos, mais confiáveis e sua performance aumenta. Também estamos melhorando os chips de IA — com eles são produzidos módulos que aceleram a deduplicação e a compressão. Aqueles que têm acesso ao nosso configurador podem notar que os cartões já estão disponíveis para pedido nos modelos Dorado V6.
Além disso, estamos avançando na implementação de cache adicional em Storage Class Memory — memória não volátil com latências extremamente baixas, em torno de dez microsegundos para leitura. Além de tudo, o SCM oferece um aumento de desempenho, especialmente ao lidar com big data e ao resolver tarefas OLTP. Após a próxima atualização, os cartões SCM deverão estar disponíveis para pedido.
E claro, a funcionalidade de acesso a arquivos será expandida em toda a linha de produtos de armazenamento Huawei — fique atento às nossas atualizações.
Fonte: habr.com
