Hoje vamos falar sobre como melhor armazenar dados em um mundo onde redes de quinta geração, scanners de genomas e carros autônomos geram mais dados em um dia do que toda a humanidade produziu até a Revolução Industrial.
O nosso mundo gera cada vez mais informações. Parte delas é efêmera e se perde tão rapidamente quanto é coletada. Outra parte deve ser armazenada por mais tempo, e outra é projetada para durar 'séculos' — pelo menos, assim nos parece a partir do presente. Fluxos de informação se acumulam em data centers a uma velocidade tal que qualquer nova abordagem, qualquer tecnologia, destinadas a satisfazer essa demanda infinita, rapidamente se tornam obsoletas.
40 anos de desenvolvimento de sistemas de armazenamento distribuído
Os primeiros sistemas de armazenamento em rede, como os conhecemos hoje, surgiram na década de 1980. Muitos de vocês já se depararam com NFS (Network File System), AFS (Andrew File System) ou Coda. Uma década depois, a moda e a tecnologia mudaram, e os sistemas de arquivos distribuídos deram lugar a sistemas de armazenamento em cluster baseados em GPFS (General Parallel File System), CFS (Clustered File Systems) e StorNext. Eles eram baseados em armazenamento em bloco de arquitetura clássica, sobre os quais uma camada de software criava um único sistema de arquivos. Essas e soluções semelhantes ainda são utilizadas, ocupam seu nicho e são bastante demandadas.
Na virada do milênio, a paradigma de armazenamento distribuído mudou um pouco, e sistemas com arquitetura SN (Shared-Nothing) passaram a assumir posições de liderança. Houve uma transição de armazenamento em cluster para armazenamento em nós individuais, que geralmente eram servidores clássicos que garantiam um armazenamento confiável; baseando-se nesses princípios, foram desenvolvidos, por exemplo, HDFS (Hadoop Distributed File System) e GFS (Global File System).
Próximo a 2010, os conceitos fundamentais de sistemas de armazenamento distribuído começaram a se refletir cada vez mais em produtos comerciais completos, como VMware vSAN, Dell EMC Isilon e nossa . Por trás das plataformas mencionadas estão não mais comunidades de entusiastas, mas fornecedores concretos que são responsáveis pela funcionalidade, suporte, manutenção do produto e garantem seu desenvolvimento contínuo. Essas soluções são mais solicitadas em várias áreas.
Operadores de telecomunicações
Provavelmente, um dos mais antigos consumidores de sistemas de armazenamento distribuído são os operadores de telecomunicações. No diagrama pode-se ver quais grupos de aplicativos geram a maior parte dos dados. OSS (Sistemas de Suporte às Operações), MSS (Serviços de Suporte à Gestão) e BSS (Sistemas de Suporte aos Negócios) são três camadas de software que se complementam, necessárias para fornecer serviços aos assinantes, relatórios financeiros para o provedor e suporte operacional para os engenheiros do operador.
Frequente, os dados dessas camadas estão fortemente misturados, e, para evitar o acúmulo de cópias desnecessárias, são utilizados precisamente os armazenamentos distribuídos, que acumulam todo o volume de informações provenientes da rede em operação. Os armazenamentos são unidos em um pool comum, ao qual todos os serviços têm acesso.
Nossos cálculos mostram que a transição dos sistemas clássicos de armazenamento para blocos pode economizar até 70% do orçamento apenas pela eliminação de sistemas de armazenamento dedicados do tipo hi-end e pela utilização de servidores comuns de arquitetura clássica (geralmente x86), operando em conjunto com software especializado. Os operadores de telefonia móvel já começaram a adquirir tais soluções em volumes significativos há bastante tempo. Em particular, operadores russos utilizam esses produtos da Huawei há mais de seis anos.
Sim, uma série de tarefas não poderá ser realizada por meio de sistemas distribuídos. Por exemplo, em casos de requisitos aumentados para desempenho ou compatibilidade com protocolos antigos. Porém, não menos de 70% dos dados que o operador processa podem muito bem ser armazenados em um pool distribuído.
Setor Bancário
Em qualquer banco coexistem diversos sistemas de TI diferentes, desde o processamento até o sistema bancário automatizado. Essa infraestrutura também trabalha com um enorme volume de informações, sendo que a maior parte das tarefas não exige alto desempenho e confiabilidade dos sistemas de armazenamento, como desenvolvimento, teste, automação de processos de escritório, etc. Aqui, a utilização de sistemas clássicos de armazenamento é possível, mas anualmente se torna menos vantajosa. Além disso, nesse caso, falta a flexibilidade no uso dos recursos de armazenamento, cuja performance é calculada a partir da carga máxima.
Ao utilizar sistemas de armazenamento distribuído, seus nós, que na verdade são servidores comuns, podem ser convertidos a qualquer momento, por exemplo, em um farm de servidores e usados como uma plataforma de computação.
Lagos de dados
No esquema acima, há uma lista de consumidores típicos de serviços . Isso pode incluir serviços de governo eletrônico (por exemplo, 'Governo Digital'), que passaram pela digitalização de processos, instituições financeiras, entre outros. Todos eles precisam trabalhar com grandes volumes de informações heterogêneas.
A operação de sistemas de armazenamento clássicos para resolver tais tarefas não é eficiente, pois exige tanto acesso de alto desempenho a bancos de dados em bloco quanto acesso simples a bibliotecas de documentos digitalizados armazenados como objetos. Poderia também estar vinculada, por exemplo, a um sistema de pedidos através de um portal web. Para implementar tudo isso em uma plataforma de armazenamento clássico, seria necessário um grande conjunto de equipamentos para diferentes tarefas. Um único sistema de armazenamento horizontal e universal pode facilmente atender a todas as tarefas listadas anteriormente: só será necessário criar vários pools com diferentes características de armazenamento.
Geradores de novas informações
A quantidade de informações armazenadas no mundo cresce cerca de 30% ao ano. Isso são boas notícias para fornecedores de sistemas de armazenamento, mas qual é e será a principal fonte desses dados?
Dez anos atrás, as redes sociais se tornaram esses geradores, o que exigiu a criação de uma grande quantidade de novos algoritmos, soluções de hardware, etc. Atualmente, três principais motores de crescimento dos volumes de armazenamento estão em destaque. O primeiro é a computação em nuvem. Hoje em dia, cerca de 70% das empresas usam, de alguma forma, serviços de nuvem. Isso pode incluir sistemas de e-mail, backups e outras entidades virtualizadas.
O segundo motor são as redes de quinta geração. Isso traz novas velocidades e novos volumes de transmissão de dados. De acordo com nossas previsões, a ampla adoção do 5G levará a uma queda na demanda por cartões de memória flash. Não importa quanta memória o telefone tenha, ela sempre acaba, e com um canal de 100 megabits no dispositivo não há necessidade de armazenar fotos localmente.
O crescimento da demanda por sistemas de armazenamento deve-se a vários fatores, entre eles o desenvolvimento explosivo da inteligência artificial, a transição para a análise de grandes dados e a tendência de automação generalizada de tudo o que for possível.
Uma característica do "novo tráfego" é sua . Precisamos armazenar esses dados sem definir seu formato. Esse formato só é necessário para a leitura posterior. Por exemplo, um sistema bancário de pontuação para determinar o valor do crédito disponível analisará as fotos que você postou nas redes sociais, verificando com que frequência você visita o mar e restaurantes, enquanto estuda os extratos médicos disponíveis. Por um lado, esses dados são abrangentes, mas por outro, são heterogêneos.
Oceano de dados não estruturados
Quais problemas surgem com a chegada dos "novos dados"? O principal deles, é claro, é o volume de informação e os prazos para seu armazenamento. Um único carro autônomo moderno, por exemplo, gera até 60 TB de dados diariamente, provenientes de todos os seus sensores e mecanismos. Para desenvolver novos algoritmos de movimento, essas informações precisam ser processadas no mesmo dia, caso contrário, começarão a se acumular. Além disso, elas devem ser armazenadas por um longo período — décadas. Só assim, no futuro, será possível fazer conclusões com base em grandes amostras analíticas.
Um único dispositivo para decifrar sequências genéticas produz cerca de 6 TB por dia. E os dados coletados por ele não contemplam a exclusão, ou seja, hipoteticamente devem ser armazenados para sempre.
Finalmente, as mesmas redes de quinta geração. Além da informação transmitida, essa rede também é um gerador imenso de dados: logs de atividades, registros de chamadas, resultados intermediários de interações máquina a máquina e assim por diante.
Tudo isso requer o desenvolvimento de novas abordagens e algoritmos para armazenamento e processamento de informações. E tais abordagens estão surgindo.
Tecnologias da nova era
Podemos identificar três grupos de soluções destinadas a lidar com as novas exigências para sistemas de armazenamento de informações: a implementação de inteligência artificial, a evolução técnica dos meios de armazenamento e inovações na arquitetura de sistemas. Comecemos com a IA.
Nas novas soluções da Huawei, a inteligência artificial já é utilizada no nível do próprio armazenamento, que é equipado com um processador de IA, permitindo que o sistema analise seu estado e preveja falhas. Se a SAN for conectada a um serviço de nuvem com capacidades computacionais significativas, a inteligência artificial poderá processar mais informações e aumentar a precisão de suas hipóteses.
Além das falhas, essa IA é capaz de prever a futura carga máxima e o tempo restante até o esgotamento da capacidade. Isso permite otimizar o desempenho e escalar o sistema antes que qualquer evento indesejado ocorra.
Agora, sobre a evolução dos dispositivos de armazenamento. Os primeiros pen drives foram feitos com a tecnologia SLC (Single-Level Cell). Os dispositivos baseados nessa tecnologia eram rápidos, confiáveis e estáveis, mas tinham uma capacidade pequena e custavam muito caro. O aumento da capacidade e a redução de preço foram alcançados por meio de certos compromissos técnicos, que diminuíram a velocidade, a confiabilidade e a vida útil dos dispositivos. No entanto, essa tendência não impactou as SANs, que, graças a diferentes artifícios arquitetônicos, tornaram-se em geral mais eficientes e mais confiáveis.
Mas por que foram necessárias as SANs do tipo All-Flash? Não seria suficiente simplesmente substituir os antigos HDDs por novos SSDs do mesmo formato em sistemas já em operação? Isso foi necessário para utilizar eficientemente todos os recursos dos novos dispositivos de estado sólido, o que era simplesmente impossível em sistemas antigos.
A empresa Huawei, por exemplo, desenvolveu toda uma gama de tecnologias para resolver essa questão, uma das quais foi , que permitiu otimizar ao máximo as interações "disco – controlador".
A identificação inteligente permitiu dividir os dados em vários fluxos e lidar com uma série de fenômenos indesejados, como (ampliação de escrita). Ao mesmo tempo, novos algoritmos de recuperação, em particular, , aumentaram a velocidade de rebuild, reduzindo seu tempo a valores completamente irrelevantes.
Falhas, superlotação, "coleta de lixo" — esses fatores também não afetam mais o desempenho do sistema de armazenamento graças a melhorias especiais nos controladores.
E os armazenamentos de dados em bloco estão se preparando para receber . Vale lembrar que o esquema clássico de organização de acesso aos dados funcionava assim: o processador se comunicava com o controlador RAID pelo barramento PCI Express. Este, por sua vez, interagia com discos mecânicos via SCSI ou SAS. A aplicação do NVMe no backend acelerou consideravelmente todo o processo, mas tinha uma desvantagem: os drives precisavam ter uma conexão direta com o processador para garantir acesso direto à memória.
A próxima fase de desenvolvimento da tecnologia, que estamos observando agora, foi a implementação do NVMe-oF (NVMe over Fabrics). No que diz respeito às tecnologias de bloco da Huawei, elas já suportam FC-NVMe (NVMe over Fibre Channel) e estão se preparando para o NVMe over RoCE (RDMA over Converged Ethernet). Modelos de teste são totalmente funcionais, e restam poucos meses até sua apresentação oficial. Vale dizer que tudo isso também aparecerá em sistemas distribuídos, onde o "Ethernet sem perdas" será bastante solicitado.
Uma maneira adicional de otimizar o funcionamento dos armazenamentos distribuídos foi a completa eliminação da duplicação de dados. As soluções da Huawei não usam mais n cópias, como no tradicional RAID 1, e fazem a transição total para o mecanismo (Erasure coding). Um pacote matemático especial calcula, em intervalos regulares, blocos de controle que permitem a recuperação de dados intermediários em caso de perda.
Mecanismos de deduplicação e compressão tornam-se obrigatórios. Se nas tradicionais SANs somos limitados pelo número de processadores instalados nos controladores, nas sistemas de armazenamento horizontalmente escalonáveis, cada nó contém tudo o que é necessário: discos, memória, processadores e interconexão. Esses recursos são suficientes para que a deduplicação e a compressão tenham um impacto mínimo na performance.
E sobre métodos de otimização de hardware. Aqui, a carga nos processadores centrais foi reduzida com o uso de chips dedicados (ou blocos dedicados no próprio processador), desempenhando o papel de (TCP/IP Offload Engine) ou realizando as tarefas matemáticas de EC, deduplicação e compressão.
Novas abordagens para o armazenamento de dados encontraram expressão na arquitetura desagregada (distribuída). Em sistemas de armazenamento centralizado, há uma fábrica de servidores conectada via Fibre Channel a um grande número de matrizes. As desvantagens dessa abordagem incluem dificuldades de escalabilidade e a garantia de um nível de serviço (em desempenho ou latências). Sistemas hiperconvergentes utilizam os mesmos hosts — tanto para armazenamento quanto para processamento de informações. Isso oferece um espaço praticamente ilimitado para escalabilidade, mas traz altos custos para manter a integridade dos dados.
Ao contrário das duas arquiteturas mencionadas, a arquitetura desagregada implica na separação do sistema em uma fábrica de computação e um sistema de armazenamento horizontal. Isso proporciona os benefícios de ambas as arquiteturas e permite escalar praticamente sem limites apenas aquele elemento cuja performance é insuficiente.
Da integração à convergência
Um dos principais desafios, cuja relevância tem crescido nos últimos 15 anos, é a necessidade de fornecer simultaneamente armazenamento em bloco, acesso a arquivos, acesso a objetos, operação de um farm para grandes dados, etc. Um exemplo de 'cereja do bolo' pode ser um sistema de backup em fita magnética.
Na primeira etapa, foi possível unificar apenas a gestão desses serviços. Sistemas de armazenamento de dados heterogêneos eram restritos a algum software especializado, através do qual o administrador distribuía os recursos dos pools disponíveis. Mas como esses pools eram diferentes em termos de hardware, a migração de carga entre eles era impossível. Em um nível superior de integração, a unificação ocorria no nível do gateway. Com acesso a arquivos comum, ele poderia ser fornecido através de diferentes protocolos.
O método mais sofisticado de convergência disponível atualmente implica a criação de um sistema híbrido universal. Esse é o objetivo que nossa . O acesso universal utiliza os mesmos recursos de hardware, logicamente divididos em diferentes pools, permitindo a migração de carga. Tudo isso pode ser realizado através de um único painel de gerenciamento. Dessa forma, conseguimos implementar o conceito de 'um data center — um sistema de armazenamento'.
O custo de armazenamento de informações atualmente determina muitas decisões arquitetônicas. E embora se possa colocá-lo em primeiro plano, hoje estamos discutindo o armazenamento 'ativo' com acesso dinâmico, portanto, o desempenho também deve ser considerado. Outra característica importante dos sistemas distribuídos de próxima geração é a unificação. Afinal, ninguém quer ter vários sistemas desconexos, gerenciados a partir de diferentes painéis. Todas essas qualidades foram incorporadas na nova linha de produtos da Huawei. .
Sistema de Armazenamento em Massa de Nova Geração
OceanStor Pacific atende aos requisitos de confiabilidade a nível de 'seis noves' (99,9999%) e pode ser utilizado para criar centros de dados da classe HyperMetro. Com uma distância de até 100 km entre dois data centers, os sistemas demonstram uma latência adicional de 2 ms, o que permite construir sobre eles soluções de alta disponibilidade, incluindo servidores com quórum.
Os produtos da nova série demonstram versatilidade em protocolos. Já agora, o OceanStor 100D suporta acesso em bloco, acesso a objetos e acesso Hadoop. Em breve, o acesso de arquivos será implementado. Não há necessidade de armazenar várias cópias de dados se eles podem ser fornecidos através de diferentes protocolos.
À primeira vista, que relação a conceito de 'rede sem perdas' tem com sistemas de armazenamento? A questão é que sistemas distribuídos de armazenamento de dados são construídos sobre uma rede rápida que suporta os algoritmos adequados e o mecanismo RoCE. Aumentar ainda mais a velocidade da rede e reduzir latências é ajudado pelo sistema de inteligência artificial suportado por nossos switches. . O ganho de desempenho do sistema de armazenamento ao ativar o AI Fabric pode chegar a 20%.
O que é o novo nó do sistema de armazenamento distribuído OceanStor Pacific? A solução de formato 5U inclui 120 drives e pode substituir três nós clássicos, resultando em mais de duas vezes a economia de espaço em rack. Ao eliminar o armazenamento de cópias, a eficiência dos drives aumenta significativamente (até +92%).
Estamos acostumados a que o armazenamento definido por software seja um software específico instalado em um servidor tradicional. Mas agora, para alcançar parâmetros ideais, essa solução arquitetônica também exige nós especiais. Ela consiste em dois servidores baseados em processadores ARM que gerenciam um array de unidades de disco de três polegadas.
Esses servidores são inadequados para soluções hiperconvergentes. Primeiro, há poucas aplicações para ARM, e segundo, é difícil manter o equilíbrio de carga. Nós sugerimos migrar para um armazenamento separado: um cluster computacional, representado por servidores clássicos ou em rack, opera de forma independente, mas se conecta aos nós de armazenamento OceanStor Pacific, que também executam suas funções principais. E isso se justifica.
Como exemplo, consideremos uma solução clássica para armazenamento de grandes dados com um sistema hiperconvergente ocupando 15 racks de servidores. Se distribuirmos a carga entre servidores computacionais separados e os nós de armazenamento OceanStor Pacific, separando-os, o número de racks necessários será reduzido pela metade! Isso diminui os custos operacionais do data center e reduz o custo total de propriedade. Em um mundo onde o volume de informações armazenadas cresce 30% ao ano, tais vantagens não devem ser desperdiçadas.
***
Mais informações sobre as soluções da Huawei e os cenários de sua aplicação podem ser obtidas em nosso ou entrando em contato diretamente com os representantes da empresa.
Fonte: habr.com
