Ao olhar de uma perspectiva ampla todas as soluções modernas da Huawei Enterprise apresentadas em 2020, passamos a narrativas mais focadas e detalhadas sobre ideias e produtos específicos que podem servir como base para a transformação digital tanto de grandes empresas quanto de organismos governamentais. Hoje, abordaremos as concepções e tecnologias nas quais a Huawei propõe construir Data Centers.
Na era do "mundo conectado", as demandas de armazenamento e processamento de dados exigem novas abordagens em todas as etapas do ciclo de vida dos Data Centers. Eles precisam se tornar ao mesmo tempo mais simples e "inteligentes", para lidar com o papel central que desempenham na infraestrutura da economia digital global.
Em 2018, a humanidade armazenou 33 zettabytes de informações, mas até 2025, seu volume total deve crescer mais de cinco vezes. Três décadas de experiência no desenvolvimento de infraestruturas de TIC permitiram à Huawei se preparar bem para o crescente "tsunami de dados" e oferecer aos seus parceiros e clientes um conceito de Data Center inteligente, que abrange todas as etapas de sua construção, operação e manutenção. Os elementos deste conceito estão unidos sob o nome geral de HiDC.
Digitalize isso
Circula uma nova piada na rede: quem mais acelerou a transformação digital da sua empresa — CEO, CTO, conselho de administração? A epidemia de coronavírus! Apenas os preguiçosos não realizam webinars, não escrevem artigos, não falam sobre como e o que fazer. Mas tudo isso são ações reativas. Alguns se prepararam com antecedência.
Não por ostentação — por razões objetivas, tomamos como exemplo nossa empresa, na qual a transformação digital foi amplamente iniciada há alguns anos. Atualmente, praticamente todos os funcionários podem ser transferidos para o trabalho remoto sem qualquer perda de eficiência. É emblemática a história do hospital construído na cidade de Wuhan em dez dias. Ali, a transformação digital se manifestou na rápida implantação de todos os sistemas de TI em três dias. Portanto, a transformação digital não se trata de "quando" e "por que", mas sim de "como".
Uma abordagem arquitetônica em vez de um desenvolvimento espontâneo
Quais são os principais problemas que enfrentamos ao começar a construir um sistema? Até agora, todos os nossos clientes operam na interseção de desafios de negócios com serviços aplicados e soluções de TI. É bastante difícil obter uma visão geral do funcionamento de tal complexo, se ele foi criado apenas pela adição de diferentes blocos. Para construir um sistema como um organismo único, é primeiro necessário uma abordagem arquitetônica. É isso que implementamos na ideologia da nossa solução HiDC.
Máxima valorização e mínimo custo
Toda a estrutura do HiDC consiste em duas camadas principais. A primeira é o que você está acostumado a ver na Huawei, uma infraestrutura clássica. Os elementos da segunda camada podem ser mais facilmente reunidos sob o termo 'dados inteligentes'.
Por que isso é necessário? Hoje em dia, muitas empresas acumulam volumes colossais de informações, muitas vezes dispersas ou acessíveis através de diversos tipos de 'intermediários'. Pense, por exemplo, em bancos de dados comuns. Pergunte aos seus administradores de banco de dados quão interconectados estão esses bancos e como usar as informações deles em sistemas de BI para a tomada de decisões comerciais. É surpreendente, muitas vezes os bancos de dados estão muito mal ligados entre si e funcionam como ‘ilhas’ separadas. Portanto, primeiramente, pensamos sobre quais abordagens arquitetônicas poderiam eliminar esse problema.
Princípios de design da arquitetura HiDC
Vamos considerar os principais princípios de design do HiDC. Isso será útil, em primeiro lugar, não apenas para especialistas de um determinado campo, mas para arquitetos de soluções que podem abranger toda a panorama.
Os mais comuns são o bloco de redes convergentes e o bloco de gerenciamento de dados. E aqui já surge um conceito sobre o qual os arquitetos de soluções raramente pensam — o gerenciamento do ciclo de vida dos dados. Esse conceito migrou de bancos de dados clássicos para muitos outros sistemas, incluindo computação em nuvem e de borda (edge).
O número de computações limitadas está aumentando. Um dos exemplos mais evidentes de sua aplicação é o carro com piloto automático, que idealmente deve ser gerenciado a partir de uma única plataforma. Além disso, há uma tendência em direção às tecnologias "verdes" - mais eficientes em termos de energia e que causam dano mínimo ao meio ambiente. Ambas podem ser alcançadas por meio da transição para recursos inteligentes (sobre isso, mais adiante).
É maravilhoso ter à disposição todos os seis blocos da estrutura HiDC. No entanto, muitas vezes os clientes trabalham em um ambiente criado anteriormente. No entanto, mesmo o uso de apenas um bloco do esquema acima pode trazer resultados. E se adicionarmos o segundo, o terceiro e assim por diante, começará a se manifestar o efeito sinérgico. Apenas a combinação de rede e sistema de armazenamento distribuído proporcionará maior desempenho e menor latência. A abordagem em blocos nos permite evoluir de forma não caótica, como frequentemente acontece na indústria, mas utilizando uma abordagem arquitetônica abrangente. Além disso, a abertura dos próprios blocos oferece liberdade na escolha da solução ideal.
A Era das Redes Convergentes
Recentemente, nos mercados mundial e russo, estamos promovendo cada vez mais a ideia das redes convergentes. Já hoje, nossos clientes utilizam soluções convergentes em RoCEv2 (RDMA over Converged Ethernet v2) para construir sistemas de armazenamento de dados definidos por software distribuídos. A principal vantagem dessa abordagem é sua abertura e a ausência da necessidade de criar um número indeterminado de redes díspares.
Por que isso não foi feito antes? Lembremos que o padrão Ethernet foi desenvolvido em 1969. Ao longo de meio século, acumulou muitos problemas, mas na Huawei aprendemos a resolvê-los. Agora, graças a uma série de ações adicionais, podemos usar o Ethernet para aplicações críticas, soluções de alta carga, etc.
De DCN a DCI
Uma tendência importante é o efeito sinérgico da implementação do DCI (Data Center Interconnect). Na Rússia, ao contrário da China, algo parecido só pode ser encontrado entre os operadores de telecomunicações. Quando os clientes consideram soluções de rede para data centers, normalmente não prestam atenção suficiente à integração profunda das redes ópticas e das soluções IP clássicas em um único ponto de presença. Eles utilizam soluções familiares que funcionam na camada IP, o que é suficiente para eles.
Para que serve o DCI então? Imagine que o administrador do nó DWDM e o administrador da rede atuam de maneira independente. Em algum momento, uma falha originada em qualquer um deles pode reduzir seriamente a sua resiliência. Mas se utilizarmos o princípio da sinergia, o roteamento IP é realizado levando em conta o que acontece na rede óptica. O uso desse serviço inteligente aumenta significativamente o número de noves no nível de disponibilidade de todo o sistema.
Outra grande vantagem do nosso DCI é a ampla reserva de desempenho. Somando as capacidades das faixas C e L, podemos obter cerca de 220 longitudes de onda. Essa reserva dificilmente será rapidamente esgotada, mesmo por grandes clientes corporativos, considerando que a nossa solução atual permite a transmissão de até 400 Gbit/s por cada longitud de onda. Futuramente, no mesmo equipamento, será possível alcançar 800 Gbit/s.
Conforto adicional é proporcionado pela gerência abrangente que oferecemos através de interfaces clássicas abertas. Através do NETCONF, é possível gerenciar não apenas os switches, mas também os dispositivos de compactação óptica, permitindo alcançar a convergência em todos os níveis e perceber o sistema como um recurso inteligente, e não apenas como um 'conjunto de caixas'.
A computação de borda é cada vez mais importante
Muitos estão cientes sobre Edge Computing. E aqueles que trabalham com data centers em nuvem e clássicos devem ter em mente que, recentemente, temos observado uma mudança significativa em direção à computação de borda.
O que causa isso? Vamos dar uma olhada nos modelos comuns de implementação. Atualmente, fala-se muito sobre "cidades inteligentes", "casas inteligentes", etc. Este conceito permite ao construtor criar valor agregado e aumentar o preço do imóvel. A "casa inteligente" reconhece seu residente, permite sua entrada e saída, oferecendo certos serviços. De acordo com estatísticas, esses serviços adicionam cerca de 10-15% ao preço dos apartamentos e podem impulsionar o desenvolvimento de novos modelos de negócios. Também já foi mencionado anteriormente sobre os conceitos de pilotagem automática. Em breve, o desenvolvimento das tecnologias 5G e Wi-Fi 6 permitirá uma latência extremamente baixa na transmissão de dados entre "casas inteligentes" que realizam computação de borda, veículos e o Data Center principal. Portanto, será possível realizar um número significativamente maior de operações relacionadas ao processamento sério de dados. Para resolver tais tarefas, em particular, podem ser utilizados processadores neurais, que já estão sendo fornecidos à Rússia.
A viabilidade da tendência delineada é inegável. Imaginemos, por exemplo, um sistema inteligente de gerenciamento de transporte urbano, capaz de controlar semáforos, regular a carga de tráfego em ruas específicas ou até mesmo tomar medidas adequadas durante situações de emergência.
Agora, vamos nos voltar para os recursos com os quais garantimos a implementação do conceito HiDC.
Cálculos
Quando precisamos implementar um sistema computacional padrão, é claro que processadores com arquitetura x86 são utilizados. Mas assim que surge a necessidade de customização, é hora de considerar soluções mais diversas.
Por exemplo, processadores ARM, devido ao seu grande número de núcleos, são muito adequados para aplicações que exigem um alto grau de paralelismo. O multithreading proporciona um ganho de desempenho de cerca de 30%.
Se a baixa latência for crítica para nós, os circuitos integrados programáveis (FPGA) vêm à tona.
Os processadores neurais são essenciais na resolução de tarefas de aprendizado de máquina. Se para uma implementação específica precisamos de 16 racks com 8 servidores em cada um, equipados com processadores neurais, uma solução do mesmo nível baseada na arquitetura x86 exigiria (!) cerca de 128 racks. Como você pode ver, a grande diversidade de tipos de cálculos exige uma escolha cuidadosa das plataformas de hardware.
Armazenamento de dados
Pelo segundo ano consecutivo, a Huawei está convocando parceiros, clientes e colegas do setor a construir sistemas de armazenamento de dados segundo o princípio Flash Only. E a maioria de nossos clientes utiliza discos rígidos mecânicos apenas em soluções antigas ou para dados arquivados de uso raro.
Os sistemas Flash também estão evoluindo. No mercado, surgem sistemas de Storage Class Memory (SCM), como o Intel Optane. Desenvolvimento interessantes estão sendo demonstrados por fabricantes chineses e japoneses. Neste momento, os SCM superam todas as outras soluções em termos de classe de processamento. Até agora, apenas o alto custo impede sua utilização generalizada.
Ao mesmo tempo, observamos que a qualidade das soluções de armazenamento deve ser elevada não apenas no backend, mas também no frontend. Atualmente, de fato, nas novas implementações, geralmente oferecemos e utilizamos mecanismos de acesso direto à memória via Ethernet, mas sentimos a demanda dos clientes e, portanto, perto do final do ano começaremos a usar com mais frequência o NVMe over Fabrics. E, claro, de ponta a ponta, para garantir uma arquitetura geral que, evidentemente, deve ser de alto desempenho e resistente a falhas dos controladores.
O sistema de armazenamento de dados OceanStor Dorado é um dos nossos produtos flagship. Testes internos mostraram que ele oferece desempenho de 20 milhões de IOPS, mantendo a operação mesmo com a falha de sete dos oito controladores.
Para que tamanha potência? Vamos considerar uma situação atual. Há vários meses os habitantes da China estão passando significativamente mais tempo em casa devido ao regime de isolamento. O tráfego de internet aumentou em média 30%, e em algumas províncias chegou a dobrar. O consumo de vários serviços de rede aumentou. E, em algum momento, os mesmos bancos começaram a sofrer uma carga adicional séria, para a qual suas soluções de armazenamento não estavam preparadas.
É claro que 20 milhões de IOPS não são necessários para todos atualmente. Mas o que acontecerá amanhã? Nossos sistemas inteligentes aproveitam ao máximo o potencial dos processadores neurais para garantir a compactação do tráfego, deduplicação, otimização e recuperação rápida de dados.
Rede de Suporte
O ano de 2020, como mencionamos no material anterior, será para nós o ano das redes de apoio. Muitos clientes, especialmente provedores de serviços de aplicativos (ASP) e bancos, já estão pensando em como seus aplicativos funcionarão em relação à conectividade com os data centers e entre eles. Neste contexto, a nova rede de apoio é uma grande ajuda. Um exemplo são os maiores bancos chineses que migraram para sistemas de apoio simplificados, utilizando, para a comunicação entre data centers, não uma dezena de protocolos diferentes, mas, por assim dizer, um ou dois — OSPF e SRv6. Assim, a organização ainda obtém o mesmo conjunto de serviços.
Recursos Inteligentes
Como utilizar os dados? Até recentemente, existia um sistema fragmentado de bancos de dados diversos: Microsoft SQL, MySQL, Oracle, etc. Para trabalhar com eles, eram utilizadas soluções de big data que podiam integrar esses dados, coletá-los e manipulá-los. Tudo isso gerava uma alta carga sobre os recursos.
Entretanto, faltava um mecanismo para realizar operações com os dados ao ocorrer algum evento. A solução foi o desenvolvimento dos princípios de gerenciamento do ciclo de vida dos dados (DLM).
Todos já ouviram falar de data lakes. Com a transição do gerenciamento de dados para a governança de dados, os 'lagos digitais' começaram a se tornar rapidamente 'inteligentes', em parte graças às soluções da Huawei. Em materiais futuros, certamente abordaremos todo o conjunto de tecnologias de software que utilizamos. Atualmente, é importante destacar que a aplicação de uma gestão 'inteligente' do ciclo de vida dos dados nos permitiu simplificar o uso de nossa rede e servidores, bem como aprender a construir arquiteturas integradas para uma melhor compreensão dos princípios de trabalho com dados.
Infraestrutura de Engenharia do Data Center
Publicaremos materiais separados dedicados à infraestrutura de engenharia, no entanto, no contexto do tema de hoje, gostaríamos de mencionar as mudanças que têm relação com o conceito HiDC.
Por muito tempo, o uso de baterias de lítio em sistemas de alimentação ininterrupta (UPS) de data centers foi proibido devido ao seu alto risco de incêndio. Qualquer dano mecânico ou violação da integridade da bateria poderia resultar em sua ignição e consequências imprevisíveis. Devido a isso, as UPS foram equipadas com baterias de ácido, que são moralmente obsoletas e possuem baixa densidade de carga com uma grande massa.
Nos novos sistemas de alimentação ininterrupta da Huawei, são utilizadas baterias de lítio-ferro-fosfato (LFP) com gerenciamento proativo inteligente. Com a mesma capacidade, elas ocupam três vezes menos espaço em comparação com as baterias de ácido. Seu ciclo de vida é de 10 a 15 anos, o que, entre outras coisas, reduz a carga que elas exercem sobre o meio ambiente. O sistema de gerenciamento patenteado na ecossistema SmartLi permite utilizar sistemas híbridos compostos por conjuntos de baterias antigas e novas, e o sistema de comutação permite a realização de alterações “quentes” na estrutura das UPS, mantendo continuamente a função de reserva.
Operação inteligente
Uma parte importante dos princípios de operação da infraestrutura HiDC é a ideologia de smart self-healing. No de nossas publicações anteriores, mencionamos a plataforma inteligente O&M 1-3-5, que pode não apenas detectar e analisar um evento indesejado no sistema, mas também oferecer ao administrador várias opções de solução automatizada para o problema.
A função de autoanálise permite detectar falhas em aproximadamente um minuto. Três minutos são gastos na análise e, em cinco minutos, são feitas propostas para alterar o estado do sistema.
Suponha que um erro do operador tenha levado à formação de um loop fechado de processos, reduzindo a performance da fazenda de virtualização de 100 para 77%. O administrador do data center recebe em seu painel a notificação correspondente, que contém a visualização completa do problema, incluindo o esquema de rede dos recursos afetados pelo processo indesejado. Em seguida, o administrador pode começar a corrigir a situação manualmente ou utilizar um dos vários cenários automáticos de recuperação que lhe foram propostos.
A sistema conhece cerca de 75 cenários que podem ser implementados em menos de dez minutos. Além disso, eles cobrem 90% dos problemas encontrados em Data Centers. Nesse tempo, o engenheiro pode tranquilamente responder às ligações de clientes preocupados, tendo a confiança de que o serviço será restaurado a qualquer momento.
Novos produtos-chave no HiDC
Além dos produtos de software, é importante considerar soluções-chave que operam no nível da infraestrutura. Primeiro, devemos mencionar os processadores neurais utilizados em nossos clusters de IA da família Atlas, assim como servidores baseados em NPU e GPU.
Além disso, não podemos deixar de mencionar o Dorado e seu desempenho recorde em sua classe, que será mais do que suficiente por muitos anos. Isso é especialmente relevante no espaço pós-soviético, onde, com raras exceções, as atualizações só são feitas quando algo para de funcionar completamente. Isso explica a vida útil de certos sistemas de armazenamento, que chega a dez anos. O alto desempenho é necessário para o Dorado continuar a garantir alta qualidade na prestação de serviços mesmo após dez anos.
Inovações em cada elemento
Ao escolher soluções específicas de infraestrutura, não se deve esquecer da arquitetura e dos cenários para seu desenvolvimento futuro. Produtos dispersos de diferentes fabricantes não garantem o efeito sinérgico esperado que as soluções já otimizadas para uso conjunto podem proporcionar.
A infraestrutura deve ser baseada em tecnologias adequadas. "Adequadas" incluem aquelas que são abertas e fornecem alta capacidade, funcionando de forma consistente sob altas cargas. No que diz respeito a Data Centers, por exemplo, uma boa relação entre o consumo total de energia e a carga de TI é importante. Para alcançar todos os objetivos mencionados, é necessário escolher o ambiente e os componentes. Em condições atuais, isso também significa uma aplicação cada vez mais ampla de inteligência artificial.
De acordo com nossas observações, entre os clientes estratégicos da Huawei, há cada vez menos aqueles que ainda não utilizam sistemas de aprendizado de máquina. Sem ML, simplesmente não é possível maximizar a monetização dos dados acumulados.
O sistema de monetização pode ser diferente: para os bancos, oferece produtos direcionados, para as operadoras de telecomunicações, fornece serviços personalizados e assegura a fidelidade, para os contratantes do governo, gerencia eficientemente o ciclo de vida dos dados e mantém um alto nível de interação com outras organizações. As modelos de gestão de dados não se resumem mais à configuração de firewalls e à garantia de visibilidade das suas bases de dados.
Da ideia ao Data Center em funcionamento
A construção de um Data Center padrão leva, no melhor dos casos, de um ano a um ano e meio. Nosso ciclo de produção permite fazer isso muito mais rápido devido ao uso de um conjunto de soluções agrupadas sob o nome FusionDC 2.0. O design, o desenvolvimento do projeto de alto nível e a montagem de todos os elementos da carga de TI são realizados diretamente na fábrica. Em pouco tempo, o equipamento é transportado da China para a Rússia em contêineres marítimos. Como resultado, é possível criar um Data Center "chave na mão" em apenas quatro a cinco meses.
A ideia de um data center em nuvem pré-fabricado é interessante também porque o Data Center pode ser desenvolvido em etapas, acrescentando os blocos funcionais necessários. Essa abordagem está incorporada no próprio conceito do HiDC.
Para não transformar o material de revisão em uma ficha técnica, para mais informações sobre o HiDC, sugerimos que você vá . Lá você encontrará descrições e exemplos de implementação das abordagens, produtos e soluções que mencionamos. Quanto maior seu nível de acesso ao site, mais materiais estarão disponíveis. Se você tiver o status de "parceiro", poderá baixar os roadmaps do HiDC, apresentações técnicas e vídeos.
Vamos assumir que a maioria dos leitores deste artigo possui competências como arquitetos de redes. Certamente, eles ficarão interessados em visitar nossa . Lá, explicamos detalhadamente como construir uma infraestrutura de rede de acordo com as regras do Huawei Validated Design (HVD). Os guias disponíveis para download ajudarão a entender completamente como as soluções da empresa funcionam. Apenas não se esqueça de que sem autorização você terá acesso a menos materiais.
***
A orientação será dada por meio de numerosos webinars, realizados não apenas no segmento de língua russa, mas também em nível internacional. Neles, compartilhamos não apenas informações sobre nossos produtos, mas também nossas práticas de negócios. Por exemplo, falamos sobre como a Huawei, em meio à ruptura de várias cadeias de serviços, continua a garantir a entrega contínua de seus produtos para diferentes países. Recentemente, houve um caso em que um equipamento recém-fabricado para um Data Center chegou a um cliente em Moscovo em apenas três semanas.
A lista de webinars para abril está disponível .
Fonte: habr.com
