Depois de ter uma visão panorâmica de todas as soluções empresariais modernas da Huawei apresentadas em 2020, passamos para histórias mais focadas e detalhadas sobre ideias e produtos individuais que podem servir de base para a transformação digital de grandes empresas e agências governamentais. Hoje falamos sobre os conceitos e tecnologias sobre os quais a Huawei se propõe para construir data centers.
Na era do mundo conectado, os desafios de armazenamento e processamento de dados exigem novas abordagens em todas as fases do ciclo de vida do data center. Devem tornar-se simultaneamente mais simples e mais inteligentes para poderem cumprir o seu papel como elementos centrais da infra-estrutura da economia digital global.
Em 2018, a humanidade armazenou 33 zetabytes de informação, mas até 2025 o seu volume total deverá aumentar mais de cinco vezes. Três décadas de experiência no desenvolvimento de infraestruturas TIC permitiram à Huawei estar bem preparada para o crescente “tsunami de dados” e oferecer aos seus parceiros e clientes o conceito de um data center inteligente, incluindo todas as fases da sua construção, operação e manutenção. Os elementos deste conceito são unidos sob o nome geral HiDC.
Digitalize-o
Há uma nova piada circulando pela Internet: quem mais acelerou a transformação digital da sua empresa – CEO, CTO, conselho de administração? Epidemia do coronavírus! Só o preguiçoso não conduz webinars, não escreve artigos, não diz às pessoas como e o que fazer. Mas estas são todas ações reativas. Alguns preparados com antecedência.
Não para nos gabarmos - por razões objetivas, usaremos como exemplo a nossa empresa, na qual a transformação digital foi iniciada em grande escala há vários anos. Atualmente, conseguimos transferir quase todos os nossos colaboradores para trabalhar em casa sem qualquer perda de eficiência. A história de um hospital construído na cidade de Wuhan em dez dias é indicativa. Lá, a transformação digital se manifestou no fato de todos os sistemas de TI terem sido implantados em três dias. Portanto, a transformação digital não tem a ver com “quando” e “porquê”, mas sim com “como”.
Abordagem arquitetônica em vez de desenvolvimento espontâneo
Quais são os principais problemas que enfrentamos quando começamos a construir um determinado sistema? Até agora, todos os nossos clientes trabalham combinando tarefas de negócios com serviços de aplicativos e soluções de TI. É muito difícil ter uma ideia geral do funcionamento de tal complexo se ele foi criado simplesmente pela adição de vários blocos. E para construir um sistema como um organismo único, é necessária primeiro uma abordagem arquitetônica. Isto é o que incorporamos na ideologia da nossa solução HiDC.
Valor máximo e custo mínimo
Toda a estrutura do HiDC é composta por duas fatias principais. A primeira é o que você está acostumado a ver na Huawei – infraestrutura clássica. Os elementos da segunda fatia são mais facilmente combinados com o termo “dados inteligentes”.
Por que isso é necessário? Hoje em dia, muitas empresas acumulam quantidades colossais de informação, muitas vezes dispersa ou acessível através de vários tipos de “juntas”. Sim, pegue pelo menos bancos de dados comuns. Pergunte aos administradores de banco de dados como esses bancos de dados se encaixam e como usar as informações deles em sistemas de BI para tomar decisões de negócios. Surpreendentemente, os bancos de dados geralmente estão pouco conectados entre si e funcionam como “ilhas” separadas. Portanto, em primeiro lugar, pensamos em quais abordagens arquitetônicas poderiam eliminar esse problema.
Princípios de design de arquitetura HiDC
Vejamos os princípios básicos do design HiDC. Isto será útil principalmente não para especialistas em qualquer área específica, mas para arquitetos de soluções que podem abranger todo o panorama.
Os mais comuns são o bloco de redes convergentes e o bloco de gerenciamento de dados. E aí surge um conceito em que os arquitetos de soluções raramente pensam: gerenciamento do ciclo de vida dos dados. Dos bancos de dados clássicos, migrou para muitos outros sistemas, incluindo nuvem e edge computing.
A computação de borda está se tornando cada vez mais comum. O exemplo mais óbvio de sua utilização é um carro com piloto automático, que é aconselhável controlar a partir de uma única plataforma. Além disso, há uma tendência para tecnologias “verdes” – mais eficientes energeticamente, causando danos mínimos ao meio ambiente. Você pode conseguir ambos mudando para recursos intelectuais (mais sobre eles mais tarde).
É ótimo ter todos os seis blocos da estrutura HiDC à nossa disposição. É verdade que os clientes muitas vezes trabalham num ambiente previamente criado. No entanto, usar apenas um bloco do diagrama acima pode dar frutos. E se você adicionar um segundo, um terceiro e assim por diante, um efeito sinérgico começará a aparecer. A combinação de rede e armazenamento distribuído por si só produzirá maior desempenho e menor latência. A abordagem em bloco nos permite desenvolver não de forma caótica, como costuma acontecer na indústria, mas usando uma abordagem arquitetônica integrada. Bem, a abertura dos próprios blocos proporciona liberdade na escolha da solução ideal.
A hora das redes convergentes
Recentemente, nos mercados global e russo, temos promovido cada vez mais o conceito de redes convergentes. Atualmente, nossos clientes já estão usando soluções convergentes baseadas em RoCEv2 (RDMA over Converged Ethernet v2) para construir sistemas de armazenamento distribuídos definidos por software. A principal vantagem desta abordagem é a sua abertura e a ausência da necessidade de criar um número indefinido de redes díspares.
Por que isso não foi feito antes? Lembre-se de que o padrão Ethernet foi desenvolvido em 1969. Ao longo de meio século, acumulou muitos problemas, mas a Huawei aprendeu a resolvê-los. Agora, graças a uma série de etapas adicionais, podemos usar Ethernet para aplicações de missão crítica, soluções de alta carga, etc.
Do DCN ao DCI
A próxima tendência importante é o efeito sinérgico da implementação do DCI (Data Center Interconnect). Na Rússia, ao contrário da China, algo semelhante só pode ser encontrado nas operadoras de telecomunicações. Quando os clientes consideram soluções de rede para o data center, geralmente não prestam atenção suficiente à profunda integração de redes ópticas e soluções IP clássicas em um único ponto de presença. Eles usam soluções familiares que funcionam na camada IP, o que é suficiente para eles.
Para que serve então o DCI? Imagine que o administrador do nó DWDM e o administrador da rede atuem de forma independente. Em algum momento, uma falha em qualquer um deles pode reduzir seriamente a sua resiliência. E se usarmos o princípio da sinergia, o roteamento IP é feito levando em consideração o que está acontecendo na rede óptica. A utilização de um serviço tão inteligente aumenta significativamente o número de noves no nível de disponibilidade de todo o sistema.
Outra grande vantagem do nosso DCI é a sua grande margem de desempenho. Somando as capacidades das faixas C e L, você pode obter cerca de 220 lambdas. É improvável que tal reserva se esgote rapidamente, mesmo por um grande cliente corporativo, visto que nossa solução atual permite a transmissão de até 400 Gbit/s através de cada lambda. No futuro, será possível atingir 800 Gbit/s no mesmo equipamento.
A conveniência adicional é fornecida pela capacidade de gerenciamento geral que oferecemos por meio de interfaces classicamente abertas. O NETCONF gerencia não apenas switches, mas também dispositivos multiplex ópticos, o que permite alcançar convergência em todos os níveis e perceber o sistema como um recurso intelectual, e não como um “conjunto de caixas”.
A computação de borda é cada vez mais importante
Muitas pessoas já ouviram falar sobre Edge Computing. E aqueles envolvidos na nuvem e em data centers clássicos devem ter em mente que recentemente assistimos a uma mudança séria em direção à computação de ponta.
O que causa isso? Vejamos modelos de implantação comuns. Hoje em dia fala-se muito em “cidades inteligentes”, “casas inteligentes”, etc. Este conceito permite ao promotor criar valor acrescentado e aumentar o preço do imóvel. Uma “casa inteligente” identifica o seu residente, permite-lhe entrar e sair e presta-lhe determinados serviços. Segundo as estatísticas, estes serviços acrescentam cerca de 10-15% ao preço dos apartamentos e, em geral, podem estimular o desenvolvimento de novos modelos de negócio. Além disso, já foi dito sobre os conceitos de piloto automático. Em breve, o desenvolvimento das tecnologias 5G e Wi-Fi 6 proporcionará latência extremamente baixa para transferência de dados entre casas inteligentes, carros e os principais data centers que realizam computação de ponta. Isso significa que será possível realizar um número muito maior de operações relacionadas ao processamento sério de dados. Para resolver tais problemas, em particular, é possível usar processadores neurais que já são fornecidos para a Rússia.
A promessa da tendência que acabamos de delinear é inegável. Imaginemos, por exemplo, um sistema inteligente de gestão de transporte urbano capaz de mudar semáforos, regular a carga de trânsito em ruas específicas ou mesmo tomar medidas adequadas durante emergências.
Passemos agora aos recursos com os quais proporcionamos a implementação do conceito HiDC.
Cálculos
Quando precisamos implementar um sistema de computação padrão, processadores com arquitetura x86 são, obviamente, usados nele. Mas assim que surge a necessidade de customização, é hora de pensar em soluções mais diversas.
Por exemplo, os processadores ARM, devido ao seu grande número de núcleos, são excelentes para aplicações altamente paralelas. Multithreading oferece um ganho de desempenho de cerca de 30%.
Quando a baixa latência é crítica, os circuitos integrados lógicos programáveis em campo (FPGAs) vêm à tona.
Os processadores neurais são necessários principalmente para resolver problemas de aprendizado de máquina. Se para uma implementação específica precisarmos de 16 racks com 8 servidores cada, recheados de processadores neurais, então uma solução do mesmo nível baseada na arquitetura x86 exigiria (!) cerca de 128 racks. Como você pode ver, a grande variedade de tipos de cálculo torna necessária uma seleção cuidadosa das plataformas de hardware.
Armazenamento de dados
Pelo segundo ano, a Huawei tem convocado parceiros, clientes e colegas da indústria para construir sistemas de armazenamento de dados de acordo com o princípio Flash Only. E a maioria de nossos clientes usa acionamentos de fuso mecânico apenas em soluções mais antigas ou para dados de arquivamento raramente usados.
Os sistemas Flash também estão evoluindo. Sistemas de memória de classe de armazenamento (SCM), como o Intel Optane, estão aparecendo no mercado. Os fabricantes chineses e japoneses estão demonstrando desenvolvimentos interessantes. Atualmente, o SCM é superior a todas as outras soluções em termos de classe de processamento. Até o momento, apenas o alto custo não permite que sejam utilizados em todos os lugares.
Ao mesmo tempo, vemos que a qualidade dos sistemas de armazenamento precisa ser melhorada não apenas no backend convencional, mas também no frontend. Agora, de fato, em novas implementações, via de regra, oferecemos e utilizamos mecanismos de acesso direto à memória via Ethernet, mas atendemos às solicitações dos clientes e, portanto, no final do ano, começaremos a usar NVMe sobre Fabrics com mais frequência. Além disso, ponta a ponta, a fim de fornecer uma arquitetura comum, que, obviamente, deve ser de alto desempenho e resistente a falhas do controlador.
O sistema de armazenamento OceanStor Dorado é um dos nossos principais produtos. Testes internos mostraram que ele fornece desempenho de 20 milhões de IOPS, mantendo a funcionalidade quando sete em cada oito controladores falham.
Por que tanto poder? Vejamos a situação atual. Há vários meses, os residentes chineses têm passado significativamente mais tempo em casa devido ao bloqueio. O tráfego da Internet nesta altura aumentou em média 30% e, em algumas províncias, até duplicou. O consumo de uma variedade de serviços de rede aumentou. E em algum momento, os mesmos bancos começaram a enfrentar uma séria carga adicional, para a qual seus sistemas de armazenamento não estavam preparados.
É claro que nem todo mundo precisa de 20 milhões de IOPS agora. Mas o que acontecerá amanhã? Nossos sistemas inteligentes maximizam todo o potencial dos processadores neurais para garantir compactação do tráfego, desduplicação, otimização e rápida recuperação de dados.
Rede principal
2020, como mencionamos no artigo anterior, será para nós o ano das redes centrais. Muitos clientes, especialmente fornecedores de serviços de aplicações (ASPs) e bancos, já estão a pensar em como as suas aplicações funcionarão especificamente em termos de comunicações para e entre centros de dados. É aqui que uma nova rede de backbone vem em nosso auxílio. Como exemplo, tomemos os maiores bancos chineses que mudaram para sistemas de backbone simplificados que usam não uma dúzia de protocolos diferentes para comunicação entre data centers, mas, relativamente falando, alguns - OSPF e SRv6. Além disso, a organização recebe o mesmo conjunto de serviços.
Recursos intelectuais
Como usar os dados? Até recentemente existia um sistema fragmentado de bancos de dados heterogêneos: Microsoft SQL, MySQL, Oracle, etc. Para trabalhar com eles foram utilizadas soluções da área de big data, capazes de combinar esses dados, pegá-los, trabalhar com eles. Tudo isso criou uma grande carga de recursos.
Ao mesmo tempo, não existia mecanismo para realizar operações com dados na ocorrência de algum evento. A solução foi o desenvolvimento de princípios de gerenciamento do ciclo de vida de dados (DLM).
Todo mundo já ouviu falar sobre data lakes. Com a transição da gestão de dados para a governação de dados, os “lagos digitais” começaram a tornar-se rapidamente mais inteligentes. Inclusive graças às soluções Huawei. Nos materiais a seguir, com certeza falaremos sobre toda a pilha de tecnologias de software que usamos. Agora é importante destacar que foi o uso do gerenciamento inteligente do ciclo de vida dos dados que nos permitiu simplificar o uso de nossa rede e servidores, bem como aprender a construir arquiteturas ponta a ponta para entender melhor os princípios de trabalho com dados .
Infraestrutura de engenharia de data center
Publicaremos materiais separados dedicados à infraestrutura de engenharia, mas no contexto do tópico de hoje gostaríamos de mencionar as mudanças relacionadas ao conceito HiDC.
Durante muito tempo, o uso de baterias de lítio em sistemas de energia de emergência e de reserva (ESP) de data centers foi proibido devido ao seu alto risco de incêndio. Qualquer dano mecânico ou violação da integridade da bateria pode causar incêndio e consequências imprevisíveis. Nesse sentido, o PSA estava equipado com baterias ácidas obsoletas, que apresentavam baixa densidade de carga específica e grande massa.
Os novos sistemas de energia de emergência e de backup da Huawei usam baterias seguras de fosfato de ferro-lítio (LFP) com gerenciamento proativo inteligente. Com a mesma capacidade, ocupam três vezes menos volume em comparação às baterias ácidas. O seu ciclo de vida é de 10 a 15 anos, o que, entre outras coisas, reduz a carga que criam para o ambiente. O sistema de controle patenteado no ecossistema SmartLi permite o uso de sistemas híbridos que consistem em conjuntos de baterias do tipo antigo e novo, e o sistema de comutação permite alterações “quentes” na estrutura PSA, mantendo a função de redundância.
Operação inteligente
Uma parte importante dos princípios de funcionamento da infraestrutura HiDC é a ideologia da autocura inteligente. EM Em nossas publicações anteriores, mencionamos a plataforma inteligente O&M 1-3-5, que é capaz não apenas de detectar e analisar um evento indesejado no sistema, mas também de oferecer ao administrador diversas opções para uma solução totalmente automatizada do problema.
A função de autoanálise permite detectar problemas em cerca de um minuto. Três minutos são gastos em análise e em cinco minutos são formadas propostas para mudar o estado do sistema.
Digamos que algum erro do operador levou à formação de um ciclo fechado de processos, reduzindo o desempenho do farm de virtualização de 100 para 77%. O administrador do data center recebe uma mensagem correspondente em seu painel, que contém uma visualização completa do problema, incluindo um diagrama de rede dos recursos afetados pelo processo indesejado. Em seguida, o administrador pode corrigir a situação manualmente ou usar um dos vários cenários de recuperação automática que lhe são oferecidos.
O sistema conhece cerca de 75 desses cenários que podem ser implementados em menos de dez minutos e cobrem 90% dos problemas encontrados em data centers. Nesse momento, o engenheiro pode atender com tranquilidade as ligações de clientes preocupados, confiante de que o serviço será restabelecido a qualquer minuto.
Novos produtos-chave em HiDC
Além dos produtos de software, isto deverá incluir soluções-chave que funcionem ao nível da infraestrutura. Em primeiro lugar, precisamos mencionar os processadores neurais usados em nossa família Atlas de clusters de IA, bem como servidores baseados em NPU e GPU.
Além disso, não podemos deixar de mencionar novamente o Dorado e o seu desempenho líder na classe, que perdurará por muitos anos. Isto é especialmente verdadeiro no espaço pós-soviético, onde, com raras exceções, é costume atualizar algo apenas quando ele para de funcionar completamente. Isso explica a vida útil dos sistemas de armazenamento individuais, que chega a dez anos. É necessária uma enorme produtividade para que a Dorado garanta a prestação de serviços de alta qualidade daqui a dez anos.
Inovação em todos os elementos
Ao escolher soluções de infraestrutura específicas, não devemos esquecer a arquitetura e os cenários para o seu futuro desenvolvimento. Produtos díspares de fabricantes diferentes não garantem o efeito sinérgico esperado que soluções já otimizadas para uso conjunto proporcionarão.
A infra-estrutura deve basear-se na tecnologia certa. Os “corretos” incluem os abertos, proporcionando alto rendimento, operando de forma estável sob altas cargas. Para data centers, por exemplo, é importante uma boa relação entre o consumo total de energia e a carga de TI. Para atingir todos os objetivos acima, você precisa selecionar o ambiente e os componentes. Nas condições modernas, isto também significa o uso cada vez mais difundido da inteligência artificial.
De acordo com as nossas observações, entre os clientes estratégicos da Huawei há cada vez menos pessoas que ainda não utilizam sistemas de aprendizagem automática. Sem ML, é simplesmente impossível monetizar ao máximo os dados acumulados.
O sistema de monetização pode ser diferente: para bancos - oferecendo novos produtos direcionados, para operadoras de telecomunicações - fornecendo serviços individuais e garantindo fidelização, para clientes governamentais - gestão do ciclo de vida de dados de alta qualidade e um alto nível de interação com outras organizações. Afinal, os modelos de gerenciamento de dados há muito vão além da configuração de um firewall e da garantia de visibilidade de rede de seus bancos de dados.
Da ideia à operação do data center
A construção de um data center padrão leva de um ano a um ano e meio, no máximo. O nosso ciclo de produção permite-nos fazer isto muito mais rapidamente graças à utilização de um conjunto de soluções unidas sob o nome comum FusionDC 2.0. O projeto, o desenvolvimento do projeto de alto nível e a montagem de todos os elementos da carga de TI são realizados diretamente na fábrica. Em pouco tempo, os equipamentos são entregues em contêineres marítimos da China para a Rússia. Como resultado, a criação de um data center pronto para uso pode ser alcançada literalmente em quatro a cinco meses.
A ideia de um data center em nuvem pré-fabricado também é interessante porque um data center pode ser desenvolvido em etapas, adicionando-lhe os blocos funcionais necessários. Esta abordagem está incorporada no próprio conceito HiDC.
Para não transformar o material de revisão em uma ficha técnica, para obter informações adicionais sobre HiDC sugerimos acessar . Lá você encontrará uma descrição e exemplos de implementação das abordagens, produtos e soluções de que falamos. Quanto maior for o seu nível de acesso ao site, mais materiais haverá. Se você receber o status de “parceiro”, poderá baixar roteiros HiDC, apresentações técnicas e vídeos.
Arriscaríamos supor que a maioria dos leitores deste artigo possui as competências de arquitetos de rede. Eles certamente terão interesse em visitar nosso . Lá falamos detalhadamente sobre como construir uma infraestrutura de rede de acordo com as regras do Huawei Validated Design (HVD). As diretrizes disponíveis para download ajudarão você a entender completamente como funcionam as soluções da empresa. Basta lembrar que sem autorização menos materiais estarão disponíveis para você.
***
Numerosos webinars realizados não apenas no segmento de língua russa, mas também em nível internacional também irão ajudá-lo a navegar. Neles compartilhamos informações sobre nossos produtos e nossas práticas comerciais. Falamos também sobre como a Huawei, apesar da disrupção de muitas cadeias de serviços, continua a garantir a entrega contínua dos seus produtos para diferentes países. Recentemente, por exemplo, houve um caso em que equipamentos recém-produzidos para um data center chegaram a um cliente em Moscou em apenas três semanas.
A lista de webinars de abril está disponível .
Fonte: habr.com