Tenho certeza de que todos os leitores da Habr já encomendaram mercadorias em lojas online no exterior pelo menos uma vez e depois foram receber encomendas nos Correios Russos. Você consegue imaginar a dimensão dessa tarefa, do ponto de vista da organização da logística? Multiplique o número de compradores pelo número de suas compras, imagine um mapa do nosso vasto país, e nele estão mais de 40 mil correios... A propósito, em 2018, os Correios Russos processaram 345 milhões de encomendas internacionais.
Neste artigo contaremos quais problemas Pochta enfrentou e como a equipe de integração LANIT os resolveu, criando uma nova infraestrutura de TI para data centers.
Um dos modernos centros logísticos dos Correios Russos
Antes do projeto
Devido ao aumento acentuado no número de encomendas de lojas estrangeiras na China, Europa Ocidental e América do Norte, a carga nas instalações logísticas dos Correios Russos aumentou. Assim, foram construídos centros logísticos de nova geração, que utilizam máquinas de triagem de alto desempenho. Eles exigem suporte da infraestrutura de computação.
A infraestrutura do data center estava desatualizada e não proporcionava o desempenho e a confiabilidade necessários na operação dos sistemas de informação empresariais. Além disso, o Russian Post sentiu falta de capacidade computacional para lançar novos serviços.
Data centers de clientes e seus problemas
Os data centers dos Correios Russos atendem a mais de 40 instalações e 000 departamentos territoriais. Os data centers operam dezenas de serviços empresariais 85 horas por dia, XNUMX dias por semana, incluindo serviços de comércio eletrônico.
Hoje, as empresas utilizam sistemas para armazenar, analisar e processar big data. Para tais sistemas, o uso de inteligência artificial e algoritmos de aprendizado de máquina desempenha um papel importante. Hoje, um dos cases mais importantes para uma empresa é otimizar a gestão dos fluxos logísticos e acelerar o atendimento aos clientes nos correios.
Antes do início do projeto de modernização, existiam cerca de 3000 máquinas virtuais nos data centers principais e de backup, o volume de informações armazenadas ultrapassava 2 petabytes. Os data centers possuíam uma estrutura complexa de roteamento de tráfego associada à divisão em diversos segmentos de acordo com os níveis de segurança.
Com o desenvolvimento de aplicações e a introdução de novos serviços, a largura de banda existente dos equipamentos de rede nos data centers tornou-se insuficiente. Foi necessária uma transição para interfaces com novas velocidades: 10 Gbit/s, em vez de 1 Gbit/s no acesso e 40 Gbit/s no nível core, com redundância total de equipamentos e canais de comunicação.
O departamento de segurança da informação recebeu a exigência de dividir a infraestrutura em segmentos com alto nível de segurança da informação de tráfego e aplicações (PN - Rede Privada e DMZ - Zona Desmilitarizada). O tráfego passou por firewalls (FWUs) que não precisavam ser filtrados. O VRF nos switches não foi usado para este tráfego. As regras do firewall eram abaixo do ideal (dezenas de milhares de regras em cada data center).
A migração perfeita de máquinas virtuais (VMs) entre data centers, mantendo o endereço IP e o caminho ideal para o tráfego entre segmentos, incluindo a rede de dados corporativa (CDN), era impossível.
MSTP foi usado para backup; algumas portas foram bloqueadas (hot standby). Os switches principais e de acesso não foram combinados em um cluster de failover e a agregação de interface (LAG) não foi usada.
Com o advento do terceiro data center, foi necessária uma nova arquitetura e configuração de equipamentos para operar o anel entre os data centers (foi proposta a EVPN).
Não existia um conceito unificado para o desenvolvimento de data centers, documentado em forma de projeto e acordado com todos os departamentos do cliente. A documentação operacional da rede atual estava incompleta e desatualizada.
Expectativas do cliente
A equipe do projeto enfrentou as seguintes tarefas:
- preparar o conceito de arquitetura e desenvolvimento para construção da infraestrutura de rede e servidores do terceiro data center;
- conduzir uma auditoria operacional da rede existente do cliente;
- expandir a capacidade central da rede em mais de 1500 portas Ethernet 10/40 Gbps em cada data center (4500 portas no total);
- garantir o funcionamento de um anel entre três data centers com capacidade de aumentar a velocidade até 80 Gbit/s em cada segmento, a fim de combinar os recursos computacionais do cliente de diferentes data centers em um único sistema de TI;
- fornecer 100% de reserva dupla de todos os elementos da rede para atingir a meta de Uptime no nível de 99,995%;
- minimizar atrasos no tráfego entre máquinas virtuais para acelerar aplicativos de negócios;
- coletar estatísticas, fazer análises e realizar posterior otimização de regras de filtragem de tráfego em data centers (inicialmente eram cerca de 80 mil regras);
- desenvolver uma arquitetura alvo para garantir a migração perfeita dos aplicativos de negócios críticos do cliente para qualquer um dos três data centers.
Então tínhamos algo em que trabalhar.
Оборудование
Vamos dar uma olhada mais de perto em quais equipamentos usamos no projeto.
Firewall (NGWF) USG9560:
- divisão por VSYS;
- até 720 Gbps;
- até 720 milhões de sessões simultâneas;
- 8 vagas.
Roteador NE40E-X8:
- capacidade de comutação de até 7,08 Tbit/s;
- Desempenho de encaminhamento de até 2,880 Mpps;
- 8 slots para placas de linha (LPU);
- até 10 milhões de rotas BGP IPv4 por MPU;
- até 1500 mil rotas OSPF IPv4 por MPU;
- até 3000K – IPv4 FIB (dependendo da LPU).
Interruptores da série CE12800:
- Virtualização de Dispositivos: VS (virtualização 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualização de Rede: M-LAG, TRILL, VXLAN e ponte VXLAN, QinQ em VXLAN, EVN (Ethernet Virtual Network);
- a partir do VRP V2, o suporte EVPN está incluído;
- M-LAG – análogo do vPC (Virtual Port Channel) para Cisco Nexus;
- Protocolo Virtual Spanning Tree (VSTP) – Compatível com Cisco PVST.
CE12804
CE12808
software
No projeto usamos:
- Conversão de arquivos de configuração de firewall de outros fornecedores para formato de comando para novos equipamentos;
- scripts proprietários para otimizar e converter configurações de firewall.
Aparência do conversor para conversão de arquivos de configuração
Esquema de organização da comunicação entre data centers (EVPN VXLAN)
Nuances de configuração de equipamentos
CE12808
- EVPN (padrão) em vez de EVN (proprietário da Huawei) para comunicação entre data centers:
○ L2 sobre L3 usando iBGP no plano de controle;
○ Treinamento MAC e sua divulgação via família iBGP EVPN (rotas MAC, tipo 2);
○ construção automática de túneis VXLAN para tráfego broadcast/unicast desconhecido (Rotas Multicast Inclusivas, tipo 3). - Dois modos de divisão no VS:
○ baseado em portas (porta de modo de porta) ou baseado em ASIC (grupo de modo de porta, mapa de porta do dispositivo de exibição);
○ A interface de dimensão de divisão de porta 40GE funciona SOMENTE no Admin VS (independentemente do modo de porta).
USG9560
- possibilidade de divisão por VSYS,
- Roteamento dinâmico e vazamento de rota não são possíveis entre VSYS!
CE12804
Todos os GW ativos (VRRP Master/Master/Master) com filtragem MAC VRRP entre data centers
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Esquema de interação de recursos entre data centers (VXLAN EVPN e All Active GW)
Dificuldades do projeto
A principal dificuldade foi a necessidade de fazer backup de aplicações existentes utilizando infraestrutura computacional. O cliente tinha mais de 100 aplicações diferentes, algumas das quais foram escritas há quase 10 anos. Por exemplo, se para Yandex você pode desligar facilmente várias centenas de máquinas virtuais sem causar danos aos usuários finais, então no Russian Post tal abordagem exigiria o desenvolvimento de uma série de aplicativos do zero e mudanças na arquitetura dos sistemas de informação corporativos. Resolvemos os problemas surgidos durante o processo de migração e otimização na fase de auditoria conjunta da infraestrutura computacional. Todas as tecnologias de rede novas para a empresa (como EVPN) passaram por testes preliminares em laboratório.
Resultados do projeto
A equipe do projeto incluiu especialistas , o cliente e seus parceiros na operação da infraestrutura computacional. Também foram formadas equipes de suporte dedicadas de fornecedores (Check Point e Huawei). O projeto durou dois anos. Isto é o que foi feito durante esse tempo.
- Uma estratégia para o desenvolvimento de uma rede de data centers, uma Rede Corporativa de Dados (CDTN) e um anel entre data centers foi desenvolvida e acordada com todos os departamentos do cliente.
- A disponibilidade de serviços aumentou. Isto foi notado pelo negócio do cliente e levou a um aumento ainda maior do tráfego devido à introdução de novos serviços.
- Mais de 40 regras foram migradas e otimizadas do FWSM/ASA para o USG 000. Diferentes contextos ASA no UGG 9560 foram combinados em uma única política de segurança.
- A taxa de transferência das portas do data center foi aumentada de 1G para 10/40G através do uso do CE12800/CE6850. Isso possibilitou eliminar sobrecargas de interface e perda de pacotes.
- Os roteadores de nível operadora NE40E-X8 cobriram totalmente as necessidades do data center e do centro de transferência de dados do cliente, levando em consideração o desenvolvimento futuro dos negócios.
- Foram solicitadas oito novas solicitações de recursos para o USG 9560. Destes, sete já foram implementados e estão incluídos na versão atual do VRP. 1 FR - para implementação em P&D da Huawei. Este é um cluster de oito chassis com a capacidade de configurar a funcionalidade necessária para sincronização de configuração sem sincronização de sessão. É necessário se o atraso no tráfego para um dos data centers for muito alto (Adler - Moscou 1300 km ao longo da rota principal e 2800 km ao longo da rota reserva).
O projeto não tem análogos em comparação com outras empresas postais russas.
A modernização da infraestrutura de rede dos data centers abriu novas oportunidades para as empresas desenvolverem serviços digitais.
- Fornecimento de conta pessoal e aplicativo móvel para pessoas físicas e jurídicas.
- Integração com lojas eletrônicas para prestação de serviços de entrega de mercadorias.
- Atendimento - armazenamento de mercadorias, formação e entrega de pedidos em lojas eletrônicas.
- Expansão dos pontos de coleta de pedidos, inclusive através do uso de redes afiliadas.
- Fluxo de documentos juridicamente significativo com as contrapartes. Isto eliminará o envio lento e dispendioso de documentos em papel.
- Aceitação de cartas registadas em formato eletrónico com entrega tanto eletrónica como em papel (com impressão dos envios o mais próximo possível do destinatário final). Atendimento de cartas registradas eletrônicas no portal de serviços públicos.
- Plataforma de prestação de serviços de telemedicina.
- Recepção simplificada e entrega simplificada de correio registado através de assinatura electrónica simples.
- Digitalização da rede de correios.
- Redesenho dos serviços de autoatendimento (terminais e terminais de encomendas).
- Criação de uma plataforma digital de gestão do serviço de correio e de uma nova aplicação móvel para clientes do serviço de correio.
Venha trabalhar conosco!
Fonte: habr.com