Estou seguro de que todos os lectores de Habr pediron polo menos unha vez produtos en tendas en liña no estranxeiro e despois foron a recibir paquetes nunha oficina de correos rusa. Imaxinades a magnitude desta tarefa, dende o punto de vista da organización da loxística? Multiplique o número de compradores polo número das súas compras, imaxina un mapa do noso vasto país, e nel hai máis de 40 mil oficinas de correos... Por certo, en 2018, Russian Post procesou 345 millóns de paquetes internacionais.
Neste artigo contarémosche cales son os problemas aos que se enfrontou Pochta e como os solucionou o equipo de Integración LANIT, creando unha nova infraestrutura informática para centros de datos.
Un dos modernos centros loxísticos de Russian Post
Antes do proxecto
Debido ao forte aumento do número de paquetes de tendas estranxeiras en China, Europa Occidental e América do Norte, aumentou a carga das instalacións loxísticas de Russian Post. Por iso, construíronse centros loxísticos de nova xeración, que empregan máquinas clasificadoras de altas prestacións. Necesitan apoio da infraestrutura informática.
A infraestrutura do centro de datos estaba desactualizada e non proporcionaba o rendemento e a fiabilidade necesarios no funcionamento dos sistemas de información empresarial. Ademais, Russian Post experimentou unha falta de potencia informática para lanzar novos servizos.
Centros de datos de clientes e os seus problemas
Os centros de datos Russian Post dan servizo a máis de 40 instalacións e 000 departamentos territoriais. Os centros de datos operan decenas de servizos comerciais 85 horas ao día, XNUMX días ao día, incluíndo servizos de comercio electrónico.
Hoxe, as empresas usan sistemas para almacenar, analizar e procesar grandes datos. Para estes sistemas, o uso de intelixencia artificial e algoritmos de aprendizaxe automática xoga un papel importante. Hoxe, un dos casos máis importantes para unha empresa é optimizar a xestión dos fluxos loxísticos e acelerar a atención ao cliente nas oficinas de correos.
Antes do inicio do proxecto de modernización, había preto de 3000 máquinas virtuais nos centros de datos principais e de copia de seguridade, o volume de información almacenada superou os 2 petabytes. Os centros de datos tiñan unha estrutura complexa de encamiñamento de tráfico asociada á división en varios segmentos segundo os niveis de seguridade.
Co desenvolvemento de aplicacións e a introdución de novos servizos, o ancho de banda existente dos equipos de rede nos centros de datos volveuse insuficiente. Requiriuse unha transición a interfaces con novas velocidades: 10 Gbit/s, en lugar de 1 Gbit/s no acceso e 40 Gbit/s no núcleo, con total redundancia de equipos e canles de comunicación.
O departamento de seguridade da información recibiu o requirimento para dividir a infraestrutura en segmentos cun alto nivel de seguridade da información de tráfico e aplicacións (PN - Rede Privada e DMZ - Zona Desmilitarizada). O tráfico pasou por cortalumes (FWU) que non precisaban ser filtrados. Non se utilizou VRF nos interruptores para este tráfico. As regras do firewall eran subóptimas (decenas de miles de regras en cada centro de datos).
A migración sen problemas de máquinas virtuais (VM) entre centros de datos mantendo o enderezo IP e o camiño óptimo para o tráfico entre segmentos, incluída a rede de datos corporativa (CDN), foi imposible.
Utilizouse MSTP para a copia de seguridade; algúns portos foron bloqueados (espera en quente). O núcleo e os interruptores de acceso non se combinaron nun clúster de conmutación por fallo e non se utilizou a agregación de interfaces (LAG).
Coa chegada do terceiro centro de datos, foi necesaria unha nova arquitectura e configuración de equipos para operar o anel entre os centros de datos (propúxose EVPN).
Non existía un concepto unificado para o desenvolvemento de centros de datos, documentado en forma de proxecto e acordado con todos os departamentos do cliente. A documentación actual de funcionamento da rede estaba incompleta e desactualizada.
Expectativas dos clientes
O equipo do proxecto afrontou as seguintes tarefas:
- preparar o concepto de arquitectura e desenvolvemento para a construción da infraestrutura de rede e servidor do terceiro centro de datos;
- realizar unha auditoría operativa da rede existente do cliente;
- ampliar a capacidade do núcleo da rede en máis de 1500 portos Ethernet 10/40 Gbit/s en cada centro de datos (4500 portos en total);
- garantir o funcionamento dun anel entre tres centros de datos coa capacidade de aumentar a velocidade de ata 80 Gbit/s en cada segmento para combinar os recursos informáticos do cliente de diferentes centros de datos nun único sistema informático;
- proporcionar o 100% de dobre reserva de todos os elementos da rede para acadar o obxectivo de Uptime no nivel do 99,995%;
- minimizar os atrasos de tráfico entre máquinas virtuais para acelerar as aplicacións empresariais;
- recoller estatísticas, facer análise e realizar a posterior optimización das regras de filtrado de tráfico nos centros de datos (inicialmente había unhas 80 regras);
- desenvolver unha arquitectura de destino para garantir a migración sen problemas das aplicacións comerciais críticas do cliente a calquera dos tres centros de datos.
Así que tiñamos algo que traballar.
Оборудование
Vexamos máis de cerca que equipos utilizamos no proxecto.
Firewall (NGWF) USG9560:
- división por VSYS;
- ata 720 Gbps;
- ata 720 millóns de sesións simultáneas;
- 8 slots.
Router NE40E-X8:
- ata 7,08 Tbit/s de capacidade de conmutación;
- ata 2,880 Mpps de rendemento de reenvío;
- 8 ranuras para tarxetas de liña (LPU);
- ata 10 M de rutas BGP IPv4 por MPU;
- ata 1500K rutas OSPF IPv4 por MPU;
- ata 3000K – IPv4 FIB (dependendo da LPU).
Interruptores da serie CE12800:
- Virtualización de dispositivos: VS (virtualización 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualización de rede: M-LAG, TRILL, VXLAN e VXLAN bridging, QinQ en VXLAN, EVN (Ethernet Virtual Network);
- a partir de VRP V2, inclúese soporte EVPN;
- M-LAG: análogo de vPC (canle de porto virtual) para Cisco Nexus;
- Protocolo Virtual Spanning Tree (VSTP): compatible con Cisco PVST.
CE12804
CE12808
Software
No proxecto utilizamos:
- Conversor de ficheiros de configuración de firewall doutros vendedores en formato de comando para novos equipos;
- scripts propietarios para optimizar e converter configuracións de firewall.
Aspecto do conversor para converter ficheiros de configuración
Esquema de organización da comunicación entre centros de datos (EVPN VXLAN)
Matices da configuración dos equipos
CE12808
- EVPN (estándar) en lugar de EVN (propietario de Huawei) para a comunicación entre centros de datos:
○ L2 sobre L3 usando iBGP no plano de control;
○ Formación MAC e a súa publicidade a través da familia iBGP EVPN (rutas MAC, tipo 2);
○ construción automática de túneles VXLAN para tráfico unicast broadcast / descoñecido (Inclusive Multicast Routes, tipo 3). - Dous modos de división en VS:
○ baseado en portos (port-mode port) ou baseado en ASIC (port-mode group, display device port-map);
○ A interface de dimensión dividida de portos 40GE só funciona en Admin VS (independentemente do modo de porto).
USG9560
- posibilidade de división por VSYS,
- O enrutamento dinámico e a fuga de rutas non son posibles entre VSYS.
CE12804
Todo GW activo (VRRP Master/Master/Master) con filtrado MAC VRRP entre centros de datos
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Esquema de interacción de recursos entre centros de datos (VXLAN EVPN e All Active GW)
Dificultades do proxecto
A principal dificultade foi a necesidade de facer unha copia de seguridade das aplicacións existentes mediante a infraestrutura informática. O cliente tiña máis de 100 aplicacións diferentes, algunhas das cales foron escritas hai case 10 anos. Por exemplo, se para Yandex podes apagar facilmente varios centos de máquinas virtuais sen danar aos usuarios finais, entón en Russian Post tal enfoque requiriría o desenvolvemento dunha serie de aplicacións desde cero e cambios na arquitectura dos sistemas de información empresarial. Resolvemos os problemas que xurdiron durante o proceso de migración e optimización na fase dunha auditoría conxunta da infraestrutura informática. Todas as tecnoloxías de rede novas para a empresa (como EVPN) foron sometidas a probas preliminares no laboratorio.
Resultados do proxecto
O equipo do proxecto incluía especialistas , o cliente e os seus socios na explotación da infraestrutura informática. Tamén se formaron equipos de soporte dedicados dos provedores (Check Point e Huawei). O proxecto levou dous anos. Isto é o que se fixo durante este tempo.
- Elaborouse e acordouse con todos os departamentos do cliente unha estratexia para o desenvolvemento dunha rede de centros de datos, unha Rede de Datos Corporativa (CDTN) e un anel entre centros de datos.
- Aumentou a dispoñibilidade de servizos. Así o observou o negocio do cliente e provocou un aumento aínda maior do tráfico debido á introdución de novos servizos.
- Migráronse e optimizáronse máis de 40 regras de FWSM/ASA a USG 000. Combináronse diferentes contextos ASA en UGG 9560 nunha única política de seguridade.
- O rendemento dos portos do centro de datos aumentou de 1G a 10/40G mediante o uso de CE12800/CE6850. Isto permitiu eliminar as sobrecargas da interface e a perda de paquetes.
- Os enrutadores de grao operador NE40E-X8 cubrían totalmente as necesidades do centro de datos e do centro de transferencia de datos do cliente, tendo en conta o desenvolvemento futuro do negocio.
- Solicitáronse oito novas solicitudes de funcións para USG 9560. Delas, sete xa foron implementadas e están incluídas na versión actual do VRP. 1 FR - para implementación en I+D de Huawei. Este é un clúster de oito chasis coa capacidade de configurar a funcionalidade necesaria para a sincronización da configuración sen sincronización da sesión. Requírese se o atraso do tráfico a un dos centros de datos é demasiado grande (Adler - Moscova 1300 km ao longo da ruta principal e 2800 km ao longo da ruta de reserva).
O proxecto non ten análogos en comparación con outras empresas postais rusas.
A modernización da infraestrutura de rede dos centros de datos abriu novas oportunidades para que a empresa desenvolva servizos dixitais.
- Proporcionar unha conta persoal e unha aplicación móbil para persoas físicas e xurídicas.
- Integración con tendas electrónicas para ofrecer servizos de entrega de mercadorías.
- Cumprimento - almacenamento de mercadorías, formación e entrega de pedidos de tendas electrónicas.
- Ampliación dos puntos de recollida de pedidos, incluíndo o uso de redes de afiliados.
- Fluxo de documentos legalmente significativo coas contrapartes. Isto eliminará o envío lento e custoso de documentos en papel.
- Aceptación de cartas certificadas en formato electrónico con entrega tanto electrónica como en papel (con impresión de envíos o máis preto posible do destinatario final). Servizo de cartas certificadas electrónicas no portal de servizos públicos.
- Plataforma de prestación de servizos de telemedicina.
- Recepción simplificada e entrega simplificada de correo certificado mediante unha simple sinatura electrónica.
- Dixitalización da rede de correos.
- Redeseño dos servizos de autoservizo (terminais e terminais de paquetería).
- Creación dunha plataforma dixital para a xestión do servizo de mensaxería e unha nova aplicación móbil para os clientes do servizo de mensaxería.
Ven traballar connosco!
Fonte: www.habr.com