Estoy seguro de que todos los lectores de Habr al menos una vez ordenaron productos en tiendas en línea en el extranjero y luego fueron a recibir paquetes a la oficina de correos rusa. ¿Puedes imaginar la escala de esta tarea en términos de organización logística? Multiplique la cantidad de compradores por la cantidad de sus compras, imagine un mapa de nuestro vasto país y, en él, más de 40 mil oficinas de correos ... Por cierto, en 2018, Russian Post procesó 345 millones de paquetes internacionales.
En este artículo, le contamos qué problemas enfrentó el Correo y cómo los resolvió el equipo de LANIT-Integración, creando una nueva infraestructura de TI para los centros de datos.
Uno de los modernos centros logísticos de Russian Post
Antes del proyecto
Debido a un fuerte aumento en la cantidad de paquetes de tiendas extranjeras en China, Europa Occidental y América del Norte, la carga en las instalaciones logísticas de Russian Post ha aumentado. Por ello, se ha construido una nueva generación de centros logísticos que utilizan máquinas clasificadoras de alta capacidad. Requieren el apoyo de la infraestructura informática.
La infraestructura del centro de datos estaba desactualizada y no brindaba el rendimiento y la confiabilidad necesarios en la operación de los sistemas de información empresarial. Además, Russian Post experimentó una falta de poder de cómputo para lanzar nuevos servicios.
Los centros de datos de clientes y sus problemas
Los centros de datos de Russian Post atienden a más de 40 objetos, 000 oficinas territoriales. Docenas de servicios comerciales las 85 horas del día operan en centros de datos, incluidos los servicios de comercio electrónico.
Ya hoy, la empresa utiliza sistemas para almacenar, analizar y procesar grandes datos. Para tales sistemas, el uso de inteligencia artificial y algoritmos de aprendizaje automático juega un papel importante. Hasta la fecha, uno de los casos más importantes para la empresa es la optimización de la gestión del flujo logístico y la aceleración de la atención al cliente en las oficinas de correos.
Antes del inicio del proyecto de actualización, había alrededor de 3000 máquinas virtuales en los centros de datos principal y de respaldo, la cantidad de información almacenada superaba los 2 petabytes. Los centros de datos tenían una estructura de enrutamiento de tráfico compleja asociada con la división en diferentes segmentos según los niveles de seguridad.
Con el desarrollo de aplicaciones y la introducción de nuevos servicios, el ancho de banda existente de los equipos de red en los centros de datos se ha vuelto insuficiente. Se requería una transición a interfaces con nuevas velocidades: 10 Gb/s, en lugar de 1 Gb/s para acceso y 40 Gb/s a nivel core, con redundancia total de equipos y canales de comunicación.
Del departamento de seguridad de la información se recibió el requerimiento de dividir la infraestructura en segmentos con alto nivel de seguridad de la información de tráfico y aplicaciones (PN - Red Privada y DMZ - Zona Desmilitarizada). Los cortafuegos (ITU) pasaban tráfico que no era necesario filtrar. VRF en los conmutadores no se utilizó para dicho tráfico. Las reglas en la ITU eran subóptimas (decenas de miles de reglas en cada centro de datos).
No fue posible la migración fluida de máquinas virtuales (VM) entre centros de datos manteniendo la dirección IP y la ruta óptima para el tráfico entre segmentos, incluida la red de datos corporativa (CDTN).
Se usó MSTP para la redundancia, algunos puertos estaban bloqueados (espera en caliente). El núcleo y los conmutadores de acceso no se agruparon en clústeres de conmutación por error y no se utilizó agregación de interfaz (LAG).
Con la llegada del tercer centro de datos, se requirió una nueva arquitectura y configuración de equipos para operar el anillo entre centros de datos (se propuso EVPN).
No existía un concepto único para el desarrollo de centros de datos, documentado en forma de proyecto y consensuado con todos los departamentos del cliente. La documentación actual de operación de la red estaba incompleta y desactualizada.
Expectativas del cliente
El equipo del proyecto tuvo las siguientes tareas:
- preparar el concepto de arquitectura y desarrollo para construir la red y la infraestructura del servidor del tercer centro de datos;
- realizar una auditoría operativa de la red existente del cliente;
- ampliar la capacidad central de la red en más de 1500 puertos Ethernet de 10/40 Gb/s en cada centro de datos (4500 puertos en total);
- asegurar la operación del anillo entre tres centros de datos con la posibilidad de aumentar la velocidad hasta 80 Gb/s en cada uno de los segmentos para combinar los recursos informáticos del cliente de diferentes centros de datos en un solo sistema de TI;
- proporcionar una reserva doble del 100 % de todos los elementos de la red para lograr el tiempo de actividad objetivo al nivel del 99,995 %;
- minimizar los retrasos en el tráfico entre máquinas virtuales para acelerar las aplicaciones empresariales;
- recopilar estadísticas, analizar y optimizar aún más las reglas de filtrado de tráfico en los centros de datos (inicialmente había alrededor de 80 000 reglas);
- desarrollar una arquitectura de destino para garantizar una migración fluida de las aplicaciones comerciales críticas del cliente a cualquiera de los tres centros de datos.
Por lo tanto, teníamos algo en lo que trabajar.
Equipo
Echemos un vistazo más de cerca a qué equipo usamos en el proyecto.
Cortafuegos (NGWF) USG9560:
- división por VSYS;
- hasta 720 Gb/s;
- hasta 720 millones de sesiones simultáneas;
- 8 ranuras
Enrutador NE40E-X8:
- Capacidad de conmutación de hasta 7,08 Tbit/s;
- rendimiento de reenvío de hasta 2,880 Mpps;
- 8 ranuras para tarjetas de línea (LPU);
- hasta 10 millones de rutas BGP IPv4 por MPU;
- hasta 1500 4 rutas IPvXNUMX OSPF por MPU;
- hasta 3000K - FIB IPv4 (depende de LPU).
Conmutadores de la serie CE12800:
- Virtualización de dispositivos: VS (virtualización 1:16), Sistema de conmutación de clúster (CSS), Super Virtual Fabric (SVF);
- Virtualización de red: M-LAG, TRILL, puentes VXLAN y VXLAN, QinQ en VXLAN, EVN (red virtual Ethernet);
- a partir de VRP V2, se incluye compatibilidad con EVPN;
- M-LAG: análogo de vPC (canal de puerto virtual) para Cisco Nexus;
- Protocolo de árbol de expansión virtual (VSTP): compatible con Cisco PVST.
CE12804
CE12808
Software
En el proyecto utilizamos:
- convertidor de archivos de configuración para firewalls de otros proveedores a formato de comando para equipos nuevos;
- scripts de diseño propio para optimizar y transformar la configuración de los cortafuegos.
Apariencia del convertidor para convertir archivos de configuración
Esquema de comunicación entre centros de datos (EVPN VXLAN)
Los matices de la configuración del equipo.
CE12808
- EVPN (estándar) en lugar de EVN (propiedad de Huawei) para la comunicación entre centros de datos:
○ L2 sobre L3 usando iBGP en el plano de control;
○ Capacitación y anuncio de MAC a través de la familia iBGP EVPN (rutas MAC, tipo 2);
○ construcción automática de túneles VXLAN para tráfico broadcast / unicast desconocido (Inclusive Multicast Routes, tipo 3). - Dos modos de división en VS:
○ basado en puertos (puerto de modo de puerto) o basado en ASIC (grupo de modo de puerto, mapa de puerto de dispositivo de visualización);
○ La interfaz de dimensión dividida del puerto 40GE SOLO funciona en Admin VS (independientemente del modo de puerto).
USG9560
- posibilidad de dividir por VSYS,
- entre el enrutamiento dinámico VSYS y la fuga de rutas es imposible.
CE12804
Todos los GW activos (VRRP Master/Master/Master) con filtrado MAC VRRP entre centros de datos
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Esquema de interacción de recursos entre centros de datos (VXLAN EVPN y All Active GW)
Complejidad del proyecto
La principal dificultad fue la necesidad de respaldar las aplicaciones existentes utilizando la infraestructura informática. El cliente tenía más de 100 aplicaciones diferentes, algunas de las cuales se escribieron hace casi 10 años. Por ejemplo, si Yandex puede apagar fácilmente varios cientos de máquinas virtuales sin dañar a los usuarios finales, entonces en Russian Post tal enfoque requeriría el desarrollo de una serie de aplicaciones desde cero y cambios en la arquitectura de los sistemas de información empresarial. Solucionamos los problemas surgidos en el proceso de migración y optimización en la etapa de auditoría conjunta de la infraestructura informática. Todas las tecnologías de red nuevas para la empresa (como EVPN) se han probado previamente en el laboratorio.
Resultados del proyecto.
El equipo del proyecto incluía especialistas , el cliente y sus socios en la operación de la infraestructura informática. También se formaron equipos de soporte dedicados de proveedores (Check Point y Huawei). El proyecto tomó dos años. Esto es lo que se ha hecho durante este tiempo.
- Se desarrolló y acordó con todos los departamentos del cliente una estrategia para el desarrollo de una red de centros de datos, una red corporativa de transmisión de datos (CSTN) y un anillo entre centros de datos.
- Mayor disponibilidad del servicio. Esto fue notado por el negocio del cliente y condujo a un aumento aún mayor en el tráfico debido a la introducción de nuevos servicios.
- Se han migrado y optimizado más de 40 000 reglas de FWSM/ASA a USG 9560. Se han fusionado diferentes contextos ASA en UGG 9560 en una sola política de seguridad.
- El rendimiento de los puertos del centro de datos se incrementó de 1G a 10/40G mediante el uso de CE12800/CE6850. Esto hizo posible eliminar las sobrecargas de interfaz y la pérdida de paquetes.
- Los enrutadores de clase portadora NE40E-X8 cubrieron completamente las necesidades del centro de datos del cliente y KSPD, teniendo en cuenta el desarrollo comercial futuro.
- Se han solicitado ocho nuevas solicitudes de funciones para USG 9560. De estas, siete ya se han implementado y están incluidas en la versión actual de VRP. 1 FR está siendo implementado por Huawei R&D. Este es un clúster para ocho chasis con la capacidad de configurar la funcionalidad necesaria para sincronizar la configuración sin sincronizar sesiones. Requerido si el retraso del tráfico a uno de los centros de datos es demasiado alto (Adler - Moscú 1300 km a lo largo de la ruta principal y 2800 km a lo largo de la ruta de respaldo).
El proyecto no tiene análogos en comparación con otras empresas postales en Rusia.
La modernización de la infraestructura de la red del centro de datos ha abierto nuevas oportunidades para que la empresa desarrolle servicios digitales.
- Proporcionar una cuenta personal y una aplicación móvil para personas físicas y jurídicas.
- Integración con tiendas electrónicas para brindar servicios de entrega de mercancías.
- El cumplimiento es el almacenamiento de bienes, la formación y entrega de pedidos de tiendas electrónicas.
- Ampliación de los puntos de emisión de pedidos, incluso con el uso de redes asociadas.
- Flujo de documentos legalmente significativos con contratistas. Esto eliminará la entrega lenta y costosa de documentos en papel.
- Aceptación de cartas certificadas en formato electrónico con entrega tanto en formato electrónico como en papel (con impresión de artículos lo más cerca posible del destinatario final). Servicio de cartas certificadas electrónicas en el portal de servicios públicos.
- Plataforma para la prestación de servicios de telemedicina.
- Aceptación simplificada y entrega simplificada de envíos postales certificados mediante firma electrónica simple.
- Digitalización de la red de oficinas de correos.
- Tramitación de servicios de autoservicio (terminales y máquinas de paquetería).
- Creación de una plataforma digital para la gestión del servicio de mensajería y una nueva aplicación móvil para clientes de mensajería.
¡Ven a trabajar con nosotros!
Fuente: habr.com