Je suis sûr que tous les lecteurs de Habr ont commandé au moins une fois des produits dans des magasins en ligne à l'étranger, puis sont allés recevoir des colis dans un bureau de poste russe. Pouvez-vous imaginer l'ampleur de cette tâche, du point de vue de l'organisation de la logistique ? Multipliez le nombre d'acheteurs par le nombre de leurs achats, imaginez une carte de notre vaste pays, sur laquelle se trouvent plus de 40 2018 bureaux de poste... D'ailleurs, en 345, la poste russe a traité XNUMX millions de colis internationaux.
Dans cet article, nous vous expliquerons les problèmes rencontrés par Pochta et comment l'équipe d'intégration LANIT les a résolus, en créant une nouvelle infrastructure informatique pour les centres de données.
L'un des centres logistiques modernes de la poste russe
Avant le projet
En raison de la forte augmentation du nombre de colis provenant de magasins étrangers en Chine, en Europe occidentale et en Amérique du Nord, la charge sur les installations logistiques de la poste russe a augmenté. Ainsi, des centres logistiques de nouvelle génération ont été construits, utilisant des machines de tri performantes. Ils nécessitent le soutien de l’infrastructure informatique.
L'infrastructure du centre de données était obsolète et n'offrait pas les performances et la fiabilité nécessaires au fonctionnement des systèmes d'information de l'entreprise. En outre, la poste russe manquait de puissance de calcul pour lancer de nouveaux services.
Les centres de données clients et leurs problèmes
Les centres de données de la Poste russe desservent plus de 40 000 établissements et 85 départements territoriaux. Les centres de données exploitent des dizaines de services commerciaux XNUMXh/XNUMX et XNUMXj/XNUMX, y compris des services de commerce électronique.
Aujourd’hui, les entreprises utilisent des systèmes pour stocker, analyser et traiter le Big Data. Pour de tels systèmes, l’utilisation d’algorithmes d’intelligence artificielle et d’apprentissage automatique joue un rôle important. Aujourd’hui, l’un des dossiers les plus importants pour une entreprise est l’optimisation de la gestion des flux logistiques et l’accélération du service client dans les bureaux de poste.
Avant le début du projet de modernisation, il y avait environ 3000 2 machines virtuelles dans les centres de données principaux et de sauvegarde, le volume d'informations stockées dépassait XNUMX pétaoctets. Les centres de données avaient une structure complexe d'acheminement du trafic associée à une division en différents segments en fonction des niveaux de sécurité.
Avec le développement des applications et l'introduction de nouveaux services, la bande passante existante des équipements réseau dans les centres de données est devenue insuffisante. Une transition vers des interfaces avec de nouveaux débits s'imposait : 10 Gbit/s, au lieu de 1 Gbit/s en accès et 40 Gbit/s au niveau cœur, avec une redondance totale des équipements et des canaux de communication.
Le service de sécurité de l'information a reçu l'obligation de diviser l'infrastructure en segments avec un niveau élevé de sécurité de l'information du trafic et des applications (PN - Réseau privé et DMZ - Zone démilitarisée). Le trafic passait par des pare-feu (FWU) qui n'avaient pas besoin d'être filtrés. Le VRF sur les commutateurs n'a pas été utilisé pour ce trafic. Les règles du pare-feu n'étaient pas optimales (des dizaines de milliers de règles dans chaque centre de données).
La migration transparente des machines virtuelles (VM) entre les centres de données tout en conservant l'adresse IP et le chemin optimal du trafic entre les segments, y compris le réseau de données d'entreprise (CDN), était impossible.
MSTP a été utilisé pour la sauvegarde ; certains ports ont été bloqués (hot stand up). Les commutateurs principaux et d'accès n'ont pas été combinés dans un cluster de basculement et l'agrégation d'interfaces (LAG) n'a pas été utilisée.
Avec l'avènement du troisième centre de données, une nouvelle architecture et une nouvelle configuration d'équipement étaient nécessaires pour faire fonctionner l'anneau entre les centres de données (EVPN a été proposé).
Il n'existait pas de concept unifié pour le développement de centres de données, documenté sous la forme d'un projet et convenu avec tous les services du client. La documentation actuelle sur l'exploitation du réseau était incomplète et obsolète.
Les attentes du client
L'équipe du projet a été confrontée aux tâches suivantes :
- préparer l'architecture et le concept de développement pour la construction de l'infrastructure réseau et serveur du troisième centre de données ;
- réaliser un audit opérationnel du réseau existant du client ;
- augmenter la capacité du cœur de réseau de plus de 1500 10 ports Ethernet 40/4500 Gbit/s dans chaque centre de données (XNUMX XNUMX ports au total) ;
- assurer le fonctionnement d'un anneau entre trois centres de données avec la possibilité d'augmenter le débit jusqu'à 80 Gbit/s dans chaque segment afin de combiner les ressources informatiques du client provenant de différents centres de données en un seul système informatique ;
- fournir une double réserve à 100 % de tous les éléments du réseau pour atteindre l'objectif de disponibilité au niveau de 99,995 % ;
- minimiser les délais de trafic entre les machines virtuelles pour accélérer les applications métier ;
- collecter des statistiques, effectuer des analyses et procéder à l'optimisation ultérieure des règles de filtrage du trafic dans les centres de données (il y avait initialement environ 80 000 règles) ;
- développer une architecture cible pour assurer une migration transparente des applications métier critiques du client vers l’un des trois centres de données.
Nous avions donc quelque chose sur quoi travailler.
équipement
Examinons de plus près l'équipement que nous avons utilisé dans le projet.
Pare-feu (NGWF) USG9560 :
- division par VSYS ;
- jusqu'à 720 Gbit/s ;
- jusqu'à 720 millions de sessions simultanées ;
- 8 emplacements.
Routeur NE40E-X8 :
- capacité de commutation jusqu'à 7,08 Tbit/s ;
- performances de transfert jusqu'à 2,880 XNUMX Mpps ;
- 8 emplacements pour cartes de ligne (LPU) ;
- jusqu'à 10 millions de routes BGP IPv4 par MPU ;
- jusqu'à 1500 4 XNUMX routes OSPF IPvXNUMX par MPU ;
- jusqu'à 3000K – IPv4 FIB (en fonction du LPU).
Commutateurs de la série CE12800 :
- Virtualisation des appareils : VS (virtualisation 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF) ;
- Virtualisation de réseau : M-LAG, TRILL, VXLAN et pontage VXLAN, QinQ en VXLAN, EVN (Ethernet Virtual Network) ;
- à partir de VRP V2, la prise en charge EVPN est incluse ;
- M-LAG – analogue de vPC (virtual Port Channel) pour Cisco Nexus ;
- Protocole VSTP (Virtual Spanning Tree Protocol) – Compatible avec Cisco PVST.
CE12804
CE12808
Logiciel
Dans le projet, nous avons utilisé :
- Convertisseur de fichiers de configuration de pare-feu d'autres fournisseurs en format de commande pour les nouveaux équipements ;
- scripts propriétaires pour optimiser et convertir les configurations de pare-feu.
Apparition du convertisseur pour convertir les fichiers de configuration
Schéma d'organisation de la communication entre les centres de données (EVPN VXLAN)
Nuances de mise en place des équipements
CE12808
- EVPN (standard) au lieu d'EVN (propriétaire Huawei) pour la communication entre centres de données :
○ L2 sur L3 en utilisant iBGP dans le plan de contrôle ;
○ Formation MAC et leur publicité via la famille iBGP EVPN (routes MAC, type 2) ;
○ construction automatique de tunnels VXLAN pour le trafic de diffusion/unicast inconnu (routes multidiffusion inclusives, type 3). - Deux modes de division sur VS :
○ basé sur les ports (port-mode port) ou basé sur ASIC (port-mode group, display device port-map) ;
○ L'interface de dimension de partage de port 40GE fonctionne UNIQUEMENT dans Admin VS (quel que soit le mode de port).
USG9560
- possibilité de division par VSYS,
- Le routage dynamique et la fuite de route ne sont pas possibles entre VSYS !
CE12804
Tous les GW actifs (VRRP Master/Master/Master) avec filtrage MAC VRRP entre centres de données
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schéma d'interaction des ressources entre les centres de données (VXLAN EVPN et All Active GW)
Difficultés du projet
La principale difficulté résidait dans la nécessité de sauvegarder les applications existantes à l’aide d’une infrastructure informatique. Le client disposait de plus de 100 applications différentes, dont certaines avaient été écrites il y a près de 10 ans. Par exemple, si pour Yandex, vous pouvez facilement désactiver plusieurs centaines de machines virtuelles sans nuire aux utilisateurs finaux, alors dans la poste russe, une telle approche nécessiterait le développement d'un certain nombre d'applications à partir de zéro et des modifications dans l'architecture des systèmes d'information d'entreprise. Nous avons résolu les problèmes survenus lors du processus de migration et d'optimisation au stade d'un audit conjoint de l'infrastructure informatique. Toutes les technologies de réseau nouvelles pour l'entreprise (telles que EVPN) ont subi des tests préliminaires en laboratoire.
Résultats du projet
L'équipe du projet comprenait des spécialistes , le client et ses partenaires dans l'exploitation de l'infrastructure informatique. Des équipes d'assistance dédiées provenant de fournisseurs (Check Point et Huawei) ont également été constituées. Le projet a duré deux ans. C'est ce qui a été fait à cette époque.
- Une stratégie de développement d'un réseau de centres de données, d'un Corporate Data Network (CDTN) et d'un anneau entre centres de données a été élaborée et convenue avec tous les services du client.
- La disponibilité des services a augmenté. Cela a été remarqué par l'entreprise du client et a conduit à une augmentation encore plus importante du trafic grâce à l'introduction de nouveaux services.
- Plus de 40 000 règles ont été migrées et optimisées de FWSM/ASA vers USG 9560. Différents contextes ASA sur UGG 9560 ont été combinés en une seule politique de sécurité.
- Le débit des ports du centre de données a été augmenté de 1G à 10/40G grâce à l'utilisation du CE12800/CE6850. Cela a permis d'éliminer les surcharges d'interface et la perte de paquets.
- Les routeurs de qualité opérateur NE40E-X8 couvraient entièrement les besoins du centre de données et du centre de transfert de données du client, en tenant compte du développement commercial futur.
- Huit nouvelles demandes de fonctionnalités ont été demandées pour l'USG 9560. Parmi celles-ci, sept ont déjà été mises en œuvre et sont incluses dans la version actuelle du VRP. 1 FR - pour mise en œuvre dans la R&D de Huawei. Il s'agit d'un cluster de huit châssis avec la possibilité de configurer les fonctionnalités nécessaires à la synchronisation de la configuration sans synchronisation de session. Il est nécessaire si le retard de trafic vers l'un des centres de données est trop important (Adler - Moscou 1300 km le long de la route principale et 2800 km le long de la route de réserve).
Le projet n'a pas d'analogue par rapport aux autres sociétés postales russes.
La modernisation de l'infrastructure réseau des centres de données a ouvert de nouvelles opportunités aux entreprises pour développer des services numériques.
- Mise à disposition d'un compte personnel et d'une application mobile pour les personnes physiques et morales.
- Intégration avec des magasins électroniques pour fournir des services de livraison de marchandises.
- Exécution - stockage des marchandises, formation et livraison des commandes des magasins électroniques.
- Développer les points de retrait des commandes, notamment en utilisant les réseaux d'affiliation.
- Flux de documents juridiquement significatifs avec les contreparties. Cela éliminera l’envoi lent et coûteux de documents papier.
- Acceptation des lettres recommandées sous forme électronique avec remise sous forme électronique et sous forme papier (avec impression des envois au plus près du destinataire final). Service de lettres recommandées électroniques sur le portail des services publics.
- Plateforme de fourniture de services de télémédecine.
- Réception simplifiée et envoi simplifié des courriers recommandés grâce à une simple signature électronique.
- Digitalisation du réseau postal.
- Refonte des services libre-service (bornes et terminaux colis).
- Création d'une plateforme numérique de gestion du service de messagerie et d'une nouvelle application mobile pour les clients du service de messagerie.
Venez travailler avec nous !
Source: habr.com