L'histoire d'un commutateur

Nous avions six paires de commutateurs Arista DCS-7050CX3-32S et une paire de commutateurs Brocade VDX 6940-36Q dans l'agrégation du réseau local. Ce n'est pas que les commutateurs Brocade nous posaient réellement problème dans ce réseau, ils fonctionnent et remplissent leurs fonctions, mais nous préparions une automatisation complète de certaines actions, et nous n'avions pas ces possibilités avec ces commutateurs. De plus, nous souhaitions passer des interfaces 40GE à la possibilité d'utiliser 100GE, afin d'avoir un surplus pour les deux à trois prochaines années. Nous avons donc décidé de remplacer Brocade par Arista.

Ces commutateurs servent de commutateurs d'agrégation locale pour chaque centre de données. Les commutateurs de distribution (deuxième niveau d'agrégation) sont directement connectés, rassemblant des commutateurs Top-of-Rack du réseau local dans les racks avec des serveurs.

Chaque serveur est connecté à un ou deux commutateurs d'accès. Les commutateurs d'accès sont reliés à une paire de commutateurs de distribution (deux commutateurs de distribution et deux liens physiques du commutateur d'accès vers différents commutateurs de distribution sont utilisés pour la redondance).

Chaque serveur peut être utilisé par son client, donc un VLAN distinct est attribué au client. Ce VLAN est ensuite configuré sur un autre serveur de ce client dans n'importe quel rack. Le centre de données est composé de plusieurs de ces rangées (PODs), et chaque rangée de racks a ses propres commutateurs de distribution. Ensuite, ces commutateurs de distribution sont connectés aux commutateurs d'agrégation.

Les clients peuvent commander un serveur dans n'importe quelle rangée, il est impossible de prédire à l'avance si le serveur sera attribué ou installé dans une rangée spécifique dans un rack particulier, c'est pourquoi il y a environ 2500 VLAN sur les commutateurs d'agrégation dans chaque centre de données.

L'équipement pour DCI (Data-Center Interconnect) est connecté aux commutateurs d'agrégation. Il peut être destiné à la connectivité L2 (une paire de commutateurs formant un tunnel VXLAN vers un autre centre de données) ou à la connectivité L3 (deux routeurs MPLS).

Comme je l'ai déjà écrit, pour unifier les processus d'automatisation de la configuration des services sur l'équipement dans un même centre de données, il était nécessaire de remplacer les commutateurs centraux d'agrégation. Nous avons installé de nouveaux commutateurs à côté des existants, les avons regroupés en paire MLAG et avons commencé à nous préparer aux travaux. Ils ont été immédiatement connectés aux commutateurs d'agrégation existants, de sorte qu'ils ont partagé un domaine L2 sur tous les VLAN clients.

Détails du schéma

Pour être précis, nommons les anciens commutateurs d'agrégation A1 et A2, les nouveaux — N1 et N2. Imaginons que dans POD 1 et POD 4 sont placés les serveurs d'un client C1, le VLAN du client est marqué en bleu. Ce client utilise le service de connectivité L2 avec un autre centre de données, donc son VLAN est envoyé à une paire de commutateurs VXLAN.

Client C2 place des serveurs dans POD 2 et POD 3, le VLAN du client est marqué en vert foncé. Ce client utilise également un service de connectivité avec un autre centre de données, mais L3, donc son VLAN est envoyé à une paire de routeurs L3VPN.

Les VLAN clients sont nécessaires pour comprendre à quelles étapes des travaux de remplacement se produisent, où une interruption de connexion apparaît et quelle pourrait en être la durée. Le protocole STP n'est pas utilisé dans ce schéma, car la largeur de l'arbre devient grande et la convergence du protocole augmente de façon exponentielle avec le nombre d'appareils et de liaisons entre eux.

Tous les appareils connectés par des liaisons doubles forment un stack, une paire MLAG ou une usine Ethernet VCS. Pour une paire de routeurs L3VPN, de telles technologies ne sont pas utilisées car il n'est pas nécessaire de réserver L2, il suffit qu'ils aient une connectivité L2 entre eux via les commutateurs d'agrégation.

Options de mise en œuvre

En analysant les options pour les événements futurs, nous avons compris qu'il existe plusieurs façons de procéder à ces travaux. D'une interruption globale sur l'ensemble du réseau local, à de très petites interruptions de 1 à 2 secondes dans certaines parties du réseau.

Réseau, arrêtez-vous ! Commutateurs, remplacez-vous !

La solution la plus simple est bien sûr d'annoncer une interruption globale de la connectivité dans tous les POD et pour tous les services DCI et de basculer tous les liens des commutateurs Un vers les commutateurs N.

En plus de la pause, dont nous ne pouvons pas prédire le moment avec certitude (oui, nous connaissons le nombre de liens, mais nous ne savons pas combien de fois quelque chose ira mal — d'un câble patch cassé ou d'un connecteur endommagé à une défaillance de port ou de transceiver), nous ne pouvons pas non plus anticiper si la longueur des câbles patch, DAC, AOC connectés à d'anciens switches A sera suffisante pour les relier, même s'ils sont à proximité, à de nouveaux switches N qui se trouvent légèrement à l'écart, et si les mêmes transceivers/DAC/AOC des switches Brocade fonctionneront dans les switches Arista.

Et tout cela dans un contexte de forte pression de la part des clients et du support technique (« Natasha, lève-toi ! Natasha, tout ne fonctionne pas ! Natasha, nous avons déjà écrit au support technique, c'est la vérité ! Natasha, tout a déjà planté ! Natasha, combien de temps cela ne fonctionnera-t-il pas encore ? Natasha, quand cela fonctionnera-t-il ? ! »). Même avec l'annonce préalable de la pause et l'avis envoyé aux clients, un afflux de demandes à ce moment-là est garanti.

Stop, 1-2-3-4 !

Et si nous ne déclarions pas une pause globale, mais annoncions une série de petites pauses de connexion par POD et services DCI. Lors de la première pause, basculer vers les switches N uniquement POD 1, lors de la deuxième — dans quelques jours — POD 2, puis encore dans quelques jours POD 3, ensuite POD 4…[N], puis les switches VXLAN et enfin les routeurs L3VPN.

Avec une telle organisation des travaux de basculement, nous réduisons la complexité des travaux simultanés et augmentons le temps dont nous disposons pour résoudre les problèmes en cas de pépin. La connectivité du POD 1 après basculement avec les autres POD et avec le DCI n'est pas affectée. Mais les travaux eux-mêmes prennent beaucoup de temps ; durant ces travaux, un ingénieur doit être assigné à l'exécution physique des basculements au centre de données, et pendant les travaux (qui sont généralement effectués la nuit, de 2 à 5 heures du matin), la présence d'un ingénieur réseau en ligne de haute qualification est nécessaire. Cependant, nous obtenons des pauses de connexion courtes ; généralement, les travaux peuvent être réalisés dans un intervalle d'une demi-heure avec un temps d'interruption allant jusqu'à 2 minutes (en pratique, cela prend souvent 20-30 secondes avec le comportement prévu de l'équipement).

Dans l'exemple donné du client C1 ou du client C2 Il est nécessaire de prévenir des travaux avec une interruption de connexion au moins trois fois — une première fois pour effectuer des travaux sur un POD, où se trouve un de ses serveurs, une seconde fois pour le second, et une troisième fois lors du changement d'équipement pour les services DCI.

Changement des canaux de communication agrégés

Pourquoi nous parlons du comportement attendu de l'équipement, et comment les canaux agrégés peuvent être commutés avec une interruption de connexion minimisée. Imaginons la situation suivante :

D'un côté du lien — des commutateurs de distribution POD — D1 et D2, ils forment entre eux une paire MLAG (stack, VCS-fabric, paire vPC), de l'autre côté deux liens — Lien 1 et Lien 2 — sont inclus dans la paire MLAG d'anciens commutateurs d'agrégation Un. Du côté des commutateurs D un interface agrégé nommé Port-channel A, du côté des commutateurs d'agrégation Un — interface agrégée nommée Port-channel D.

Les interfaces agrégées utilisent LACP dans leur fonctionnement, c'est-à-dire que les commutateurs des deux côtés échangent régulièrement des paquets LACPDU sur les deux liens, pour s'assurer que les liens :

• sont opérationnels ;
• sont inclus dans une paire d'appareils de l'autre côté.

Lors de l'échange de paquets, une valeur est transmise dans le paquet system-id, désignant l'appareil auquel ces liens sont connectés. Pour la paire MLAG (stack, fabric, etc.), la valeur de system-id pour les appareils formant l'interface agrégée est identique. Le commutateur D1 envoie dans Lien 1 la valeur system-id D, et le commutateur D2 envoie dans Lien 2 la valeur system-id D.

Les commutateurs A1 et A2 analysent les paquets LACPDU reçus sur un interface Po D et vérifient la correspondance des system-id dans ceux-ci. Si le system-id reçu par un lien se révèle soudainement différent de la valeur opérationnelle actuelle, alors ce lien est retiré de l'interface agrégée jusqu'à ce que la situation soit corrigée. Actuellement, nous avons du côté des commutateurs D la valeur actuelle de system-id de l partenaire LACP — A, et du côté des commutateurs Un — la valeur actuelle de system-id de l partenaire LACP — D.

En cas de nécessité de changer l'interface agrégée, nous pouvons procéder de deux manières différentes :

Méthode 1 — Simple
Déconnecter les deux liens des commutateurs A. Dans ce cas, l'interface agrégée ne fonctionne pas.

Connecter les deux liens un par un dans les commutateurs N, déclenchant alors la renégociation des paramètres de fonctionnement LACP, la formation de l'interface Po D dans les commutateurs N et la transmission sur les liens de la valeur system-id N.

Méthode 2 — Minimiser la coupure
Déconnecter du commutateur A2 le lien Link 2. Dans ce cas, le trafic entre Un et D continuera à être transmis simplement par l'un des liens qui restera dans l'interface agrégée.

Connecter Link 2 au commutateur N2. Sur le commutateur N un interface agrégée est déjà configurée Po DN, et le commutateur N2 commencera à transmettre dans LACPDU system-id N. À ce stade, nous pouvons déjà vérifier que le commutateur N2 fonctionne correctement avec le transceiver utilisé pour Lien 2, que le port de connexion est passé à l'état Up, et qu'aucune erreur ne se produit sur le port de connexion lors de la transmission de LACPDU.

Mais le fait que le commutateur D2 pour l'interface agrégée Po A du côté Link 2 reçoit une valeur system-id N, différente de la valeur system-id A actuellement active, empêche les commutateurs D d'incorporer Lien 2 dans l'interface agrégée. Po ALe commutateur N ne peut pas être intégré Lien 2 car il ne reçoit pas de confirmation de fonctionnement du partenaire LACP du commutateur. D2En fin de compte, le trafic via Lien 2 n'est pas transmis.

Et maintenant, nous déconnectons Link 1 du commutateur A1, privant ainsi les commutateurs Un et D d'une interface agrégée fonctionnelle. Ainsi, du côté du commutateur D , la valeur system-id active pour l'interface disparaît. Po A.

Cela permet aux commutateurs D et N de s'accorder sur l'échange de system-id A-N sur les interfaces Po A et Po DN, de sorte que le trafic commence à être transmis par le lien Lien 2. La coupure dans ce cas dure, en pratique, jusqu'à 2 secondes.

Et maintenant, nous rebranchons tranquillement Link 1 au commutateur N1, restaurant ainsi la capacité et le niveau de redondance des interfaces. Po A et Po DN. Comme lors de la connexion de ce lien, la valeur system-id actuelle ne change d'aucune part, il n'y a pas de coupure.

Liens supplémentaires

Mais la commutation peut être effectuée sans la présence d'un ingénieur au moment de la commutation. Pour cela, nous devrons préalablement installer des liens supplémentaires entre les commutateurs de distribution D et les nouveaux commutateurs d'agrégation. N.

Nous établissons de nouveaux liens entre les commutateurs d'agrégation N et les commutateurs de distribution de tous les POD. Cela nécessite la commande et l'installation de câbles supplémentaires, ainsi que l'installation de transceivers supplémentaires comme dans N, ainsi que dans D. Nous pouvons le faire car nous avons dans les commutateurs D de chaque POD des ports disponibles (ou nous les libérons au préalable). Au final, chaque POD est physiquement connecté par deux liens aux anciens commutateurs A et aux nouveaux commutateurs N.

Sur le commutateur D , deux interfaces agrégées ont été formées — Po A avec des liens Lien 1 et Lien 2et Po N — avec des liens Link N1 et Link N2. À ce stade, nous vérifions la correcte connexion des interfaces et des liens, les niveaux des signaux optiques aux deux extrémités des liens (via les informations DDM des commutateurs), nous pouvons même vérifier le fonctionnement du lien sous charge ou surveiller les états des signaux optiques et des températures des transceivers pendant quelques jours.

Le trafic continue d'être transféré via l'interface Po A, tandis que l'interface Po N reste sans trafic. Les paramètres des interfaces sont à peu près les suivants :

Interface Port-channel A
Mode switchport trunk
VLAN autorisé switchport C1, C2

Interface Port-channel N
Mode switchport trunk
VLAN autorisé switchport none

Les commutateurs D, en général, supportent le changement de configuration de session, des modèles de commutateurs ayant cette fonctionnalité sont utilisés. Ainsi, nous pouvons changer les réglages des interfaces Po A et Po N en une seule fois :

Configurer la session
Interface Port-channel A
VLAN autorisé switchport none
Interface Port-channel N
VLAN autorisé switchport C1, C2
Valider

Dans ce cas, le changement de configuration se produira assez rapidement, et l'interruption sera, en pratique, de pas plus de 5 secondes.

Cette méthode nous permet de réaliser tous les travaux préparatoires à l'avance, d'effectuer toutes les vérifications nécessaires, de coordonner les travaux avec les participants au processus, de prévoir en détail les actions pour l'exécution des travaux, sans improvisation, lorsque "tout ne se passe pas comme prévu", et d'avoir un plan de retour à la configuration précédente sous la main. Les travaux conformément à ce plan sont réalisés par un ingénieur réseau sans la présence sur place d'un ingénieur de centre de données, qui effectue physiquement les basculements.

Ce qui est également important avec ce type de basculements — tous les nouveaux liens sont déjà surveillés à l’avance. Les erreurs, l’activation des liens dans l'agrégat, la charge des liens — toutes les informations nécessaires sont déjà dans le système de surveillance, et tout cela est déjà dessiné sur les cartes.

Jour J

POD

Nous avons choisi la méthode la moins douloureuse pour les clients et la moins sujette aux imprévus "quelque chose ne s’est pas bien passé" pour les basculements avec des liens supplémentaires. Ainsi, en quelques nuits, nous avons basculé tous les POD sur les nouveaux commutateurs d'agrégation.

Mais il reste à basculer l'équipement fournissant les services DCI.

L2

Dans le cas de matériels assurant la connectivité L2, nous n'avons pas pu effectuer de travaux similaires avec des liaisons supplémentaires. Les raisons en sont au moins deux :

• Absence de ports libres de la vitesse requise sur les commutateurs VXLAN.
• Absence de fonctionnalité de modification de configuration de session sur les commutateurs VXLAN.

Nous n'avons pas procédé au basculement des liaisons « une à une » avec une interruption seulement durant la négociation d'une nouvelle paire system-id, car nous n'avions pas 100 % de certitude que la procédure se déroulerait correctement, et un test en laboratoire a montré que, si « quelque chose ne se passe pas comme prévu », nous aurions tout de même une interruption de connexion, et ce qui est le plus alarmant — non seulement pour les clients ayant une connectivité L2 avec d'autres centres de données, mais pour tous les clients de ce centre de données.

Nous avons mené une campagne de sensibilisation à l'avance pour le passage des canaux L2, donc le nombre de clients concernés par les travaux sur les commutateurs VXLAN était déjà plusieurs fois inférieur à celui de l'année dernière. En fin de compte, nous avons décidé d'interrompre le service de connectivité L2 à condition de maintenir un fonctionnement normal des services de réseau local dans un seul centre de données. De plus, le SLA de ce service prévoit la possibilité d'effectuer des travaux programmés avec interruption.

L3

Pourquoi avons-nous recommandé à tous de passer à l'utilisation de L3VPN pour l'organisation des services DCI ? Une des raisons est la possibilité d'effectuer des travaux sur l'un des routeurs fournissant ce service, simplement en réduisant le niveau de redondance à N+0, sans interruption de la connexion.

Examinons le schéma de prestation du service de plus près. Dans ce service, le segment L2 va des serveurs clients uniquement jusqu'aux routeurs L3VPN Selectel. Sur les routeurs, le réseau client est terminé.

Chaque serveur client, par exemple, S2 et S3 dans le schéma présenté, dispose de ses adresses privées adresses IP — 10.0.0.2/24 pour le serveur S2 et 10.0.0.3/24 pour le serveur S3. Les adresses 10.0.0.252/24 et 10.0.0.253/24 sont attribuées par Selectel aux routeurs L3VPN-1 et L3VPN-2, respectivement. L'adresse IP 10.0.0.254/24 est l'adresse VIP VRRP sur les routeurs Selectel.

Plus de détails sur le service L3VPN peuvent être trouvés lire dans notre blog.

Jusqu'au moment du basculement, tout semblait à peu près comme dans le schéma :

Deux routeurs L3VPN-1 et L3VPN-2 étaient connectés à l'ancien commutateur d'agrégation Un. Le maître pour l'adresse VIP VRRP 10.0.0.254 est le routeur L3VPN-1Il a priorité sur cette adresse par rapport à celle du routeur. L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Le serveur S2 utilise la passerelle 10.0.0.254 pour communiquer avec des serveurs situés dans d'autres emplacements. Ainsi, la déconnexion du routeur L3VPN-2 (bien entendu, après l'avoir préalablement déconnecté du domaine MPLS) n'affecte pas la connectivité des serveurs du client. À ce moment, seul le niveau de redondance du schéma est réduit.

Après cela, nous pouvons reconnecter le routeur sans souci. L3VPN-2 à une paire de commutateurs. NTirer les liens, changer les transceivers. Les interfaces logiques du routeur, dont dépendent les services clients, resteront éteintes jusqu'à la confirmation que tout fonctionne comme prévu.

Après les vérifications des liens, des transceivers, des niveaux de signal, et des niveaux d'erreurs sur les interfaces, le routeur est mis en service, mais déjà connecté à la nouvelle paire de commutateurs.

Ensuite, nous diminuons la priorité VRRP du routeur L3VPN-1, et l'adresse VIP 10.0.0.254 se déplace sur le routeur L3VPN-2. Ces opérations sont également effectuées sans interruption de la connexion.

Le transfert de l'adresse VIP 10.0.0.254 vers le routeur L3VPN-2 permet de déconnecter le routeur L3VPN-1 sans interruption de la connexion pour le client et de le reconnecter à la nouvelle paire de commutateurs d'agrégation. N.

Revenir à la VIP VRRP sur le routeur L3VPN-1 ou non est une autre question, et s'il faut revenir, cela se fait sans interruption de la connexion.

Au total

Après toutes ces actions, nous avons effectivement remplacé les commutateurs d'agrégation dans l'un de nos centres de données, minimisant ainsi les interruptions pour nos clients.

Il ne reste plus qu'à procéder au démantèlement. Démantèlement des anciens commutateurs, démantèlement des anciens liens entre les commutateurs A et D, démantèlement des transceivers de ces liens, correction de la surveillance, correction des schémas réseau dans la documentation et la surveillance.

Les commutateurs, transceivers, câbles de raccordement, AOC, DAC restants après les commutations, nous pouvons les utiliser dans d'autres projets ou lors d'autres commutations similaires.

«Natacha, nous avons tout commuté !»

Source : habr.com