Dans les deux parties précédentes (, ), nous avons examiné les principes sur lesquels la nouvelle usine sur mesure a été construite et avons parlé de la migration de tous les emplois. Il est maintenant temps de parler de l'usine de serveurs.
Auparavant, nous n'avions pas d'infrastructure de serveur distincte : les commutateurs de serveur étaient connectés au même noyau que les commutateurs de distribution d'utilisateurs. Le contrôle d'accès a été effectué à l'aide de réseaux virtuels (VLAN), le routage VLAN a été effectué en un seul point - sur le noyau (selon le principe ).
Ancienne infrastructure réseau
Parallèlement au nouveau réseau de bureaux, nous avons décidé de construire une nouvelle salle de serveurs et une nouvelle usine séparée. Il s'est avéré petit (trois armoires de serveurs), mais conforme à tous les canons : un noyau séparé sur les commutateurs CE8850, une topologie entièrement maillée (spine-leaf), des commutateurs CE6870 haut du rack (ToR), une paire séparée de switchs pour s'interfacer avec le reste du réseau (border leaves). Bref, de la viande hachée complète.
Réseau de la nouvelle usine de serveurs
Nous avons décidé d'abandonner le serveur SCS au profit de la connexion directe des serveurs aux commutateurs ToR. Pourquoi? Nous disposons déjà de deux salles de serveurs construites à l'aide du serveur SCS, et nous avons réalisé que c'était :
- peu pratique à utiliser (nombreuses reconnexions, il faut soigneusement mettre à jour le journal des câbles) ;
- cher en termes d'espace occupé par les panneaux de brassage ;
- constitue un obstacle lorsqu'il faut augmenter la vitesse de connexion des serveurs (par exemple passer de connexions à 1 Gbit/s sur cuivre à 10 Gbit/s sur optique).
Lors du déménagement dans une nouvelle usine de serveurs, nous avons essayé de nous éloigner de la connexion des serveurs à une vitesse de 1 Gbit/s et de nous limiter aux interfaces de 10 Gbit. Presque tous les anciens serveurs qui ne pouvaient pas faire cela ont été virtualisés et les autres ont été connectés via des émetteurs-récepteurs Gigabit à des ports 10 Gigabit. Nous avons fait le calcul et avons décidé que cela coûterait moins cher que d’installer des commutateurs Gigabit séparés pour eux.
Commutateurs ToR
Également dans notre nouvelle salle de serveurs, nous avons installé des commutateurs de gestion hors bande (OOM) séparés avec 24 ports, un par rack. Cette idée s'est avérée très bonne, mais il n'y avait pas assez de ports, la prochaine fois nous installerons des commutateurs OOM avec 48 ports.
Nous connectons des interfaces de gestion à distance de serveurs tels que iLO, ou iBMC dans la terminologie Huawei, au réseau OOM. Si le serveur a perdu sa connexion principale au réseau, alors il sera possible d'y accéder via cette interface. De plus, les interfaces de contrôle des commutateurs ToR, des capteurs de température, des interfaces de contrôle UPS et autres dispositifs similaires sont connectés aux commutateurs OOM. Le réseau MOO est accessible via une interface pare-feu distincte.
Connexion réseau MOO
Couplage des réseaux serveur et utilisateurs
Dans une usine personnalisée, des VRF distincts sont utilisés à différentes fins : pour connecter les postes de travail des utilisateurs, les systèmes de vidéosurveillance, les systèmes multimédia dans les salles de réunion, pour organiser les stands et les zones de démonstration, etc.
Un autre ensemble de VRF a été créé dans la fabrique du serveur :
- Pour connecter des serveurs réguliers sur lesquels les services d'entreprise sont déployés.
- Un VRF distinct, au sein duquel sont déployés des serveurs avec accès depuis Internet.
- Un VRF distinct pour les serveurs de base de données auxquels accèdent uniquement d'autres serveurs (par exemple, les serveurs d'applications).
- VRF séparé pour notre système de messagerie (MS Exchange + Skype for Business).
Nous avons donc un ensemble de VRF côté usine utilisateur et un ensemble de VRF côté usine serveur. Les deux ensembles sont installés sur des clusters de pare-feu d'entreprise (FW). Les ME sont connectés aux commutateurs de bordure (feuilles de bordure) de la structure serveur et de la structure utilisateur.
Interfaçage des usines via ME - physique
Interfaçage des usines via ME - logique
Comment s’est passée la migration ?
Lors de la migration, nous avons connecté les nouvelles et anciennes usines de serveurs au niveau des liaisons de données, via des trunks temporaires. Pour migrer les serveurs situés dans un VLAN spécifique, nous avons créé un domaine de pont distinct, qui comprenait le VLAN de l'ancienne usine de serveurs et le VXLAN de la nouvelle usine de serveurs.
La configuration ressemble à ceci, les deux dernières lignes étant essentielles :
bridge-domain 22
vxlan vni 600022
evpn
route-distinguisher 10.xxx.xxx.xxx:60022
vpn-target 6xxxx:60022 export-extcommunity
vpn-target 6xxxx:60022 import-extcommunity
interface Eth-Trunk1
mode lacp-static
dfs-group 1 m-lag 1
interface Eth-Trunk1.1022 mode l2
encapsulation dot1q vid 22
bridge-domain 22
Migration de machines virtuelles
Ensuite, à l'aide de VMware vMotion, les machines virtuelles de ce VLAN ont été migrées des anciens hyperviseurs (version 5.5) vers les nouveaux (version 6.5). Dans le même temps, les serveurs matériels ont été virtualisés.
Quand tu réessayerasConfigurez le MTU à l'avance et vérifiez le passage des gros paquets « de bout en bout ».
Dans l'ancien réseau de serveurs, nous utilisions le pare-feu virtuel VMware vShield. Étant donné que VMware ne prend plus en charge cet outil, nous sommes passés de vShield aux pare-feu matériels en même temps que nous avons migré vers la nouvelle ferme virtuelle.
Une fois qu'il n'y avait plus de serveurs dans un VLAN particulier sur l'ancien réseau, nous avons changé de routage. Auparavant, cela était réalisé sur l'ancien noyau, construit à l'aide de la technologie Collapsed Backbone, et dans la nouvelle usine de serveurs, nous utilisions la technologie Anycast Gateway.
Changement de routage
Après avoir changé de routage pour un VLAN spécifique, celui-ci a été déconnecté du domaine du pont et exclu du tronc entre l'ancien et le nouveau réseau, c'est-à-dire qu'il a été complètement déplacé vers la nouvelle usine de serveurs. Ainsi, nous avons migré une vingtaine de VLAN.
Nous avons donc créé un nouveau réseau, un nouveau serveur et une nouvelle ferme de virtualisation. Dans l’un des articles suivants, nous parlerons de ce que nous avons fait avec le Wi-Fi.
Maxime Klochkov
Consultant senior du groupe audit réseau et projets complexes
Centre de solutions réseau
"Systèmes d'information Jet"
Source: habr.com