Nous invitons les lecteurs à découvrir les principes de construction d'une infrastructure résiliente pour une petite entreprise au sein d'un seul Data Center, qui seront détaillés dans une petite série d'articles.
Introduction
Sous Data Center (Centre de Données) peut être compris comme :
- un rack propre dans sa propre "salle des serveurs" sur le site de l'entreprise, répondant aux exigences minimales en matière d'alimentation électrique et de refroidissement de l'équipement, et ayant également un accès à Internet via deux fournisseurs indépendants ;
- un rack loué avec son propre équipement, situé dans un véritable Data Center – la fameuse collocation, qui correspond aux normes Tier III ou IV, et dans laquelle une alimentation électrique fiable et un refroidissement sont garantis tout en assurant un accès Internet résilient ;
- un équipement entièrement loué dans un Data Center Tier III ou IV.
Quel choix d'hébergement faire – cela dépend de chaque cas individuel et est généralement influencé par plusieurs facteurs clés :
- pourquoi l'entreprise a-t-elle besoin de sa propre infrastructure informatique ;
- ce que l'entreprise attend précisément de l'infrastructure informatique (fiabilité, évolutivité, gérabilité, etc.) ;
- le montant des investissements initiaux dans l'infrastructure informatique, ainsi que le type de coûts associés – soit des coûts d'investissement (ce qui signifie acheter son propre équipement), ou des coûts opérationnels (l'équipement est généralement loué) ;
- l'horizon de planification de l'entreprise elle-même.
On peut écrire beaucoup sur les facteurs influençant la décision d'une entreprise de créer et d'utiliser son infrastructure informatique, mais notre objectif est de montrer en pratique comment créer cette infrastructure de manière à ce qu'elle soit à la fois résiliente et qu'il soit également possible de réaliser des économies – réduire les dépenses pour l'acquisition de logiciels commerciaux ou les éviter complètement.
Comme l'a montré une longue expérience, il ne faut pas économiser sur le matériel, car un avare paie toujours deux fois, voire beaucoup plus. Mais encore une fois, un bon matériel n'est qu'une recommandation, et au final, le choix de ce qu'il faut acheter et à quel prix dépend des capacités de l'entreprise et de la « générosité » de sa direction. En fait, le terme « générosité » doit être compris dans son bon sens, car il vaut mieux investir dans le matériel au stade initial pour éviter de graves problèmes de maintenance et de mise à l'échelle ultérieure. Une planification initiale erronée et une économie excessive peuvent entraîner à l'avenir des coûts plus élevés que lors du lancement du projet.
Donc, les données de base pour le projet :
- il s'agit d'une entreprise qui a décidé de créer son propre portail web et de transférer ses activités sur Internet ;
- l'entreprise a décidé de louer un rack pour héberger son équipement dans un bon centre de données certifié selon la norme Tier III ;
- l'entreprise a décidé de ne pas trop économiser sur le matériel et a donc acheté le matériel suivant avec des garanties et un support étendus :
Liste du matériel
- deux serveurs physiques Dell PowerEdge R640 avec la configuration suivante :
- deux processeurs Intel Xeon Gold 5120
- 512 Go de RAM
- deux disques SAS en RAID1 pour l'installation du système d'exploitation
- carte réseau intégrée à 4 ports 1G
- deux cartes réseau à 2 ports 10G
- un HBA FC à 2 ports 16G.
- Stockage SAN Dell MD3820f à double contrôleur, connecté via FC 16G directement aux hôtes Dell ;
- deux switches de niveau 2 — Cisco WS-C2960RX-48FPS-L regroupés en stack ;
- deux switches de niveau 3 — Cisco WS-C3850-24T-E, regroupés en stack ;
- Rack, UPS, PDU, serveurs de console – fournis par le centre de données.
Comme nous pouvons le voir, le matériel disponible a de bonnes perspectives pour une mise à l'échelle horizontale et verticale, si l'entreprise réussit à concurrencer d'autres sociétés similaires sur Internet et commence à générer des bénéfices qui pourront être investis dans l'expansion des ressources pour une concurrence accrue et la croissance des bénéfices.
Quel matériel pouvons-nous ajouter si l'entreprise décide d'augmenter la performance de notre cluster de calcul :
- nous avons une grande réserve de ports sur les commutateurs 2960X, donc nous pouvons ajouter plus de serveurs matériels ;
- acheter deux commutateurs FC supplémentaires afin de les connecter à un stockage en réseau et à des serveurs additionnels ;
- les serveurs existants peuvent être mis à niveau – ajouter de la mémoire, remplacer les processeurs par des modèles plus performants, se connecter au réseau 10G avec les adaptateurs réseau déjà en place ;
- des étagères de disques supplémentaires peuvent être ajoutées au stockage en réseau avec le type de disques nécessaires – SAS, SATA ou SSD, en fonction de la charge prévue ;
- après l'ajout des commutateurs FC, on peut acheter un autre stockage en réseau pour ajouter encore plus de capacité de disque, et si l'on achète l'option spéciale de réplication à distance, cela permettra de configurer la réplication des données entre les systèmes de stockage aussi bien dans le même centre de données que entre différents centres de données (mais cela sort du cadre de cet article) ;
- il existe également des commutateurs de niveau 3 – Cisco 3850, qui peuvent être utilisés comme un cœur de réseau redondant, pour le routage à haute vitesse entre les réseaux internes. Cela sera très utile par la suite, à mesure que l'infrastructure interne se développera. De plus, les 3850 disposent de ports 10G qui pourront être utilisés ultérieurement, lors de la mise à niveau du matériel réseau vers une vitesse de 10G.
Comme la virtualisation est incontournable de nos jours, nous serons bien sûr dans le coup, d'autant plus que c'est un excellent moyen de réduire les coûts d'acquisition de serveurs coûteux pour des éléments d'infrastructure particuliers (serveurs web, bases de données, etc.), qui ne sont pas toujours utilisés de manière optimale en cas de faible charge, ce qui sera précisément le cas au début du lancement du projet.
De plus, la virtualisation présente de nombreux autres avantages qui pourraient nous être très utiles : la résilience des machines virtuelles face à une défaillance du serveur matériel, la migration à chaud entre les nœuds matériels du cluster pour leur maintenance, la distribution manuelle ou automatique de la charge entre les nœuds du cluster, etc.
Pour le matériel acquis par l'entreprise, il semble pertinent de déployer un cluster haute disponibilité VMware vSphere, mais étant donné que tout logiciel de VMware est connu pour ses prix exorbitants, nous utiliserons un logiciel totalement gratuit pour gérer la virtualisation – , qui sert de base au produit commercial connu — .
Logiciel oVirt nécessaire pour rassembler tous les éléments de l'infrastructure en un tout, afin de permettre un travail facile avec des machines virtuelles hautement disponibles – cela inclut des bases de données, des applications Web, des serveurs proxy, des équilibreurs de charge, des serveurs pour la collecte de journaux et d'analyses, etc., c'est-à-dire ce dont se compose notre portail web.
En résumé de cette introduction, nous avons les articles suivants qui montreront en pratique comment déployer toute l'infrastructure matérielle et logicielle de l'entreprise :
Liste des articles
- Partie 1. Préparation au déploiement du cluster oVirt 4.3.
- Partie 2. Installation et configuration du cluster oVirt 4.3.
- Partie 3. Configuration du cluster VyOS, organisation de la routage externe redondant.
- Partie 4. Configuration de la pile Cisco 3850, organisation de la routage interne.
Partie 1. Préparation au déploiement du cluster oVirt 4.3
Configuration de base des hôtes
L'installation et la configuration du système d'exploitation sont l'étape la plus simple. Il existe d'innombrables articles sur la manière d'installer et de configurer correctement un système d'exploitation, donc il n'est pas utile d'essayer de fournir quelque chose d'exclusif à ce sujet.
Nous avons donc deux hôtes Dell PowerEdge R640, sur lesquels nous devons installer un système d'exploitation et effectuer des préconfigurations pour les utiliser comme hyperviseurs pour exécuter des machines virtuelles dans le cluster oVirt 4.3.
Puisque nous prévoyons d'utiliser le logiciel libre non commercial oVirt, le système d'exploitation choisi pour le déploiement des hôtes est CentOS 7.7, bien qu'il soit également possible d'installer d'autres systèmes d'exploitation sur les hôtes pour oVirt :
- une version spéciale basée sur RHEL, appelée ;
- OS Oracle Linux, en été 2019 le support d'oVirt sur celui-ci.
Avant l'installation du système d'exploitation, il est recommandé de :
- configurer l'interface réseau iDRAC sur les deux hôtes;
- mettre à jour les firmwares pour le BIOS et l'iDRAC avec les dernières versions;
- configurer le Profil Système du serveur de préférence en mode Performance;
- configurer le RAID à partir des disques locaux (RAID1 recommandé), pour l'installation du système d'exploitation sur le serveur.
Ensuite, nous installons le système d'exploitation sur le disque précédemment créé via iDRAC – le processus d'installation est standard, il n'y a rien de particulier à ce sujet. L'accès à la console du serveur pour commencer l'installation du système d'exploitation peut également être obtenu via iDRAC, bien qu'il n'y ait rien qui empêche de connecter un moniteur, un clavier et une souris directement au serveur et d'installer le système d'exploitation depuis une « clé USB ».
Après l'installation du système d'exploitation, nous effectuons ses configurations initiales :
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Nous installons un ensemble de logiciels de base
Pour la configuration initiale du système d'exploitation, il est nécessaire de configurer n'importe quelle interface réseau sur le serveur pour accéder à Internet, afin de mettre à jour le système d'exploitation et d'installer les paquets requis. Cela peut être fait soit pendant l'installation du système d'exploitation, soit après.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Tous les paramètres et l'ensemble de logiciels mentionnés ci-dessus sont une question de préférence personnelle, et cet ensemble est uniquement recommandé.
Puisque notre hôte agira en tant qu'hyperviseur, nous allons activer le profil de performance approprié :
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Pour en savoir plus sur le profil de performance, vous pouvez consulter : ««.
Après l'installation du système d'exploitation, passons à la prochaine étape : la configuration des interfaces réseau sur les hôtes et la pile de commutateurs Cisco 2960X.
Configuration de la pile de commutateurs Cisco 2960X
Dans notre projet, les numéros de VLAN suivants seront utilisés — ou domaines de diffusion, isolés les uns des autres, afin de séparer différents types de trafic :
VLAN 10 – Internet
VLAN 17 – Gestion (iDRAC, stockage, gestion des commutateurs)
VLAN 32 – Réseau de production des machines virtuelles
VLAN 33 – réseau d'interconnexion (pour les sous-traitants externes)
VLAN 34 – Réseau de test des machines virtuelles
VLAN 35 – Réseau de développement des machines virtuelles
VLAN 40 – Réseau de surveillance
Avant de commencer les travaux, nous présenterons le schéma au niveau L2 auquel nous devons parvenir :
Pour l'interaction réseau entre les hôtes oVirt et les machines virtuelles, ainsi que pour gérer notre stockage, la configuration de la pile de commutateurs Cisco 2960X est nécessaire.
Les hôtes Dell possèdent des cartes réseau intégrées à 4 ports, il est donc judicieux d'organiser leur connexion au Cisco 2960X à l'aide d'une connexion réseau redondante, en groupant les ports réseau physiques dans une interface logique, et en utilisant le protocole LACP (802.3ad) :
- les deux premiers ports sur l'hôte sont configurés en mode de liaison et connectés au commutateur 2960X – cette interface logique sera configurée bridge avec une adresse pour la gestion de l'hôte, la surveillance et la communication avec d'autres hôtes dans le cluster oVirt, elle sera également utilisée pour la migration en direct des machines virtuelles;
- les deux ports suivants sur l'hôte sont également configurés en mode de liaison et connectés au 2960X - sur cette interface logique, à l'aide d'oVirt, des ponts (dans les VLAN appropriés) seront créés auxquels les machines virtuelles seront connectées.
- les deux ports réseau, dans le cadre d'une seule interface logique, seront actifs, c'est-à-dire que le trafic peut être transmis simultanément en mode de répartition.
- les paramètres réseau des nœuds du cluster doivent être absolument IDENTIQUES, à l'exception des adresses IP.
Configuration de base du stack de commutateurs 2960X et ses ports
Préalablement, nos commutateurs doivent être :
- installés en rack;
- connectés par deux câbles spéciaux de la bonne longueur, par exemple, CAB-STK-E-1M;
- alimentés;
- connectés à la station de travail de l'administrateur via le port console, pour leur configuration initiale.
Le guide nécessaire pour cela est disponible sur du fabricant.
Après avoir effectué les étapes ci-dessus, nous configurons les commutateurs.
La signification de chaque commande ne sera pas expliquée dans le cadre de cet article, si nécessaire, toutes les informations peuvent être trouvées par vos propres moyens.
Notre objectif est de configurer le stack de commutateurs aussi rapidement que possible et de connecter des hôtes et des interfaces de gestion de stockage.
1) Nous nous connectons au commutateur principal, passons en mode privilégié, puis entrons en mode de configuration et effectuons les réglages de base.
Configuration de base du commutateur :
activer
configurer le terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Gestion
vlan 32
name PROD
vlan 33
name Interconnexion
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Surveillance
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Nous enregistrons la configuration avec la commande «wr mem» et redémarrons la pile de commutateurs avec la commande «reload» sur le commutateur principal switch 1.
2) Nous configurons les ports réseau du commutateur en mode accès (access) dans la VLAN 17, pour connecter les interfaces de gestion des systèmes de stockage et des serveurs iDRAC.
Configuration des ports de gestion :
interface GigabitEthernet1/0/5
description iDRAC - hôte1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - hôte2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Après le redémarrage de la pile, nous vérifions qu'elle fonctionne correctement :
Vérification du fonctionnement de la pile :
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.XXXX
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.XXXX 15 4 Ready
2 Member 0029.c251.XXXX 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Configuration de l'accès SSH à la pile 2960X
Pour la gestion à distance de la pile via SSH, nous utiliserons l'IP 172.20.1.10, configurée sur SVI (interface virtuelle de commutateur) VLAN17.
Bien qu'il soit préférable d'utiliser un port dédié sur le commutateur à des fins de gestion, cela dépend des préférences et des possibilités personnelles.
Configuration de l'accès SSH à la stack de commutateurs :
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordConfigurons le mot de passe pour accéder au mode privilégié :
enable secret *myenablepassword*
service password-encryptionConfigurons NTP :
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Configurons les interfaces logiques Etherchannel et les ports physiques connectés aux hôtes. Pour simplifier la configuration, tous les VLAN existants seront autorisés sur toutes les interfaces logiques, mais il est généralement recommandé de configurer uniquement ce qui est nécessaire :
Configuration des interfaces Etherchannel :
interface Port-channel1
description EtherChannel avec Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel avec Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel avec Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel avec Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeConfiguration initiale des interfaces réseau pour les machines virtuelles sur les hôtes Hôte1 et Hôte2
Vérification de la présence des modules nécessaires au fonctionnement du bonding dans le système, installation du module pour gérer les ponts :
modinfo bonding
modinfo 8021q
yum install bridge-utilsConfiguration sur les hôtes de l'interface logique BOND1 pour les machines virtuelles et de ses interfaces physiques :
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - gestion
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - gestion
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - gestion
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Après avoir terminé les réglages sur le stack 2960X et sur les hôtes, redémarrez le réseau sur les hôtes et vérifiez le bon fonctionnement de l'interface logique.
- sur l'hôte :
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver : v3.7.1 (27 avril 2011)
Mode de bonding : agrégation de lien dynamique IEEE 802.3ad
Politique de hachage de transmission : layer2+3 (2)
Statut MII : up
Intervalle de sondage MII (ms) : 100
Délai de montée (ms) : 0
Délai de descente (ms) : 0
...
info 802.3ad
Taux LACP : rapide
Liens minimums : 0
Politique de sélection de l'agrégateur (ad_select) : stable
Priorité du système : 65535
...
Interface esclave : em2
Statut MII : up
Vitesse : 1000 Mbps
Duplex : full
...
Interface esclave : em3
Statut MII : up
Vitesse : 1000 Mbps
Duplex : full- sur le stack de commutateurs 2960X:
2960X#show lacp internal
Flags : S - L’appareil demande des LACPDUs lents
F - L’appareil demande des LACPDUs rapides
A - L’appareil est en mode actif P - L’appareil est en mode passif
Groupe de canaux 1
Port LACP Admin Opér. Port Port
Port Flags État Priorité Clé Clé Numéro État
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags : D - en panne P - groupé dans le port-channel
I - autonome s - suspendu
H - Veille chaude (LACP uniquement)
R - Couche3 S - Couche2
U - utilisé N - non utilisé, pas d’agrégation
f - échec de l'allocation de l'agrégateur
M - non utilisé, les liens minimums non respectés
m - non utilisé, port non agrégé en raison des minimums de liens non respectés
u - inadapté à l'agrégation
w - en attente d'agrégation
d - port par défaut
A - formé par Auto LAG
Nombre de groupes de canaux utilisés : 11
Nombre d'agrégateurs : 11
Groupe Port-channel Protocole Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Configuration initiale des interfaces réseau pour la gestion des ressources du cluster sur les hôtes Hôte1 et Hôte2
Configuration sur les hôtes de l'interface logique BOND1 pour la gestion et de ses interfaces physiques :
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - gestion
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - gestion
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - gestion
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Après avoir terminé les réglages sur le stack 2960X et sur les hôtes, redémarrez le réseau sur les hôtes et vérifiez le bon fonctionnement de l'interface logique.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryConfigurons l'interface réseau de gestion sur chaque hôte dans VLAN 17, et liez-la à l'interface logique BOND1 :
Configuration de VLAN17 sur Host1 :
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicConfiguration de VLAN17 sur Host2 :
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicRedémarrez le réseau sur les hôtes et vérifiez leur visibilité entre eux.
Cela complète la configuration de la pile de commutateurs Cisco 2960X, et si tout a été fait correctement, nous avons maintenant la connectivité réseau de tous les éléments de l'infrastructure entre eux au niveau L2.
Configuration du SAN Dell MD3820f
Avant de commencer la configuration du SAN, celui-ci doit déjà être connecté à la pile de commutateurs Cisco 2960X interfaces de gestion, ainsi qu'aux hôtes Hôte1 et Hôte2 via FC.
Le schéma général de la façon dont le SAN doit être connecté à la pile de commutateurs a été donné dans le chapitre précédent.
Le schéma de connexion du SAN par FC aux hôtes doit ressembler à ceci :
Lors de la connexion, il est nécessaire d'enregistrer les adresses WWPN pour les hôtes FC HBA connectés aux ports FC sur le SAN - cela sera nécessaire pour la configuration ultérieure de l'association des hôtes aux LUN sur le SAN.
Téléchargez et installez l'outil de gestion du SAN Dell MD3820f sur le poste de travail de l'administrateur - PowerVault Modular Disk Storage Manager (MDSM).
Connectez-vous via ses adresses IP par défaut, puis configurez nos adresses à partir de VLAN17, pour gérer les contrôleurs via TCP/IP :
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Après la configuration des adresses, accédez à l'interface de gestion du SAN et définissez le mot de passe, configurez l'heure, mettez à jour le firmware pour les contrôleurs et les disques, si nécessaire, etc.
Comment cela se fait - est décrit dans LUN.
Après avoir effectué les réglages mentionnés ci-dessus, nous devons faire juste quelques actions :
- Configurer les identifiants de ports FC des hôtes - Identifiants de ports hôtes.
- Créer un groupe d'hôtes - Groupe d'hôtes et ajouter nos deux hôtes Dell à celui-ci.
- Créer un groupe de disques et y ajouter des disques virtuels (ou LUN) qui seront présentés aux hôtes.
- Configurer la présentation des disques virtuels (ou LUN) pour les hôtes.
L'ajout de nouveaux hôtes et l'association de leurs identifiants de ports FC d'hôtes se fait via le menu - Mappage d'hôtes -> Définir -> Hôtes…
Les adresses WWPN des hôtes FC HBA peuvent être trouvées, par exemple, dans l'iDRAC du serveur.
Le résultat devrait ressembler à cette image :
L'ajout d'un nouveau groupe d'hôtes et l'association d'hôtes à celui-ci se fait via le menu - Mappage d'hôtes -> Définir -> Groupe d'hôtes…
Pour les hôtes, sélectionnons le type de système d'exploitation - Linux (DM-MP).
Après avoir créé le groupe d'hôtes, via l'onglet Stockage et services de copie, nous créons un groupe de disques - Groupe de disques, avec un type dépendant des exigences de tolérance aux pannes, par exemple, RAID10, et y ajoutons des disques virtuels de la taille requise :
Et enfin, l'étape finale - la présentation des disques virtuels (ou LUN) aux hôtes.
Pour ce faire, via le menu - Mappage d'hôtes -> Mappage de LUN -> Ajouter… nous associons les disques virtuels aux hôtes, en leur attribuant des numéros.
Tout devrait ressembler à cette capture d'écran :
Nous terminons ici avec la configuration du LUN, et si tout a été fait correctement, les hôtes devraient voir les LUN qui leur ont été présentés via leurs HBA FC.
Faisons en sorte que le système mette à jour les informations sur les disques connectés :
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanVoyons quels dispositifs sont visibles sur nos serveurs :
cat /proc/scsi/scsi
Dispositifs attachés :
Hôte : scsi0 Canal : 02 Id : 00 Lun : 00
Fournisseur : DELL Modèle : PERC H330 Mini Rév : 4.29
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi15 Canal : 00 Id : 00 Lun : 00
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi15 Canal : 00 Id : 00 Lun : 01
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi15 Canal : 00 Id : 00 Lun : 04
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi15 Canal : 00 Id : 00 Lun : 11
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi15 Canal : 00 Id : 00 Lun : 31
Fournisseur : DELL Modèle : Universal Xport Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi18 Canal : 00 Id : 00 Lun : 00
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi18 Canal : 00 Id : 00 Lun : 01
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi18 Canal : 00 Id : 00 Lun : 04
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi18 Canal : 00 Id : 00 Lun : 11
Fournisseur : DELL Modèle : MD38xxf Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
Hôte : scsi18 Canal : 00 Id : 00 Lun : 31
Fournisseur : DELL Modèle : Universal Xport Rév : 0825
Type : Accès direct Révision ANSI SCSI : 05
lsscsi
[0:2:0:0] disque DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disque DELL MD38xxf 0825 -
[15:0:0:1] disque DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disque DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disque DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disque DELL Universal Xport 0825 -
[18:0:0:0] disque DELL MD38xxf 0825 -
[18:0:0:1] disque DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disque DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disque DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disque DELL Universal Xport 0825 -Il est également possible de configurer des options supplémentaires sur les hôtes multipath, et bien qu'oVirt puisse le faire automatiquement lors de l'installation, il est préférable de vérifier au préalable le bon fonctionnement de MP.
Installation et configuration de DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Nous mettons le service MP en démarrage automatique et le lançons :
systemctl enable multipathd && systemctl restart multipathdVérification des informations sur les modules chargés pour le fonctionnement de MP :
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: cible de multipath du device-mapper
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: Clé de signature du noyau Linux CentOS
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Nous examinons un aperçu des informations sur la configuration existante de multipath :
mpathconf
multipath est activé
find_multipaths est désactivé
user_friendly_names est désactivé
le module dm_multipath est chargé
multipathd est en cours d'exécutionAprès l'ajout d'un nouveau LUN sur le stockage SAN et sa présentation à l'hôte, il est nécessaire de scanner les HBA connectés à l'hôte.
systemctl reload multipathd
multipath -v2Enfin, vérifions si tous les LUN ont été présentés sur le stockage SAN pour les hôtes, et si chacun d'eux a deux chemins.
Vérification du fonctionnement de MP :
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningComme on peut le voir, les trois disques virtuels sur le SAN sont visibles par deux chemins. Ainsi, tous les travaux préparatoires sont terminés, et nous pouvons passer à la réalisation de la partie principale — la configuration du cluster oVirt, qui sera abordée dans le prochain article.
Source : habr.com
