Les lecteurs sont invités à se familiariser avec les principes de construction d'une infrastructure tolérante aux pannes pour une petite entreprise au sein d'un seul centre de données, qui seront abordés en détail dans une courte série d'articles.
Introduction
sous centre de données (Centre de traitement des données) peut être compris comme :
- propre rack dans sa propre "salle de serveurs" sur le territoire de l'entreprise, qui répond aux exigences minimales pour fournir des équipements d'alimentation et de refroidissement, et dispose également d'un accès Internet via deux fournisseurs indépendants;
- un rack loué avec son propre équipement, situé dans un véritable centre de données - le soi-disant. colocalisation qui répond à la norme Tier III ou IV, et qui garantit une alimentation électrique fiable, un refroidissement et fournit un accès Internet tolérant aux pannes ;
- équipement entièrement loué dans un centre de données de niveau III ou IV.
Quelle option d'hébergement choisir - dans chaque cas, tout est individuel et dépend généralement de plusieurs facteurs principaux:
- pourquoi une entreprise a-t-elle besoin de sa propre infrastructure informatique ;
- qu'est-ce que l'entreprise attend exactement de l'infrastructure informatique (fiabilité, évolutivité, gérabilité, etc.) ;
- le montant de l'investissement initial dans l'infrastructure informatique, ainsi que le type de coûts - capital (ce qui signifie acheter votre propre équipement) ou fonctionnement (l'équipement est généralement loué);
- l'horizon de planification de l'entreprise elle-même.
Vous pouvez écrire beaucoup sur les facteurs qui influencent la décision d'une entreprise de créer et d'utiliser son infrastructure informatique, mais notre objectif est de montrer en pratique comment créer cette même infrastructure afin qu'elle soit à la fois tolérante aux pannes et que vous puissiez toujours économiser - réduire le coût d'acquisition de logiciels commerciaux ou les éviter complètement.
Comme le montre une longue pratique, cela ne vaut pas la peine d'économiser sur le fer, car l'avare paie deux fois, et même beaucoup plus. Mais encore une fois - bon matériel, ce n'est qu'une recommandation, et au final ce qu'il faut acheter exactement et pour combien dépend des capacités de l'entreprise et de la "cupidité" de sa direction. De plus, le mot "cupidité" doit être compris dans le bon sens du terme, car il vaut mieux investir dans du matériel au stade initial, afin que plus tard vous n'ayez pas de sérieux problèmes avec son support et sa mise à l'échelle, car initialement incorrect la planification et les économies excessives peuvent entraîner des coûts plus élevés que lors du démarrage d'un projet.
Donc, les données initiales pour le projet :
- il y a une entreprise qui a décidé de créer son propre portail web et de porter ses activités sur Internet ;
- l'entreprise a décidé de louer un rack pour loger ses équipements dans un bon data center certifié selon la norme Tier III ;
- l'entreprise a décidé de ne pas économiser beaucoup sur le matériel et a donc acheté les équipements suivants avec des garanties et une assistance étendues :
Liste d'équipement
- deux serveurs physiques Dell PowerEdge R640 comme suit :
- deux processeurs Intel Xeon Gold 5120
- 512 Gb RAM
- deux disques SAS en RAID1, pour l'installation du système d'exploitation
- carte réseau 4G 1 ports intégrée
- deux cartes réseau 2G à 10 ports
- un HBA FC 2G à 16 ports.
- Stockage du contrôleur Dell MD2f 3820 connecté via FC 16G directement aux hôtes Dell ;
- deux commutateurs du deuxième niveau - Cisco WS-C2960RX-48FPS-L empilés ;
- deux commutateurs du troisième niveau - Cisco WS-C3850-24T-E, combinés en une pile ;
- Rack, UPS, PDU, serveurs de console - fournis par le centre de données.
Comme nous pouvons le voir, l'équipement existant a de bonnes perspectives de mise à l'échelle horizontale et verticale, au cas où l'entreprise pourrait rivaliser avec d'autres entreprises d'un profil similaire sur Internet et commencer à réaliser un profit qui peut être investi dans l'expansion des ressources pour une concurrence accrue et la croissance des bénéfices.
Quels équipements pouvons-nous ajouter si l'entreprise décide d'augmenter les performances de notre grappe de calcul :
- nous avons une grande réserve en termes de nombre de ports sur les commutateurs 2960X, ce qui signifie que nous pouvons ajouter plus de serveurs matériels ;
- acheter deux commutateurs FC pour y connecter des systèmes de stockage et des serveurs supplémentaires ;
- les serveurs existants peuvent être mis à niveau - ajoutez de la mémoire, remplacez les processeurs par des processeurs plus efficaces, connectez-vous à un réseau 10G avec des adaptateurs réseau existants ;
- vous pouvez ajouter des étagères de disques supplémentaires au système de stockage avec le type de disques requis - SAS, SATA ou SSD, en fonction de la charge prévue ;
- après avoir ajouté des commutateurs FC, vous pouvez acheter un autre système de stockage pour ajouter encore plus de capacité de disque, et si vous achetez une option spéciale de réplication à distance, vous pouvez configurer la réplication des données entre les systèmes de stockage à la fois dans les limites d'un centre de données et entre les centres de données (mais cela dépasse déjà le cadre de l'article);
- il existe également des commutateurs de troisième niveau - Cisco 3850, qui peuvent être utilisés comme cœur de réseau tolérant aux pannes pour le routage à haut débit entre les réseaux internes. Cela aidera beaucoup à l'avenir, à mesure que l'infrastructure interne se développera. Le 3850 dispose également de ports 10G qui peuvent être utilisés ultérieurement lors de la mise à niveau de l'équipement réseau à la vitesse 10G.
Puisqu'il n'y a plus nulle part sans virtualisation, nous serons certainement dans la tendance, d'autant plus que c'est un excellent moyen de réduire le coût d'acquisition de serveurs coûteux pour des éléments d'infrastructure individuels (serveurs Web, bases de données, etc.), qui ne sont pas toujours optimaux. sont utilisés en cas de faible charge, et c'est exactement ce qui sera au début du lancement du projet.
De plus, la virtualisation présente de nombreux autres avantages qui peuvent nous être très utiles : tolérance aux pannes des VM suite à une panne de serveur matériel, migration en direct entre les nœuds matériels du cluster pour leur maintenance, répartition manuelle ou automatique de la charge entre les nœuds du cluster, etc.
Pour le matériel acheté par l'entreprise, le déploiement d'un cluster VMware vSphere hautement disponible se suggère, mais comme tout logiciel de VMware est connu pour son prix "cheval", nous utiliserons un logiciel de gestion de la virtualisation absolument gratuit - , sur la base duquel un produit bien connu, mais déjà commercial est créé - .
Logiciel o Virt nécessaire de combiner tous les éléments de l'infrastructure en un tout afin de pouvoir travailler facilement avec des machines virtuelles hautement disponibles - il s'agit de bases de données, d'applications Web, de serveurs proxy, d'équilibreurs, de serveurs de collecte de journaux et d'analyses, etc., c'est-à-dire , en quoi consiste le portail Web de notre entreprise.
Pour résumer cette introduction, les articles suivants nous attendent, qui montreront en pratique exactement comment déployer toute l'infrastructure matérielle et logicielle d'une entreprise :
Liste des articles
- Partie 1. Préparation au déploiement d'un cluster oVirt 4.3.
- Partie 2. Installer et configurer un cluster oVirt 4.3.
- Partie 3. Mise en place d'un cluster VyOS, organisation d'un routage externe tolérant aux pannes.
- Partie 4. Mise en place de la pile Cisco 3850, organisation du routage intranet.
Partie 1. Préparation au déploiement d'un cluster oVirt 4.3
Configuration de base de l'hôte
L'installation et la configuration du système d'exploitation constituent l'étape la plus simple. Il existe de nombreux articles sur la façon d'installer et de configurer correctement le système d'exploitation, il est donc insensé d'essayer de donner quelque chose d'exclusif à ce sujet.
Nous avons donc deux hôtes Dell PowerEdge R640 sur lesquels nous devons installer le système d'exploitation et effectuer des réglages préliminaires afin de les utiliser comme hyperviseurs pour exécuter des machines virtuelles dans un cluster oVirt 4.3.
Comme nous prévoyons d'utiliser le logiciel gratuit non commercial oVirt, nous avons choisi le système d'exploitation pour déployer les hôtes 7.7 CentOS, bien qu'il soit possible d'installer d'autres systèmes d'exploitation sur des hôtes pour oVirt :
- une version spéciale basée sur RHEL, le soi-disant. ;
- SE Oracle Linux Été 2019 de garder oVirt en cours d'exécution dessus.
Avant d'installer le système d'exploitation, il est recommandé :
- configurer l'interface réseau iDRAC sur les deux hôtes ;
- mettre à jour le micrologiciel du BIOS et de l'iDRAC vers les dernières versions ;
- configurer le profil système du serveur, de préférence en mode Performance ;
- configurez RAID à partir de disques locaux (RAID1 est recommandé) pour installer le système d'exploitation sur le serveur.
Ensuite, nous installons le système d'exploitation sur le disque créé précédemment via iDRAC - le processus d'installation est normal, il n'y a pas de moments particuliers. Vous pouvez également accéder à la console du serveur pour démarrer l'installation du système d'exploitation via iDRAC, bien que rien ne vous empêche de connecter un moniteur, un clavier et une souris directement au serveur et d'installer le système d'exploitation à partir d'un lecteur flash.
Après avoir installé le système d'exploitation, nous effectuons ses réglages initiaux :
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Installation de l'ensemble de logiciels de base
Pour la configuration initiale du système d'exploitation, vous devez configurer n'importe quelle interface réseau sur le serveur afin de pouvoir accéder à Internet pour mettre à jour le système d'exploitation et installer les packages logiciels nécessaires. Cela peut être fait à la fois pendant le processus d'installation du système d'exploitation et après celui-ci.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Tous les paramètres ci-dessus et l'ensemble de logiciels sont une question de préférence personnelle, et cet ensemble n'est qu'une recommandation.
Étant donné que notre hébergeur jouera le rôle d'un hyperviseur, nous activerons le profil de performance souhaité :
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Vous pouvez en savoir plus sur le profil de performance ici :«.
Après avoir installé le système d'exploitation, nous passons à la partie suivante - la configuration des interfaces réseau sur les hôtes et une pile de commutateurs Cisco 2960X.
Configuration d'une pile de commutateurs Cisco 2960X
Dans notre projet, les numéros de VLAN suivants seront utilisés - ou des domaines de diffusion isolés les uns des autres, afin de séparer différents types de trafic :
VLAN 10 - L'Internet
VLAN 17 – Gestion (iDRAC, stockage, gestion des commutateurs)
VLAN 32 – Réseau de production VM
VLAN 33 – réseau d'interconnexion (aux prestataires extérieurs)
VLAN 34 – Réseau de test de VM
VLAN 35 – Réseau de développeurs VM
VLAN 40 – réseau de surveillance
Avant de commencer le travail, donnons un schéma au niveau L2, auquel nous devrions éventuellement arriver :
Pour l'interaction réseau des hôtes oVirt et des machines virtuelles entre elles, ainsi que pour la gestion de notre système de stockage, il est nécessaire de configurer une pile de commutateurs Cisco 2960X.
Les hôtes Dell ont des cartes réseau à 4 ports intégrées, par conséquent, il est conseillé d'organiser leur connexion au Cisco 2960X à l'aide d'une connexion réseau tolérante aux pannes, en utilisant le regroupement des ports réseau physiques dans une interface logique, et le LACP (802.3 ad) protocole :
- les deux premiers ports de l'hôte sont configurés en mode de liaison et connectés au commutateur 2960X - cette interface logique sera configurée pont avec une adresse pour la gestion des hôtes, la surveillance, la communication avec les autres hôtes du cluster oVirt, il sera également utilisé pour la migration en direct des machines virtuelles ;
- les deux seconds ports sur l'hôte sont également configurés en mode bonding et connectés au 2960X - sur cette interface logique utilisant oVirt, des ponts seront créés ultérieurement (dans les VLAN correspondants) auxquels les machines virtuelles se connecteront.
- les deux ports réseau au sein de la même interface logique seront actifs, c'est-à-dire le trafic sur celles-ci peut être transmis simultanément, en mode équilibrage.
- les paramètres réseau sur les nœuds de cluster doivent être exactement les mêmes, à l'exception des adresses IP.
Configuration de base de la pile de commutateurs 2960X et ses ports
Auparavant, nos commutateurs devaient être :
- support monté;
- relié par deux câbles spéciaux de la longueur requise, par exemple, CAB-STK-E-1M ;
- connecté à l'alimentation électrique ;
- connectés au poste de l'administrateur via le port console pour leur configuration initiale.
Les conseils nécessaires à cet effet sont disponibles sur fabricant.
Après avoir terminé les étapes ci-dessus, nous configurons les commutateurs.
Ce que signifie chaque commande n'est pas censé être déchiffré dans le cadre de cet article, si nécessaire, toutes les informations peuvent être trouvées indépendamment.
Notre objectif est de configurer rapidement une pile de commutateurs et d'y connecter des hôtes et des interfaces de gestion de stockage.
1) Nous nous connectons au commutateur principal, passons en mode privilégié, puis passons en mode de configuration et effectuons les réglages de base.
Configuration de base du commutateur :
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Enregistrez la configuration avec la commande "je me souviens" et redémarrez la pile de commutateurs avec la commande "Recharger» sur l'interrupteur général 1.
2) Nous configurons les ports réseau du commutateur en mode d'accès (access) en VLAN 17, pour connecter les interfaces de contrôle des systèmes de stockage et des serveurs iDRAC.
Configuration des ports de gestion :
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Après avoir rechargé la pile, vérifiez qu'elle fonctionne correctement :
Vérification du fonctionnement de la pile :
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Configuration de l'accès SSH à la pile 2960X
Pour gérer la pile à distance via SSH, nous utiliserons l'IP 172.20.1.10 configuré sur SVI (switch virtual interface) VLAN17.
Bien qu'il soit souhaitable d'utiliser un port dédié dédié sur le commutateur à des fins de gestion, c'est une question de préférence personnelle et d'opportunité.
Configuration de l'accès SSH à la pile de commutateurs :
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordConfigurez un mot de passe pour entrer en mode privilégié :
enable secret *myenablepassword*
service password-encryptionConfigurez NTP :
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Configurez les interfaces logiques Etherchannel et les ports physiques connectés aux hôtes. Pour faciliter la configuration, tous les VLAN disponibles seront autorisés sur toutes les interfaces logiques, mais il est généralement recommandé de configurer uniquement ce qui est nécessaire :
Configuration des interfaces Etherchannel :
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeConfiguration initiale des interfaces réseau pour les machines virtuelles, sur les hôtes Hôte1 и Hôte2
Nous vérifions la présence des modules nécessaires au fonctionnement du collage dans le système, installons le module de gestion des ponts :
modinfo bonding
modinfo 8021q
yum install bridge-utilsConfiguration de l'interface logique BOND1 pour les machines virtuelles et ses interfaces physiques sur les hôtes :
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Après avoir terminé les réglages sur la pile 2960X et les hôtes, redémarrez le réseau sur les hôtes et vérifiez le bon fonctionnement de l'interface logique.
- sur l'hôte :
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- sur la pile de commutateurs 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Configuration initiale des interfaces réseau pour la gestion des ressources du cluster, sur les hôtes Hôte1 и Hôte2
Configuration de l'interface logique BOND1 pour la gestion sur les hôtes et ses interfaces physiques :
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Après avoir terminé les réglages sur la pile 2960X et les hôtes, redémarrez le réseau sur les hôtes et vérifiez le bon fonctionnement de l'interface logique.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryConfigurez une interface réseau de gestion sur chaque hôte dans VLAN 17, et liez-le à l'interface logique BOND1 :
Configuration de VLAN17 sur Host1 :
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicConfiguration de VLAN17 sur Host2 :
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicNous redémarrons le réseau sur les hôtes et vérifions leur visibilité les uns par rapport aux autres.
Ceci termine la configuration de la pile de commutateurs Cisco 2960X, et si tout a été fait correctement, nous avons maintenant une connectivité réseau de tous les éléments d'infrastructure entre eux au niveau L2.
Configuration du stockage Dell MD3820f
Avant de commencer à travailler sur la configuration du système de stockage, il doit déjà être connecté à la pile de commutateurs Cisco 2960X interfaces de gestion, ainsi qu'aux hôtes Hôte1 и Hôte2 par FC.
Le schéma général de connexion du système de stockage à la pile de commutateurs a été décrit dans le chapitre précédent.
Le schéma de connexion du stockage via FC aux hôtes devrait ressembler à ceci :
Lors de la connexion, il est nécessaire de noter les adresses WWPN des hôtes HBA FC connectés aux ports FC sur le système de stockage - cela sera nécessaire pour la configuration ultérieure de la liaison de l'hôte aux LUN sur le système de stockage.
Téléchargez et installez l'utilitaire de gestion du stockage Dell MD3820f sur le poste de travail administrateur - Gestionnaire de stockage sur disque modulaire PowerVault (MDSM).
Nous nous connectons à elle via ses adresses IP par défaut, puis configurons nos adresses à partir de VLAN17, pour gérer les contrôleurs via TCP/IP :
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Après avoir configuré les adresses, nous allons dans l'interface de gestion du stockage et définissons un mot de passe, réglons l'heure, mettons à jour le micrologiciel des contrôleurs et des disques, si nécessaire, etc.
Comment cela est fait est décrit dans stockage.
Après avoir effectué les réglages ci-dessus, nous n'avons plus qu'à faire quelques choses :
- Configurer les ID de port FC hôte - Identificateurs de port hôte.
- Créer un groupe d'hôtes − groupe d'accueil et ajoutez-y nos deux hôtes Dell.
- Créez un groupe de disques et des disques virtuels (ou LUN) dedans, qui seront présentés aux hôtes.
- Configurez la présentation des disques virtuels (ou LUN) pour les hôtes.
L'ajout de nouveaux hôtes et la liaison des identifiants des ports FC hôtes à ceux-ci se fait via le menu - Mappages d'hôtes -> Définir -> Hôtes…
Les adresses WWPN des hôtes FC HBA se trouvent, par exemple, dans l'iDRAC du serveur.
En conséquence, nous devrions obtenir quelque chose comme cette image :
L'ajout d'un nouveau groupe d'hôtes et la liaison d'hôtes à celui-ci se font via le menu - Mappages d'hôtes -> Définir -> Groupe d'accueil…
Pour les hôtes, sélectionnez le type de système d'exploitation - Linux (DM-MP).
Après avoir créé un groupe d'hôtes, via l'onglet Services de stockage et de copie, créez un groupe de disques - Groupe de disques, avec un type dépendant des exigences de tolérance aux pannes, par exemple, RAID10, et des disques virtuels de la taille requise :
Et enfin, la dernière étape est la présentation des disques virtuels (ou LUN) pour les hôtes.
Pour ce faire, via le menu - Mappages d'hôtes -> Cartographie Lun -> Ajouter ... nous lions les disques virtuels aux hôtes en leur attribuant des numéros.
Tout devrait ressembler à cette capture d'écran :
C'est là que nous terminons la configuration du stockage, et si tout a été fait correctement, les hôtes devraient voir les LUN qui leur sont présentés via leurs HBA FC.
Forçons le système à mettre à jour les informations sur les lecteurs connectés :
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanVoyons quels appareils sont visibles sur nos serveurs :
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Sur les hôtes, vous pouvez également configurer en plus multivoie, et bien qu'il puisse le faire lui-même lors de l'installation d'oVirt, il est préférable de vérifier au préalable l'exactitude du MP.
Installation et configuration de DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Définissez le service MP sur démarrage automatique et démarrez-le :
systemctl enable multipathd && systemctl restart multipathdVérification des informations sur les modules chargés pour le fonctionnement MP :
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Affichage d'un récapitulatif de la configuration multi-accès existante :
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningAprès avoir ajouté un nouveau LUN au système de stockage et l'avoir présenté à l'hôte, vous devez analyser les HBA connectés à l'hôte sur celui-ci.
systemctl reload multipathd
multipath -v2Et enfin, nous vérifions si tous les LUN ont été présentés sur le système de stockage pour les hôtes, et s'il existe deux chemins vers tous.
Vérification du fonctionnement MP :
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningComme vous pouvez le voir, les trois disques virtuels du système de stockage sont visibles de deux manières. Ainsi, tous les travaux préparatoires sont terminés, ce qui signifie que vous pouvez passer à la partie principale - la mise en place du cluster oVirt, qui sera abordée dans le prochain article.
Source: habr.com