Els lectors estan convidats a familiaritzar-se amb els principis de construcció d'una infraestructura tolerant a errors per a una petita empresa dins d'un únic centre de dades, que es tractarà en detall en una sèrie breu d'articles.
Introducció
Sota centre de dades (Centre de processament de dades) es pot entendre com:
- bastidor propi a la seva pròpia "habitació de servidors" al territori de l'empresa, que compleix els requisits mínims per proporcionar equips d'alimentació i refrigeració, i també té accés a Internet a través de dos proveïdors independents;
- un bastidor llogat amb el seu propi equip, situat en un centre de dades real, l'anomenat. una col·locació de nivell III o IV que garanteixi una potència fiable, refrigeració i accés a Internet per errors;
- equips totalment llogats en un centre de dades de nivell III o IV.
Quina opció d'allotjament triar - en cada cas, tot és individual, i normalment depèn de diversos factors principals:
- per què una empresa necessita la seva pròpia infraestructura de TI?
- què vol exactament l'empresa de la infraestructura informàtica (fiabilitat, escalabilitat, maneigabilitat, etc.);
- l'import de la inversió inicial en infraestructura informàtica, així com quin tipus de costos per això: capital (que significa comprar el vostre propi equip) o operatiu (l'equip normalment es lloga);
- l'horitzó de planificació de la pròpia empresa.
Podeu escriure molt sobre els factors que influeixen en la decisió d'una empresa de crear i utilitzar la seva infraestructura informàtica, però el nostre objectiu és mostrar a la pràctica com crear aquesta mateixa infraestructura perquè sigui tolerant a errors i encara pugueu estalviar. reduir el cost d'adquirir programari comercial o evitar-los del tot.
Com demostra la pràctica llarga, no val la pena estalviar en ferro, ja que l'avar paga dues vegades, i fins i tot molt més. Però de nou: un bon maquinari, això és només una recomanació i, al final, què comprar exactament i quant depèn de les capacitats de l'empresa i de la "cobdícia" de la seva gestió. A més, la paraula "avarícia" s'ha d'entendre en el bon sentit de la paraula, ja que és millor invertir en maquinari en l'etapa inicial, de manera que posteriorment no tingueu problemes greus amb el seu suport posterior i escalat, ja que inicialment incorrecte. la planificació i l'estalvi excessiu poden comportar costos més elevats que quan s'inicia un projecte.
Per tant, les dades inicials del projecte:
- hi ha una empresa que ha decidit crear el seu propi portal web i portar les seves activitats a Internet;
- l'empresa va decidir llogar un bastidor per allotjar els seus equips en un bon centre de dades certificat segons l'estàndard Tier III;
- l'empresa va decidir no estalviar gaire en maquinari i, per tant, va comprar el següent equip amb garanties i suport ampliats:
Llista d'equips
- dos servidors físics Dell PowerEdge R640 de la següent manera:
- dos processadors Intel Xeon Gold 5120
- 512 Gb de RAM
- dos discs SAS en RAID1, per a la instal·lació del sistema operatiu
- targeta de xarxa 4G de 1 ports integrada
- dues targetes de xarxa 2G de 10 ports
- un FC HBA 2G de 16 ports.
- Emmagatzematge del controlador Dell MD2f 3820 connectat mitjançant FC 16G directament als amfitrions Dell;
- dos interruptors del segon nivell: Cisco WS-C2960RX-48FPS-L apilat;
- dos interruptors del tercer nivell: Cisco WS-C3850-24T-E, combinats en una pila;
- Servidors de rack, UPS, PDU, consola: proporcionats pel centre de dades.
Com podem veure, l'equip existent té bones perspectives d'escalat horitzontal i vertical, en cas que l'empresa pugui competir amb altres empreses d'un perfil similar a Internet i comenci a obtenir beneficis que es poden invertir en l'ampliació de recursos per a una major competència. i creixement dels beneficis.
Quins equips podem afegir si l'empresa decideix augmentar el rendiment del nostre clúster informàtic:
- tenim una gran reserva pel que fa al nombre de ports dels commutadors 2960X, la qual cosa significa que podem afegir més servidors de maquinari;
- comprar dos commutadors FC per connectar-hi sistemes d'emmagatzematge i servidors addicionals;
- els servidors existents es poden actualitzar: afegiu memòria, substituïu els processadors per altres més eficients, connecteu-vos a una xarxa 10G amb adaptadors de xarxa existents;
- podeu afegir prestatgeries de discs addicionals al sistema d'emmagatzematge amb el tipus de disc necessari: SAS, SATA o SSD, depenent de la càrrega planificada;
- després d'afegir commutadors FC, podeu comprar un altre sistema d'emmagatzematge per afegir encara més capacitat de disc i, si hi adquireu una opció especial de replicació remota, podeu configurar la rèplica de dades entre sistemes d'emmagatzematge tant dins dels límits d'un centre de dades com entre centres de dades. (però això ja està fora de l'àmbit de l'article);
- també hi ha commutadors de tercer nivell: Cisco 3850, que es poden utilitzar com a nucli de xarxa tolerant a errors per a l'encaminament d'alta velocitat entre xarxes internes. Això ajudarà molt en el futur, ja que la infraestructura interna creixi. El 3850 també té ports 10G que es poden utilitzar més tard quan actualitzeu equips de xarxa a velocitat 10G.
Com que ara no hi ha cap lloc sense virtualització, sens dubte estarem a la tendència, sobretot perquè aquesta és una bona manera de reduir el cost d'adquirir servidors cars per a elements d'infraestructura individuals (servidors web, bases de dades, etc.), que no sempre són òptims. s'utilitzen en cas de baixa càrrega, i això és exactament el que serà al començament del llançament del projecte.
A més, la virtualització té molts altres avantatges que ens poden ser molt útils: tolerància a errors de VM per fallada d'un servidor de maquinari, migració en directe entre nodes de maquinari de clúster per al seu manteniment, distribució manual o automàtica de càrrega entre nodes de clúster, etc.
Per al maquinari comprat per l'empresa, el desplegament d'un clúster VMware vSphere d'alta disponibilitat suggereix per si mateix, però com que qualsevol programari de VMware és conegut per les seves etiquetes de preu "cavall", utilitzarem un programari de gestió de virtualització absolutament gratuït: , sobre la base del qual es crea un producte conegut, però ja comercial: .
Programari oVirt És necessari combinar tots els elements de la infraestructura en un sol tot per poder treballar còmodament amb màquines virtuals d'alta disponibilitat: bases de dades, aplicacions web, servidors proxy, equilibradors, servidors per a la recollida de registres i analítiques, etc. , en què consisteix el portal web de la nostra empresa.
Resumint aquesta introducció, ens esperen els articles següents, que mostraran a la pràctica exactament com desplegar tota la infraestructura de maquinari i programari d'una empresa:
Llista d'articles
- 1 Part. Preparació per desplegar un clúster oVirt 4.3.
- 2 Part. Instal·lació i configuració d'un clúster oVirt 4.3.
- 3 Part. Configuració d'un clúster VyOS, organització de l'encaminament extern tolerant a errors.
- 4 Part. Configuració de la pila Cisco 3850, organització de l'encaminament de la intranet.
Part 1. Preparació per desplegar un clúster oVirt 4.3
Configuració bàsica de l'amfitrió
Instal·lar i configurar el sistema operatiu és el pas més fàcil. Hi ha molts articles sobre com instal·lar i configurar correctament el sistema operatiu, de manera que no té sentit intentar donar alguna cosa exclusiu sobre això.
Així doncs, tenim dos amfitrions Dell PowerEdge R640 en els quals hem d'instal·lar el sistema operatiu i realitzar configuracions preliminars per utilitzar-los com a hipervisors per executar màquines virtuals en un clúster oVirt 4.3.
Com que tenim previst utilitzar el programari gratuït no comercial oVirt, hem escollit el sistema operatiu per desplegar amfitrions CentOS 7.7, tot i que és possible instal·lar altres sistemes operatius en amfitrions per a oVirt:
- una construcció especial basada en RHEL, l'anomenada. ;
- OS Oracle Linux Summer 2019 sobre mantenir oVirt funcionant-hi.
Abans d'instal·lar el sistema operatiu, es recomana:
- configurar la interfície de xarxa iDRAC als dos amfitrions;
- actualitzar el firmware per a la BIOS i l'iDRAC a les últimes versions;
- configurar el Perfil del sistema del servidor, preferiblement en mode Rendiment;
- configureu el RAID des de discs locals (es recomana RAID1) per instal·lar el sistema operatiu al servidor.
A continuació, instal·lem el sistema operatiu al disc creat anteriorment mitjançant iDRAC: el procés d'instal·lació és normal, no hi ha moments especials. També podeu accedir a la consola del servidor per iniciar la instal·lació del sistema operatiu mitjançant iDRAC, tot i que res no us impedeix connectar un monitor, teclat i ratolí directament al servidor i instal·lar el sistema operatiu des d'una unitat flaix.
Després d'instal·lar el sistema operatiu, realitzem la seva configuració inicial:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instal·lació del conjunt bàsic de programari
Per a la configuració inicial del sistema operatiu, heu de configurar qualsevol interfície de xarxa al servidor perquè pugueu accedir a Internet per actualitzar el sistema operatiu i instal·lar els paquets de programari necessaris. Això es pot fer tant durant el procés d'instal·lació del sistema operatiu com després.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Tota la configuració i el conjunt de programari anteriors són una qüestió de preferències personals, i aquest conjunt només és una recomanació.
Com que el nostre amfitrió farà el paper d'un hipervisor, habilitarem el perfil de rendiment desitjat:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Podeu llegir més sobre el perfil de rendiment aquí:".
Després d'instal·lar el sistema operatiu, passem a la següent part: configurar les interfícies de xarxa als amfitrions i una pila d'interruptors Cisco 2960X.
Configuració d'una pila de commutadors Cisco 2960X
En el nostre projecte, s'utilitzaran els següents números de VLAN, o dominis de difusió aïllats entre si, per tal de separar diferents tipus de trànsit:
VLAN 10 - Internet
VLAN 17 – Gestió (iDRAC, emmagatzematge, gestió de commutadors)
VLAN 32 – Xarxa de producció de VM
VLAN 33 - Xarxa d'interconnexió (a contractistes externs)
VLAN 34 – Xarxa de prova de VM
VLAN 35 – Xarxa de desenvolupadors de VM
VLAN 40 - Xarxa de vigilància
Abans de començar a treballar, donem un diagrama al nivell L2, al qual hauríem d'arribar finalment:
Per a la interacció en xarxa dels hosts oVirt i les màquines virtuals entre ells, així com per gestionar el nostre sistema d'emmagatzematge, és necessari configurar una pila d'interruptors Cisco 2960X.
Els hosts Dell tenen targetes de xarxa de 4 ports incorporades, per tant, és recomanable organitzar la seva connexió amb el Cisco 2960X mitjançant una connexió de xarxa tolerant a errors, utilitzant l'agrupació de ports físics de xarxa en una interfície lògica i el LACP (802.3). ad) protocol:
- els dos primers ports de l'amfitrió estan configurats en mode d'enllaç i connectats a l'interruptor 2960X; aquesta interfície lògica es configurarà pont amb una adreça per a la gestió de l'amfitrió, el seguiment, la comunicació amb altres hosts del clúster oVirt, també s'utilitzarà per a la migració en directe de màquines virtuals;
- els dos segons ports de l'amfitrió també estan configurats en mode d'enllaç i connectats al 2960X: en aquesta interfície lògica mitjançant oVirt, es crearan ponts més tard (a les VLAN corresponents) als quals es connectaran les màquines virtuals.
- els dos ports de xarxa dins de la mateixa interfície lògica estaran actius, és a dir. el trànsit sobre ells es pot transmetre simultàniament, en el mode d'equilibri.
- la configuració de xarxa als nodes del clúster ha de ser exactament la mateixa, excepte les adreces IP.
Configuració bàsica de la pila d'interruptors 2960X i els seus ports
Anteriorment, els nostres interruptors haurien de ser:
- muntat en bastidor;
- connectat amb dos cables especials de la longitud requerida, per exemple, CAB-STK-E-1M;
- connectat a la font d'alimentació;
- connectats a l'estació de treball de l'administrador mitjançant el port de la consola per a la seva configuració inicial.
L'orientació necessària per a això està disponible a fabricant.
Després de completar els passos anteriors, configurem els interruptors.
El que significa cada comanda no s'ha de desxifrar en el marc d'aquest article; si cal, tota la informació es pot trobar de manera independent.
El nostre objectiu és configurar ràpidament una pila de commutadors i connectar-hi amfitrions i interfícies de gestió d'emmagatzematge.
1) Ens connectem a l'interruptor principal, anem al mode privilegiat, després anem al mode de configuració i fem la configuració bàsica.
Configuració bàsica de l'interruptor:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Deseu la configuració amb l'ordre "wr mem" i reinicieu la pila de commutadors amb l'ordre "recarregar» a l'interruptor principal 1.
2) Configuram els ports de xarxa del commutador en mode d'accés (accés) a la VLAN 17, per connectar les interfícies de control dels sistemes d'emmagatzematge i servidors iDRAC.
Configuració dels ports de gestió:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Després de tornar a carregar la pila, comproveu que funciona correctament:
Comprovació del funcionament de la pila:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Configuració de l'accés SSH a la pila 2960X
Per gestionar la pila de forma remota mitjançant SSH, utilitzarem la IP 172.20.1.10 configurada a SVI (interfície virtual de commutació) VLAN17.
Tot i que és desitjable utilitzar un port dedicat dedicat al commutador per a finalitats de gestió, això és una qüestió de preferències i oportunitats personals.
Configuració de l'accés SSH a la pila de commutadors:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordConfigureu una contrasenya per entrar al mode privilegiat:
enable secret *myenablepassword*
service password-encryptionConfigurar NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Configureu interfícies Etherchannel lògiques i ports físics connectats als amfitrions. Per facilitar la configuració, es permetran totes les VLAN disponibles a totes les interfícies lògiques, però generalment es recomana configurar només el que sigui necessari:
Configuració d'interfícies Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeConfiguració inicial d'interfícies de xarxa per a màquines virtuals, en hosts Amfitrió 1 и Amfitrió 2
Comprovem la presència dels mòduls necessaris per al funcionament de l'enllaç al sistema, instal·lem el mòdul de gestió de ponts:
modinfo bonding
modinfo 8021q
yum install bridge-utilsConfiguració de la interfície lògica BOND1 per a màquines virtuals i les seves interfícies físiques als amfitrions:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Després de completar la configuració de la pila 2960H i hosts, reinicieu la xarxa als amfitrions i comproveu l'operativitat de la interfície lògica.
- a l'amfitrió:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- a la pila d'interruptors 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Configuració inicial de les interfícies de xarxa per a la gestió dels recursos del clúster, als hosts Amfitrió 1 и Amfitrió 2
Configuració de la interfície lògica BOND1 per a la gestió dels amfitrions i les seves interfícies físiques:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Després de completar la configuració de la pila 2960H i hosts, reinicieu la xarxa als amfitrions i comproveu l'operativitat de la interfície lògica.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryConfigureu una interfície de xarxa de gestió a cada host VLAN 17, i lligar-lo a la interfície lògica BOND1:
Configuració de la VLAN17 a l'amfitrió 1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicConfiguració de la VLAN17 a l'amfitrió 2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicReiniciem la xarxa als amfitrions i comprovem la seva visibilitat entre ells.
Això completa la configuració de la pila de commutadors Cisco 2960X i, si tot es va fer correctament, ara tenim connectivitat de xarxa de tots els elements d'infraestructura entre ells a nivell L2.
Configuració d'emmagatzematge Dell MD3820f
Abans de començar a treballar en la configuració del sistema d'emmagatzematge, aquest ja ha d'estar connectat a la pila de commutadors de Cisco 2960H interfícies de gestió, així com als amfitrions Amfitrió 1 и Amfitrió 2 via FC.
L'esquema general de com s'ha de connectar el sistema d'emmagatzematge a la pila de commutadors es va donar al capítol anterior.
L'esquema per connectar l'emmagatzematge mitjançant FC als amfitrions hauria de ser així:
Durant la connexió, cal anotar les adreces WWPN dels amfitrions FC HBA connectats als ports FC del sistema d'emmagatzematge; això serà necessari per a la configuració posterior de l'enllaç de l'amfitrió als LUN del sistema d'emmagatzematge.
Baixeu i instal·leu la utilitat de gestió d'emmagatzematge Dell MD3820f a l'estació de treball de l'administrador: Gestor d'emmagatzematge de disc modular PowerVault (MDSM).
Ens connectem amb ella mitjançant les seves adreces IP predeterminades i, a continuació, configurem les nostres adreces des VLAN17, per gestionar controladors mitjançant TCP/IP:
Emmagatzematge1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Després de configurar les adreces, anem a la interfície de gestió de l'emmagatzematge i establim una contrasenya, establim l'hora, actualitzem el firmware per a controladors i discs, si cal, etc.
Com es fa això es descriu a emmagatzematge.
Després de fer la configuració anterior, només hem de fer algunes coses:
- Configurar els ID de port FC de l'amfitrió - Identificadors de port d'amfitrió.
- Crear un grup amfitrió − grup amfitrió i afegiu-hi els nostres dos amfitrions Dell.
- Creeu-hi un grup de discos i discs virtuals (o LUN), que es presentaran als amfitrions.
- Configureu la presentació de discs virtuals (o LUN) per als amfitrions.
L'addició de nous amfitrions i identificadors d'enllaç dels ports FC de l'amfitrió es fa mitjançant el menú - Mapes d'amfitrió -> Definir -> Amfitrions…
Les adreces WWPN dels amfitrions FC HBA es poden trobar, per exemple, a l'iDRAC del servidor.
Com a resultat, hauríem d'obtenir alguna cosa com aquesta imatge:
L'addició d'un nou grup d'amfitrions i l'enllaç d'amfitrions es fa a través del menú - Mapes d'amfitrió -> Definir -> Grup amfitrió...
Per als amfitrions, seleccioneu el tipus de sistema operatiu - Linux (DM-MP).
Després de crear un grup d'amfitrió, a través de la pestanya Serveis d'emmagatzematge i còpia, creeu un grup de discos - Grup de discs, amb un tipus en funció dels requisits de tolerància a errors, per exemple, RAID10, i en ell discs virtuals de la mida requerida:
I, finalment, l'etapa final és la presentació de discs virtuals (o LUN) per a hosts.
Per fer-ho, a través del menú - Mapes d'amfitrió -> Cartografia Lun -> Afegeix ... enllacem els discos virtuals als hosts assignant-los números.
Tot hauria de semblar a aquesta captura de pantalla:
Aquí és on acabem amb la configuració de l'emmagatzematge i, si tot s'ha fet correctament, els amfitrions haurien de veure els LUN que se'ls presenten a través dels seus FC HBA.
Obliguem el sistema a actualitzar la informació sobre les unitats connectades:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanVegem quins dispositius són visibles als nostres servidors:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Als amfitrions, també podeu configurar-lo multipatxa, i encara que pot fer-ho ell mateix en instal·lar oVirt, és millor comprovar prèviament la correcció del MP.
Instal·lació i configuració de DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Configureu el servei MP per iniciar-lo automàticament i inicieu-lo:
systemctl enable multipathd && systemctl restart multipathdComprovació de la informació sobre els mòduls carregats per al funcionament MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Visualització d'un resum de la configuració de múltiples camins existents:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningDesprés d'afegir un nou LUN al sistema d'emmagatzematge i presentar-lo a l'amfitrió, heu d'escanejar els HBA connectats a l'amfitrió.
systemctl reload multipathd
multipath -v2I, finalment, comprovem si tots els LUN s'han presentat al sistema d'emmagatzematge dels amfitrions i si hi ha dos camins per a tots.
Comprovació del funcionament MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningCom podeu veure, els tres discos virtuals del sistema d'emmagatzematge són visibles de dues maneres. Així, s'han completat tots els treballs preparatoris, la qual cosa significa que podeu passar a la part principal: configurar el clúster oVirt, que es comentarà al següent article.
Font: www.habr.com