Čtenáři se vyzývají, aby se seznámili s principy budování infrastruktury odolné proti chybám pro malý podnik v rámci jednoho datového centra, o kterých bude podrobně pojednáno v krátké sérii článků.
Úvod
Pod datové centrum (Centrum zpracování dat) lze chápat jako:
- vlastní rack ve vlastní „serverovně“ na území podniku, který splňuje minimální požadavky na poskytování napájecího a chladicího zařízení a má také přístup k internetu prostřednictvím dvou nezávislých poskytovatelů;
- pronajatý rack s vlastním vybavením, umístěný ve skutečném datovém centru - tzv. kolokace Tier III nebo IV, která zaručuje spolehlivé napájení, chlazení a failover Internet;
- plně pronajaté zařízení v datovém centru Tier III nebo IV.
Jakou možnost ubytování si vybrat - v každém případě je vše individuální a obvykle závisí na několika hlavních faktorech:
- proč podnik vůbec potřebuje vlastní IT infrastrukturu;
- co přesně podnik od IT infrastruktury požaduje (spolehlivost, škálovatelnost, spravovatelnost atd.);
- výše počáteční investice do IT infrastruktury a také jaký typ nákladů na ni - kapitálové (což znamená nákup vlastního zařízení) nebo provozní (zařízení se obvykle pronajímá);
- plánovací horizont samotného podniku.
O faktorech ovlivňujících rozhodnutí podniku vytvořit a používat svou IT infrastrukturu se dá napsat hodně, ale naším cílem je v praxi ukázat, jak vytvořit právě tuto infrastrukturu tak, aby byla jak odolná proti poruchám, tak i ušetřit - snížit náklady na pořízení komerčního softwaru nebo se jim úplně vyhnout.
Jak ukazuje dlouhá praxe, nevyplatí se šetřit na železe, protože lakomec platí dvakrát a ještě mnohem více. Ale zase - dobrý hardware, to je jen doporučení a nakonec co přesně koupit a za kolik záleží na možnostech podniku a "chamtivosti" jeho managementu. Slovo „chamtivost“ by navíc mělo být chápáno v dobrém smyslu slova, protože je lepší investovat do hardwaru v počáteční fázi, abyste později neměli vážné problémy s jeho další podporou a škálováním, protože zpočátku nesprávné plánování a nadměrné úspory mohou vést k vyšším nákladům než při zahájení projektu.
Takže počáteční data pro projekt:
- existuje podnik, který se rozhodl vytvořit vlastní webový portál a přenést své aktivity na internet;
- společnost se rozhodla pronajmout rack pro umístění svého zařízení v dobrém datovém centru certifikovaném podle standardu Tier III;
- společnost se rozhodla na hardwaru moc nešetřit, a proto zakoupila následující zařízení s prodlouženou zárukou a podporou:
Seznam vybavení
- dva fyzické servery Dell PowerEdge R640 takto:
- dva procesory Intel Xeon Gold 5120
- 512 Gb RAM
- dva disky SAS v RAID1 pro instalaci OS
- vestavěná 4portová 1G síťová karta
- dvě 2portové 10G síťové karty
- jeden 2portový FC HBA 16G.
- Úložiště řadiče Dell MD2f 3820 připojené přes FC 16G přímo k hostitelům Dell;
- dva přepínače druhé úrovně - Cisco WS-C2960RX-48FPS-L stohované;
- dva přepínače třetí úrovně - Cisco WS-C3850-24T-E, spojené do stohu;
- Rack, UPS, PDU, konzolové servery – poskytuje datové centrum.
Jak vidíme, stávající zařízení má dobré vyhlídky na horizontální i vertikální škálování v případě, že podnik dokáže konkurovat jiným společnostem podobného profilu na internetu a začne vytvářet zisk, který lze investovat do rozšíření zdrojů pro další konkurenci. a růst zisku.
Jaké vybavení můžeme přidat, pokud se podnik rozhodne zvýšit výkon našeho výpočetního clusteru:
- máme velkou rezervu, pokud jde o počet portů na přepínačích 2960X, což znamená, že můžeme přidat další hardwarové servery;
- koupit dva přepínače FC pro připojení úložných systémů a dalších serverů k nim;
- stávající servery lze upgradovat – přidat paměť, vyměnit procesory za výkonnější, připojit se k 10G síti pomocí stávajících síťových adaptérů;
- do úložného systému můžete přidat další diskové police s požadovaným typem disků - SAS, SATA nebo SSD v závislosti na plánované zátěži;
- po přidání přepínačů FC si můžete zakoupit další úložný systém pro přidání ještě větší diskové kapacity, a pokud si k němu zakoupíte speciální možnost vzdálené replikace, můžete nakonfigurovat replikaci dat mezi úložnými systémy jak v rámci jednoho datového centra, tak mezi datovými centry (to už je ale nad rámec článku);
- existují také přepínače třetí úrovně - Cisco 3850, které lze použít jako síťové jádro odolné proti chybám pro vysokorychlostní směrování mezi vnitřními sítěmi. To do budoucna hodně pomůže, protože vnitřní infrastruktura roste. 3850 má také 10G porty, které lze později použít při upgradu síťového zařízení na rychlost 10G.
Vzhledem k tomu, že bez virtualizace už není nikde nic, budeme určitě v trendu, zejména proto, že je to skvělý způsob, jak snížit náklady na pořízení drahých serverů pro jednotlivé prvky infrastruktury (webové servery, databáze atd.), které nejsou vždy optimální. používá se v případě nízké zátěže a přesně to bude na začátku spouštění projektu.
Kromě toho má virtualizace mnoho dalších výhod, které nám mohou být velmi užitečné: odolnost proti chybám VM v důsledku selhání hardwarového serveru, živá migrace mezi hardwarovými uzly clusteru pro jejich údržbu, ruční nebo automatické rozložení zátěže mezi uzly clusteru atd.
Pro hardware zakoupený podnikem se navrhuje nasazení vysoce dostupného clusteru VMware vSphere, ale protože jakýkoli software od VMware je známý svými „koňskými“ cenovkami, použijeme zcela bezplatný software pro správu virtualizace – , na jehož základě vzniká známý, ale již komerční produkt - .
Software oVirt nutné spojit všechny prvky infrastruktury do jednoho celku, aby bylo možné pohodlně pracovat s vysoce dostupnými virtuálními stroji - jedná se o databáze, webové aplikace, proxy servery, balancery, servery pro sběr logů a analýz atd., tzn. , z čeho se skládá webový portál našeho podniku.
Shrneme-li tento úvod, čekají nás následující články, které v praxi přesně ukáží, jak nasadit celou hardwarovou a softwarovou infrastrukturu podniku:
Seznam článků
- Část 1. Příprava na nasazení oVirt Cluster 4.3.
- Část 2. Instalace a konfigurace clusteru oVirt 4.3.
- Část 3. Nastavení clusteru VyOS, organizace externího směrování odolného proti chybám.
- Část 4. Nastavení zásobníku Cisco 3850, organizace intranetového směrování.
Část 1. Příprava na nasazení clusteru oVirt 4.3
Základní nastavení hostitele
Instalace a konfigurace OS je nejjednodušší krok. Existuje mnoho článků o tom, jak správně nainstalovat a nakonfigurovat OS, takže nemá smysl snažit se o tom dát něco exkluzivního.
Máme tedy dva hostitele Dell PowerEdge R640, na které musíme nainstalovat operační systém a provést předběžná nastavení, abychom je mohli používat jako hypervizory ke spouštění virtuálních počítačů v clusteru oVirt 4.3.
Protože plánujeme používat bezplatný nekomerční software oVirt, zvolili jsme OS pro nasazení hostitelů CentOS 7.7, i když je možné nainstalovat jiné operační systémy na hostitele pro oVirt:
- speciální sestavení založené na RHEL, tzv. ;
- OS Oracle Linux léto 2019 o udržení oVirt na něm spuštěného.
Před instalací operačního systému se doporučuje:
- nakonfigurujte síťové rozhraní iDRAC na obou hostitelích;
- aktualizujte firmware pro BIOS a iDRAC na nejnovější verze;
- nakonfigurujte systémový profil serveru, nejlépe v režimu výkonu;
- nakonfigurujte RAID z místních disků (doporučuje se RAID1), abyste nainstalovali operační systém na server.
Poté nainstalujeme OS na disk vytvořený dříve prostřednictvím iDRAC - proces instalace je normální, nejsou v něm žádné zvláštní okamžiky. Můžete také přistupovat ke konzole serveru a zahájit instalaci operačního systému prostřednictvím řadiče iDRAC, ačkoli vám nic nebrání v připojení monitoru, klávesnice a myši přímo k serveru a instalaci operačního systému z jednotky flash.
Po instalaci OS provedeme jeho počáteční nastavení:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instalace základní sady softwaru
Pro počáteční nastavení operačního systému musíte nakonfigurovat jakékoli síťové rozhraní na serveru, abyste měli přístup k Internetu, abyste mohli aktualizovat operační systém a nainstalovat potřebné softwarové balíčky. To lze provést během procesu instalace OS i po něm.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Všechna výše uvedená nastavení a sada softwaru je věcí osobních preferencí a tato sada je pouze doporučením.
Protože náš hostitel bude hrát roli hypervizora, umožníme požadovaný výkonnostní profil:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Více o výkonnostním profilu si můžete přečíst zde:".
Po instalaci OS přejdeme k další části – konfiguraci síťových rozhraní na hostitelích a zásobníku přepínačů Cisco 2960X.
Konfigurace zásobníku přepínačů Cisco 2960X
V našem projektu budou použita následující čísla VLAN – neboli vysílací domény navzájem izolované, aby bylo možné oddělit různé typy provozu:
VLAN 10 - Internet
VLAN 17 – Správa (iDRAC, úložiště, správa přepínačů)
VLAN 32 – produkční síť VM
VLAN 33 – propojovací síť (k externím dodavatelům)
VLAN 34 – Testovací síť VM
VLAN 35 – VM vývojářská síť
VLAN 40 – monitorovací síť
Před zahájením práce si uveďme diagram na úrovni L2, ke kterému bychom nakonec měli dojít:
Pro vzájemnou síťovou interakci hostitelů oVirt a virtuálních strojů, stejně jako pro správu našeho úložného systému, je nutné nakonfigurovat stack přepínačů Cisco 2960X.
Hostitelé Dell mají vestavěné 4portové síťové karty, proto je vhodné uspořádat jejich připojení k Cisco 2960X pomocí síťového připojení odolného proti chybám, pomocí seskupení fyzických síťových portů do logického rozhraní a LACP (802.3 ad) protokol:
- první dva porty na hostiteli jsou nakonfigurovány v režimu propojení a připojeny k přepínači 2960X – toto logické rozhraní bude nakonfigurováno most s adresou pro správu hostitelů, monitorování, komunikaci s ostatními hostiteli v clusteru oVirt bude sloužit i pro Live migraci virtuálních strojů;
- druhé dva porty na hostiteli jsou také nakonfigurovány v režimu bonding a připojeny k 2960X - na tomto logickém rozhraní pomocí oVirt se později vytvoří mosty (v odpovídajících VLAN), ke kterým se virtuální stroje připojí.
- oba síťové porty v rámci stejného logického rozhraní budou aktivní, tzn. provoz na nich může být přenášen současně, v režimu vyrovnávání.
- nastavení sítě na uzlech clusteru musí být úplně stejné, s výjimkou adres IP.
Základní nastavení zásobníku přepínačů 2960X a jeho přístavy
Dříve by naše přepínače měly být:
- namontovaný na stojanu;
- propojeno dvěma speciálními kabely požadované délky, například CAB-STK-E-1M;
- připojen k napájecímu zdroji;
- připojené k pracovní stanici administrátora přes konzolový port pro jejich počáteční konfiguraci.
Potřebné pokyny k tomu jsou k dispozici na výrobce.
Po dokončení výše uvedených kroků nakonfigurujeme přepínače.
Co jednotlivé příkazy znamenají, nelze v rámci tohoto článku dešifrovat, v případě potřeby lze všechny informace nalézt nezávisle.
Naším cílem je rychle nastavit zásobník přepínačů a připojit k němu hostitele a rozhraní pro správu úložiště.
1) Připojíme se k hlavnímu spínači, přejdeme do privilegovaného režimu, poté přejdeme do konfiguračního režimu a provedeme základní nastavení.
Základní konfigurace přepínače:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Uložte konfiguraci pomocí příkazu "wr pam"a restartujte zásobník přepínačů příkazem"načíst» na hlavním vypínači 1.
2) Síťové porty přepínače nakonfigurujeme v režimu přístupu (přístup) ve VLAN 17 pro připojení řídicích rozhraní úložných systémů a serverů iDRAC.
Konfigurace portů pro správu:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Po opětovném vložení zásobníku zkontrolujte, zda funguje správně:
Kontrola funkčnosti zásobníku:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Nastavení přístupu SSH k zásobníku 2960X
Pro vzdálenou správu zásobníku přes SSH použijeme IP 172.20.1.10 nakonfigurované na SVI (přepnout virtuální rozhraní) VLAN17.
Ačkoli je žádoucí použít vyhrazený vyhrazený port na přepínači pro účely správy, je to otázka osobních preferencí a příležitostí.
Nastavení přístupu SSH k zásobníku přepínačů:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordNastavte heslo pro vstup do privilegovaného režimu:
enable secret *myenablepassword*
service password-encryptionNastavit NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Nastavte logická rozhraní Etherchannel a fyzické porty připojené k hostitelům. Pro usnadnění konfigurace budou všechny dostupné VLAN povoleny na všech logických rozhraních, ale obecně se doporučuje konfigurovat pouze to, co je potřeba:
Konfigurace rozhraní Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activePočáteční konfigurace síťových rozhraní pro virtuální stroje na hostitelích Host1 и Host2
Zkontrolujeme přítomnost modulů nezbytných pro provoz bondingu v systému, nainstalujeme modul pro správu mostů:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfigurace logického rozhraní BOND1 pro virtuální stroje a jeho fyzická rozhraní na hostitelích:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na zásobníku 2960X a hostitelů, restartujte síť na hostitelích a zkontrolujte funkčnost logického rozhraní.
- na hostiteli:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- na zásobníku spínačů 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Počáteční konfigurace síťových rozhraní pro správu prostředků clusteru na hostitelích Host1 и Host2
Konfigurace logického rozhraní BOND1 pro správu na hostitelích a jeho fyzických rozhraní:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na zásobníku 2960X a hostitelů, restartujte síť na hostitelích a zkontrolujte funkčnost logického rozhraní.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryNastavte síťové rozhraní pro správu na každém hostiteli v VLAN 17a svázat jej s logickým rozhraním BOND1:
Konfigurace VLAN17 na Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfigurace VLAN17 na Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicRestartujeme síť na hostitelích a zkontrolujeme jejich vzájemnou viditelnost.
Tím je konfigurace stacku přepínačů Cisco 2960X dokončena a pokud bylo vše provedeno správně, nyní máme síťovou konektivitu všech prvků infrastruktury mezi sebou na úrovni L2.
Nastavení úložiště Dell MD3820f
Před zahájením práce na konfiguraci úložného systému musí být již připojen ke stacku přepínačů Cisco 2960X rozhraní pro správu a také hostitelům Host1 и Host2 přes FC.
Obecné schéma, jak by měl být úložný systém připojen k switch stacku, bylo uvedeno v předchozí kapitole.
Schéma připojení úložiště přes FC k hostitelům by mělo vypadat takto:
Během připojení je nutné zapsat adresy WWPN pro hostitele FC HBA připojené k portům FC na úložném systému - to bude nutné pro následnou konfiguraci vazby hostitele na LUN na úložném systému.
Stáhněte a nainstalujte nástroj pro správu úložiště Dell MD3820f na pracovní stanici správce - PowerVault Modular Disk Storage Manager (MDSM).
Připojíme se k ní přes její výchozí IP adresy a poté nakonfigurujeme naše adresy z VLAN17, pro správu řadičů přes TCP/IP:
Úložiště1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Po nastavení adres přejdeme do rozhraní správy úložiště a nastavíme heslo, nastavíme čas, aktualizujeme firmware pro řadiče a disky, pokud je to nutné, atd.
Jak se to dělá, je popsáno v úložný prostor.
Po provedení výše uvedených nastavení musíme provést pouze několik věcí:
- Konfigurace ID portů FC hostitele - Identifikátory hostitelských portů.
- Vytvořte hostitelskou skupinu − Hostitelská skupina a přidejte k tomu naše dva hostitele Dell.
- Vytvořte skupinu disků a v ní virtuální disky (nebo LUN), které budou prezentovány hostitelům.
- Nakonfigurujte prezentaci virtuálních disků (nebo LUN) pro hostitele.
Přidání nových hostitelů a vazebných identifikátorů hostitelských FC portů k nim se provádí prostřednictvím nabídky - Hostitelská mapování -> Definovat -> Hostitelé…
Adresy WWPN hostitelů FC HBA lze nalézt například v iDRAC serveru.
V důsledku toho bychom měli dostat něco jako tento obrázek:
Přidání nové skupiny hostitelů a připojení hostitelů k ní se provádí pomocí nabídky - Hostitelská mapování -> Definovat -> Hostitelská skupina…
U hostitelů vyberte typ operačního systému - Linux (DM-MP).
Po vytvoření hostitelské skupiny přes kartu Služby úložiště a kopírování, vytvořte skupinu disků - Skupina disků, s typem závislým na požadavcích na odolnost proti chybám, například RAID10 a v něm virtuální disky požadované velikosti:
A konečně poslední fází je prezentace virtuálních disků (nebo LUN) pro hostitele.
Chcete-li to provést, prostřednictvím nabídky - Hostitelská mapování -> Lun mapování -> Přidat ... virtuální disky vážeme k hostitelům tak, že jim přiřadíme čísla.
Vše by mělo vypadat jako tento snímek obrazovky:
Zde končíme s nastavením úložiště, a pokud bylo vše provedeno správně, měli by hostitelé vidět jednotky LUN prezentované jim prostřednictvím jejich FC HBA.
Donuťme systém, aby aktualizoval informace o připojených discích:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanPodívejme se, jaká zařízení jsou viditelná na našich serverech:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Na hostitelích můžete také dodatečně konfigurovat vícecestný, a i když to umí sám při instalaci oVirt, je lepší si předem zkontrolovat správnost MP.
Instalace a konfigurace DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Nastavte službu MP na automatické spuštění a spusťte ji:
systemctl enable multipathd && systemctl restart multipathdKontrola informací o načtených modulech pro provoz MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Zobrazení souhrnu stávající konfigurace více cest:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningPo přidání nového LUN do úložného systému a jeho předložení hostiteli musíte oskenovat HBA připojené k hostiteli na něm.
systemctl reload multipathd
multipath -v2A nakonec zkontrolujeme, zda byly na úložném systému pro hostitele uvedeny všechny LUNy a zda ke všem existují dvě cesty.
Kontrola provozu MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningJak vidíte, všechny tři virtuální disky na úložném systému jsou viditelné dvěma způsoby. Tím byly všechny přípravné práce dokončeny, což znamená, že můžete přistoupit k hlavní části – nastavení clusteru oVirt, o kterém bude řeč v dalším článku.
Zdroj: www.habr.com