Čtenářům je nabídnuto seznámit se s principy výstavby odolné infrastruktury malé firmy v rámci jednoho datového centra, které budou podrobně prozkoumány v malém cyklu článků.
Úvodní část
Pod datovým centrem (Datové Centrum) může být chápáno jako:
- vlastní skříň v „serverovně“ na území firmy, splňující minimální požadavky na zajištění napájení a chlazení zařízení, a také má přístup na Internet prostřednictvím dvou nezávislých poskytovatelů;
- pronajímaná skříň s vlastním zařízením, umístěná v pravém datovém centru – tzv. collocation, které odpovídá standardu Tier III nebo IV, a kde je zaručeno spolehlivé napájení, chlazení a zajištěn odolný přístup na Internet;
- úplně pronajímané zařízení v datovém centru Tier III nebo IV.
Jakou variantu umístění zvolit – v každém případě je to individuální a obvykle to závisí na několika hlavních faktorech:
- proč potřebuje firma vlastní IT infrastrukturu;
- co přesně firma očekává od IT infrastruktury (spolehlivost, škálovatelnost, spravovatelnost atd.);
- objemu počátečních investic do IT infrastruktury, jakož i typu nákladů na ni – kapitálových (tedy se nakupuje vlastní zařízení), nebo provozních (zařízení se obvykle pronajímá);
- horizontu plánování samotné firmy.
O faktorech, které ovlivňují rozhodnutí firmy o vytváření a využívání její IT infrastruktury, lze napsat mnoho, ale naším cílem je ukázat v praxi, jak vytvořit tuto infrastrukturu, aby byla odolná a zároveň bylo možné ušetřit – snížit náklady na nákup komerčního softwaru, nebo je úplně obejít.
Jak ukazuje dlouhá praxe, na hardwaru se nevyplatí šetřit, protože lakomý platí dvakrát, a to často i mnohem více. Ale opět – dobrý hardware je pouze doporučení a v konečném důsledku záleží na tom, co přesně koupit a za kolik, podle možností podniku a jeho ‚lakomosti‘. Přičemž slovo ‚lakomost‘ je třeba chápat v tom dobrém smyslu, protože je lepší investovat do hardware na počátku, aby se předešlo vážným problémům s jeho další údržbou a škálováním, neboť špatné plánování a nadměrné šetření mohou v budoucnu přinést mnohem vyšší náklady než při spuštění projektu.
Takže, výchozí údaje pro projekt:
- máme podnik, který se rozhodl vytvořit vlastní webový portál a uvést svou činnost na Internet;
- podnik se rozhodl pronajmout stojan pro umístění svého vybavení v dobrém datovém centru splňujícím certifikaci podle standardu Tier III;
- podnik se rozhodl významně nešetřit na hardwaru, a proto zakoupil následující vybavení s rozšířenými zárukami a podporou:
Seznam vybavení
- dva fyzické servery Dell PowerEdge R640 následujícího složení:
- dva procesory Intel Xeon Gold 5120
- 512 Gb RAM
- dva SAS disky v RAID1 pro instalaci OS
- vestavěná 4-portová síťová karta 1G
- dvě 2-portové síťové karty 10G
- jeden 2-portový FC HBA 16G.
- 2-řadičová SDD Dell MD3820f, připojená prostřednictvím FC 16G přímo k hostitelům Dell;
- dva přepínače druhé úrovně — Cisco WS-C2960RX-48FPS-L spojeny do stohu;
- dva přepínače třetí úrovně — Cisco WS-C3850-24T-E, spojeny do stohu;
- Stojan, UPS, PDU, konzolové servery – poskytuje datové centrum.
Jak vidíme, nabízené vybavení má dobré vyhlídky na horizontální a vertikální škálování, pokud bude podnik schopen konkurovat dalším společnostem podobného profilu na internetu a začne generovat zisk, který lze investovat do rozšíření zdrojů pro další konkurenci a růst zisku.
Jaké vybavení můžeme přidat, pokud se podnik rozhodne zvýšit výkon našeho výpočetního klastru:
- máme velkou rezervu počtu portů na přepínačích 2960X, takže můžeme přidat více hardwarových serverů;
- pořídit dva FC switche pro připojení k nim storage a dodatečných serverů;
- stávající servery lze upgradovat – přidat paměť, vyměnit procesory za výkonnější a připojit k síti 10G pomocí již existujících síťových adaptérů;
- k storage lze přidat další diskové police s potřebným typem disků – SAS, SATA nebo SSD, v závislosti na plánovaném zatížení;
- po přidání FC switchů lze pořídit další storage pro zvýšení kapacity disku a pokud k ní přidáme speciální funkci Remote Replication, lze nastavit replikaci dat mezi storages jak v rámci jednoho datového centra, tak mezi datovými centry (ale to už přesahuje rámec článku);
- existují také switche třetí úrovně – Cisco 3850, které lze využít jako odolné jádro sítě pro vysokorychlostní směrování mezi interními sítěmi. To velmi pomůže při růstu interní infrastruktury. Switch 3850 má také porty 10G, které lze využít později při modernizaci síťového vybavení na rychlost 10G.
Protože teď se bez virtualizace neobejdeme, budeme samozřejmě také trendy, zejména protože je to skvělý způsob, jak snížit náklady na pořízení drahých serverů pro jednotlivé prvky infrastruktury (webové servery, databáze atd.), které nejsou vždy optimálně využívány při nízkém zatížení, a právě to se stane na začátku spuštění projektu.
Kromě toho má virtualizace mnoho dalších výhod, které se nám velmi hodí: robustnost VM proti selhání hardwarového serveru, Live migration mezi hardwarovými uzly clusteru pro jejich údržbu, ruční nebo automatické rozdělení zátěže mezi uzly clusteru atd.
Pro hardware pořízený podnikem se nabízí nasazení vysoce dostupného clusteru VMware vSphere, ale protože jakýkoli software od VMware je známý svými "přehnanými" cenami, budeme používat zcela bezplatný software pro správu virtualizace – , na jehož základě se vytváří známý, ale již komerční produkt — .
Software oVirt je nezbytné pro spojení všech prvků infrastruktury do jednoho celku, aby bylo možné efektivně pracovat s vysoce dostupnými virtuálními stroji – to zahrnuje databáze, webové aplikace, proxy servery, vyvažovače zátěže, servery pro sběr logů a analytiku atd., tedy vše, co tvoří webový portál naší firmy.
Shrnujíc tento úvod, nás čekají následující články, které prakticky ukážou, jak přesně nasadit celou hardwarově-softwarovou infrastrukturu firmy:
Seznam článků
- Část 1. Příprava na nasazení clusteru oVirt 4.3.
- Část 2. Instalace a konfigurace clusteru oVirt 4.3.
- Část 3. Konfigurace clusteru VyOS, organizace odolného externího směrování.
- Část 4. Konfigurace stacku Cisco 3850, organizace vnitřního směrování.
Část 1. Příprava na nasazení clusteru oVirt 4.3
Základní konfigurace hostitelů
Instalace a nastavení operačního systému – to je nejjednodušší fáze. Existuje nepřeberné množství článků, jak správně nainstalovat a nastavit OS, takže nemá smysl snažit se poskytnout něco výjimečného ohledně této problematiky.
Takže, máme dva hostitele Dell PowerEdge R640, na které je třeba nainstalovat OS a provést předběžné nastavení, aby mohly fungovat jako hypervizory pro spuštění virtuálních strojů v clusteru oVirt 4.3.
Jelikož plánujeme použít bezplatný nekomerční software oVirt, byla pro nasazení hostitelů vybrána operační soustava CentOS 7.7, i když na hostitele pro oVirt je možné nainstalovat i jiné OS:
- speciální build na základě RHEL, tzv. ;
- OS Oracle Linux, v létě 2019 o podpoře funkce oVirt na ní.
Před instalací OS se doporučuje:
- nastavit síťové rozhraní iDRAC na obou hostitelích;
- aktualizovat firmware pro BIOS a iDRAC na nejnovější verze;
- nastavit profil systému serveru ideálně v režimu Performance;
- nastavit RAID z lokálních disků (doporučujeme RAID1), pro instalaci OS na server.
Poté nainstalujte OS na dříve vytvořený disk prostřednictvím iDRAC – proces instalace je standardní, nejsou tam žádné zvláštní momenty. Přístup k serverové konzoli pro zahájení instalace OS lze také získat prostřednictvím iDRAC, i když nic nebrání připojit monitor, klávesnici a myš přímo k serveru a nainstalovat OS z "flashky".
Po instalaci OS provedeme její počáteční nastavení:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instalujeme základní sadu softwaru
Pro počáteční nastavení operačního systému je nutné nakonfigurovat jakýkoli síťový rozhraní na serveru, aby bylo možné získat přístup na internet pro aktualizaci OS a instalaci potřebného softwaru. To lze provést jak během instalace OS, tak po ní.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Všechny výše uvedené nastavení a balíčky softwaru jsou otázkou osobních preferencí a tento soubor má pouze doporučující charakter.
Jelikož náš hostitel bude hrát roli hypervizora, aktivujeme potřebný profil výkonu:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Více informací o profilu výkonu naleznete zde: „«.
Po instalaci operačního systému přejdeme k další části – nastavení síťových rozhraní na hostitelích a stacku switchů Cisco 2960X.
Nastavení stacku switchů Cisco 2960X
V našem projektu budou používány následující číselné VLANy — nebo vysílací domény, izolované od sebe navzájem za účelem oddělení různých druhů provozu:
VLAN 10 – Internet
VLAN 17 – Management (iDRAC, úložiště, správa switchů)
VLAN 32 – VM produkční síť
VLAN 33 – síť pro propojení (k externím dodavatelům)
VLAN 34 – VM testovací síť
VLAN 35 – VM vývojová síť
VLAN 40 – Monitorovací síť
Před zahájením prací uvedeme schéma na úrovni L2, ke kterému bychom měli dospět:
Pro síťovou interakci hostitelů oVirt a virtuálních strojů mezi sebou, stejně jako pro správu našeho úložiště, je nutné nastavit stack switchů Cisco 2960X.
Hostitelé Dell mají vestavěné 4-portové síťové karty, takže je vhodné jejich připojení k Cisco 2960X uspořádat pomocí odolného síťového připojení, přičemž pro to použijeme agregaci fyzických síťových portů do logického rozhraní a protokol LACP (802.3ad):
- první dva porty na hostiteli jsou konfigurovány v režimu bonding a připojují se k switchi 2960X – na tomto logickém rozhraní bude nastaven bridge s adresou pro správu hostitele, monitorování a komunikaci s jinými hostiteli v clusteru oVirt; bude také používán pro Live migration virtuálních strojů.
- Dva další porty na hostiteli jsou také nastaveny v režimu svázání a připojeny k 2960X – na tomto logickém rozhraní pomocí oVirt budou následně vytvořeny bridge (ve příslušných VLAN), ke kterým budou připojeny virtuální stroje.
- Obě síťové porty v rámci jednoho logického rozhraní budou aktivní, tj. provoz po nich může být přenášen současně v režimu vyvažování.
- Síťová nastavení na uzlech clusteru musí být naprosto STEJNÁ, kromě IP adres.
Základní nastavení skládaných přepínačů 2960X a jeho portů
Naše přepínače musí být předem:
- namontovány do racku;
- propojeny dvěma speciálními kabely potřebné délky, například CAB-STK-E-1M;
- připojeny k elektrickému napájení;
- připojeny k pracovní stanici administrátora přes konzolový port pro jejich počáteční konfiguraci.
Potřebná příručka k tomu je na webových stránkách výrobce.
Po provedení výše uvedených kroků provedeme konfiguraci přepínačů.
Co každé příkazy znamenají, nebude v rámci tohoto článku rozebíráno, v případě potřeby lze všechny informace najít samostatně.
Naším cílem je co nejrychleji nastavit skládané přepínače a připojit k nim hostitele a řídicí rozhraní úložiště.
1) Připojíme se k vedoucímu přepínači, přepneme na privilegovaný režim, poté přejdeme do konfiguračního režimu a provedeme základní nastavení.
Základní konfigurace přepínače:
aktivovat
konfigurovat terminál
hostname 2960X
žádná služba pad
služba časové značky debug datetime msec
služba časové značky log datetime localtime show-timezone msec
žádná služba šifrování hesla
služba sekvenční čísla
přepínač 1 priorita 15
přepínač 2 priorita 14
stack-mac persistent timer 0
časové pásmo MSK 3
vtp režim transparentní
ip subnet-zero
vlan 17
název Správa
vlan 32
název PROD
vlan 33
název Mezi přepojištěním
vlan 34
název Test
vlan 35
název Vývoj
vlan 40
název Monitoring
spanning-tree režim rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan interní alokační politiky vzestupné
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
řádek con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
řádek vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
žádná vstack
interface Vlan1
žádná ip adresa
vypnuto
výstup
Uložíme konfiguraci příkazem „wr mem“ a restartujeme stack přepínačů příkazem „reload“ na vedoucím přepínači switch 1.
2) Konfigurujeme síťové porty přepínače v režimu přístupu (access) do VLAN 17, pro připojení ovládacích rozhraní SŠD a iDRAC serverů.
Nastavení portů správy:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Po restartu stacku zkontrolujeme, zda funguje správně:
Kontrola funkčnosti stacku:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.XXXX
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.XXXX 15 4 Ready
2 Member 0029.c251.XXXX 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Nastavení SSH přístupu k stacku 2960X
Pro vzdálené řízení stacku přes SSH použijeme IP 172.20.1.10, nastavenou na SVI (switch virtual interface) VLAN17.
I když je pro účely správy doporučeno používat speciální dedikovaný port na přepínači, jedná se o otázku osobních preferencí a možností.
Nastavení přístupu SSH ke stacku přepínačů:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordNastavujeme heslo pro přístup do privilegovaného režimu:
enable secret *myenablepassword*
service password-encryptionNastavujeme NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Nastavujeme logické rozhraní Etherchannel a fyzické porty připojené k hostům. Pro zjednodušení konfigurace budou všechny existující VLAN povoleny na všech logických rozhraních, ale obvykle se doporučuje konfigurovat pouze to, co je potřeba:
Nastavení rozhraní Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activePrimární nastavení síťových rozhraní pro virtuální stroje na hostitelích Host1 a Host2
Kontrolujeme přítomnost potřebných modulů pro Bonding v systému, nainstalujeme modul pro správu mostů:
modinfo bonding
modinfo 8021q
yum install bridge-utilsNastavení logického rozhraní BOND1 pro virtuální stroje a jeho fyzických rozhraní na hostitelích:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#POPIS - správa
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#POPIS - správa
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#POPIS - správa
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na stazích 2960X a hostitelích restartujeme síť na hostitelích a kontrolujeme funkčnost logického rozhraní.
- na hostiteli:
systemctl restart network
cat /proc/net/bonding/bond1
Ovladač pro Ethernet Channel Bonding: v3.7.1 (27. dubna 2011)
Mód bondingu: IEEE 802.3ad Dynamická agregace odkazů
Politika Hash přenosu: layer2+3 (2)
Stav MII: up
Interval sondování MII (ms): 100
Zpoždění nahoru (ms): 0
Zpoždění dolů (ms): 0
...
Informace o 802.3ad
LACP rychlost: rychlá
Min odkazy: 0
Politika výběru agregátoru (ad_select): stabilní
Priorita systému: 65535
...
Podřízené rozhraní: em2
Stav MII: up
Rychlost: 1000 Mbps
Duplex: full
...
Podřízené rozhraní: em3
Stav MII: up
Rychlost: 1000 Mbps
Duplex: full- na stazích přepínačů 2960X:
2960X#show lacp internal
Vlajky: S - Zařízení vyžaduje pomalé LACPDUs
F - Zařízení vyžaduje rychlé LACPDUs
A - Zařízení je v aktivním režimu P - Zařízení je v pasivním režimu
Skupina kanálů 1
LACP port Admin Oper Port Port
Port Vlajky Stav Priorita Klíč Klíč Číslo portu Stav
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Vlajky: D - dolů P - svázané v port-channel
I - samostatné s - pozastaveno
H - Horká rezerva (pouze LACP)
R - Layer3 S - Layer2
U - používáno N - nepoužívá se, žádná agregace
f - nebylo možné alokovat agregátor
M - nepoužívá se, minimální odkazy nebyly splněny
m - nepoužívá se, port nebyl agregován vzhledem k minimálním odkazům
u - nevhodné pro svázání
w - čekající na agregaci
d - výchozí port
A - tvořeno Auto LAG
Počet skupin kanálů v použití: 11
Počet agregátorů: 11
Skupina Port-channel Protokol Porty
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Primární nastavení síťových rozhraní pro správu zdrojů clustera na hostitelích Host1 a Host2
Nastavení logického rozhraní BOND1 pro správu a jeho fyzických rozhraní na hostitelích:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#POPIS - správa
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#POPIS - správa
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#POPIS - správa
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na stazích 2960X a hostitelích restartujeme síť na hostitelích a kontrolujeme funkčnost logického rozhraní.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryNastavujeme správní síťové rozhraní na každém hostiteli v VLAN 17, a připojujeme ho k logickému rozhraní BOND1:
Nastavení VLAN17 na Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicNastavení VLAN17 na Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicProvádíme restart sítě na hostitelích a kontrolujeme jejich viditelnost mezi sebou.
Tímto je konfigurace přepínačů Cisco 2960X dokončena, a pokud bylo vše provedeno správně, nyní máme síťové spojení všech prvků infrastruktury mezi sebou na úrovni L2.
Nastavení úložiště Dell MD3820f
Před začátkem práce na konfiguraci úložiště musí být již připojeno k přepínačům Cisco 2960X správními rozhraními, stejně jako k hostitelům Host1 a Host2 přes FC.
Celkový schéma, jak by mělo být úložiště připojeno k přepínačům, bylo uvedeno v předchozí kapitole.
Schéma připojení úložiště přes FC k hostitelům by mělo vypadat takto:
Při připojení je nutné zapsat adresy WWPN pro FC HBA hostitelů připojených k FC portům na úložišti – to bude nutné pro následné nastavení vazby hostitelů k LUNům na úložišti.
Na pracovní stanici administrátora stáhněte a nainstalujte utilitu pro správu úložiště Dell MD3820f – PowerVault Modular Disk Storage Manager (MDSM).
Připojujeme se k němu přes jeho výchozí IP adresy, a poté nastavujeme naše adresy z VLAN17, pro správu kontrolérů přes TCP/IP:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Po nastavení adres se přihlaste do rozhraní pro správu úložiště a zadejte heslo, nastavte čas, aktualizujte firmware pro kontroléry a disky, pokud je to nutné atd.
Jak to udělat – je popsáno v SDS.
Po provedení výše uvedených nastavení budeme potřebovat provést pouze několik kroků:
- Nastavit identifikátory hostitelských FC portů – Identifikátory hostitelských portů.
- Vytvořit skupinu hostitelů – Skupina hostitelů a přidat do ní naše dva hostitele Dell.
- Vytvořit diskovou skupinu a v ní virtuální disky (nebo LUN-y), které budou představeny hostitelům.
- Nastavit prezentaci virtuálních disků (nebo LUNů) pro hostitele.
Přidání nových hostitelů a přiřazení k nim identifikátorů hostitelských FC portů se provádí prostřednictvím nabídky – Přiřazení hostitelů -> Definovat -> Hostitelé…
WWPN adresy FC HBA hostitelů lze například nalézt v iDRAC serveru.
V důsledku by měla vzniknout přibližně takováto situace:
Přidání nové skupiny hostitelů a přiřazení k ní hostitelů se provádí prostřednictvím nabídky – Přiřazení hostitelů -> Definovat -> Skupina hostitelů…
Pro hostitele vybereme typ OS – Linux (DM-MP).
Po vytvoření skupiny hostitelů, prostřednictvím záložky Úložiště a služby kopírování, vytvoříme diskovou skupinu – Disková skupina, s typem závislým na požadavcích na odolnost proti poruchám, například RAID10, a v ní virtuální disky požadované velikosti:
A nakonec finální krok — prezentace virtuálních disků (nebo LUNů) pro hostitele.
K tomu přes menu – Přiřazení hostitelů -> Přiřazení LUN -> Přidat… provedeme přiřazení virtuálních disků k hostitelům, přidělením čísel.
Všechno by mělo dopadnout tak, jak je na tomto snímku obrazovky:
Tímto s nastavením STH končíme, a pokud bylo vše provedeno správně, měly by hostitele vidět představené LUNy prostřednictvím svých FC HBA.
Núťme systém aktualizovat informace o připojených discích:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanPodíváme se, jaká zařízení jsou viditelná na našich serverech:
cat /proc/scsi/scsi
Připojená zařízení:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Dodavatel: DELL Model: PERC H330 Mini Rev: 4.29
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Dodavatel: DELL Model: Universal Xport Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Dodavatel: DELL Model: MD38xxf Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Dodavatel: DELL Model: Universal Xport Rev: 0825
Typ: Přímý přístup ANSI SCSI revize: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Na hostech lze také nastavit navíc multipath, a i když to může provést sám při instalaci oVirt, je lepší předem zkontrolovat správnost MP.
Instalace a konfigurace DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Nastavujeme službu MP do automatického spuštění a spouštíme ji:
systemctl enable multipathd && systemctl restart multipathdKontrola informací o načtených modulech pro provoz MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: target multipath device-mapper
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Náhled na souhrn informací o stávající konfiguraci multipath:
mpathconf
multipath je aktivován
find_multipaths je deaktivován
uživatelsky přívětivá jména jsou zakázána
dm_multipath modul je načten
multipathd běžíPo přidání nového LUN na úložišti a jeho prezentaci hostiteli je nutné provést skenování připojených HBA k hostiteli.
systemctl reload multipathd
multipath -v2A nakonec ověřujeme, zda byly všechny LUNy prezentovány na úložišti pro hostitele a zda k nim vedou dva cesty.
Kontrola funkce MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningJak je vidět, všechny tři virtuální disky na úložišti jsou viditelné prostřednictvím dvou cest. Všechny přípravné práce jsou dokončeny, a proto můžeme přejít k hlavnímu úkolu – konfiguraci clusteru oVirt, což bude podrobněji probráno v dalším článku.
Zdroj: habr.com
