Čitatelia sú pozvaní, aby sa oboznámili s princípmi budovania odolnej infraštruktúry pre malé podniky v rámci jedného dátového centra, ktoré budú podrobne preskúmané v krátkom cykle článkov.
Úvodná časť
Pod Dátové centrum (Centrum spracovania dát) môže byť chápané ako:
- vlastný rack vo vlastnej „serverovni“ na území podniku, ktorý spĺňa minimálne požiadavky na zabezpečenie elektrickej energie a chladenia zariadenia, ako aj má prístup na Internet cez dvoch nezávislých poskytovateľov;
- prenajímaný rack s vlastným zariadením, umiestnený v skutočnom dátovom centre – tzv. kolokácia, ktorá spĺňa standard Tier III alebo IV, a v ktorom je zaručené spoľahlivé napájanie, chladenie a zabezpečený odolný prístup na Internet;
- úplne prenajímané zariadenie v dátovom centre Tier III alebo IV.
Akú možnosť umiestnenia si zvoliť – v každom prípade je všetko individuálne a zvyčajne závisí od niekoľkých základných faktorov:
- na čo podnik vôbec potrebuje vlastnú IT infraštruktúru;
- čo konkrétne podnik od IT infraštruktúry požaduje (spoľahlivosť, škálovateľnosť, spravovateľnosť atď.);
- objemu počiatočných investícií do IT infraštruktúry, ako aj akého typu nákladov na ňu – kapitálové (to znamená, že sa kupuje vlastné zariadenie), alebo prevádzkové (zariadenie sa zvyčajne prenajíma);
- horizontu plánovania samotného podniku.
O faktoroch, ktoré ovplyvňujú rozhodnutie podniku o vytvorení a používaní jeho IT infraštruktúry, sa dá písať veľa, ale naším cieľom je ukázať v praxi, ako vytvoriť túto infraštruktúru tak, aby bola odolná a zároveň sa dalo ušetriť – znížiť náklady na získanie komerčného softvéru, alebo ich úplne vyhnúť.
Dlhoročná prax ukazuje, že na hardvéri netreba šetriť, pretože lakomec platí dvakrát, a dokonca oveľa viac. No opäť – kvalitný hardvér je len doporučenie a nakoniec to, čo presne kúpiť a za koľko, závisí od možností podniku a 'lakomstva' jeho vedenia. Pričom slovo 'lakomstvo' treba chápať v dobrom slova zmysle, pretože je lepšie investovať do hardvéru na začiatku, aby sme neskôr nemali vážne problémy s jeho ďalšou údržbou a škálovaním, keďže nesprávne plánovanie a nadmerné šetrenie môžu v budúcnosti viesť k väčším nákladom, než pri spustení projektu.
Takže, východiskové údaje pre projekt:
- existuje podnik, ktorý sa rozhodol vytvoriť vlastný webový portál a preniesť svoje aktivity na internet;
- podnik sa rozhodol prenajať rack na umiestnenie svojho vybavenia v dobrom datacentri, ktoré spĺňa certifikáciu podľa štandardu Tier III;
- podnik sa rozhodol výrazne nešetriť na hardvéri, a preto zakúpil nasledujúce vybavenie s predĺženými zárukami a podporou:
Zoznam vybavenia
- dva fyzické servery Dell PowerEdge R640 v nasledujúcej konfigurácii:
- dva procesory Intel Xeon Gold 5120
- 512 Gb RAM
- dva SAS disky v RAID1, na inštaláciu OS
- integrovaná 4-portová sieťová karta 1G
- dve 2-portové sieťové karty 10G
- jeden 2-portový FC HBA 16G.
- DvojkController SYSTÉM Dell MD3820f, pripojený prostredníctvom FC 16G priamo k hostiteľom Dell;
- dva prepínače druhej úrovne — Cisco WS-C2960RX-48FPS-L, spojené do stacku;
- dva prepínače tretej úrovne — Cisco WS-C3850-24T-E, spojené do stacku;
- Rack, UPS, PDU, konzolové servery – poskytuje datacentrum.
Ako vidíme, existujúce vybavenie má dobré vyhliadky na horizontálne a vertikálne škálovanie, v prípade, že podnik bude schopný konkurovať iným spoločnostiam podobného profilu na internete a začne generovať zisk, ktorý možno investovať do rozšírenia zdrojov pre ďalšiu konkurenciu a rast zisku.
Aké vybavenie môžeme pridať, ak sa podnik rozhodne zvýšiť výkon našej výpočtovej klastra:
- máme veľký rezervu v počte portov na prepínačoch 2960X, takže je možné pridať viac hardvérových serverov;
- zakúpiť dva FC prepínače, aby sa k nim pripojila SAN a ďalšie servery;
- existujúce servery je možné upgradovať – pridať pamäť, nahradiť procesory výkonnejšími, pripojiť do siete 10G už existujúcimi sieťovými adaptérmi;
- k SAN je možné pridať ďalšie diskové poličky s potrebným typom diskov – SAS, SATA alebo SSD, v závislosti od plánovanej záťaže;
- po pridaní FC prepínačov je možné zakúpiť ďalšiu SAN, aby sa pridala ďalšia kapacita úložiska, a ak k nej zakúpime špeciálnu možnosť Remote Replication, bude možné nastaviť replikáciu dát medzi SAN ako v rámci jedného datacentra, tak aj medzi datacentrami (ale to už je mimo rámec článku);
- existujú aj prepínače tretej úrovne – Cisco 3850, ktoré je možné využiť ako vysokodostupné jadro siete, na rýchlostnú smerovanie medzi vnútornými sieťami. To veľmi pomôže v budúcnosti, s rastom vnútornej infraštruktúry. Taktiež má 3850 porty 10G, ktoré môžeme využiť neskôr, pri aktualizácii sieťového zariadenia na rýchlosť 10G.
Keďže teraz sa bez virtualizácie nikde nezaobídeme, tak aj my samozrejme budeme v trende, najmä preto, že je to skvelý spôsob na zníženie nákladov na nákup drahých serverov pre jednotlivé prvky infraštruktúry (webové servery, databázy a podobne), ktoré nie sú vždy optimálne využívané pri nízkej záťaži, čo bude presne v začiatku spustenia projektu.
Navyše virtualizácia má mnoho ďalších výhod, ktoré nám môžu veľmi pomôcť: vysoká dostupnosť VM pri zlyhaní hardvérového servera, live migrácia medzi hardvérovými uzlami klastra na ich údržbu, manuálne alebo automatické rozdelenie záťaže medzi uzlami klastra a podobne.
Pre hardvér zakúpený podnikaním sa ponúka nasadenie vysoko dostupného klastra VMware vSphere, ale keďže akýkoľvek softvér od VMware je známy svojimi 'studenými' cenami, použijeme úplne bezplatný softvér na správu virtualizácie – , na základe ktorého vzniká známy, ale už komerčný produkt — .
Softvér oVirt je nevyhnutné na spojenie všetkých prvkov infraštruktúry do jedného celku, aby sa umožnila pohodlná práca s vysoko dostupnými virtuálnymi strojmi – databázami, webovými aplikáciami, proxy servermi, vyrovnávačmi zaťaženia, servermi na zhromažďovanie logov a analytiku atď., teda to, z čoho sa skladá webový portál našej spoločnosti.
Na záver tohto úvodu nás čakajú nasledujúce články, ktoré prakticky ukážu, ako presne nasadiť celú hardvérovú a softvérovú infraštruktúru spoločnosti:
Zoznam článkov
- Časť 1. Príprava na nasadenie klastera oVirt 4.3.
- Časť 2. Inštalácia a konfigurácia klastera oVirt 4.3.
- Časť 3. Konfigurácia klastera VyOS, organizácia odolného vonkajšieho smerovania.
- Časť 4. Konfigurácia stacku Cisco 3850, organizácia vnútrosietového smerovania.
Časť 1. Príprava na nasadenie klastera oVirt 4.3
Základná konfigurácia hostiteľov
Inštalácia a konfigurácia operačného systému – to je najjednoduchší krok. Existuje množstvo článkov o správnej inštalácii a konfigurácii operačného systému, takže nemá zmysel snažiť sa predstaviť niečo exkluzívne v tejto oblasti.
Takže máme dva hostiteľské servery Dell PowerEdge R640, na ktoré je potrebné nainštalovať operačný systém a vykonať predbežné nastavenia, aby sa mohli použiť ako hypervízory na spustenie virtuálnych strojov v klasteri oVirt 4.3.
Keďže plánujeme používať bezplatný, neziskový softvér oVirt, pre nasadenie hostiteľov bola vybraná operačný systém CentOS 7.7, hoci na hostiteľské servery pre oVirt je možné nainštalovať aj iné operačné systémy:
- špeciálnu verziu na báze RHEL, tzv. ;
- operačný systém Oracle Linux, ktorý bol v lete 2019 oznámený Pred inštaláciou operačného systému sa odporúča:
nastaviť sieťové rozhranie iDRAC na oboch hostiteľoch;
- aktualizovať firmvér pre BIOS a iDRAC na najnovšie verzie;
- nastaviť profily systému servera najlepšie v režime výkonu;
- nastaviť RAID z lokálnych diskov (odporúča sa RAID1) pre inštaláciu operačného systému na server.
- Potom nainštalujeme operačný systém na predtým vytvorený disk cez iDRAC – proces inštalácie je bežný, nemá žiadne špeciálne zvláštnosti. Prístup k konzole servera pre začiatok inštalácie operačného systému je tiež možný cez iDRAC, aj keď nič nebráni pripojiť monitor, klávesnicu a myš priamo k serveru a nainštalovať operačný systém z „flashky“.
Po inštalácii operačného systému vykonáme jeho počiatočné nastavenia:
Po inštalácii operačného systému vykonáme jeho počiatočné nastavenia:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Inštalujeme základný súbor softvéru
Na počiatočné nastavenie OS je potrebné nakonfigurovať akékoľvek sieťové rozhranie na serveri, aby bol prístup na internet, pre aktualizáciu OS a inštaláciu potrebných softvérových balíkov. To je možné vykonať buď počas inštalácie OS, alebo po nej.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Všetky uvedené nastavenia a súbor softvéru sú otázkou osobných preferencií, a tento súbor má iba odporúčajúci charakter.
Keďže náš hostiteľ bude hrať úlohu hypervízora, zapneme potrebný profil výkonnosti:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Viac o profile výkonnosti sa môžete dočítať tu: „«.
Po inštalácii OS prejdeme na ďalšiu časť – nastavenie sieťových rozhraní na hostiteľoch a stacked switchoch Cisco 2960X.
Nastavenie stacked switchoch Cisco 2960X
V našom projekte budú používané nasledujúce čísla VLAN — alebo rozšírené domény, ktoré sú izolované od seba s cieľom rozdelenia rôznych druhov prevádzky:
VLAN 10 – Internet
VLAN 17 – Správa (iDRAC, SAN, správa switchoch)
VLAN 32 – VM produkčná sieť
VLAN 33 – interkonečná sieť (pre externých dodávateľov)
VLAN 34 – VM testovacia sieť
VLAN 35 – VM vývojová sieť
VLAN 40 – Monitorovacia sieť
Pred začiatkom prác predložíme schému na úrovni L2, ktorú by sme mali dosiahnuť:
Na sieťovú interakciu hostiteľov oVirt a virtuálnych strojov medzi sebou, ako aj na správu našej SAN, je potrebné nastavenie stacked switchoch Cisco 2960X.
Hostitelia Dell majú zabudované 4-portové sieťové karty, a preto je rozumné zorganizovať ich pripojenie k Cisco 2960X pomocou resiliencného sieťového pripojenia, pričom na to použijeme zoskupenie fyzických sieťových portov do logického rozhrania a protokolu LACP (802.3ad):
- prvé dva porty na hostiteľovi sa nastavujú v režime bonding a pripájajú sa k switchoch 2960X – na tomto logickom rozhraní bude nakonfigurované bridge s adresou pre správu hostiteľa, monitorovanie, komunikáciu s inými hostiteľmi v klastre oVirt, ktorá sa tiež použije na Live migráciu virtuálnych strojov;
- dva ďalšie porty na hostiteľovi sú tiež nastavené v režime bonding a sú pripojené k 2960X – na tomto logickom rozhraní sa pomocou oVirt vytvoria bridge (v príslušných VLAN), ku ktorým budú pripojené virtuálne stroje.
- obe sieťové porty v rámci jedného logického rozhrania budú aktívne, t.j. traffic cez ne môže byť prenášaný súčasne, v režime load balancing.
- sieťové nastavenia na uzloch klastera musia byť úplne ROVNAKÉ, okrem IP adries.
Základné nastavenie stacku prepínačov 2960X a jeho portov
Naše prepínače by mali byť:
- namontované do racku;
- prepojené dvoma špeciálnymi káblami požadovanej dĺžky, napríklad CAB-STK-E-1M;
- pripojené k napájaniu;
- pripojené ku pracovnej stanici administrátora cez konzolový port na ich prvotné nakonfigurovanie.
Potrebná príručka je k dispozícii na výrobcu.
Po vykonaní vyššie uvedených akcií nastavenie prepínačov.
Čo znamená každá príkaz, rozoberať v rámci tohto článku nie je predpokladané, v prípade potreby si všetky informácie môžete nájsť samostatne.
Naším cieľom je čo najrýchlejšie nakonfigurovať stack prepínačov a pripojiť k nemu hostiteľov a riadiace rozhrania SAN.
1) Pripojíme sa k vedúcemu prepínaču, prejdeme do privilégiovaného režimu, ďalej prejdeme do režimu konfigurácie a vykonáme základné nastavenia.
Základná konfigurácia prepínača:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Uložíme konfiguráciu príkazom „wr mem“ a reštartujeme zásobník prepínačov príkazom „reload“ na vedúcom prepínači switch 1.
2) Nastavíme sieťové porty prepínača do prístupového režimu (access) na VLAN 17, pre pripojenie ovládacích rozhraní SÚD a iDRAC serverov.
Nastavenie ovládacích portov:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Po reštartovaní zásobníka skontrolujeme, či funguje správne:
Kontrola funkčnosti zásobníka:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.XXXX
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.XXXX 15 4 Ready
2 Member 0029.c251.XXXX 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Nastavenie SSH prístupu k zásobníku 2960X
Pre diaľkové ovládanie zásobníka cez SSH použijeme IP 172.20.1.10, nastavenú na SVI (switch virtual interface) VLAN17.
Aj keď je pre účely správy vhodné používať špeciálny vyhradený port na prepínači, je to však vec osobných preferencií a možností.
Nastavenie SSH prístupu k zásobníkom prepínačov:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordNastavujeme heslo pre vstup do privilegovaného režimu:
enable secret *myenablepassword*
service password-encryptionNastavujeme NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Konfigurujeme logické rozhraní Etherchannel a fyzické porty pripojené k hostiteľom. Pre zjednodušenie konfigurácie budú všetky existujúce VLAN povolené na všetkých logických rozhraní, ale zvyčajne sa odporúča nakonfigurovať len to, čo je potrebné:
Nastavenie rozhraní Etherchannel:
interface Port-channel1
description EtherChannel s Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel s Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel s Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel s Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activePočiatočná konfigurácia sieťových rozhraní pre virtuálne stroje na hostiteľoch Host1 a Host2
Kontrolujeme prítomnosť potrebných modulov pre bonding v systéme, inštalujeme modul na správu mostov:
modinfo bonding
modinfo 8021q
yum install bridge-utilsNastavenie logického rozhrania BOND1 pre virtuálne stroje na hostiteľoch a jeho fyzických rozhraní:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na stacku 2960X a hostoch, reštartujeme sieť na hostoch a kontrolujeme funkčnosť logického rozhrania.
- na hoste:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (27. apríla 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- na stohu prepínačov 2960X:
2960X#show lacp internal
Flags: S - Zariadenie požaduje pomalé LACPDUs
F - Zariadenie požaduje rýchle LACPDUs
A - Zariadenie je v aktívnom režime P - Zariadenie je v pasívnom režime
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - dolu P - spojené v portovom kanáli
I - samostatne s - pozastavené
H - horúce rezervné (len LACP)
R - Layer3 S - Layer2
U - používa sa N - nepoužíva sa, žiadna agregácia
f - nepodarilo sa alokovať agregátor
M - nepoužíva sa, minimálne odkazy nie sú splnené
m - nepoužíva sa, port nie je agregovaný kvôli minimálnym odkazom
u - nepoužiteľné na spájanie
w - čakajúce na agregáciu
d - predvolený port
A - vytvorené automatickým LAG
Počet skupín kanálov v používaní: 11
Počet agregátorov: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Primárne nastavenie sieťových rozhraní na správu zdrojov klastrov, na hostoch Host1 a Host2
Nastavenie logického rozhrania BOND1 na hostoch na správu a jeho fyzických rozhraní:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - správa
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - správa
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - správa
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na stacku 2960X a hostoch, reštartujeme sieť na hostoch a kontrolujeme funkčnosť logického rozhrania.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryNastavujeme riadiace sieťové rozhranie na každom hoste v VLAN 17, a viažeme ho na logické rozhranie BOND1:
Nastavenie VLAN17 na Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicNastavenie VLAN17 na Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicReštartujeme sieť na hostoch a kontrolujeme ich viditeľnosť medzi sebou.
Týmto je nastavenie stacku switchov Cisco 2960X ukončené, a ak bolo všetko správne urobené, teraz máme sieťovú prepojenosť všetkých prvkov infraštruktúry medzi sebou na úrovni L2.
Nastavenie úložného systému Dell MD3820f
Pred začiatkom prác na nastavení úložného systému by už mal byť pripojený k stacku switchov Cisco. 2960X riadiacimi rozhraniami, ako aj k hostom Host1 a Host2 cez FC.
Celkový diagram, ako by mal byť úložný systém pripojený k stacku switchov, bol uvedený v predchádzajúcej kapitole.
Schéma pripojenia úložného systému cez FC k hostom by mala vyzerať takto:
Počas pripojenia je potrebné zapísať WWPN adresy pre FC HBA hostov pripojených k FC portom na úložnom systéme – to bude potrebné pre následné nastavenie väzby hostov na LUN-y na úložnom systéme.
Na pracovnej stanici administrátora si stiahneme a nainštalujeme nástroj na správu úložného systému Dell MD3820f – PowerVault Modular Disk Storage Manager (MDSM).
Pripojíme sa k nemu cez jeho predvolené IP adresy, a potom nastavíme naše adresy z VLAN17, na správu ovládačov cez TCP/IP:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Po nastavení adries vstúpime do rozhrania správy úložného systému a zadáme heslo, nastavíme čas, aktualizujeme firmvér pre ovládače a disky, ak je to potrebné a pod.
Ako sa to robí – je popísané v Súvisiaci dátový úložný systém.
Po vykonaní vyššie uvedených nastavení, budeme musieť vykonať len niekoľko krokov:
- Nastaviť identifikátory hostových FC portov – Host Port Identifiers.
- Vytvoriť skupinu hostov – Host group a pridať do nej našich dvoch hostov Dell.
- Vytvoriť diskovú skupinu a v nej virtuálne disky (alebo LUN-y), ktoré budú prezentované hostom.
- Nastaviť prezentáciu virtuálnych diskov (alebo LUN-ov) pre hosty.
Pridávanie nových hostov a priradenie im identifikátorov hostových FC portov sa vykonáva cez menu – Host Mappings -> Definovať -> Hosts…
WWPN adresy FC HBA hostov môžeme nájsť napríklad v iDRAC servera.
Ako výsledok by sme mali získať približne takýto obrázok:
Pridanie novej skupiny hostiteľov a ich pridelenie sa vykonáva prostredníctvom menu – Host Mappings -> Definovať -> Host Group…
Pre hostiteľov vyberáme typ OS – Linux (DM-MP).
Po vytvorení skupiny hostiteľov prostredníctvom záložky Storage & Copy Services, vytvoríme diskovú skupinu – Disk Group, s typom závislým od požiadaviek na odolnosť voči poruchám, napríklad, RAID10, a v nej virtuálne disky požadovanej veľkosti:
A nakoniec, konečný krok — prezentácia virtuálnych diskov (alebo LUN-ov) pre hostiteľov.
Na to prostredníctvom menu – Host Mappings -> Lun mapping -> Add… vykonáme priradenie virtuálnych diskov k hostiteľom, pričom im pridelíme čísla.
Všetko by malo dopadnúť tak, ako na tomto snímke obrazovky:
S touto konfiguráciou SCSI končíme a ak bolo všetko vykonané správne, hostitelia by mali vidieť im prezentované LUN-y cez svoje FC HBA.
Prinútime systém aktualizovať informácie o pripojených diskoch:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanPozrime sa, ktoré zariadenia sú viditeľné na našich serveroch:
cat /proc/scsi/scsi
Pripojené zariadenia:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Na hostiteľoch je možné nastaviť aj ďalšie multipath, a aj keď to pri inštalácii oVirt môže spraviť sám, je lepšie vopred skontrolovať správnosť fungovania MP.
Inštalácia a konfigurácia DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Nastavujeme službu MP na automatické spúšťanie a spúšťame ju:
systemctl enable multipathd && systemctl restart multipathdKontrola informácií o načítaných moduloch pre fungovanie MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Prezeráme súhrnné informácie o existujúcej konfigurácii multipath:
mpathconf
multipath je povolený
find_multipaths je zakázaný
user_friendly_names je zakázaný
dm_multipath modul je načítaný
multipathd bežíPo pridaní nového LUN na SAN a jeho prezentovaní hostiteľovi je potrebné vykonať skenovanie pripojených HBA.
systemctl reload multipathd
multipath -v2A nakoniec skontrolujeme, či boli všetky LUN-y prezentované na SAN pre hostiteľov a či k nim vedú dva cesty.
Kontrola funkčnosti MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningAko je vidieť, všetky tri virtuálne disky na SAN sú viditeľné po dvoch cestách. Takže všetky prípravné práce sú hotové a môžeme prejsť na hlavnú časť – nastavenie clustra oVirt, čo bude podrobne popísané v nasledujúcom článku.
Zdroj: habr.com
