Čitatelia sa vyzývajú, aby sa oboznámili s princípmi budovania infraštruktúry odolnej voči chybám pre malý podnik v rámci jedného dátového centra, ktorým sa bude podrobne venovať krátka séria článkov.
prodrome
pod Dátové centrum (Centrum spracovania údajov) možno chápať ako:
- vlastný rack vo vlastnej „serverovni“ v priestoroch podniku, ktorý spĺňa minimálne požiadavky na zabezpečenie napájania a chladenia zariadení a má aj prístup na internet prostredníctvom dvoch nezávislých poskytovateľov;
- prenajatý rack s vlastným vybavením, umiestnený v reálnom dátovom centre – tzv. kolokácia, ktorá je v súlade so štandardom Tier III alebo IV a ktorá zaručuje spoľahlivé napájanie, chladenie a odolný prístup na internet;
- plne prenajaté vybavenie v dátovom centre Tier III alebo IV.
Ktorú možnosť ubytovania si vybrať, je v každom prípade individuálna a zvyčajne závisí od niekoľkých hlavných faktorov:
- Prečo podnik potrebuje vlastnú IT infraštruktúru?
- čo presne podnik požaduje od IT infraštruktúry (spoľahlivosť, škálovateľnosť, spravovateľnosť atď.);
- objem počiatočných investícií do IT infraštruktúry, ako aj to, aký typ nákladov na ňu - kapitálové (čo znamená, že si kúpite vlastné zariadenie), alebo prevádzkové (zariadenie sa zvyčajne prenajíma);
- plánovací horizont samotného podniku.
O faktoroch ovplyvňujúcich rozhodnutie podniku vytvoriť a používať IT infraštruktúru sa dá napísať veľa, ale naším cieľom je v praxi ukázať, ako vytvoriť práve túto infraštruktúru tak, aby bola odolná voči chybám a zároveň šetrila peniaze. náklady na nákup komerčného softvéru alebo sa im úplne vyhnúť.
Ako ukazuje dlhodobá prax, na hardvéri sa neoplatí šetriť, pretože lakomý platí dvakrát a ešte oveľa viac. Ale opäť, dobrý hardvér je len odporúčanie a nakoniec, čo presne kúpiť a za koľko, závisí od schopností podniku a „chamtivosti“ jeho manažmentu. Navyše slovo „chamtivosť“ by sa malo chápať v dobrom zmysle slova, pretože je lepšie investovať do hardvéru v počiatočnej fáze, aby nevznikli vážne problémy s jeho ďalšou podporou a škálovaním, pretože pôvodne nesprávne plánovanie a nadmerné úspory môžu viesť k vyšším nákladom ako pri spustení projektu.
Takže počiatočné údaje pre projekt:
- existuje podnik, ktorý sa rozhodol vytvoriť vlastný webový portál a priniesť svoje aktivity na internet;
- spoločnosť sa rozhodla prenajať rack, aby umiestnila svoje zariadenie v dobrom dátovom centre certifikovanom podľa štandardu Tier III;
- spoločnosť sa rozhodla nešetriť na hardvéri, a preto zakúpila nasledujúce zariadenia s predĺženou zárukou a podporou:
Zoznam vybavenia
- dva fyzické servery Dell PowerEdge R640 takto:
- dva procesory Intel Xeon Gold 5120
- 512 GB RAM
- dva disky SAS v RAID1 na inštaláciu OS
- vstavaná 4-portová 1G sieťová karta
- dve 2-portové 10G sieťové karty
- jeden 2-portový FC HBA 16G.
- 2-radičový úložný systém Dell MD3820f, pripojený cez FC 16G priamo k hostiteľom Dell;
- dva prepínače druhej úrovne - Cisco WS-C2960RX-48FPS-L stohované;
- dva prepínače tretej úrovne - Cisco WS-C3850-24T-E, stohované;
- Rack, UPS, PDU, konzolové servery poskytuje dátové centrum.
Ako vidíme, existujúce vybavenie má dobré vyhliadky na horizontálne a vertikálne škálovanie, ak je podnik schopný konkurovať iným spoločnostiam podobného profilu na internete a začne zarábať zisky, ktoré môže investovať do rozšírenia zdrojov pre ďalšiu konkurenciu. a rast zisku.
Aké vybavenie môžeme pridať, ak sa podnik rozhodne zvýšiť výkon nášho výpočtového klastra:
- máme veľkú rezervu v počte portov na prepínačoch 2960X, čo znamená, že môžeme pridať ďalšie hardvérové servery;
- zakúpiť dva ďalšie prepínače FC na pripojenie úložných systémov a ďalších serverov k nim;
- existujúce servery je možné upgradovať – pridať pamäť, nahradiť procesory výkonnejšími, pripojiť sa k sieti 10G pomocou existujúcich sieťových adaptérov;
- Do úložného systému môžete pridať ďalšie diskové police s požadovaným typom disku - SAS, SATA alebo SSD v závislosti od plánovanej záťaže;
- po pridaní prepínačov FC si môžete zakúpiť ďalší úložný systém na pridanie ešte väčšej diskovej kapacity a ak si k nemu zakúpite špeciálnu možnosť vzdialenej replikácie, môžete nastaviť replikáciu dát medzi úložnými systémami v rámci toho istého dátového centra aj medzi dátovými centrami ( ale to už presahuje rámec článku);
- Existujú aj prepínače tretej úrovne – Cisco 3850, ktoré možno použiť ako sieťové jadro odolné voči chybám pre vysokorýchlostné smerovanie medzi vnútornými sieťami. To bude veľmi užitočné v budúcnosti, pretože vnútorná infraštruktúra rastie. 3850 má tiež 10G porty, ktoré možno neskôr použiť pri inovácii sieťového zariadenia na rýchlosť 10G.
Keďže dnes už nie je nikde bez virtualizácie, budeme samozrejme v trende, najmä preto, že ide o výborný spôsob, ako znížiť náklady na nákup drahých serverov pre jednotlivé prvky infraštruktúry (webové servery, databázy atď.), ktoré nie sú vždy optimálne sa používajú v prípade nízkej záťaže a presne to sa stane na začiatku spustenia projektu.
Okrem toho má virtualizácia mnoho ďalších výhod, ktoré sa nám môžu veľmi hodiť: odolnosť voči chybám VM proti zlyhaniu hardvérového servera, migrácia za chodu medzi uzlami hardvérového klastra na ich údržbu, manuálne alebo automatické rozdeľovanie záťaže medzi uzlami klastra atď.
Pre hardvér zakúpený podnikom sa navrhuje nasadenie vysoko dostupného klastra VMware vSphere, ale keďže každý softvér od VMware je známy svojimi vysokými cenami, na správu virtualizácie použijeme úplne bezplatný softvér – , na základe ktorej vzniká známy, no už komerčný produkt - .
Softvér oVirt potrebné spojiť všetky prvky infraštruktúry do jedného celku, aby bolo možné pohodlne pracovať s vysoko dostupnými virtuálnymi strojmi - sú to databázy, webové aplikácie, proxy servery, balancery, servery na zber logov a analýz atď. webový portál nášho podniku tvorí.
Aby sme tento úvod zhrnuli, môžeme sa tešiť na nasledujúce články, ktoré v praxi presne ukážu, ako nasadiť celú hardvérovú a softvérovú infraštruktúru podniku:
Zoznam článkov
- Časť 1. Príprava na nasadenie klastra oVirt 4.3.
- Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3.
- Časť 3. Nastavenie klastra VyOS, organizovanie externého smerovania odolného voči chybám.
- Časť 4. Nastavenie zásobníka Cisco 3850, organizácia intranetového smerovania.
Časť 1. Príprava na nasadenie klastra oVirt 4.3
Základné nastavenie hostiteľa
Inštalácia a konfigurácia OS je najjednoduchší krok. Existuje veľké množstvo článkov o tom, ako správne nainštalovať a nakonfigurovať OS, takže nemá zmysel pokúšať sa o tom poskytnúť niečo exkluzívne.
Máme teda dvoch hostiteľov Dell PowerEdge R640, na ktorých musíme nainštalovať OS a vykonať predbežné nastavenia, aby sme ich mohli použiť ako hypervízory na spustenie virtuálnych počítačov v klastri oVirt 4.3.
Keďže plánujeme používať bezplatný nekomerčný softvér oVirt, na nasadenie hostiteľov bol zvolený OS 7.7 CentOS, hoci na hostiteľoch pre oVirt je možné nainštalovať iné OS:
- špeciálna zostava založená na RHEL, tzv. ;
- OS Oracle Linux, leto 2019 o podpore práce oVirt na ňom.
Pred inštaláciou OS sa odporúča:
- nakonfigurovať sieťové rozhranie iDRAC na oboch hostiteľoch;
- aktualizovať firmvér BIOS a iDRAC na najnovšie verzie;
- nakonfigurovať systémový profil servera, najlepšie v režime výkonu;
- nakonfigurujte RAID z lokálnych diskov (odporúča sa RAID1), aby ste nainštalovali OS na server.
Potom nainštalujeme OS na disk vytvorený skôr cez iDRAC - proces inštalácie je normálny, nie sú v ňom žiadne zvláštne chvíle. Prístup ku konzole servera na začatie inštalácie operačného systému je možné získať aj prostredníctvom iDRAC, hoci vám nič nebráni pripojiť monitor, klávesnicu a myš priamo k serveru a nainštalovať operačný systém z jednotky flash.
Po inštalácii OS vykonáme jeho počiatočné nastavenia:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Inštalácia základnej sady softvéru
Na počiatočnú konfiguráciu operačného systému musíte nakonfigurovať akékoľvek sieťové rozhranie na serveri, aby ste mali prístup na internet, aby ste aktualizovali operačný systém a nainštalovali potrebné softvérové balíky. To je možné vykonať počas procesu inštalácie OS aj po ňom.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Všetky vyššie uvedené nastavenia a softvérová súprava sú vecou osobných preferencií a táto súprava je len odporúčaním.
Keďže náš hostiteľ bude hrať úlohu hypervízora, umožníme požadovaný výkonnostný profil:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Viac o výkonnostnom profile si môžete prečítať tu: “".
Po nainštalovaní OS prejdeme na ďalšiu časť – nastavenie sieťových rozhraní na hostiteľoch a stack prepínačov Cisco 2960X.
Konfigurácia zásobníka prepínačov Cisco 2960X
Náš projekt bude používať nasledujúce počty VLAN - alebo vysielacích domén, ktoré sú navzájom izolované, aby sa oddelili rôzne typy prevádzky:
VLAN 10 - internet
VLAN 17 – Správa (iDRAC, úložný systém, správa prepínačov)
VLAN 32 – produkčná sieť VM
VLAN 33 - prepojovacia sieť (externým dodávateľom)
VLAN 34 – testovacia sieť VM
VLAN 35 – Sieť vývojárov VM
VLAN 40 – Monitorovacia sieť
Pred začatím práce je tu diagram na úrovni L2, ku ktorému by sme mali nakoniec dospieť:
Pre vzájomnú sieťovú interakciu hostiteľov oVirt a virtuálnych strojov, ako aj pre správu nášho úložného systému, je potrebné nakonfigurovať stack prepínačov Cisco 2960X.
Hostitelia Dell majú vstavané 4-portové sieťové karty, preto sa odporúča zorganizovať ich pripojenie k Cisco 2960X pomocou sieťového pripojenia odolného voči chybám, pomocou zoskupenia fyzických sieťových portov do logického rozhrania a protokolu LACP ( 802.3ad):
- prvé dva porty na hostiteľovi sú nakonfigurované v režime viazania a pripojené k prepínaču 2960X – toto logické rozhranie bude nakonfigurované most s adresou pre správu hostiteľov, monitoring, komunikáciu s ostatnými hostiteľmi v klastri oVirt bude slúžiť aj na Live migráciu virtuálnych strojov;
- druhé dva porty na hostiteľovi sú tiež nakonfigurované v režime viazania a pripojené k 2960X - na tomto logickom rozhraní pomocou oVirt sa v budúcnosti vytvoria mosty (v zodpovedajúcich VLAN), ku ktorým budú pripojené virtuálne stroje.
- oba sieťové porty, v rámci toho istého logického rozhrania, budú aktívne, t.j. prevádzka cez ne môže byť prenášaná súčasne, v režime vyrovnávania.
- nastavenia siete na uzloch klastra musia byť úplne ROVNAKÉ, s výnimkou adries IP.
Základné nastavenie zásobníka prepínačov 2960X a jej prístavov
Naše prepínače musia byť najskôr:
- namontovaný na stojane;
- pripojené cez dva špeciálne káble požadovanej dĺžky, napríklad CAB-STK-E-1M;
- pripojený k zdroju napájania;
- pripojené k pracovnej stanici správcu cez port konzoly na ich počiatočnú konfiguráciu.
Potrebný návod na to je dostupný na výrobcom.
Po dokončení vyššie uvedených krokov nakonfigurujeme prepínače.
To, čo jednotlivé príkazy znamenajú, nie je v rámci tohto článku určené na dešifrovanie; v prípade potreby je možné všetky informácie nájsť nezávisle.
Naším cieľom je čo najrýchlejšie nakonfigurovať zásobník prepínačov a pripojiť k nemu hostiteľov a rozhrania na správu úložiska.
1) Pripojte sa k hlavnému prepínaču, prejdite do privilegovaného režimu, potom prejdite do konfiguračného režimu a vykonajte základné nastavenia.
Základná konfigurácia prepínača:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Konfiguráciu uložíme príkazom “wr mem"a reštartujte zásobník prepínačov príkazom"znovu» na hlavnom vypínači 1.
2) Nakonfigurujeme sieťové porty prepínača v režime prístupu vo VLAN 17, aby sme pripojili rozhrania správy úložných systémov a serverov iDRAC.
Nastavenie portov pre správu:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Po opätovnom vložení stohu skontrolujte, či funguje správne:
Kontrola funkčnosti zásobníka:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Nastavenie prístupu SSH k zásobníku 2960X
Na vzdialenú správu zásobníka cez SSH použijeme IP 172.20.1.10 nakonfigurované pre SVI (switch virtual interface) VLAN17.
Aj keď je vhodné použiť vyhradený vyhradený port na prepínači na účely správy, je to záležitosť osobných preferencií a možností.
Konfigurácia prístupu SSH k hromade prepínačov:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordNastavte heslo na vstup do privilegovaného režimu:
enable secret *myenablepassword*
service password-encryptionNastavenie NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Nakonfigurujte logické rozhrania Etherchannel a fyzické porty pripojené k hostiteľom. Pre uľahčenie konfigurácie budú všetky dostupné siete VLAN povolené na všetkých logických rozhraniach, ale vo všeobecnosti sa odporúča konfigurovať len to, čo je potrebné:
Konfigurácia rozhraní Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activePočiatočná konfigurácia sieťových rozhraní pre virtuálne stroje na hostiteľoch Host1 и Host2
Skontrolujeme prítomnosť modulov potrebných na fungovanie lepenia v systéme, nainštalujeme modul na ovládanie mostov:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfigurácia logického rozhrania BOND1 pre virtuálne stroje a jeho fyzické rozhrania na hostiteľoch:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na zásobníku 2960 Х a hostiteľov reštartujeme sieť na hostiteľoch a skontrolujeme funkčnosť logického rozhrania.
- na hostiteľovi:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- na stohu spínačov 2960 Х:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Počiatočná konfigurácia sieťových rozhraní na správu prostriedkov klastra na hostiteľoch Host1 и Host2
Konfigurácia logického rozhrania BOND1 pre správu a jeho fyzických rozhraní na hostiteľoch:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po dokončení nastavení na zásobníku 2960 Х a hostiteľov reštartujeme sieť na hostiteľoch a skontrolujeme funkčnosť logického rozhrania.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryKonfigurujeme rozhranie riadiacej siete na každom hostiteľovi VLAN 17a naviažte ho na logické rozhranie BOND1:
Konfigurácia VLAN17 na hostiteľovi 1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfigurácia VLAN17 na hostiteľovi 2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicReštartujeme sieť na hostiteľoch a skontrolujeme ich vzájomnú viditeľnosť.
Tým je konfigurácia stacku prepínačov Cisco 2960X hotová a ak bolo všetko urobené správne, tak teraz máme sieťovú konektivitu všetkých prvkov infraštruktúry navzájom na úrovni L2.
Nastavenie úložného systému Dell MD3820f
Pred začatím prác na nastavovaní úložného systému už musí byť pripojený k stohu prepínačov Cisco 2960 Х ovládacích rozhraní, ako aj k hostiteľom Host1 и Host2 cez FC.
Všeobecná schéma toho, ako by mali byť úložné systémy pripojené k stohu prepínačov, bola uvedená v predchádzajúcej kapitole.
Schéma pripojenia úložného systému cez FC k hostiteľom by mala vyzerať takto:
Počas pripojenia si musíte zapísať adresy WWPN pre hostiteľov FC HBA pripojených k portom FC na úložnom systéme – bude to potrebné pre neskoršie nastavenie väzby hostiteľov na jednotky LUN na úložnom systéme.
Na pracovnej stanici správcu si stiahnite a nainštalujte pomôcku na správu úložného systému Dell MD3820f – PowerVault Modular Disk Storage Manager (MDSM).
Pripojíme sa k nemu prostredníctvom jeho predvolených adries IP a potom nakonfigurujeme naše adresy z VLAN17, na správu radičov cez TCP/IP:
Skladovanie1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Po nastavení adries prejdite do rozhrania správy úložiska a nastavte heslo, nastavte čas, v prípade potreby aktualizujte firmvér radičov a diskov atď.
Ako sa to robí, je popísané v Skladovací systém
Po dokončení vyššie uvedených nastavení budeme musieť urobiť len niekoľko krokov:
- Konfigurácia ID portov FC hostiteľa – Identifikátory hostiteľských portov.
- Vytvorte hostiteľskú skupinu - Hostiteľská skupina a pridajte k tomu našich dvoch hostiteľov Dell.
- Vytvorte skupinu diskov a v nej virtuálne disky (alebo LUN), ktoré budú prezentované hostiteľom.
- Nakonfigurujte prezentáciu virtuálnych diskov (alebo LUN) pre hostiteľov.
Pridávanie nových hostiteľov a viazanie identifikátorov portu hostiteľa FC k nim sa vykonáva prostredníctvom ponuky - Hostiteľské mapovania -> vymedziť -> Hostitelia…
Adresy WWPN hostiteľov FC HBA možno nájsť napríklad na serveroch iDRAC.
V dôsledku toho by sme mali dostať niečo takéto:
Pridanie novej skupiny hostiteľov a pripojenie hostiteľov k nej sa vykonáva prostredníctvom ponuky - Hostiteľské mapovania -> vymedziť -> Hostiteľská skupina…
Pre hostiteľov vyberte typ OS – Linux (DM-MP).
Po vytvorení hostiteľskej skupiny cez kartu Skladovacie a kopírovacie služby, vytvorte skupinu diskov – Skupina diskov, s typom v závislosti od požiadaviek na odolnosť proti chybám, napríklad RAID10, a v ňom virtuálne disky požadovanej veľkosti:
A nakoniec, poslednou fázou je prezentácia virtuálnych diskov (alebo LUN) hostiteľom.
Ak to chcete urobiť, prostredníctvom ponuky - Hostiteľské mapovania -> Mapovanie Mesiaca -> Pridať ... Virtuálne disky spájame s hostiteľmi tak, že im priraďujeme čísla.
Všetko by malo vyzerať takto:
Tu dokončíme nastavenie úložného systému a ak bolo všetko vykonané správne, hostitelia by mali vidieť LUN, ktoré im boli prezentované prostredníctvom ich FC HBA.
Donútime systém aktualizovať informácie o pripojených diskoch:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanPozrime sa, aké zariadenia sú viditeľné na našich serveroch:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Na hostiteľoch môžete tiež dodatočne konfigurovať viaccestný, a hoci to pri inštalácii oVirt zvládne aj sám, je lepšie si správne fungovanie MP vopred sami skontrolovať.
Inštalácia a konfigurácia DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Nastavte službu MP na automatické spustenie a spustite ju:
systemctl enable multipathd && systemctl restart multipathdKontrola informácií o načítaných moduloch pre prevádzku MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Pozrime sa na súhrnné informácie o existujúcej konfigurácii viacerých ciest:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningPo pridaní novej LUN do úložného systému a jej predložení hostiteľovi musíte naskenovať HBA pripojené k hostiteľovi na ňom.
systemctl reload multipathd
multipath -v2Nakoniec skontrolujeme, či boli všetky LUN prezentované v úložnom systéme pre hostiteľov a či ku všetkým existujú dve cesty.
Kontrola činnosti MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningAko vidíte, všetky tri virtuálne disky v úložnom systéme sú viditeľné pozdĺž dvoch ciest. Tým sú všetky prípravné práce ukončené, čo znamená, že môžete pristúpiť k hlavnej časti – k nastaveniu klastra oVirt, o ktorom sa bude diskutovať v nasledujúcom článku.
Zdroj: hab.com