Arra hívjuk az olvasókat, hogy ismerkedjenek meg a kisvállalkozások hibatűrő infrastruktúrájának egyetlen adatközponton belüli kiépítésének elveivel, amelyekről egy rövid cikksorozatban részletesen is lesz szó.
prodrome
Alatt adatközpont (Adatfeldolgozó Központ) a következőképpen értelmezhető:
- saját rack a vállalkozás területén lévő saját "szerverszobájában", amely megfelel az energia- és hűtőberendezések biztosításának minimális követelményeinek, és két független szolgáltatón keresztül is rendelkezik internet-hozzáféréssel;
- bérelt rack saját berendezéssel, valódi adatközpontban található - az ún. III. vagy IV. szintű kollokáció, amely megbízható tápellátást, hűtést és feladatátvételi internet-hozzáférést garantál;
- teljesen bérelt berendezések egy Tier III vagy IV adatközpontban.
Melyik szálláslehetőséget válasszuk - minden esetben minden egyedi, és általában több fő tényezőtől függ:
- egyáltalán miért van szüksége egy vállalkozásnak saját informatikai infrastruktúrára;
- pontosan mit akar a vállalkozás az informatikai infrastruktúrától (megbízhatóság, skálázhatóság, kezelhetőség stb.);
- az informatikai infrastruktúrába történő kezdeti beruházás összege, valamint annak költsége - tőke (ami saját berendezés vásárlását jelenti), vagy üzemeltetés (a berendezéseket általában bérlik);
- magának a vállalkozásnak a tervezési horizontja.
Sokat lehet írni arról, hogy milyen tényezők befolyásolják egy vállalkozás döntését az informatikai infrastruktúra létrehozására és használatára vonatkozóan, de a célunk az, hogy a gyakorlatban is megmutassuk, hogyan lehet pontosan ezt az infrastruktúrát létrehozni úgy, hogy az egyszerre hibatűrő és még spórolható legyen - csökkentse a kereskedelmi szoftverek beszerzésének költségeit, vagy teljesen elkerülje azokat.
Amint azt a hosszú gyakorlat mutatja, a vason nem érdemes spórolni, hiszen a fösvény kétszer fizet, sőt még sokkal többet is. De ismét - jó hardver, ez csak egy ajánlás, és végül a vállalkozás képességeitől és menedzsmentjének „kapzsiságától” függ, hogy pontosan mit és mennyiért vásároljunk. Sőt, a "kapzsiság" szót a szó jó értelmében kell érteni, mivel jobb a kezdeti szakaszban a hardverbe fektetni, hogy később ne legyen komoly problémája a további támogatással és méretezéssel, mivel kezdetben helytelen. a tervezés és a túlzott megtakarítás magasabb költségekhez vezethet, mint egy projekt elindításakor.
Tehát a projekt kezdeti adatai:
- van egy vállalkozás, amely úgy döntött, hogy saját internetes portált hoz létre, és tevékenységét az internetre viszi;
- a vállalat úgy döntött, hogy egy állványt bérel, hogy berendezéseit egy Tier III szabvány szerint tanúsított, jó adatközpontban helyezze el;
- a cég úgy döntött, hogy nem spórol sokat a hardveren, ezért a következő berendezéseket vásárolta meg kiterjesztett garanciával és támogatással:
Felszerelés lista
- két fizikai Dell PowerEdge R640 szerver az alábbiak szerint:
- két Intel Xeon Gold 5120 processzor
- 512 Gb RAM
- két SAS lemez a RAID1-ben az operációs rendszer telepítéséhez
- beépített 4 portos 1G hálózati kártya
- két 2 portos 10G hálózati kártya
- egy 2 portos FC HBA 16G.
- Dell MD2f 3820 vezérlőtároló FC 16G-n keresztül közvetlenül a Dell gazdagépekhez csatlakoztatva;
- két második szintű kapcsoló - Cisco WS-C2960RX-48FPS-L egymásra rakva;
- két harmadik szintű kapcsoló - Cisco WS-C3850-24T-E, egy verembe kombinálva;
- Rack, UPS, PDU, konzolszerverek – az adatközpont biztosítja.
Amint látjuk, a meglévő berendezéseknek jó kilátásai vannak a horizontális és vertikális skálázásra, ha a vállalkozás fel tudja venni a versenyt más, hasonló profilú cégekkel az interneten, és olyan nyereséget kezd termelni, amelyet a további verseny és az erőforrások bővítésére fordíthat. profit növekedés.
Milyen berendezéseket tudunk hozzáadni, ha a vállalkozás úgy dönt, hogy növeli számítástechnikai klaszterünk teljesítményét:
- nagy tartalékkal rendelkezünk a 2960X switcheken lévő portok számát tekintve, ami azt jelenti, hogy további hardverszervereket tudunk hozzáadni;
- vásároljon két FC kapcsolót a tárolórendszerek és további szerverek csatlakoztatásához;
- a meglévő szerverek bővíthetők - memória bővítése, processzorok hatékonyabb cseréje, 10G hálózathoz való csatlakozás meglévő hálózati adapterekkel;
- további lemezpolcokat adhat a tárolórendszerhez a kívánt típusú lemezekkel - SAS, SATA vagy SSD, a tervezett terheléstől függően;
- FC kapcsolók hozzáadása után vásárolhat egy másik tárolórendszert, amely még nagyobb lemezkapacitást tesz lehetővé, és ha vásárol hozzá egy speciális Remote Replication opciót, akkor konfigurálhatja az adatreplikációt a tárolórendszerek között egy adatközpont határain belül és az adatközpontok között egyaránt. (de ez már túlmutat a cikk keretein);
- vannak harmadik szintű kapcsolók is - Cisco 3850, amelyek hibatűrő hálózati magként használhatók a belső hálózatok közötti nagy sebességű útválasztáshoz. Ez sokat segít a jövőben, hiszen a belső infrastruktúra bővül. A 3850-nek 10G portjai is vannak, amelyek később felhasználhatók a hálózati berendezések 10G-s sebességre való bővítésekor.
Mivel most sehol sincs virtualizáció, minden bizonnyal a trendben leszünk, annál is inkább, mert ez egy nagyszerű módja annak, hogy csökkentsük a drága szerverek beszerzésének költségeit az egyes infrastruktúraelemekhez (webszerverek, adatbázisok stb.), amelyek nem Alacsony terhelés esetén mindig optimálisak, és pontosan ez lesz a projektindítás elején.
Ezen kívül a virtualizációnak számos egyéb előnye is van, amelyek nagyon hasznosak lehetnek számunkra: VM hibatűrés hardverszerver meghibásodása esetén, élő migráció a fürt hardver csomópontjai között azok karbantartása érdekében, kézi vagy automatikus terheléselosztás a fürt csomópontjai között stb.
A vállalat által megvásárolt hardverhez egy magas rendelkezésre állású VMware vSphere fürt telepítése javasolható, de mivel a VMware bármely szoftvere a „lós” árcédulájáról ismert, teljesen ingyenes virtualizációkezelő szoftvert fogunk használni. , amely alapján egy jól ismert, de már kereskedelmi forgalomba hozott termék jön létre - .
Szoftver oVirt az infrastruktúra összes elemét egy egésszé kell egyesíteni, hogy kényelmesen dolgozhassunk a magas rendelkezésre állású virtuális gépekkel - ezek adatbázisok, webalkalmazások, proxyszerverek, egyensúlyozók, naplók és elemzések gyűjtésére szolgáló szerverek stb., azaz , miből áll vállalkozásunk webportálja.
Összegezve ezt a bevezetőt, a következő cikkek várnak ránk, amelyek a gyakorlatban mutatják be, hogy pontosan hogyan kell egy vállalat teljes hardver- és szoftverinfrastruktúráját telepíteni:
Cikkek listája
- Part 1. Felkészülés egy oVirt-fürt telepítésére 4.3.
- Part 2. oVirt fürt telepítése és konfigurálása 4.3.
- Part 3. VyOS fürt felállítása, hibatűrő külső útválasztás szervezése.
- Part 4. A Cisco 3850 verem beállítása, intranet útválasztás szervezése.
1. rész Felkészülés az oVirt 4.3-as fürt telepítésére
Alapvető gazdagép beállítás
Az operációs rendszer telepítése és konfigurálása a legegyszerűbb lépés. Sok cikk van arról, hogyan kell megfelelően telepíteni és konfigurálni az operációs rendszert, ezért nincs értelme megpróbálni valami exkluzív dolgot kiadni erről.
Tehát két Dell PowerEdge R640 gazdagépünk van, amelyekre telepítenünk kell az operációs rendszert, és el kell végeznünk az előzetes beállításokat, hogy hipervizorként használhassuk őket virtuális gépek futtatásához egy oVirt 4.3-as fürtben.
Mivel az ingyenes, nem kereskedelmi oVirt szoftvert tervezzük használni, az operációs rendszert választottuk a gazdagépek telepítéséhez 7.7 CentOS, bár lehetséges más operációs rendszerek telepítése az oVirt gazdagépeire:
- egy speciális RHEL-re épülő építmény, az ún. ;
- OS Oracle Linux 2019 nyár arról, hogy az oVirt fut rajta.
Az operációs rendszer telepítése előtt ajánlott:
- konfigurálja az iDRAC hálózati interfészt mindkét gazdagépen;
- frissítse a BIOS és az iDRAC firmware-jét a legújabb verziókra;
- konfigurálja a kiszolgáló rendszerprofilját, lehetőleg Teljesítmény módban;
- konfigurálja a RAID-et a helyi lemezekről (a RAID1 ajánlott) az operációs rendszer szerverre történő telepítéséhez.
Ezután telepítjük az operációs rendszert a korábban létrehozott lemezre az iDRAC-on keresztül - a telepítési folyamat normális, nincsenek benne különleges pillanatok. A szerverkonzolhoz hozzáférhet az operációs rendszer telepítésének elindításához az iDRAC-on keresztül is, bár semmi sem akadályozza meg, hogy monitort, billentyűzetet és egeret közvetlenül a szerverhez csatlakoztasson, és az operációs rendszert flash meghajtóról telepítse.
Az operációs rendszer telepítése után elvégezzük a kezdeti beállításokat:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1A szoftver alapkészletének telepítése
Az operációs rendszer kezdeti beállításához be kell állítania a kiszolgáló bármely hálózati interfészét, hogy hozzáférhessen az Internethez az operációs rendszer frissítéséhez és a szükséges szoftvercsomagok telepítéséhez. Ez megtehető mind az operációs rendszer telepítési folyamata során, mind azt követően.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet A fenti beállítások és szoftverkészletek mindegyike személyes preferencia kérdése, és ez a készlet csak ajánlás.
Mivel házigazdánk hipervizor szerepét tölti be, engedélyezzük a kívánt teljesítményprofilt:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host A teljesítményprofilról itt olvashat bővebben:”.
Az operációs rendszer telepítése után továbblépünk a következő részre - a hálózati interfészek konfigurálása a gazdagépeken és egy halom Cisco 2960X kapcsoló.
Cisco 2960X Switch Stack konfigurálása
Projektünkben a következő VLAN-számokat – vagy egymástól elkülönített broadcast tartományokat – használjuk a különböző típusú forgalom elkülönítésére:
VLAN 10 - Internet
VLAN 17 – Menedzsment (iDRAC, tárolás, kapcsolók kezelése)
VLAN 32 – VM termelési hálózat
VLAN 33 – összekötő hálózat (külső vállalkozóknak)
VLAN 34 – VM teszthálózat
VLAN 35 – VM fejlesztői hálózat
VLAN 40 – Monitoring hálózat
A munka megkezdése előtt adjunk egy diagramot L2 szinten, amelyhez végül el kell jutnunk:
Az oVirt gazdagépek és virtuális gépek egymással való hálózati interakciójához, valamint tárolórendszerünk kezeléséhez szükséges egy köteg Cisco 2960X kapcsolót konfigurálni.
A Dell gazdagépei beépített 4 portos hálózati kártyákkal rendelkeznek, ezért célszerű a Cisco 2960X-hez való csatlakozásukat hibatűrő hálózati kapcsolattal, a fizikai hálózati portok logikai interfészbe csoportosításával, valamint az LACP-vel (802.3) szervezni. ad) protokoll:
- a gazdagép első két portja bonding módban van konfigurálva, és a 2960X kapcsolóhoz csatlakozik - ez a logikai interfész lesz konfigurálva híd a gazdagép kezeléséhez, figyeléséhez és az oVirt-fürt más gazdagépeivel való kommunikációhoz szükséges címmel a virtuális gépek élő migrációjához is használható lesz;
- a gazdagép második két portja szintén bonding módban van konfigurálva, és a 2960X-hez csatlakozik - ezen a logikai interfészen az oVirt segítségével később (a megfelelő VLAN-okban) hidak jönnek létre, amelyekhez a virtuális gépek csatlakoznak.
- ugyanazon a logikai interfészen belül mindkét hálózati port aktív lesz, pl. a rajtuk lévő forgalom egyidejűleg, kiegyenlítő üzemmódban továbbítható.
- A fürtcsomópontok hálózati beállításainak pontosan azonosaknak kell lenniük, kivéve az IP-címeket.
Alapvető kapcsolóverem beállítása 2960X és portjai
Korábban a kapcsolóink a következők voltak:
- állványra szerelt;
- két speciális, szükséges hosszúságú kábellel csatlakoztatva, például CAB-STK-E-1M;
- csatlakoztatva a tápegységhez;
- a kezdeti konfigurációhoz a konzolporton keresztül csatlakoznak a rendszergazdai munkaállomáshoz.
Az ehhez szükséges útmutatás a címen érhető el gyártó.
A fenti lépések elvégzése után konfiguráljuk a kapcsolókat.
Azt, hogy az egyes parancsok mit jelentenek, ennek a cikknek a keretein belül nem szabad megfejteni, ha szükséges, minden információ önállóan megtalálható.
Célunk az, hogy gyorsan felállítsunk egy kapcsolóvermet, és csatlakoztassunk hozzá gazdagépeket és tárkezelési felületeket.
1) Csatlakozunk a főkapcsolóhoz, átlépünk a privilegizált módba, majd a konfigurációs módba, és elvégezzük az alapbeállításokat.
Alap kapcsoló konfiguráció:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Mentse el a konfigurációt a "" paranccsalwr mem"és indítsa újra a kapcsolóvermet a" paranccsalreload» a főkapcsolón 1.
2) A switch hálózati portjait hozzáférési módban (access) konfiguráljuk a VLAN 17-ben, a tárolórendszerek és az iDRAC szerverek vezérlő interfészeinek összekapcsolására.
A felügyeleti portok konfigurálása:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) A verem újratöltése után ellenőrizze, hogy megfelelően működik-e:
A verem működésének ellenőrzése:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) SSH-hozzáférés beállítása a 2960X veremhez
A verem SSH-n keresztüli távoli kezeléséhez az SVI-n (Switch virtuális interfész) konfigurált IP 172.20.1.10-et használunk. VLAN17.
Bár kívánatos egy dedikált portot használni a kapcsolón felügyeleti célokra, ez személyes preferencia és lehetőség kérdése.
Az SSH-hozzáférés beállítása a kapcsolóveremhez:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordÁllítson be jelszót a privilegizált módba való belépéshez:
enable secret *myenablepassword*
service password-encryptionAz NTP beállítása:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Állítsa be a logikai Etherchannel interfészt és a gazdagépekhez csatlakoztatott fizikai portokat. A konfigurálás megkönnyítése érdekében az összes elérhető VLAN engedélyezett minden logikai interfészen, de általában csak a szükséges konfigurálása javasolt:
Etherchannel interfészek konfigurálása:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeHálózati interfészek kezdeti konfigurálása virtuális gépekhez, gazdagépeken Vendég1 и Vendég2
Ellenőrizzük a kötés működéséhez szükséges modulok meglétét a rendszerben, telepítjük a hidak kezelésére szolgáló modult:
modinfo bonding
modinfo 8021q
yum install bridge-utilsA BOND1 logikai interfész konfigurálása virtuális gépekhez és fizikai interfészei a gazdagépeken:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no A verem beállításainak elvégzése után 2960H és hosts, indítsa újra a hálózatot a gazdagépeken, és ellenőrizze a logikai interfész működőképességét.
- a gazdagépen:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- a kapcsolókötvényen 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Hálózati interfészek kezdeti konfigurálása a fürterőforrások kezelésére a gazdagépeken Vendég1 и Vendég2
A BOND1 logikai interfész konfigurálása a gazdagépeken történő kezeléshez és fizikai interfészei:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no A verem beállításainak elvégzése után 2960H és hosts, indítsa újra a hálózatot a gazdagépeken, és ellenőrizze a logikai interfész működőképességét.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryÁllítson be egy felügyeleti hálózati interfészt minden beépített gazdagépen VLAN 17, és kösse a BOND1 logikai interfészhez:
A VLAN17 beállítása a Host1-en:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicA VLAN17 beállítása a Host2-en:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicÚjraindítjuk a hálózatot a gazdagépeken, és ellenőrizzük, hogy láthatóak-e egymás számára.
Ezzel befejeződött a Cisco 2960X switch stack konfigurálása, és ha minden helyesen történt, akkor most már az összes infrastruktúra elem hálózati kapcsolata van egymással L2 szinten.
Dell MD3820f tároló beállítása
A tárolórendszer konfigurálásával kapcsolatos munka megkezdése előtt azt már csatlakoztatni kell a Cisco kapcsolóveremhez 2960H kezelőfelületekre, valamint a gazdagépekre Vendég1 и Vendég2 FC-n keresztül.
A tárolórendszer kapcsolóveremhez való csatlakoztatásának általános sémáját az előző fejezetben adtuk meg.
A tárhely FC-n keresztüli hosztokhoz történő csatlakoztatásának sémája a következőképpen néz ki:
A csatlakozás során fel kell írni a tárolórendszer FC-portjaihoz csatlakoztatott FC HBA-állomások WWPN-címét - ez szükséges lesz a tárolórendszer LUN-okhoz való hoszt-kötésének későbbi konfigurálásához.
Töltse le és telepítse a Dell MD3820f tárolókezelő segédprogramot a rendszergazdai munkaállomásra - PowerVault moduláris lemeztárkezelő (MDSM).
Az alapértelmezett IP-címein keresztül csatlakozunk hozzá, majd konfiguráljuk a címeinket VLAN17, a vezérlők TCP/IP-n keresztüli kezelésére:
Tárolás1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2A címek beállítása után belépünk a tárkezelési felületre és beállítunk egy jelszót, beállítjuk az időt, frissítjük a firmware-t a vezérlőkhöz és a lemezekhez, ha szükséges, stb.
Ennek mikéntje van leírva tárolás.
A fenti beállítások elvégzése után csak néhány dolgot kell tennünk:
- Gazda FC port azonosítóinak konfigurálása - Gazdaport azonosítók.
- Hozzon létre egy fogadócsoportot − Gazdacsoport és adjuk hozzá a két Dell házigazdánkat.
- Hozzon létre egy lemezcsoportot és virtuális lemezeket (vagy LUN-okat), amelyeket bemutatunk a gazdagépeknek.
- Konfigurálja a virtuális lemezek (vagy LUN-ok) megjelenítését a gazdagépekhez.
Az új gazdagépek hozzáadása és a gazdagép FC-portok azonosítóinak hozzárendelése a menün keresztül történik - Gazdaleképezések -> Határozza -> Otthont ad…
Az FC HBA gazdagépeinek WWPN-címei megtalálhatók például a szerver iDRAC-jában.
Ennek eredményeként valami ehhez hasonló képet kell kapnunk:
Új gazdagépcsoport hozzáadása és gazdagépek hozzárendelése a menün keresztül történik - Gazdaleképezések -> Határozza -> Házigazda csoport…
Gazdagépek esetén válassza ki az operációs rendszer típusát - Linux (DM-MP).
A fogadócsoport létrehozása után a fülön keresztül Tárolási és másolási szolgáltatások, hozzon létre egy lemezcsoportot - Lemezcsoport, amelynek típusa a hibatűrés követelményeitől függ, például RAID10, és benne a szükséges méretű virtuális lemezek:
És végül az utolsó szakasz a virtuális lemezek (vagy LUN-ok) bemutatása a gazdagépek számára.
Ehhez a menün keresztül - Gazdaleképezések -> Holdtérképezés -> Add hozzá ... virtuális lemezeket a gazdagépekhez kötünk úgy, hogy számokat rendelünk hozzájuk.
Mindennek úgy kell kinéznie, mint ez a képernyőkép:
Itt fejezzük be a tárolás beállítását, és ha minden helyesen történt, akkor a gazdagépeknek látniuk kell az FC HBA-kon keresztül bemutatott LUN-okat.
Kényszerítsük a rendszert a csatlakoztatott meghajtók információinak frissítésére:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanNézzük meg, milyen eszközök láthatók szervereinken:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -A gazdagépeken további konfigurálást is végezhet többutas, és bár az oVirt telepítésekor ezt maga is meg tudja csinálni, jobb, ha előtte ellenőrizzük az MP helyességét.
A DM Multipath telepítése és konfigurálása
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Állítsa be az MP szolgáltatást automatikus indításra, és indítsa el:
systemctl enable multipathd && systemctl restart multipathdAz MP működéshez betöltött modulok információinak ellenőrzése:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256A meglévő többutas konfiguráció összefoglalásának megtekintése:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningMiután hozzáadott egy új LUN-t a tárolórendszerhez, és bemutatta a gazdagépnek, meg kell vizsgálnia a rajta lévő gazdagéphez csatlakoztatott HBA-kat.
systemctl reload multipathd
multipath -v2Végül pedig ellenőrizzük, hogy az összes LUN megjelent-e a gazdagépek tárolási rendszerében, és van-e két út mindegyikhez.
MP működési ellenőrzés:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningMint látható, a tárolórendszer mindhárom virtuális lemeze kétféleképpen látható. Így az összes előkészítő munka befejeződött, ami azt jelenti, hogy folytathatja a fő részt - az oVirt-klaszter felállítását, amelyet a következő cikkben tárgyalunk.
Forrás: will.com