Kedves olvasók, ismerkedjenek meg azzal az alapelvekkel, amelyek egy kisebb vállalat megbízható infrastruktúrájának felépítésére vonatkoznak egy adatközpont keretein belül, ezeket részletesen bemutatjuk egy kisebb cikksorozatban.
Bevezető rész
A datacentert (Adatfeldolgozó Központ) az alábbiakat jelentheti:
- saját állvány a vállalat területén található "szerver szobában", amely megfelel a minimális követelményeknek az áramellátás és a berendezések hűtésének biztosítására, valamint internet-hozzáféréssel rendelkezik két független szolgáltatón keresztül;
- bérelt rack saját berendezéssel az adott adatközpontban – az ún. collocation, amely megfelel a Tier III vagy IV szabványoknak, és amely biztosítja a megbízható áramellátást, hűtést és a megbízható internet-hozzáférést;
- teljesen bérelt berendezés egy Tier III vagy IV adatközpontban.
Melyik elhelyezési módot válassza – ez minden esetben egyedi, és általában több alapvető tényezőtől függ:
- mire van szüksége a vállalatnak az saját IT infrastruktúrával;
- mit vár el a vállalat az IT infrastruktúrától (megbízhatóság, skálázhatóság, kezelhetőség stb.);
- az IT infrastruktúrába történő kezdeti befektetések nagysága, valamint hogy milyen típusú költségekkel jár – tőkeköltségek (vagyis saját berendezés vásárlása), vagy működési költségek (a berendezés általában bérelve van);
- a vállalat tervezési horizontjának függvényében.
Sok mindent lehetne írni a vállalatokra ható tényezőkről az IT infrastruktúrájuk létrehozása és használata kapcsán, de célunk az, hogy gyakorlati példákon keresztül bemutassuk, hogyan lehet létrehozni olyan infrastruktúrát, amely megbízható, és emellett költséghatékony is – csökkentve a kereskedelmi szoftverek beszerzésére fordított kiadásokat, vagy akár teljesen elkerülve azokat.
A hosszú tapasztalat azt mutatja, hogy az eszközökön spórolni nem érdemes, mert aki sajnálja a pénzt, többször fizet, sőt, sokkal többet. De ismétlem - a jó eszközök csupán ajánlás, és végső soron, hogy mit vásárolunk és mennyiért, a vállalat lehetőségeitől és vezetősége "spórolásának" mértékétől függ. Ráadásul a "spórolás" szót jó értelemben kell értelmezni, hiszen jobb kezdetben investálni az eszközökbe, hogy később ne legyenek komoly problémák a fenntartásukkal és a skálázásukkal, mert az elején elrontott tervezés és a túlzott spórolás a jövőben sokkal nagyobb költségekhez vezethet, mint a projekt elindításakor.
Íme a projekt kiindulópontjai:
- van egy vállalat, amely úgy döntött, hogy saját webportált létrehoz és tevékenységét az internetre viszi;
- a vállalat úgy döntött, hogy bérbe veszi a racket a saját berendezésének elhelyezésére egy jó minőségű adatközpontban, amely Tier III szabványnak van tanúsítva;
- a vállalat nem akarta spórolni az eszközöket, ezért a következő, kiterjesztett garanciákkal és támogatással rendelkező berendezést vásárolt:
Berendezés lista
- két Dell PowerEdge R640 fizikai kiszolgáló a következő összetevőkkel:
- két Intel Xeon Gold 5120 processzor
- 512 Gb RAM
- két SAS meghajtó RAID1-ben az operációs rendszer telepítésére
- beépített 4-portos 1G hálózati kártya
- két 2-portos 10G hálózati kártya
- egy 2-portos 16G FC HBA.
- két kontrolleres Dell MD3820f SANS, közvetlenül FC 16G-n keresztül csatlakoztatva a Dell hosztokhoz;
- két Cisco WS-C2960RX-48FPS-L második szintű switch, stack-be összekapcsolva;
- két Cisco WS-C3850-24T-E harmadik szintű switch, stack-be összekapcsolva;
- A rack, UPS, PDU, konzol szerverek — az adatközpont biztosítja őket.
Ahogy látjuk, a meglévő berendezések jó lehetőségeket kínálnak a horizontális és vertikális skálázásra, ha a vállalat képes versenyezni hasonló profilú más cégekkel az interneten, és elkezd nyereséget termelni, amelyet a további versenyképesség növelésére és a nyereség növelésére lehet befektetni.
Milyen berendezéseket adhatunk hozzá, ha a vállalat úgy dönt, hogy növelni akarja a számítási klaszterünk teljesítményét:
- nagy tartalékunk van a 2960X switch-ek portjaiban, tehát további hardveres kiszolgálókat lehet hozzáadni;
- két FC switch vásárlása, hogy csatlakoztathassuk hozzájuk a tárolórendszert és további szervereket;
- a meglévő szerverek frissítése – memória hozzáadása, processzorok cseréje nagyobb teljesítményűekre, a már meglévő hálózati adapterekkel való 10G-os hálózatra csatlakozás;
- a tárolórendszerhez további lemeztárolók csatlakoztatása lehetséges, szükséges lemeztípusokkal – SAS, SATA vagy SSD, a tervezett terheléstől függően;
- az FC switch-ek hozzáadása után egy újabb tárolórendszer vásárlása is lehetséges, hogy még több lemezkapacitást adjunk hozzá, és ha ehhez megvásároljuk a Remote Replication speciális opciót, akkor az adatok replikálása beállítható a tárolórendszer között mind egy adatközpont keretein belül, mind adatközpontok között (de ez már a cikk határain kívül esik);
- a harmadik szintű switch-ek is rendelkezésre állnak – Cisco 3850, amelyeket a hálózat megbízható magjaként felhasználhatunk, a belső hálózatok közötti nagysebességű irányításhoz. Ez nagyon hasznos lesz a jövőben, ahogy a belső infrastruktúra növekszik. A 3850-nek 10G portjai is vannak, amelyeket később lehet használni a hálózati berendezések 10G sebességre történő frissítésekor.
Mivel a virtualizáció ma már elengedhetetlen, természetesen mi is a trendeknek megfelelően haladunk, hiszen ez nagyszerű módja a költségek csökkentésének drága szerverek beszerzése helyett, a különböző infrastruktúraelemekhez (webszerverek, adatbázisok stb.), amelyek nem mindig optimálisan használják ki a terhelést alacsony igénybevétel esetén, és pontosan így fog történni a projekt kezdetén.
Ráadásul a virtualizációnak számos egyéb előnye is van, amelyekre szükségünk lehet: a VM-ek megbízhatósága a hardveres szerver meghibásodása esetén, élő migráció a klaszter hardveres csomópontjai között karbantartás céljából, terhelés elosztása manuálisan vagy automatikusan a klaszter csomópontjai között stb.
A vállalat által beszerzett hardverhez logikus egy VMware vSphere magas rendelkezésre állású klasztert telepíteni, de mivel a VMware szoftverek híresek az „elrugaszkodott” áraikról, ezért mi egy teljesen ingyenes virtualizációs menedzsment szoftvert fogunk használni – , amely alapján egy ismert, de már kereskedelmi termék jön létre — .
Szoftver oVirt szükséges minden infrastruktúraelem összekapcsolásához egy egységes rendszerré, hogy kényelmesen dolgozhassunk a magas rendelkezésre állású virtuális gépekkel – ezek közé tartoznak az adatbázisok, webalkalmazások, proxy szerverek, terheléselosztók, loggyűjtő és elemző szerverek stb., amelyekből áll a vállalatunk webportálja.
Összegzéssel zárva ezt az bevezetőt, a következő cikkek várnak ránk, amelyek gyakorlatban bemutatják, hogyan is kell telepíteni a vállalat teljes hardver-szoftver infrastruktúráját:
Cikkek listája
- 1. rész. Előkészületek az oVirt 4.3 klaszter telepítéséhez.
- 2. rész. Az oVirt 4.3 klaszter telepítése és beállítása.
- 3. rész. A VyOS klaszter beállítása, a külső forgalomirányítás redundanciájának megszervezése.
- 4. rész. A Cisco 3850 stack beállítása, a belföldi forgalomirányítás megszervezése.
1. rész. Az oVirt 4.3 klaszter telepítésének előkészületei
Alapvető hosztbeállítások
Az operációs rendszer telepítése és beállítása a legegyszerűbb szakasz. Rengeteg cikk létezik arról, hogyan kell helyesen telepíteni és beállítani az operációs rendszert, így nincs értelme próbálkozni valami exkluzív tartalom előállításával e tekintetben.
Tehát rendelkezésünkre áll két Dell PowerEdge R640 hoszt, amelyekre telepítenünk kell az operációs rendszert és elvégezni az előzetes beállításokat, hogy hipervizorként használhassuk őket az oVirt 4.3 klaszterben.
Mivel ingyenes, nem kereskedelmi célú oVirt szoftvert tervezünk használni, ezért a hosztok telepítéséhez az operációs rendszer CentOS 7.7, bár oVirt-ra más operációs rendszerek is telepíthetők a hosztokra:
- RHEL alapú, különleges kiadás, az úgynevezett ;
- Oracle Linux OS, 2019 nyarán az oVirt támogatását.
Az operációs rendszer telepítése előtt ajánlott:
- beállítani az iDRAC hálózati interfészt mindkét hoszton;
- frissíteni a BIOS-t és az iDRAC firmware-jét a legújabb verzióra;
- a rendszerprofil beállítása a szerver teljesítmény üzemmódjában;
- beállítani a RAID-et a helyi lemezekből (ajánlott RAID1), az operációs rendszer szerverre történő telepítése érdekében.
Ezután telepítjük az operációs rendszert az iDRAC-on keresztül előkészített lemezre – a telepítési folyamat standard, nincs benne semmi különleges. Az operációs rendszer telepítése előtt a szerver konzoljához is hozzáférhetünk iDRAC-on keresztül, bár semmi nem akadályozza meg, hogy közvetlenül a szerverhez csatlakoztassunk monitort, billentyűzetet és egeret, és egy "flash"-ról telepítsük az operációs rendszert.
Az operációs rendszer telepítése után elvégezzük annak kezdeti beállításait:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Alap szoftvercsomag telepítése
Az operációs rendszer kezdeti beállításához konfigurálni kell bármelyik hálózati interfészt a szerveren, hogy hozzáférést nyújtson az Internethez az operációs rendszer frissítéséhez és a szükséges szoftvercsomagok telepítéséhez. Ezt megtehetjük az operációs rendszer telepítése során vagy után.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet A fenti beállítások és szoftvercsomagok személyes preferenciák kérdései, és ez a készlet csupán ajánlás.
Mivel a hosztunk hypervisor szerepet fog betölteni, aktíváljuk a szükséges teljesítményprofilt:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host További információt a teljesítményprofilról itt olvashat: „«.
Az operációs rendszer telepítése után lépjünk a következő részhez – a hálózati interfészek konfigurálásához a hosztokon és a Cisco 2960X switchstacken.
Cisco 2960X switchstack konfigurációja
Projektünkben a következő VLAN számokat fogjuk használni — vagyis azok a széles sugárzási domainek, amelyek elkülönítve vannak egymástól, a különböző forgalmak elválasztása érdekében:
VLAN 10 – Internet
VLAN 17 – Menedzsment (iDRAC, tároló, switch menedzsment)
VLAN 32 – VM gyártási hálózat
VLAN 33 – összekötő hálózat (külső vállalkozókhoz)
VLAN 34 – VM teszt hálózat
VLAN 35 – VM fejlesztői hálózat
VLAN 40 – Monitoring hálózat
A munkák megkezdése előtt készítsünk egy L2 szintű sémát, amelyhez végül el kell jutnunk:
Az oVirt hosztok és a virtuális gépek közötti hálózati interakcióhoz, valamint a tárolónk menedzseléséhez szükséges a Cisco 2960X switchstack konfigurálása.
A Dell hosztok beépített 4 portos hálózati kártyákkal rendelkeznek, így érdemes a Cisco 2960X-hez való csatlakozást megbízható hálózati kapcsolati formában megszervezni, fizikailag a hálózati portok csoportosításával logikai interfésszé, és az LACP (802.3ad) protokollal:
- az első két port a hoszton bonding üzemmódban van beállítva, és a 2960X switchhez csatlakozik – ezen a logikai interfészen be lesz állítva híd a hoszt kezelése, a monitorozás és a többi hoszttal való kapcsolat fenntartásának címéhez, valamint a virtuális gépek élő migrációra is használják;
- a hoszt második két portja is kötéstechnikában van beállítva és egy 2960X-hez csatlakozik – ezen a logikai interfészen az oVirt segítségével híd (bridge) jön létre a megfelelő VLAN-okba, amelyekhez a virtuális gépek csatlakozni fognak.
- a két hálózati port egy logikai interfészen belül aktív lesz, azaz a forgalom egyszerre áramolhat rajtuk, egyensúlyozási módban.
- A klaszter csomópontjainak hálózati beállításainak ABSZOLÚT MEGFELELŐEKNEK KELL LENNIÜK, a IP-címek kivételével.
A kapcsolók alapbeállítása 2960X és portjai
Előzetesen a kapcsolóinknak a következőképpen kell lenniük:
- szerelve a rackbe;
- két speciális, szükséges hosszúságú kábel segítségével csatlakoztatva, például CAB-STK-E-1M;
- áramellátásra csatlakoztatva;
- az adminisztrátor munkaállomásához csatlakoztatva a konzolporton, a kezdeti konfiguráció elkészítéséhez.
A szükséges útmutató a következő helyen található: a gyártó.
A fenti lépések elvégzése után a kapcsolók konfigurálását hajtsuk végre.
A parancsok jelentőségének magyarázatát a cikk keretein belül nem tervezzük, szükség esetén az összes információt magunk is megtalálhatjuk.
Célunk az, hogy a lehető leggyorsabban beállítsuk a kapcsolóstacket, és csatlakoztassuk hozzá a hosztokat és a vezérlőfelületeket.
1) Csatlakozunk a fő kapcsolóhoz, belépünk a privilegizált módba, majd a konfigurálási módra váltunk, és elvégezzük az alapbeállításokat.
A kapcsoló alap konfigurációja:
engedélyez
konfigurálás terminál
gazdagép 2960X
nincs szolgáltatás pad
szolgáltatás időbélyeg elküldése dátum és idő msec
szolgáltatás időbélyeg naplózás dátum és idő helyi időzóna megjelenítése msec
nincs szolgáltatás jelszó titkosítás
szolgáltatás sorozatszámok
switch 1 prioritás 15
switch 2 prioritás 14
stack-mac tartós időzítő 0
óra időzóna MSK 3
vtp mód átlátszó
ip alháló-zéró
vlan 17
név Menedzsment
vlan 32
név PROD
vlan 33
név Interconnect
vlan 34
név Teszt
vlan 35
név Fejlesztés
vlan 40
név Megfigyelés
spanning-tree mód gyors-pvst
spanning-tree etherchannel őrző hibás konfiguráció
spanning-tree portfast bpduguard alapértelmezett
spanning-tree kiterjesztett rendszer-azonosító
spanning-tree vlan 1-40 gyökér elsődleges
spanning-tree hurokőrző alapértelmezett
vlan belső allokációs politika növekvő
port-channel terheléselosztás src-dst-ip
errdisable helyreállítási ok loopback
errdisable helyreállítási ok bpduguard
errdisable helyreállítási intervallum 60
sor con 0
munkamenet-időtúllépés 60
végrehajtási időtúllépés 60 0
naplózás szinkronizált
sor vty 5 15
munkamenet-időtúllépés 60
végrehajtási időtúllépés 60 0
naplózás szinkronizált
ip http szerver
ip http biztonságos-szerver
nincs vstack
interfész Vlan1
nincs ip cím
állj le
kilépés
Mentjük a konfigurációt a "wr mem" parancs használatával, majd újraindítjuk a kapcsolót a "reload" parancsot a vezető kapcsolón (switch 1).
2) Beállítjuk a kapcsoló hálózati portjait hozzáférési (access) módba a VLAN 17-re, hogy csatlakoztathassuk a tároló eszközök és iDRAC szerverek kezelői felületeit.
A kezelőportok beállítása:
interfész GigabitEthernet1/0/5
leírás iDRAC - host1
switchport hozzáférés vlan 17
switchport mód hozzáférés
spanning-tree portfast edge
interfész GigabitEthernet1/0/6
leírás Storage1 - Cntr0/Eth0
switchport hozzáférés vlan 17
switchport mód hozzáférés
spanning-tree portfast edge
interfész GigabitEthernet2/0/5
leírás iDRAC - host2
switchport hozzáférés vlan 17
switchport mód hozzáférés
spanning-tree portfast edge
interfész GigabitEthernet2/0/6
leírás Storage1 – Cntr1/Eth0
switchport hozzáférés vlan 17
switchport mód hozzáférés
spanning-tree portfast edge
kilépés3) Az újraindítás után ellenőrizzük, hogy a stack rendesen működik:
A stack működésének ellenőrzése:
2960X#show switch stack-ring speed
Stack Ring Sebesség: 20G
Stack Ring Konfiguráció: Teljes
Stack Ring Protokoll: FlexStack
2960X#show switch stack-ports
Kapcsoló # 1. Port 2. Port
-------- ------ ------
1 Rendben Rendben
2 Rendben Rendben
2960X#show switch neighbors
Kapcsoló # 1. Port 2. Port
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Kapcsoló/Stack Mac Cím: 0cd0.f8e4.XXXX
Mac tartósság várakozási idő: Határozatlan
H/W Jelenlegi
Kapcsoló# Szerep Mac Cím Prioritás Verzió Állapot
----------------------------------------------------------
*1 Mester 0cd0.f8e4.XXXX 15 4 Kész
2 Tag 0029.c251.XXXX 14 4 Kész
Stack Port Állapot Szomszédok
Kapcsoló# 1. Port 2. Port 1. Port 2. Port
--------------------------------------------------------
1 Rendben Rendben 2 2
2 Rendben Rendben 1 14) SSH hozzáférés beállítása a stack-hez (2960X)
A stack távoli kezeléséhez SSH-n keresztül a 172.20.1.10 IP-t fogjuk használni, amely a SVI-n (switch virtual interface) van beállítva. VLAN17.
Bár a menedzsment célokra előnyös egy dedikált port használata a kapcsolón, ez a személyes preferenciák és lehetőségek kérdése.
SSH hozzáférés beállítása a kapcsoló stackhez:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordA belépési jelszó beállítása az ügyviteli módban:
enable secret *myenablepassword*
service password-encryptionNTP beállítása:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Logikai Etherchannel interfészek és a gazdagépekhez csatlakozó fizikai portok beállítása. Az egyszerű konfiguráció érdekében az összes létező VLAN engedélyezve lesz minden logikai interfészen, de általában ajánlott csak azt beállítani, ami szükséges:
Etherchannel interfészek beállítása:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeA hálózati interfészek elsődleges beállítása a virtuális gépeken, a hosztokon Host1 és Host2
Ellenőrizzük a szükséges modulok meglétét a bundling működéséhez a rendszerben, telepítjük a hídkezelő modult:
modinfo bonding
modinfo 8021q
yum install bridge-utilsA hosztokon a BOND1 logikai interfész beállítása a virtuális gépekhez, valamint a fizikai interfészeké:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - kezelés
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - kezelés
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - kezelés
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no A beállítások befejezésével a stackban 2960X és a hosztokon újraindítjuk a hálózatot, és ellenőrizzük a logikai interfész működését.
- a hoszton:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (2011. április 27.)
Bonding Mode: IEEE 802.3ad Dinamikus link aggregáció
Küldési Hash Politika: layer2+3 (2)
MII Állapot: aktív
MII Ellenőrzési Intervallum (ms): 100
Fent késlekedés (ms): 0
Lent késlekedés (ms): 0
...
802.3ad info
LACP sebesség: gyors
Min hivatkozások: 0
Aggregator kiválasztási politika (ad_select): stabil
Rendszer prioritás: 65535
...
Slave Interface: em2
MII Állapot: aktív
Sebesség: 1000 Mbps
Duplex: teljes
...
Slave Interface: em3
MII Állapot: aktív
Sebesség: 1000 Mbps
Duplex: teljes- a switch stackben 2960X:
2960X#show lacp internal
Flags: S - Az eszköz lassú LACPDUs-t kér
F - Az eszköz gyors LACPDUs-t kér
A - Az eszköz aktív módban van P - Az eszköz passzív módban van
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - leállt P - bundlolt a port-channelben
I - önálló s - felfüggesztett
H - Hot-standby (csak LACP)
R - Layer3 S - Layer2
U - használatban N - nem használatban, nincs aggregáció
f - nem tudta allokálni az aggregátort
M - nem használatban, minimális hivatkozások nem teljesültek
m - nem használatban, a port nem aggregált a minimális hivatkozások miatt
u - nem alkalmas bundling-ra
w - aggregálásra vár
d - alapértelmezett port
A - Auto LAG által létrehozva
Használatban lévő channel-csoportok száma: 11
Aggregátorok száma: 11
Csoport Port-channel Protokoll Portok
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)A hálózati interfészek elsődleges beállítása a klaszter erőforrásainak kezelésére, a hosztokon Host1 és Host2
A hosztokon a BOND1 logikai interfész beállítása a kezeléshez, valamint a fizikai interfészeké:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#LEÍRÁS - kezelés
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#LEÍRÁS - kezelés
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#LEÍRÁS - kezelés
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no A beállítások befejezésével a stackban 2960X és a hosztokon újraindítjuk a hálózatot, és ellenőrizzük a logikai interfész működését.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryBeállítjuk a kezelő hálózati interfészt minden hoston a VLAN 17, és hozzákötjük a logikai interfészhez BOND1:
VLAN17 beállítása Host1-en:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicVLAN17 beállítása Host2-n:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicÚjraindítjuk a hálózatot a hosztokon, és ellenőrizzük, hogy láthatók-e egymás között.
Ezzel befejeződik a Cisco 2960X switchrendszer beállítása, és ha minden helyesen történt, most már L2 szinten van hálózati kapcsolat az infrastruktúra minden elem között.
Dell MD3820f tároló rendszer beállítása
A tároló rendszer beállítása előtt már csatlakoztatva kell lennie a Cisco switchrendszerhez. 2960X kezelő interfészek, valamint a hosztok Host1 és Host2 FC-n keresztül.
A tároló rendszer csatlakoztatásának általános vázlata a korábbi fejezetben szerepelt.
A tároló rendszer FC-n való csatlakozásának vázlata a hosztokhoz így kell kinéznie:
A csatlakozás során szükséges rögzíteni a WWPN címeket a FC HBA hosztok számára, amelyek a tároló rendszer FC portjaihoz kapcsolódnak – erre szükség lesz a hosztok LUN-hoz való hozzárendelésének későbbi beállításához.
A kezelési munkaállomásra letöltjük és telepítjük a Dell MD3820f tároló kezelésére szolgáló szoftvert – PowerVault Modular Disk Storage Manager (MDSM).
Csatlakozunk a tárolóhoz az alapértelmezett IP-címeken keresztül, majd beállítjuk a címeinket a VLAN17, a vezérlők TCP/IP-n keresztüli kezeléséhez:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2A címek beállítása után belépünk a tároló kezelőfelületére, ahol beállítjuk a jelszót, a pontos időt, frissítjük a vezérlők és tárolók firmware-jét, ha szükséges, stb.
Hogyan történik ez – részletezve van a TÁRHELY.
A fenti beállítások elvégzése után csak néhány lépést kell megtennünk:
- Host FC port azonosítók beállítása – Host Port Identifiers.
- Hostcsoport létrehozása – Host group és hozzáadni a két Dell hostunkat.
- Létre kell hozni egy lemezcsoportot és benne virtuális lemezeket (vagy LUN-okat), amelyeket a hostoknak prezentálunk.
- A virtuális lemezek (vagy LUN-ok) prezentálása a hostok számára.
Új hostok hozzáadása és az FC port azonosítók hozzárendelése a menün keresztül – Host Mappings -> Definiálja -> Hostok…
A hostok WWPN címei a szerver iDRAC-jában találhatók például.
Ennek eredményeként körülbelül ilyen képnek kell lennie:
Új hostcsoport hozzáadása és a hostok hozzárendelése a menün keresztül – Host Mappings -> Definiálja -> Host Group…
A hostok számára válasszuk ki a OS típust – Linux (DM-MP).
A hostcsoport létrehozása után a Storage & Copy Services, létrehozzuk a lemezcsoportot – Disk Group, a megfelelő megbízhatósági követelményeknek megfelelő típusban, például RAID10, és benne a szükséges méretű virtuális lemezek:
És végül, az utolsó lépés — a virtuális lemezek (vagy LUN-ok) prezentálása a hostok számára.
Ehhez a menün keresztül – Host Mappings -> Lun mapping -> Add… hozzárendeljük a virtuális lemezeket a hostokhoz, számokat rendelünk hozzájuk.
Mindeznek úgy kell megvalósulnia, mint ezen a képernyőképen:
Ezzel befejezzük a TÁRHELY konfigurálását, és ha mindent helyesen végeztünk el, akkor a hostoknak látniuk kell az általuk prezentált LUN-okat az FC HBA-jukon keresztül.
Frissítsük a rendszer információját a csatlakoztatott lemezekről:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanNézzük meg, hogy milyen eszközök láthatók a szervereinken:
cat /proc/scsi/scsi
Csatlakoztatott eszközök:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Gyártó: DELL Modell: PERC H330 Mini Rev: 4.29
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Gyártó: DELL Modell: Universal Xport Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Gyártó: DELL Modell: MD38xxf Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Gyártó: DELL Modell: Universal Xport Rev: 0825
Típus: Közvetlen hozzáférés ANSI SCSI revízió: 05
lsscsi
[0:2:0:0] lemez DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] lemez DELL MD38xxf 0825 -
[15:0:0:1] lemez DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] lemez DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] lemez DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] lemez DELL Universal Xport 0825 -
[18:0:0:0] lemez DELL MD38xxf 0825 -
[18:0:0:1] lemez DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] lemez DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] lemez DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] lemez DELL Universal Xport 0825 -A hostoknál további beállításokat is lehet konfigurálni multipath, és bár az oVirt telepítésekor ezt maga is elvégezheti, jobb előre ellenőrizni a MP működését.
DM Multipath telepítése és konfigurálása
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Beállítjuk a MP szolgáltatást automatikus indításra és elindítjuk:
systemctl enable multipathd && systemctl restart multipathdInformáció ellenőrzése a betöltött modulokról a MP működéséhez:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Tekintse meg a jelenlegi multipath konfiguráció összesítő információját:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningÚj LUN hozzáadása a tárolórendszerhez, és annak bemutatása a gazdagépnek során szükséges, hogy a csatlakoztatott HBA-kat beolvassák.
systemctl reload multipathd
multipath -v2Végül ellenőrizzük, hogy minden LUN meg van-e jelenítve a tárolórendszeren a gazdagépek számára, és hogy mindkét útvonal biztosított-e.
MP működésének ellenőrzése:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningLátható, hogy mindhárom virtuális lemez a tárolórendszeren két útvonalon keresztül látható. Így az összes szükséges előkészület megtörtént, tehát áttérhetünk az alapvető rész végrehajtására - az oVirt klaszter beállítására, amelyet a következő cikkben tárgyalunk.
Forrás: habr.com
