Čitatelji su pozvani da se upoznaju s principima izgradnje infrastrukture otporne na greške za malo poduzeće unutar jednog podatkovnog centra, o čemu će biti detaljno riječi u kratkom nizu članaka.
prodromni
ispod podatkovni centar (Centar za obradu podataka) može se shvatiti kao:
- vlastiti stalak u vlastitoj "poslužiteljskoj sobi" na području poduzeća, koji ispunjava minimalne uvjete za pružanje opreme za napajanje i hlađenje, a također ima pristup internetu putem dva neovisna pružatelja;
- unajmljeni rack s vlastitom opremom, smješten u pravom podatkovnom centru – tzv. Tier III ili IV kolokacija koja jamči pouzdano napajanje, hlađenje i failover pristup internetu;
- potpuno iznajmljena oprema u Tier III ili IV podatkovnom centru.
Koju opciju smještaja odabrati - u svakom slučaju sve je individualno i obično ovisi o nekoliko glavnih čimbenika:
- zašto poduzeće uopće treba vlastitu IT infrastrukturu;
- što točno poduzeće želi od IT infrastrukture (pouzdanost, skalabilnost, upravljivost itd.);
- iznos početnog ulaganja u informatičku infrastrukturu, kao i vrstu troškova za to - kapitalne (što podrazumijeva kupnju vlastite opreme) ili operativne (oprema se obično iznajmljuje);
- horizont planiranja samog poduzeća.
Možete puno pisati o čimbenicima koji utječu na odluku poduzeća da kreira i koristi svoju IT infrastrukturu, ali naš cilj je pokazati u praksi kako stvoriti tu infrastrukturu tako da bude tolerantna na pogreške, a da se pritom još uvijek može uštedjeti novac - smanjiti troškove nabave komercijalnog softvera ili ih u potpunosti izbjeći.
Kao što duga praksa pokazuje, ne isplati se štedjeti na željezu, jer škrtac plaća dva puta, pa čak i mnogo više. Ali opet - dobar hardver, ovo je samo preporuka, a na kraju što točno kupiti i za koliko ovisi o mogućnostima poduzeća, ali i "pohlepi" njegovog menadžmenta. Štoviše, riječ "pohlepa" treba shvatiti u dobrom smislu riječi, budući da je bolje uložiti u hardver u početnoj fazi, kako kasnije ne biste imali ozbiljnih problema s njegovom daljnjom podrškom i skaliranjem, budući da početno pogrešno planiranje i pretjerana ušteda mogu dovesti do većih troškova u budućnosti nego kod pokretanja projekta.
Dakle, početni podaci za projekt:
- postoji poduzeće koje je odlučilo stvoriti vlastiti web portal i svoje aktivnosti prenijeti na internet;
- tvrtka je odlučila unajmiti stalak za smještaj svoje opreme u dobrom podatkovnom centru certificiranom prema standardu Tier III;
- tvrtka je odlučila ne štedjeti puno na hardveru i stoga je kupila sljedeću opremu s produženim jamstvom i podrškom:
Lista opreme
- dva fizička poslužitelja Dell PowerEdge R640 kako slijedi:
- dva Intel Xeon Gold 5120 procesora
- 512 Gb RAM
- dva SAS diska u RAID1, za instalaciju OS-a
- ugrađena 4-portna 1G mrežna kartica
- dvije 2-portne 10G mrežne kartice
- jedan 2-port FC HBA 16G.
- Dell MD2f 3820 kontrolera za pohranu spojen putem FC 16G izravno na Dell hostove;
- dva prekidača druge razine - Cisco WS-C2960RX-48FPS-L složeni;
- dva preklopnika treće razine - Cisco WS-C3850-24T-E, spojena u stog;
- Rack, UPS, PDU, konzolni poslužitelji - pruža podatkovni centar.
Kao što vidimo, postojeća oprema ima dobre izglede za horizontalno i vertikalno skaliranje, ako se poduzeće može natjecati s drugim tvrtkama sličnog profila na Internetu, te počne ostvarivati profit koji se može uložiti u širenje resursa za daljnju konkurenciju i rast profita.
Koju opremu možemo dodati ako tvrtka odluči povećati performanse našeg računalnog klastera:
- imamo veliku rezervu u pogledu broja portova na 2960X preklopnicima, što znači da možemo dodati više hardverskih poslužitelja;
- kupiti dva FC preklopnika za povezivanje sustava za pohranu podataka i dodatnih poslužitelja na njih;
- postojeće poslužitelje je moguće nadograditi - dodati memoriju, zamijeniti procesore učinkovitijima, spojiti se na 10G mrežu s postojećim mrežnim adapterima;
- sustavu za pohranu možete dodati dodatne police za diskove s potrebnom vrstom diskova - SAS, SATA ili SSD, ovisno o planiranom opterećenju;
- nakon dodavanja FC preklopnika, možete kupiti još jedan sustav za pohranu podataka kako biste dodali još više kapaciteta diska, a ako kupite posebnu opciju Remote Replication za to, možete konfigurirati replikaciju podataka između sustava za pohranu i unutar granica jednog podatkovnog centra i između podatkovnih centara (ali to je već izvan opsega članka);
- tu su i preklopnici treće razine - Cisco 3850, koji se mogu koristiti kao mrežna jezgra otporna na pogreške za brzo usmjeravanje između internih mreža. To će puno pomoći u budućnosti, kako interna infrastruktura bude rasla. 3850 također ima 10G priključke koji se mogu koristiti kasnije prilikom nadogradnje mrežne opreme na 10G brzinu.
Budući da sada bez virtualizacije nema nikuda, sigurno ćemo biti u trendu, tim više što je ovo izvrstan način da se smanje troškovi nabave skupih poslužitelja za pojedine elemente infrastrukture (web poslužitelji, baze podataka i sl.), koji nisu uvijek optimalno iskorišteni u slučaju malog opterećenja, a upravo to će se dogoditi na početku pokretanja projekta.
Osim toga, virtualizacija ima mnoge druge prednosti koje nam mogu biti vrlo korisne: tolerancija grešaka VM-a zbog kvara hardverskog poslužitelja, Live migration između hardverskih čvorova klastera za njihovo održavanje, ručna ili automatska raspodjela opterećenja između čvorova klastera, itd.
Za hardver koji je kupilo poduzeće, implementacija visoko dostupnog VMware vSphere klastera sugerira se sama po sebi, ali budući da je svaki softver iz VMware-a poznat po svojim "konjskim" cijenama, koristit ćemo apsolutno besplatan softver za upravljanje virtualizacijom - , na temelju kojeg nastaje poznati, ali već komercijalni proizvod - .
Softver oVirt potrebno je spojiti sve elemente infrastrukture u jednu cjelinu kako bi se mogao ugodno raditi s visoko dostupnim virtualnim strojevima - to su baze podataka, web aplikacije, proxy poslužitelji, balanseri, poslužitelji za prikupljanje logova i analitiku itd., odnosno ono od čega se sastoji web portal našeg poduzeća.
Sumirajući ovaj uvod, očekuju nas sljedeći članci koji će u praksi pokazati kako točno implementirati cjelokupnu hardversku i softversku infrastrukturu poduzeća:
Popis članaka
- Dio 1. Priprema za postavljanje oVirt klastera 4.3.
- Dio 2. Instalacija i konfiguracija oVirt klastera 4.3.
- Dio 3. Postavljanje VyOS klastera, organiziranje vanjskog usmjeravanja otpornog na greške.
- Dio 4. Postavljanje Cisco 3850 stacka, organiziranje intranetskog usmjeravanja.
Dio 1. Priprema za postavljanje oVirt 4.3 klastera
Osnovno postavljanje hosta
Instalacija i konfiguracija OS-a je najlakši korak. Postoji mnogo članaka o tome kako pravilno instalirati i konfigurirati OS, tako da nema smisla pokušavati dati nešto ekskluzivno o tome.
Dakle, imamo dva Dell PowerEdge R640 hosta na koje trebamo instalirati OS i izvršiti preliminarne postavke kako bismo ih koristili kao hipervizore za pokretanje virtualnih strojeva u klasteru oVirt 4.3.
Budući da planiramo koristiti besplatni nekomercijalni softver oVirt, odabrali smo OS za postavljanje hostova 7.7 CentOS, iako je moguće instalirati i druge operativne sustave na hostove za oVirt:
- posebna gradnja temeljena na RHEL-u, tzv. ;
- OS Oracle Linux ljeto 2019 o tome da oVirt radi na njemu.
Prije instaliranja OS-a preporučuje se:
- konfigurirajte iDRAC mrežno sučelje na oba hosta;
- ažurirajte firmware za BIOS i iDRAC na najnovije verzije;
- konfigurirajte sistemski profil poslužitelja, po mogućnosti u načinu rada Performance;
- konfigurirajte RAID s lokalnih diskova (preporučuje se RAID1) za instalaciju OS-a na poslužitelj.
Zatim instaliramo OS na disk stvoren ranije kroz iDRAC - proces instalacije je normalan, u njemu nema posebnih trenutaka. Također možete pristupiti konzoli poslužitelja kako biste pokrenuli instalaciju OS-a putem iDRAC-a, iako vas ništa ne sprječava da povežete monitor, tipkovnicu i miš izravno na poslužitelj i instalirate OS s flash pogona.
Nakon instalacije OS-a vršimo početne postavke:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instalacija osnovnog seta softvera
Za početno postavljanje OS-a, trebate konfigurirati bilo koje mrežno sučelje na poslužitelju tako da možete pristupiti Internetu za ažuriranje OS-a i instaliranje potrebnih softverskih paketa. To se može učiniti i tijekom postupka instalacije OS-a i nakon njega.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Sve gore navedene postavke i skup softvera stvar su osobnih preferencija, a ovaj skup je samo preporuka.
Budući da će naš host igrati ulogu hipervizora, omogućit ćemo željeni profil izvedbe:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Više o profilu izvedbe možete pročitati ovdje:”.
Nakon instalacije OS-a, prelazimo na sljedeći dio - konfiguriranje mrežnih sučelja na hostovima, te nizu Cisco 2960X preklopnika.
Konfiguriranje skupa preklopnika Cisco 2960X
U našem projektu koristit će se sljedeći VLAN brojevi - odnosno domene emitiranja međusobno izolirane, kako bi se odvojile različite vrste prometa:
VLAN 10 - Internet
VLAN 17 – Upravljanje (iDRAC, pohrana, upravljanje prekidačima)
VLAN 32 – VM proizvodna mreža
VLAN 33 – interkonekcijska mreža (vanjskim izvođačima)
VLAN 34 – VM testna mreža
VLAN 35 – VM razvojna mreža
VLAN 40 – nadzorna mreža
Prije početka rada dajmo dijagram na razini L2 do kojeg bismo na kraju trebali doći:
Za mrežnu interakciju oVirt hostova i virtualnih strojeva međusobno, kao i za upravljanje našim sustavom za pohranu podataka, potrebno je konfigurirati stog Cisco 2960X preklopnika.
Dell hostovi imaju ugrađene mrežne kartice s 4 porta, stoga je preporučljivo organizirati njihovu vezu s Cisco 2960X pomoću mrežne veze otporne na pogreške, koristeći grupiranje fizičkih mrežnih portova u logičko sučelje i LACP (802.3ad) protokol:
- prva dva porta na glavnom računalu su konfigurirana u načinu povezivanja i spojena na preklopnik 2960X - ovo logičko sučelje bit će konfigurirano most s adresom za host management, nadzor, komunikaciju s drugim hostovima u oVirt klasteru, također će se koristiti za Live migraciju virtualnih strojeva;
- druga dva porta na glavnom računalu također su konfigurirana u načinu povezivanja i spojena na 2960X - na ovom logičkom sučelju pomoću oVirt-a kasnije će se stvoriti mostovi (u odgovarajućim VLAN-ovima) na koje će se povezivati virtualni strojevi.
- oba mrežna priključka unutar istog logičkog sučelja bit će aktivna, tj. promet na njima može se prenositi istovremeno, u balansnom načinu rada.
- mrežne postavke na čvorovima klastera moraju biti potpuno iste, osim za IP adrese.
Osnovna postavka snopa prekidača 2960X i njegove luke
Prethodno bi naši prekidači trebali biti:
- montiran na stalak;
- spojen s dva posebna kabela potrebne duljine, na primjer, CAB-STK-E-1M;
- spojen na napajanje;
- povezani s radnom stanicom administratora preko konzolnog priključka za njihovu početnu konfiguraciju.
Potrebne smjernice za to dostupne su na proizvođač.
Nakon dovršetka gornjih koraka, konfiguriramo prekidače.
Što svaka naredba znači ne treba dešifrirati u okviru ovog članka, ako je potrebno, sve informacije mogu se pronaći zasebno.
Naš cilj je brzo postaviti preklopni stog i na njega povezati hostove i sučelja za upravljanje pohranom.
1) Spojimo se na glavnu sklopku, idemo u privilegirani način rada, zatim idemo u način konfiguracije i vršimo osnovne postavke.
Osnovna konfiguracija prekidača:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Spremite konfiguraciju naredbom "wr mem" i ponovno pokrenite stog prekidača naredbom "ponovno učitati» na glavnoj sklopki 1.
2) Konfiguriramo mrežne portove preklopnika u načinu pristupa (pristup) u VLAN 17, za povezivanje kontrolnih sučelja sustava za pohranu podataka i iDRAC poslužitelja.
Konfiguriranje upravljačkih portova:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Nakon ponovnog učitavanja hrpe, provjerite radi li ispravno:
Provjera funkcioniranja steka:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Postavljanje SSH pristupa 2960X stogu
Za daljinsko upravljanje stogom putem SSH-a koristit ćemo IP 172.20.1.10 konfiguriran na SVI (switch virtual interface) VLAN17.
Iako je poželjno koristiti namjenski namjenski priključak na preklopniku za potrebe upravljanja, to je stvar osobnih preferencija i mogućnosti.
Postavljanje SSH pristupa stogu prekidača:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordPostavite lozinku za ulazak u povlašteni način rada:
enable secret *myenablepassword*
service password-encryptionPostavite NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Postavite logička Etherchannel sučelja i fizičke priključke povezane s hostovima. Radi lakšeg konfiguriranja, svi dostupni VLAN-ovi bit će dopušteni na svim logičkim sučeljima, ali općenito se preporučuje konfigurirati samo ono što je potrebno:
Konfiguriranje Etherchannel sučelja:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activePočetna konfiguracija mrežnih sučelja za virtualne strojeve, na hostovima Domaćin1 и Domaćin2
Provjeravamo prisutnost modula potrebnih za rad spajanja u sustavu, ugrađujemo modul za upravljanje mostovima:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfiguriranje BOND1 logičkog sučelja za virtualne strojeve i njegovih fizičkih sučelja na hostovima:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Nakon dovršetka postavki na stogu 2960H i hostove, ponovno pokrenite mrežu na hostovima i provjerite operativnost logičkog sučelja.
- na domaćinu:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- na stogu prekidača 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Početna konfiguracija mrežnih sučelja za upravljanje resursima klastera, na hostovima Domaćin1 и Domaćin2
Konfiguracija BOND1 logičkog sučelja za upravljanje na hostovima i njegovih fizičkih sučelja:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Nakon dovršetka postavki na stogu 2960H i hostove, ponovno pokrenite mrežu na hostovima i provjerite operativnost logičkog sučelja.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryPostavite mrežno sučelje za upravljanje na svakom hostu VLAN 17, i povežite ga s logičkim sučeljem BOND1:
Konfiguriranje VLAN17 na Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfiguriranje VLAN17 na Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicPonovno pokrećemo mrežu na hostovima i provjeravamo njihovu međusobnu vidljivost.
Ovime je završena konfiguracija Cisco 2960X switch stack-a i ako je sve napravljeno kako treba sada imamo mrežnu povezanost svih infrastrukturnih elemenata međusobno na L2 razini.
Postavljanje pohrane za Dell MD3820f
Prije početka rada na konfiguriranju sustava za pohranu podataka, on već mora biti povezan s Cisco sklopom 2960H sučelja za upravljanje, kao i za hostove Domaćin1 и Domaćin2 putem FC-a.
Opća shema kako bi sustav za pohranu trebao biti spojen na stog preklopnika dana je u prethodnom poglavlju.
Shema za povezivanje pohrane putem FC-a s hostovima trebala bi izgledati ovako:
Tijekom povezivanja potrebno je zapisati WWPN adrese za FC HBA hostove spojene na FC portove na sustavu za pohranu - to će biti potrebno za naknadnu konfiguraciju vezanja hosta na LUN-ove na sustavu za pohranu.
Preuzmite i instalirajte Dell MD3820f uslužni program za upravljanje pohranom na administratorskoj radnoj stanici - PowerVault Modular Disk Storage Manager (MDSM).
Povezujemo se s njom putem njezine zadane IP adrese, a zatim konfiguriramo svoje adrese s nje VLAN17, za upravljanje kontrolerima putem TCP/IP-a:
Pohrana1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Nakon postavljanja adresa, idemo na sučelje za upravljanje pohranom i postavljamo lozinku, postavljamo vrijeme, ažuriramo firmware za kontrolere i diskove, ako je potrebno, itd.
Kako se to radi opisano je u skladištenje.
Nakon postavljanja gornjih postavki, trebamo učiniti samo nekoliko stvari:
- Konfigurirajte ID-ove FC porta hosta - Identifikatori porta glavnog računala.
- Stvorite grupu domaćina − grupa domaćina i tome dodajte naša dva Dell hosta.
- Napravite grupu diskova i virtualne diskove (ili LUN-ove) u njoj, koji će biti predstavljeni hostovima.
- Konfigurirajte prezentaciju virtualnih diskova (ili LUN-ova) za hostove.
Dodavanje novih hostova i vezivanje identifikatora FC portova hosta na njih vrši se putem izbornika - Preslikavanja domaćina -> Definirati -> Domaćini…
WWPN adrese FC HBA hostova mogu se pronaći, na primjer, u iDRAC-u poslužitelja.
Kao rezultat, trebali bismo dobiti nešto poput ove slike:
Dodavanje nove grupe hostova i povezivanje hostova s njom vrši se putem izbornika - Preslikavanja domaćina -> Definirati -> Grupa domaćina…
Za hostove odaberite vrstu OS-a - Linux (DM-MP).
Nakon stvaranja grupe domaćina, kroz karticu Usluge pohrane i kopiranja, stvorite grupu diskova - Grupa diskova, s tipom koji ovisi o zahtjevima za toleranciju grešaka, na primjer, RAID10, au njemu virtualni diskovi potrebne veličine:
I konačno, posljednja faza je prezentacija virtualnih diskova (ili LUN-ova) za hostove.
Da biste to učinili, kroz izbornik - Preslikavanja domaćina -> Lun mapiranje -> Dodaj ... povezujemo virtualne diskove s hostovima dodjeljujući im brojeve.
Sve bi trebalo izgledati kao na ovoj snimci zaslona:
Ovdje završavamo s postavljanjem pohrane i ako je sve učinjeno ispravno, domaćini bi trebali vidjeti LUN-ove koji su im prikazani putem svojih FC HBA-ova.
Prisilimo sustav da ažurira informacije o povezanim pogonima:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanPogledajmo koji su uređaji vidljivi na našim poslužiteljima:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Na hostovima također možete dodatno konfigurirati višestaznog, a iako to može učiniti sam prilikom instalacije oVirt-a, bolje je prethodno provjeriti ispravnost MP-a.
Instalacija i konfiguracija DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Postavite MP uslugu na automatsko pokretanje i pokrenite je:
systemctl enable multipathd && systemctl restart multipathdProvjera podataka o učitanim modulima za MP rad:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Pregled sažetka postojeće višestruke konfiguracije:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningNakon što dodate novi LUN u sustav za pohranu i predstavite ga glavnom računalu, trebate skenirati HBA spojene na glavno računalo na njemu.
systemctl reload multipathd
multipath -v2I na kraju, provjeravamo jesu li svi LUN-ovi predstavljeni na sustavu za pohranu za hostove i postoje li dva puta do svih.
MP provjera rada:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningKao što vidite, sva tri virtualna diska na sustavu za pohranu vidljiva su na dva načina. Time su svi pripremni radovi završeni, što znači da možete prijeći na glavni dio - postavljanje oVirt klastera, o čemu će biti riječi u sljedećem članku.
Izvor: www.habr.com