Lugege tähelepanu, et pakume tutvuda väikese ettevõtte talitlusekindla infrastruktuuri loomise põhimõtetega ühes andmekeskuses, millest räägitakse üksikasjalikult väikese artiklite tsüklis.
Sissejuhatus
Pod Andmekeskus (Andmete Töötlemise Keskus) võib tähendada:
- oma riiulit oma "serveriruumis" ettevõtte territooriumil, mis vastab minimaalsetele nõudmistele seadmete toite- ja jahutusteenuste tagamiseks ning mis omab internetiühendust kahe sõltumatu teenusepakkuja kaudu;
- renditud riiul koos oma seadmetega, mis asub tegelikus andmekeskuses – nn kolokatsioonis, mis vastab Tier III või IV standardile, ja kus tagatakse usaldusväärne toitevarustus, jahutus ning tagatakse talitlusekindel internetiühendus;
- täielikult renditud seadmed andmekeskuses Tier III või IV.
Millist paigutuse varianti valida – see on iga juhtumi puhul individuaalne ja sõltub tavaliselt mitmest põhitegurist:
- milleks vajab ettevõte oma IT infrastruktuuri;
- mida ettevõte IT infrastruktuurilt soovib (usaldusväärsus, skaleeritavus, haldamisvõime jne);
- algsete investeeringute mahust IT infrastruktuuri, samuti millised on selle jaoks kulud – kapitalikulukas (mis tähendab oma seadmete ostmist) või tegevuskulud (seadmed renditakse tavaliselt);
- ettevõtte planeerimise horisondist.
Ettevõtte otsustusprotsessist IT infrastruktuuri loomise ja kasutamise osas võib kirjutada palju, kuid meie eesmärk on näidata praktikas, kuidas luua just selline infrastruktuur, et see oleks nii talitlusekindel, et samas saaks ka kulusid vähendada – vähendada kommertstarkvara ostmisest tulenevaid kulusid või nende vältimiseks.
Kuna pikaajaline praktika näitab, et riistvaral kokku hoida ei tasu, sest kitsi maksab kaks korda ja isegi palju rohkem. Kuid siiski – hea riistvara on vaid soovitus, ja lõpuks sõltub, mida täpselt osta ja kui palju, ettevõtte võimalustest ja selle juhtkonna "kitsikusest". Siinkohal tuleks mõista sõna "kitsikus" heas mõttes, sest parem on investeerida riistvarasse juba algfaasis, et hiljem ei tekiks tõsiseid probleeme selle edasise hooldamise ja skaleerimisega. Algne vale planeerimine ja liigne kokkuhoid võivad tulevikus põhjustada palju suuremaid kulusid kui projekti käivitamisel.
Seega, projekti sisendid:
- on olemas ettevõte, mis otsustas luua enda veebiportaal ja viia oma tegevus Internetti;
- ettevõte otsustas rentida riiuli oma varustuse majutamiseks heas andmekeskuses, millel on Tier III standardi sertifikaat;
- ettevõte ei otsustanud riistvaral eriti kokku hoida ja seetõttu ostis järgmise varustuse laiendatud garantiide ja toe tingimustega:
Varustuse loetelu
- kaks füüsilist serverit Dell PowerEdge R640 järgmiste komponentidega:
- kaks protsessorit Intel Xeon Gold 5120
- 512 Gb RAM
- kaks SAS-diski RAID1, operatsioonisüsteemi installimiseks
- integreeritud nelja pordiga 1G võrkaart
- kaks kahe pordiga 10G võrkaart
- üks kahe pordiga FC HBA 16G.
- Kahe kontrolleriga Dell MD3820f oma FC 16G kaudu otse Dell-hostide juurde ühendatud;
- kaks teise taseme lülitit — Cisco WS-C2960RX-48FPS-L, ühendatud virnaga;
- kaks kolmanda taseme lülitit — Cisco WS-C3850-24T-E, ühendatud virnaga;
- Riiul, UPS, PDU, konsooliserverid – pakub andmekeskus.
Kuidas näeme, et olemasoleval varustusel on head võimalused horisontaalseks ja vertikaalseks skaleerimiseks, juhul kui ettevõte suudab konkureerida teiste sarnaste profiiliga ettevõtetega Internetis ja hakkab teenima kasumit, mida saab investeerida ressursside suurendamiseks edasise konkurentsi ja kasumi kasvu nimel.
Millist varustust saame lisada, kui ettevõte otsustab suurendada meie arvutusklastri tootlikkust:
- meil on sisselülatud 2960X lülitites suur portide reserv, seega saame lisada rohkem riistservereid;
- osta kaks FC lülitit, et ühendada need andmemassiivi ja täiendavate serveritega;
- olevaid servereid saabuuendada – lisada mälu, asendada protsessorid võimekamatega, ühendada 10G võrguga olemasolevate võrgukaartidega;
- andmemassiivile saab lisada täiendavaid ketaste riiuleid vajaliku ketastüübiga – SAS, SATA või SSD, sõltuvalt planeeritust koormusest;
- pärast FC lülitite lisamist on võimalik osta veel üks andmemassiiv, et lisada veelgi rohkem kettaruumi, ja kui sellele lisada spetsiaalne valik Remote Replication, saab seadistada andmete replikatsiooni andmemassiivide vahel nii ühe andmekeskuse piires kui ka andmekeskuste vahel (kuid see jääb artikli raamidest välja);
- samuti on olemas kolmanda taseme lülitid – Cisco 3850, mida saab kasutada võrgus tõrkeotsingu tuumana, et tagada kiire marsruutimine sisevõrkude vahel. See aitab tulevikus, et siseinfrastruktuur kasvab. Samuti on 3850-l 10G portid, mida saab hiljem kasutada, kui võrgu seadmeid uuendatakse 10G kiirel tasemel.
Kuna täna ei saa ilma virtualiseerimiseta läbi, siis järgime ka me seda trendi, eriti kuna see on suurepärane võimalus vähendada kulusid kallite serverite ostmiseks eraldi infrastruktuuri elementide jaoks (veebiserverid, andmebaasid jne), mis ei ole alati optimaalne, kui koormus on madal, just nii on see projekti alguses.
Samuti on virtualiseerimisel palju teisi eeliseid, mis võivad meile olla väga kasulikud: VM-i tõrkeotsing füüsilise serveri rikke korral, Live migration füüsiliste sõlmede vahel klastris hoolduseks, käsitsi või automaatne koormuse jaotamine klastrisõlmede vahel jne.
Ettevõtte soetatud riistvara jaoks sobib hästi VMware vSphere kõrgelt kättesaadava kasti seadistamine, kuid kuna VMware tarkvara on tuntud oma „kiirete“ hindade poolest, kasutame täiesti tasuta virtualiseerimise haldustarkvara – , mille baasil on loodud tuntud, kuid juba ärilisteks eesmärkideks mõeldud toode — .
Tarkvara oVirt on vajalik kõigi infrastruktuuri elementide ühendamiseks ühte tervikusse, et tagada mugav töö kõrge kättesaadavusega virtuaalmasinatega - need on andmebaasid, veebirakendused, proksiserverid, koormuse tasakaalustajad, logide ja analüüsi kogumise serverid jne, st kõik, millest koosneb meie ettevõtte veebileht.
Kokkuvõttes ootavad meid ees järgmised artiklid, mis praktiliselt näitavad, kuidas täpselt välja arendada kogu ettevõtte riist- ja tarkvarainfrastruktuur:
Artiklite loetelu
- Osa 1. Valmistumine oVirt 4.3 klastrite juurutamiseks.
- Osa 2. oVirt 4.3 klastrite paigaldamine ja seadistamine.
- Osa 3. VyOS klastrite seadistamine, usaldusväärse välimise marsruutimise korraldamine.
- Osa 4. Cisco 3850 kihi seadistamine, sisevõrgu marsruutimise korraldamine.
Osa 1. Valmistumine oVirt 4.3 klastrite juurutamiseks
Hostide põhiseaded
OS-i paigaldamine ja seadistamine on kõige lihtsam etapp. Artikleid, mis käsitlevad OS-i õiget paigaldamist ja seadistamist, on palju, nii et pole mõtet proovida midagi eksklusiivset selle kohta välja anda.
Seega on meil kaks Dell PowerEdge R640 hosti, millele tuleb paigaldada OS ja teha esialgsed seaded, et neid saaks kasutada hüperviisorina virtuaalmasinate käitamiseks oVirt 4.3 klastris.
Kuna plaanime kasutada tasuta mittetulunduslikku tarkvara oVirt, siis valiti hostide juurutamiseks OS CentOS 7.7, kuigi oVirti hostidele on võimalik installida ka teisi OS-e:
- erilist versiooni RHEL-i põhjal, nn. ;
- OS Oracle Linux, suvel 2019. aastal. oVirti töö toetamist sellel.
Enne OS-i paigaldamist soovitatakse:
- seada iDRAC võrguliides mõlemal hostil;
- uuendada BIOSi ja iDRAC-i püsivara viimastele versioonidele;
- seada serveri süsteemiprofiil soovitavalt Performance režiimis;
- seada RAID kohalikest ketastest (soovitatav RAID1), et paigaldada OS serverile.
K seejärel paigaldame OS-i eelmises iDRAC-is loodud kettale - paigaldusprotsess on tavaline, selles ei ole midagi erilist. Serveri konsoolile juurdepääsu saab alustada ka läbi iDRAC-i, kuigi ei ole midagi takistavat ühendada monitor, klaviatuur ja hiir otse serveriga ning paigaldada OS „mälupulgalt”.
Pärast OS-i paigaldamist teeme selle esialgsed seaded:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Installime põhilise tarkvara komplekti
Süsteemi algkonfiguratsiooniks on vajalik seadistada ükskõik milline võrgu liides serveris, et oleks võimalik pääseda Internetti, teha süsteemiuuendusi ja installida vajalikke tarkvarapakette. Seda saab teha kas operatsioonisüsteemi installimise käigus või pärast seda.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Kõik ülaltoodud seadistused ja tarkvarakomplekt on isikliku eelistuse asi ning see komplekt on ainult soovituslik.
Kuna meie host töötab hüperviisorina, lülitame sisse sobiva jõudluse profiili:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Rohkem teavet jõudluse profiili kohta saab lugeda siit: „«.
Pärast operatsioonisüsteemi paigaldamist liigume järgmise osa juurde - võrgu liideste seadistamine hostidel ja Cisco 2960X lülitite virnas.
Cisco 2960X lülitite virna seadistamine
Meie projektis kasutatakse järgmisi VLAN numbreid - või laivõrgud, mis on üksteisest eraldatud, et eristada erinevat tüüpi liiklust:
VLAN 10 - Internet
VLAN 17 - Halduse (iDRAC, andmesalvesti, lülitite haldus)
VLAN 32 - VM tootmisvõrk
VLAN 33 - ühendusvõrk (väliste alltöövõtjate jaoks)
VLAN 34 - VM testvõrk
VLAN 35 - VM arendajate võrk
VLAN 40 - Jälgimisvõrk
Enne tööde alustamist toome välja L2 tasandi skeemi, millele me lõpuks peame jõudma:
Hostide oVirt ja virtuaalmasinate vahelise võrgu suhtluse, samuti meie andmesalvesti haldamise jaoks on vajalik Cisco 2960X lülitite virna seadistamine.
Dell’i hostidel on neli sisseehitatud võrgu pesa, seega on mõistlik korraldada nende ühendamine Cisco 2960X-ga talitlushäirete vältimise võrguühenduse kaudu, kasutades füüsiliste võrguportide grupi moodustamist loogiliseks liideseks ja LACP (802.3ad) protokolli:
- esimesed kaks porti hostil konfigureeritakse bondaamise režiimis ja ühendatakse lülitiga 2960X – sellel loogilisel liidesel konfigureeritakse sillutus halli, mis on mõeldud hostimise haldamiseks, jälgimiseks ja ühendamiseks teiste oVirt klastris asuvate hostidega, samuti kasutatakse seda virtuaalmasinate Live migration'i jaoks;
- Kahel teisel hosti sadamal on seadistatud bondažirežiimis ja need on ühendatud 2960X-ga – sellel loogilisel liidesel luuakse oVirt'i abil edaspidi bridge'id (vastavates VLAN'ides), millega ühendatakse virtuaalmasinad.
- Kaks võrguporti, ühe loogilise liidese raames, on aktiivsed, st liiklus mööda neid saab edastada samaaegselt, koormuse tasakaalustamise režiimis.
- Klastri sõlmede võrgu seadistused peavad olema täiesti ÜKS-ÜHTSED, välja arvatud IP-aadressid.
Lülitite põhiseaded 2960X ja selle portide
Eelnevalt peavad meie lülitid olema:
- paigaldatud rack'i;
- ühendatud kahe vajaliku pikkusega spetsiaalse kaabli kaudu, näiteks CAB-STK-E-1M;
- ühendatud toiteallikaga;
- ühendatud administraatori tööjaama kaudu konsooli porti, et teostada nende esmase seadistamise.
Selleks on vajalik juhend tootjalt.
Ülaltoodud toimingute tegemise järel seadistame lülitid.
Käesolevas artiklis ei ole kavas selgitada, mida iga käsk tähendab; vajadusel saab kogu teabe ise leida.
Meie eesmärk on võimalikult kiiresti seadistada lülitite tekk ja ühendada sellega hostid ja haldusliidesed SСHD-ga.
1) Ühendume peamise lülitiga, liikumme privileegirežiimi, seejärel sisse seadistamisrežiimi ja teostame põhiseaded.
Lüliti põhikonfiguratsioon:
luba
konfigureeri terminal
hostname 2960X
ei teenus pad
teenus ajatempleid debug datetime msec
teenus ajatempleid log datetime localtime show-timezone msec
ei teenus paroolide krüpteerimine
teenus järjestuse-numbrid
switch 1 prioriteet 15
switch 2 prioriteet 14
stack-mac püsiv ajavahemik 0
kell ajavöönd MSK 3
vtp režiim läbipaistev
ip alamvõrk-null
vlan 17
nimi Halduse
vlan 32
nimi PROD
vlan 33
nimi Vaheühendus
vlan 34
nimi Test
vlan 35
nimi Arendus
vlan 40
nimi Jälgimine
spanning-tree režiim kiire-pvst
spanning-tree etherchannel guard ebakorraldus
spanning-tree portfast bpduguard vaike
spanning-tree pikenda süsteem-id
spanning-tree vlan 1-40 juur primaarne
spanning-tree loopguard vaike
vlan sisemine jaotamise poliitika kasvav
port-channel koormuse tasakaal src-dst-ip
errdisable taastamise põhjus loopback
errdisable taastamise põhjus bpduguard
errdisable taastamise vahemaa 60
line con 0
seansi-aegumine 60
exec-aegumine 60 0
logimine sünkroonselt
line vty 5 15
seansi-aegumine 60
exec-aegumine 60 0
logimine sünkroonselt
ip http server
ip http turvaline-server
ei vstack
interface Vlan1
ei ip aadress
shutdown
exit
Salvestame konfiguratsiooni käsuga «wr mem» ja taaskäivitame lülitite staki käsuga «reload» pealiku lülitus 1.
2) Seadistame lüliti võrguportid juurdepääsu (access) režiimis VLAN 17, et ühendada haldusliidesed SXYD ja iDRAC serveritega.
Haldusportide seadistamine:
interface GigabitEthernet1/0/5
kirjeldus iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
kirjeldus Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
kirjeldus iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
kirjeldus Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Pärast staki taaskäitamist kontrollime, et see töötaks korralikult:
Stacki funktsionaalsuse kontrollimine:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Lüliti # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Lüliti # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Lüliti/Stack Mac Aadress : 0cd0.f8e4.XXXX
Mac püsivuse ootamise aeg: määramata
H/W Praegune
Lüliti# Roll Mac Aadress Prioriteet Versioon Oleku
----------------------------------------------------------
*1 Peamine 0cd0.f8e4.XXXX 15 4 Valmis
2 Liige 0029.c251.XXXX 14 4 Valmis
Stack Port State Naabrid
Lüliti# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Seadistame SSH juurdepääsu staki 2960X juurde
Kaugujuhtimiseks staki kaudu SSH, kasutame IP-d 172.20.1.10, mis on seadistatud SVI-le (lüliti virtuaalne liides) VLAN17.
Kuigi haldamiseks on soovitatav kasutada spetsiaalset pühendatud porti lülitil, on see isikliku eelistuse ja võimaluste küsimus.
SSH ligipääsu seadistamine lülitite virna jaoks:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordSeadistame parooli privileegide režiimi sisenemiseks:
enable secret *myenablepassword*
service password-encryptionSeadistame NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Seadistame loogilised liidesed ja füüsilised portid, mis on ühendatud hostidega. Konfiguratsiooni lihtsustamiseks lubatakse kõik olemasolevad VLAN-id kõigil loogilistel liidestel, kuid tavaliselt soovitatakse seadistada ainult vajalikud:
Etherchanneli liideste seadistamine:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeVirtuaalmasinate võrguliideste algseadistus hostides Host1 ja Host2
Kontrollime süsteemis vajalike bidingu moodulite olemasolu, installime sillamooduli haldamiseks:
modinfo bonding
modinfo 8021q
yum install bridge-utilsHostides seadistame virtuaalmasinate jaoks BOND1 loogilise liidese ning selle füüsilised liidesed:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - haldus
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - haldus
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - haldus
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Pärast seadistuste lõppemist stackil 2960Х ja hostides taaskäivitame võrgu hostides ja kontrollime loogilise liidese töökorras olekut.
- hostil:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (27. aprill 2011)
Bonding Mode: IEEE 802.3ad Dünaamiline lingikogumine
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- stackis switchide 2960Х:
2960X#show lacp internal
Flags: S - Seade nõuab aeglaseid LACPDUs
F - Seade nõuab kiireid LACPDUs
A - Seade on aktiivses režiimis P - Seade on passiivses režiimis
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - allas P - paketitud port-channel
I - iseseisev s - peatatud
H - Kuum-varu (ainult LACP)
R - Layer3 S - Layer2
U - kasutuses N - mitte kasutuses, ei ole kogunemist
f - ebaõnnestus aggregeerija eraldamisel
M - mitte kasutuses, miinimum lingid mittetäitunud
m - mitte kasutuses, port ei ole aggregeeritud madalamate minlinkide tõttu
u - kogumisele mittesobiv
w - ootel aggregeerimiseks
d - vaikimisi port
A - moodustatud Auto LAG
Kasutuses olevate kanaligruppide arv: 11
Agregaatide arv: 11
Grupp Port-channel Protokoll Port
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Virtuaalmasinate klustressursside haldamiseks võrguliideste algseadistus hostides Host1 ja Host2
Hostides seadistame BOND1 loogilise liidese haldamiseks ja selle füüsilised liidesed:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Pärast seadistuste lõppemist stackil 2960Х ja hostides taaskäivitame võrgu hostides ja kontrollime loogilise liidese töökorras olekut.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryНастраиваем управляющий сетевой интерфейс на каждом хосте в VLAN 17, и привязываем его к логическому интерфейсу BOND1:
Настройка VLAN17 на Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicНастройка VLAN17 на Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicДелаем рестарт сети на хостах и проверяем их видимость между собой.
На этом настройка стека коммутаторов Cisco 2960X закончена, и если всё было сделано правильно, то теперь мы имеем сетевую связанность всех элементов инфраструктуры между собой на уровне L2.
Настройка СХД Dell MD3820f
Перед началом работ по настройке СХД, она уже должна быть подключена к стеку коммутаторов Cisco 2960Х управляющими интерфейсами, а также к хостам Host1 ja Host2 через FC.
Общая схема, как СХД должна быть подключена к стеку коммутаторов, приводилась в предыдущей главе.
Схема подключения СХД по FC к хостам, должна выглядеть так:
Во время подключения, необходимо записать WWPN адреса для FC HBA хостов, подключенных к FC портам на СХД – это будет необходимо для последующей настройки привязки хостов к LUN’ам на СХД.
На рабочую станцию администратора скачиваем и устанавливаем утилиту для управления СХД Dell MD3820f – PowerVault Modular Disk Storage Manager (MDSM).
Подключаемся к ней через её IP адреса по умолчанию, и затем настраиваем наши адреса из VLAN17, для управления контроллерами через TCP/IP:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2После настройки адресов, заходим в интерфейс управления СХД и задаём пароль, настраиваем время, обновляем прошивки для контроллеров и дисков, если это необходимо и т.п.
Как это делается – описано в Säilitusseade.
Pärast ülaltoodud seadistuste tegemist peame tegema vaid mõned toimingud:
- Seadistage hostide FC portide identifikaatorid – Host Port Identifiers.
- Looge hostigrupp – Host group ja lisage sinna kaks meie Dell hosti.
- Looge kettagrupp ja virtuaalsed kettad (või LUN-id), mis esitatakse hostidele.
- Seadistage virtuaalsete ketaste (või LUN-ide) esitamine hostidele.
Uute hostide lisamine ja nendele FC portide identifikaatorite seostamine toimub menüü kaudu – Host Mappings -> Määratlege -> Hostid…
Hostide WWPN aadresse saab leida näiteks serveri iDRAC-ist.
Tulemusena peaks meil olema umbes selline pilt:
Uue hostigruppi lisamine ja hostide seostamine toimub menüü kaudu – Host Mappings -> Määratlege -> Host Group…
Hostide jaoks valime operatsioonisüsteemi tüübi – Linux (DM-MP).
Pärast hostigruppide loomist loome vahekaardilt Storage & Copy Services, kettagrupp – Disk Group, mille tüüp sõltub nõudmistest, näiteks RAID10, ning sinna virtuaalsed kettad soovitud suurusega:
Ja lõpuks, viimane etapp — virtuaalsete ketaste (või LUN-ide) esitamine hostidele.
Selleks menüü kaudu – Host Mappings -> Lun mapping -> Lisa… seome virtuaalsed kettad hostidega, määrates neile numbrid.
Kõik peaks välja nägema nagu sellel ekraanipildil:
Nüüd lõpetame salvestussüsteemi seadistamise, ja kui kõik on õigesti tehtud, siis peaksid hostid nägema neile esitatud LUN-e läbi oma FC HBA.
Sunnime süsteemi värskendama ühendatud ketaste teavet:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanVaadakem, milliseid seadmeid meie serverites nähakse:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Hoodudel on võimalik ka täiendavalt seadistada multipath, ja kuigi oVirt'i installimisel võib ta seda ka ise teha, on parem MP töökorrektus eelnevalt ise üle kontrollida.
DM Multipath'i installimine ja seadistamine
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names jah
find_multipaths jah
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Seadistame MP teenuse automaatse käivitamise ja käivitame selle:
systemctl enable multipathd && systemctl restart multipathdKontrollime MP tööks laaditud moodulite teavet:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Vaadake kokkuvõtlikku teavet olemasoleva multipathi konfiguratsiooni kohta:
mpathconf
multipath on lubatud
find_multipaths on keelatud
user_friendly_names on keelatud
dm_multipath moodul on laaditud
multipathd töötabPärast uue LUNi lisamist SAN-i ja selle esitlemist hostile tuleb hostis skaneerida ühendatud HBA-d.
systemctl reload multipathd
multipath -v2Ja lõpuks kontrollime, kas kõik LUN-id on SAN-ist esitatud hostidele ja kas kõikidele pääseb ligi kahe teega.
MP töö kontrollimine:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningKuna kõik kolm virtuaalset ketast SAN-is on nähtavad kahe teega, on kõik ettevalmistavad tööd lõpetatud ja seega saame jätkata põhiosa täitmisega – oVirt klastrite seadistamisega, mida käsitletakse järgmises artiklis.
Allikas: habr.com
