Lugejate tähelepanu juhitakse väikese ettevõtte vastupidava infrastruktuuri loomise põhimõtetele ühe andmekeskuse (ЦОД) raames, mida käsitletakse üksikasjalikult väikese artiklite tsüklis.
Sissejuhatus
Alustama andmekeskus (Цentrum Obработки Данных) võib tähendada:
- oma riiul ettevõtte 'serveri ruumis', mis vastab minimaalsetele nõuetele seadme elektritoite ja jahutuse tagamiseks ning millel on Interneti-ühendus kahe sõltumatu teenusepakkuja kaudu;
- renditud riiul koos oma seadmetega, mis asub tõelises andmekeskuses – nn collocation, mis vastab Tier III või IV standardile, kus tagatakse usaldusväärne elektritoide, jahutus ja tagatakse vastupidav Interneti-ühendus;
- täielikult renditud seadmed andmekeskuses Tier III või IV.
Millist mahtuvusvariant valida – igas olukorras on kõik individuaalne ja sõltub tavaliselt mitmest põhifaktorist:
- milleks ettevõttele üldse oma IT infrastruktuur;
- mida ettevõte IT-infrastruktuurilt soovib (usaldusväärsus, skaalautsus, hallatavus jne);
- algsete investeeringute suurus IT-infrastruktuuri, samuti millist tüüpi kulud sellele – kapitalikulud (ehk ostetakse enda varustus) või tegevuskulud (varustus on tavaliselt renditud);
- ettevõtte planeerimise horisont.
Ettevõtte IT-infrastruktuuri loomise ja kasutamise otsuseid mõjutavatest teguritest on palju kirjutada, kuid meie eesmärk on näidata praktikas, kuidas selline infrastruktuur luua, et see oleks mitte ainult tõrkekindel, vaid samal ajal ka säästlik – vähendada kommertsprogrammi ostmisega seotud kulusid või täielikult neist hoiduda.
Kogemus näitab, et riistvara pealt kokku hoida ei tasu, kuna kitsi maksab kaks korda, ja isegi palju rohkem. Kuid siiski – hea riistvara on vaid soovitus, ja lõppkokkuvõttes sõltub see, mida täpselt osta ja kui palju, ettevõtte võimalustest ja selle juhtkonna "kitsikusest". Siiski tuleks sõna "kitsikus" mõista positiivsest küljest, kuna on parem investeerida riistvarasse algstaadiumis, et hiljem ei tekiks tõsiseid probleeme selle edasise hoolduse ja skaleerimisega. Algusest vale planeerimine ja liigne kokkuhoid võivad tulevikus kaasa tuua suurte kulutustega võrreldes projekti käivitamisega.
Seega, projekti algandmed:
- on ettevõte, mis otsustas luua enda veebipordi ja viia oma tegevus Internetti;
- ettevõte otsustas rentida serveri oma seadmete paigutamiseks heas andmekeskuses, millel on Tier III standardi sertifikaat;
- ettevõte otsustas riistvarale palju mitte kokku hoida ja seetõttu ostis järgmised seadmed pikendatud garantiide ja toe koos;
Seadmete loend
- kaks füüsilist Dell PowerEdge R640 serverit sellises konfiguratsioonis:
- kaks Intel Xeon Gold 5120 protsessorit
- 512 Gb RAM
- kaks SAS-diski RAID1-režiimis, operatsioonisüsteemi paigaldamiseks
- integratsiooniga 4-portine 1G võrgukaart
- kaks 2-portist 10G võrguadapterit
- üks 2-portine FC HBA 16G.
- 2-portine Dell MD3820f salvestuslahendus, ühendatud otse Dell hostide kaudu FC 16G kaudu;
- kaks teise taseme lülitit — Cisco WS-C2960RX-48FPS-L, koondatud virna;
- kaks kolmanda taseme lülitit — Cisco WS-C3850-24T-E, koondatud virna;
- Riiul, UPS, PDU, konsooliserverid – pakub andmekeskus.
Nagu näeme, on olemasoleval varustusel head perspektiivid horisontaalseteks ja vertikaalseteks laienemiseks, juhul kui ettevõte suudab konkurentsi pidada teiste sarnase profiiliga ettevõtetega veebis ning hakkab teenima kasumit, mida saab investeerida ressursside laiendamisse edasiseks konkurentsiks ja kasumi kasvuks.
Milliseid seadmeid saame lisada, kui ettevõte otsustab suurendada meie arvutusklastri tootlikkust:
- meil on suur varu 2960X lülitite sadamate arvu osas, seega saame lisada rohkem riistvaraservereid;
- osta kaks FC lülitit, et ühendada need salvestusseadmest ja lisaserveritest;
- olevaid servereid saab moderniseerida – lisada mälu, asendada protsessoreid võimsamatega, ühendada 10G võrku olemasolevate võrguadapteritega;
- salvestusseadmest saab lisada täiendavaid ketaste riiuleid vajaliku ketastüübi – SAS, SATA või SSD, sõltuvalt kavandatud koormusest;
- pärast FC lülitite lisamist saab osta veel ühe salvestusseadmest, et suurendada ketaste mahtu, ja kui osta sellele eriline valik Remote Replication, saab andmete replikatsiooni seadistada salvestusseadmeste vahel nii ühe andmekeskuse piires kui ka andmekeskuste vahel (kuid see jääb juba artikli raamesse);
- saadaval on ka kolmanda taseme lülitid – Cisco 3850, mida saab kasutada kõrg-venitusena võrgu tuumaks, et saavutada kiiremarsruutimist sisevõrkude vahel. See aitab edasi koos sisemise infrastruktuuri kasvu. Samuti on 3850-l 10G pordid, mida saab hiljem kasutada, kui uuendatakse võrgu seadmeid 10G kiiruseni.
Kuna virtualiseerimine on praegu hädavajalik, siis oleme ka meie loomulikult selle suuna järgijad. See on suurepärane meetod, et vähendada kulusid kallite serverite soetamiseks, mis on vajalikud infrastruktuuri teatud osade (nt veebiserverite, andmebaaside jne) jaoks. Need ei pruugi alati olla optimaalselt kasutatavad, eriti madala koormuse korral, mis juhtub projekti alguses.
Lisaks pakub virtualiseerimine palju muid eeliseid, mis võivad meile väga kasuks tulla: VM-i talitlushäire korral riistvara serverist tagasivõime, Live migration klastrite riistvara sõlmede vahel nende hooldamiseks, käsitsi või automaatne koormuse jaotus klastrite sõlmede vahel jne.
Ettevõtte soetatud riistvara korral tasub kaaluda VMware vSphere'i kõrgtasemel klastrit, kuid kuna kõik VMware tarkvaraprogrammid on tuntud oma «sarvikute» hindade poolest, siis kasutame me täiesti tasuta tarkvara virtualiseerimise haldamiseks – , mille baasil on loodud tuntud, kuid juba kaubanduslik toode — .
Tarkvara oVirt on vajalik, et kõik infrastruktuuri elemendid saaksid omavahel ühenduda ja oleks võimalik mugavalt töötada kõrge kättesaadavusega virtuaalmasinatega — sealhulgas andmebaasid, veebirakendused, pöördserverid, koormuse tasakaalustajad, logide kogumise ja analüüsi serverid jne, st kõik need, millest meie ettevõtte veebivärav koosneb.
Kokkuvõtteks, ootavad meid järgmised artiklid, mis praktiliselt näitavad, kuidas tõepoolest üles seada kogu ettevõtte riist- ja tarkvarainfrastruktuur:
Artiklite loetelu
- Osa 1. Ootavate oVirt 4.3 klastrite seadistamise ettevalmistus.
- Osa 2. oVirt 4.3 klastri installimine ja seadistamine.
- Osa 3. VyOS klastrite seadistamine, talitlushäiretega välist marsruutimist korraldamine.
- Osa 4. Cisco 3850 virna seadistamine, sisevõrgu marsruutimise korraldamine.
Osa 1. Ootavate oVirt 4.3 klastrite seadistamise ettevalmistus
Hostide põhinõuded
Operatsioonisüsteemi installimine ja seadistamine on kõige lihtsam etapp. Artikleid selle kohta, kuidas õigesti operatsioonisüsteemi installida ja seadistada, on palju, seega pole mõtet proovida anda midagi eksklusiivset.
Meil on kaks Dell PowerEdge R640 hosti, millele tuleb installida operatsioonisüsteem ja teha esialgsed seadistused, et neid kasutada hüperviisoritena virtuaalmasinate käitamiseks oVirt 4.3 klastris.
Kuna plaanime kasutada tasuta mittetulunduslikku oVirti tarkvara, on hostide käitamiseks valitud operatsioonisüsteem CentOS 7.7, kuigi oVirti hostidele on võimalik paigaldada ka muid operatsioonisüsteeme:
- RHEL põhjal loodud spetsiaalset versiooni, nn. ;
- Oracle Linuxi OS, mille kohta kuulutati suvel 2019. oVirti toe olemasolu.
Enne operatsioonisüsteemi installimist soovitatakse:
- seada iDRAC võrguinterfaar mõlemal hostil;
- uuendada BIOSi ja iDRAC-i firmware'd viimastele versioonidele;
- seada serveri System Profile eelistatult Performance režiimis;
- moodustada RAID kohalikest ketastest (soovitatav RAID1), et installida operatsioonisüsteem serverisse.
Seejärel paigaldame operatsioonisüsteemi eelnevalt iDRAC'i kaudu loodud kettale – installimisprotsess on tavaline, erilisi hetki selles ei ole. Juhtmeühendus serveri konsooliga operatsioonisüsteemi installimise alguseks on samuti võimalik iDRAC'i kaudu, kuigi ei ole midagi takistamas ühendada monitor, klaviatuur ja hiir otse serverile ning installida operatsioonisüsteem USB-mälupulgalt.
Pärast operatsioonisüsteemi installimist teeme esmase seadistuse:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Paigaldame baasseadmete komplekti
Operatsioonisüsteemi esmase seadistuse jaoks tuleb seadistada mis tahes võrgu liides serveris, et oleks võimalik internetti pääseda, operatsioonisüsteemi uuendada ja vajalikke tarkvarapakette installida. Seda saab teha nii operatsioonisüsteemi installimise käigus kui ka pärast seda.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Kõik eespool mainitud seadistused ja tarkvarakomplekt on isiklikud eelistused ja antud komplekt on vaid soovituslik.
Kuna meie host mängib hüperviisori rolli, lülitame sisse vajaliku jõudluse profiili:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Rohkem jõudluse profiilist saab lugeda siit: ««.
Pärast operatsioonisüsteemi installimist liigume järgmise osa juurde – võrke interfasside seadistamine hostides ja Cisco 2960X lülitite grupis.
Cisco 2960X lülitite grupi seadistamine
Meie projektis kasutatakse järgmisi VLAN-numbreid – või laiaulatuslikke domeene, mis on üksteisest isoleeritud, et eraldada erinevaid liiklusi:
VLAN 10 – Internet
VLAN 17 – Halduse (iDRAC, salvestusseadmestik, lülitite haldus)
VLAN 32 – VM tootmisvõrk
VLAN 33 – ühendusvõrk (väliste lepinguliste isikute jaoks)
VLAN 34 – VM testimisvõrk
VLAN 35 – VM arendajate võrk
VLAN 40 – Monitooringuvõrk
Enne tööde alustamist toome välja L2 tasemel skeemi, millele me lõpuks peame jõudma:
Hostide oVirt ja virtuaalsete masinate vahelise võrgu suhtluse, samuti meie salvestusseadmestiku haldamiseks on vajalik Cisco 2960X lülitite grupi seadistamine.
Dell'i hostidel on sisseehitatud 4-portilised võrgukaardid, seega on mõistlik organiseerida nende ühendamine Cisco 2960X kaudu kaheaastase võrguühenduse abil, kasutades selleks füüsiliste võrguportide grupeerimist loogilisesse liidesesse ja LACP (802.3ad) protokolli:
- Esimese kahe pordi seadistamine hostis toimub bondoning-režiimis ja need ühendatakse lülitiga 2960X – sellel loogilisel liidesele seadistatakse sild haldamise aadress hosti jaoks, järelevalve, suhtlemine teiste hostidega oVirt klastris; see kasutatakse ka virtuaalmasinate Live migration’i jaoks.
- Teised kaks pordi hostis seadistatakse samuti bondoning-režiimis ja ühendatakse 2960X – sellel loogilisel liidesele luuakse oVirt’i abil hiljem sildade (õige VLAN-ides) loomine, kuhu virtuaalmasinad ühendatakse.
- Mõlemad võrgu pordid, ühes loogilises liideses, on aktiivsed, s.t. nende kaudu saab samaaegselt edastada liiklust tasakaalustamise režiimis.
- Klusteri sõlmede võrgu seadistused peavad olema täiesti ÜHENDAKD, välja arvatud IP-aadressid.
Lülitite paigaldamise põhiseaded 2960X ja selle pordid
Eeltingimused meie lülititele on:
- paigaldatud rack'i;
- ühendatud kahe spetsiaalse kaabli vajaliku pikkusega, näiteks CAB-STK-E-1M;
- ühendatud elektrivõrku;
- ühendatud administraatori tööjaama läbi konsoolipordi, et teha nende esialgne konfigureerimine.
Vajalik juhend on saadaval tootjalt.
Pärast ülaltoodud toimingute tegemist jätkame lülitite seadistamist.
Käesolevas artiklis ei käsitleta iga käsu tähenduse selgitamist, vajaliku teabe leiate vajadusel ise.
Meie eesmärk on võimalikult kiiresti seadistada lülitite komplekt ning ühendada sellega hostid ja juhtimisliidesed.
1) Ühendume põhijuhiga, siseneme privileegirežiimi, seejärel läheme konfigureerimisrežiimi ja teeme põhiseaded.
Lüliti põhikonfiguratsioon:
lubama
konfigureeri terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Salvestame konfigureerimise käsuga «wr mem» ja taaskäivitame lülitusd jookseva pealüliti käsklusega «reload» lülitil 1.
2) Seame lüliti võrguportid kasutusrežiimiks (access) VLAN-is 17, et ühendada laadimisliidesed SCSI ja iDRAC serveritega.
Haldusportide seadistamine:
liidese GigabitEthernet1/0/5
kirjeldus iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
liidese GigabitEthernet1/0/6
kirjeldus Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
liidese GigabitEthernet2/0/5
kirjeldus iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
liidese GigabitEthernet2/0/6
kirjeldus Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Pärast steki taaskäivitamist kontrollime, et see töötaks õigesti:
Steki toimimise kontroll:
2960X#show switch stack-ring speed
Steki ringi kiirus : 20G
Steki ringi konfiguratsioon: Täis
Steki ringi protokoll : FlexStack
2960X#show switch stack-ports
Lüliti # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Lüliti # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Lüliti/Steki MAC-aadress : 0cd0.f8e4.XXXX
MAC säilitamise ooteaeg: Piiramatu
H/W Käesolev
Lüliti# Roll MAC-aadress Prioriteet Versioon Oleku
----------------------------------------------------------
*1 Master 0cd0.f8e4.XXXX 15 4 Valmis
2 Liige 0029.c251.XXXX 14 4 Valmis
Steki Porti Oleku Naabrid
Lüliti# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) SSH juurdepääsu seadistamine stekile 2960X
Kaugjuhtimiseks kasutame SSH kaudu IP-aadressi 172.20.1.10, mis on seadistatud SVI-le (switch virtual interface) VLAN17.
Kuigi haldamiseks on soovitatav kasutada spetsiaalset eraldatud porti lülitil, sõltub see isiklikest eelistustest ja võimalustest.
SSH juurdepääsu seadistamine lülitite virnale:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordSeame parooli privileegide režiimi sisenemiseks:
enable secret *myenablepassword*
service password-encryptionSeame NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Seame Etherchannel loogilised liidesed ja füüsilised portid, mis on ühendatud hostidega. Lihtsuse huvides lubame kõik olemasolevad VLAN-id kõigil loogilistel liidestel, kuid tavaliselt on soovitatav seadistada ainult vajalikud:
Etherchanneli liideste seadistamine:
liides Port-channel1
kirjeldus EtherChannel Host1-haldusele
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
spanning-tree portfast äärtrunk
liides Port-channel2
kirjeldus EtherChannel Host2-haldusele
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
spanning-tree portfast äärtrunk
liides Port-channel3
kirjeldus EtherChannel Host1-VM
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
spanning-tree portfast äärtrunk
liides Port-channel4
kirjeldus EtherChannel Host2-VM
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
spanning-tree portfast äärtrunk
liides GigabitEthernet1/0/1
kirjeldus Host1-haldus
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 1 režiim aktiivne
liides GigabitEthernet1/0/2
kirjeldus Host2-haldus
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 2 režiim aktiivne
liides GigabitEthernet1/0/3
kirjeldus Host1-VM
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 3 režiim aktiivne
liides GigabitEthernet1/0/4
kirjeldus Host2-VM
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 4 režiim aktiivne
liides GigabitEthernet2/0/1
kirjeldus Host1-haldus
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 1 režiim aktiivne
liides GigabitEthernet2/0/2
kirjeldus Host2-haldus
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 2 režiim aktiivne
liides GigabitEthernet2/0/3
kirjeldus Host1-VM
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 3 režiim aktiivne
liides GigabitEthernet2/0/4
kirjeldus Host2-VM
switchport trunk lubatud vlan 10,17,30-40
switchport režiim trunk
channel-protocol lacp
channel-group 4 režiim aktiivneVirtuaalmasinate võrgu liideste esialgne seadistamine hostidel Host1 ja Host2
Kontrollime süsteemis bondaamiseks vajalike moodulite olemasolu, paigaldame sildade haldamiseks mõeldud mooduli:
modinfo bonding
modinfo 8021q
yum install bridge-utilsSeadistame hostides loogilise liidese BOND1 virtuaalmasinate jaoks ja selle füüsilised liidesed:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - haldus
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - haldus
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - haldus
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Pärast seadistuste lõpetamist stackis 2960X ja hostides, taaskäivitame võrgu hostides ning kontrollime loogilise liidese tööd.
- hostis:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad dünaamiline linkide agregatsioon
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- lülitite kuhjas 2960X:
2960X#show lacp internal
Lipud: S - Seade nõuab aeglaseid LACPDUs
F - Seade nõuab kiireid LACPDUs
A - Seade on aktiivrežiimis P - Seade on passiivrežiimis
Kanaligrupi 1
LACP port Admin Oper Port Port
Port Lipud Oleku Prioriteet Võti Võti Number Oleku
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Lipud: D - all P - port-kanalis
I - eraldi s - peatatud
H - Kuum-varu (ainult LACP)
R - Kiht3 S - Kiht2
U - kasutuses N - mitte kasutuses, ei ole kogum
f - ebaõnnestus aggregaatori eraldamine
M - mitte kasutuses, minimaalsed lingid ei ole täidetud
m - mitte kasutuses, port ei ole kokku pandud minimaalsete linkide tõttu
u - sobimatu kokku panemiseks
w - ootel agregatsiooniks
d - vaikeport
A - moodustatud Automaatse LAG-i poolt
Kanaligruppide arv kasutuses: 11
Agregaatide arv: 11
Grupp Port-kanal Protokoll Portid
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Võrguliideste esialgne seadistamine klusteri ressursside haldamiseks, hostides Host1 ja Host2
Hostides loogilise liidese BOND1 seadistus haldamiseks ja selle füüsiliste liideste seadistus:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#KIRJELDUS - haldus
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=jah
IPV6INIT=ei
ONBOOT=jah
USERCTL=ei
NM_CONTROLLED=ei
BOOTPROTO=puudub
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#KIRJELDUS - haldus
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=puudub
ONBOOT=jah
MASTER=bond0
SLAVE=jah
USERCTL=ei
NM_CONTROLLED=ei
cat /etc/sysconfig/network-scripts/ifcfg-em1
#KIRJELDUS - haldus
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=puudub
ONBOOT=jah
MASTER=bond0
SLAVE=jah
USERCTL=ei
NM_CONTROLLED=ei Pärast seadistuste lõpetamist stackis 2960X ja hostides, taaskäivitame võrgu hostides ning kontrollime loogilise liidese tööd.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summarySeome haldusvõrgu liidese seadistamine igas hostis VLAN 17, ning sideme loomine loogilise liidese BOND1-ga:
VLAN17 seadistamine Host1-l:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=puudub
ONBOOT=jah
USERCTL=ei
NM_CONTROLLED=ei
VLAN=jah
MTU=1500
IPV4_FAILURE_FATAL=jah
IPV6INIT=ei
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=jah
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=rääginVLAN17 seadistamine Host2-l:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=puudub
ONBOOT=jah
USERCTL=ei
NM_CONTROLLED=ei
VLAN=jah
MTU=1500
IPV4_FAILURE_FATAL=jah
IPV6INIT=ei
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=jah
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=rääginTeeme hostides võrgu taaskäivitamise ning kontrollime nende omavahelist nähtavust.
Cisco 2960X kommutaatori steki seadistamine on nüüd lõpetatud ja kui kõik on õigesti tehtud, siis on meil nüüd L2 tasemel võrguühendus kõikide infrastruktuuri elementide vahel.
Dell MD3820f salvestuslahenduse seadistamine
Enne salvestuslahenduse seadistamise alustamist peab see olema juba ühendatud Cisco kommutaatori steki juurde. 2960X juhtimisliideste ja hostide kaudu. Host1 ja Host2 FC kaudu.
Üldine skeem, kuidas salvestuslahendus peaks olema ühendatud kommutaatori steki külge, toodi välja eelmises peatükis.
Salvestuslahenduse FC kaudu hostides ühendamise skeem peaks välja nägema järgmiselt:
Ühendamise ajal on oluline kirja panna hostide FC HBA WWPN aadressid, mis on ühendatud salvestuslahenduse FC portidesse – see on vajalik hilisemaks hostide sidumiseks LUNidega salvestuslahenduses.
Laadime administraatori tööstamasinasse alla ja installime Dell MD3820f salvestuslahenduse haldustootearhiivi – PowerVault Modular Disk Storage Manager (MDSM).
Ühenda selle IP-aadresside kaudu, ja seejärel konfigureeri meie aadressid VLAN17, et hallata kontrollerit TCP/IP kaudu:
Storage1:
Kontroller A IP - 172.20.1.13, MASK - 255.255.255.0, Lüüsi - 172.20.1.2
Kontroller B IP - 172.20.1.14, MASK - 255.255.255.0, Lüüsi - 172.20.1.2Pärast aadresside seadistamist siseneme salvestusseadmestiku haldusteenusesse, seadistame parooli, paneme paika aja, uuendame kontrollerite ja ketaste püsivara, kui see on vajalik jne.
Kuidas seda teha – on kirjeldatud Säilitus.
Pärast ülaltoodud seadistuste täitmist peame tegema vaid mõned toimingud:
- Seadistame hostide FC portide identifikaatorid – Host Port Identifiers.
- Loome hostigruppi – Host group ja lisame sinna kaks meie Dell hosti.
- Loome ketasgrupi ja selles virtuaalsed kettad (või LUN'id), mis esitatakse hostidele.
- Seadistame virtuaalkettade (või LUN'ide) esitamise hostidele.
Uute hostide lisamine ja nende seondamine hostide FC portide identifikaatoritega toimub menüüs – Host Mappings -> Define -> Hosts…
FC HBA hostide WWPN aadresse saab leida näiteks serveri iDRAC'ist.
Tulemuseks peaks olema umbes selline pilt:
Uue hostigruppi lisamine ja seal hostide seondamine toimub menüüs – Host Mappings -> Define -> Host Group…
Hostide puhul valime operatsioonisüsteemi tüübi – Linux (DM-MP).
Pärast hostigruppi loomist, vahekaartide kaudu Storage & Copy Services, loome ketasgrupi – Disk Group, sõltuvalt talitlusest, näiteks RAID10, ning seal on virtuaalsed kettad nõutud suuruses:
Ja lõpuks, viimane etapp — virtuaalsete kettaste (või LUN-ide) esitlemine hostidele.
Selleks menüüst – Host Mappings -> Lun mapping -> Lisa… seome virtuaalsed kettad hostidega, määrates neile numbrid.
Tulemus peaks olema selline nagu sellel ekraanipildil:
Sellel seoses SAN-i seadistamisega lõpetame, ja kui kõik on õigesti tehtud, siis peaksid hostid nägema neile esitatud LUN-e läbi oma FC HBA.
Käivitame süsteemi, et värskendada ühendatud kettaste teavet:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanVaadake, millised seadmed on meie serverites nähtavad:
cat /proc/scsi/scsi
Kinnitatud seadmed:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Tootja: DELL Mudel: PERC H330 Mini Rev: 4.29
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Tootja: DELL Mudel: Universal Xport Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Tootja: DELL Mudel: MD38xxf Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Tootja: DELL Mudel: Universal Xport Rev: 0825
Tüüp: Otsene pääs ANSI SCSI versioon: 05
lsscsi
[0:2:0:0] ketas DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] ketas DELL MD38xxf 0825 -
[15:0:0:1] ketas DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] ketas DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] ketas DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] ketas DELL Universal Xport 0825 -
[18:0:0:0] ketas DELL MD38xxf 0825 -
[18:0:0:1] ketas DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] ketas DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] ketas DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] ketas DELL Universal Xport 0825 -Hoonetes on samuti võimalik seadistada multipath, ja kuigi oVirti installatsiooni käigus võib see ise selle teha, on parem kontrollida MP toimimist ette.
DM Multipathi installimine ja seadistamine
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Seadistame MP teenuse autostardi ja käivitame selle:
systemctl enable multipathd && systemctl restart multipathdKontrollime laaditud moodulite teavet MP töötamiseks:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Vaadake olemasoleva multipath konfiguratsiooni kokkuvõtlikku teavet:
mpathconf
multipath on lubatud
find_multipaths on keelatud
user_friendly_names on keelatud
dm_multipath moodul on laaditud
multipathd töötabPärast uue LUN-i lisamist ja selle esitlemist hostile tuleb skaneerida hostiga ühendatud HBA-d.
systemctl reload multipathd
multipath -v2Viimaseks kontrollime, kas kõik LUN-id on esitatud SRS-ile hostide jaoks ja kas kõigi jaoks on kaks teed.
MP töö kontrollimine:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningKuidas näha, kõik kolm virtuaalset ketast SRS-is on nähtavad kahe tee kaudu. Seega on kõik ettevalmistavad tööd tehtud ja nüüd saame liikuda põhiosa - oVirt klusteri seadistamise poole, mida käsitletakse järgmises artiklis.
Allikas: habr.com
