Lesers word uitgenooi om hulself te vergewis van die beginsels van die bou van 'n foutverdraagsame infrastruktuur vir 'n klein onderneming binne 'n enkele datasentrum, wat breedvoerig in 'n kort reeks artikels bespreek sal word.
Prodrome
Onder data sentrum (Dataverwerkingsentrum) kan as volg verstaan word:
- eie rak in sy eie "bedienerkamer" op die grondgebied van die onderneming, wat voldoen aan die minimum vereistes vir die verskaffing van krag- en verkoelingstoerusting, en het ook internettoegang deur twee onafhanklike verskaffers;
- 'n gehuurde rek met sy eie toerusting, geleë in 'n regte datasentrum - die sg. 'n Vlak III- of IV-samestelling wat betroubare krag-, verkoelings- en failover-internettoegang waarborg;
- volledig gehuurde toerusting in 'n Tier III- of IV-datasentrum.
Watter akkommodasie-opsie om te kies - in elke geval is alles individueel, en hang gewoonlik van verskeie hooffaktore af:
- hoekom het 'n onderneming hoegenaamd sy eie IT-infrastruktuur nodig;
- wat presies wil die onderneming van die IT-infrastruktuur hê (betroubaarheid, skaalbaarheid, bestuurbaarheid, ens.);
- die bedrag van aanvanklike belegging in IT-infrastruktuur, asook watter tipe koste daarvoor - kapitaal (wat beteken die aankoop van jou eie toerusting), of bedryf (toerusting word gewoonlik gehuur);
- die beplanningshorison van die onderneming self.
Jy kan baie skryf oor die faktore wat die besluit van 'n onderneming beïnvloed om sy IT-infrastruktuur te skep en te gebruik, maar ons doel is om in die praktyk te wys hoe om hierdie einste infrastruktuur te skep sodat dit beide foutverdraagsaam is en jy steeds kan spaar - verminder die koste van die verkryging van kommersiële sagteware, of vermy dit heeltemal.
Soos lank oefening toon, is dit nie die moeite werd om op yster te spaar nie, aangesien die vrek twee keer betaal, en selfs baie meer. Maar weereens - goeie hardeware, dit is net 'n aanbeveling, en op die ou end wat presies om te koop en vir hoeveel hang af van die vermoëns van die onderneming, en die "gierigheid" van sy bestuur. Boonop moet die woord "gierigheid" in die goeie sin van die woord verstaan word, aangesien dit beter is om in die aanvanklike stadium in hardeware te belê, sodat u later nie ernstige probleme ondervind met die verdere ondersteuning en skaal daarvan nie, aangesien dit aanvanklik verkeerd is. beplanning en buitensporige besparings kan lei tot hoër koste as wanneer 'n projek begin word.
Dus, die aanvanklike data vir die projek:
- daar is 'n onderneming wat besluit het om sy eie webportaal te skep en sy aktiwiteite na die internet te bring;
- die maatskappy het besluit om 'n rak te huur om sy toerusting te akkommodeer in 'n goeie datasentrum wat volgens die Vlak III-standaard gesertifiseer is;
- die maatskappy het besluit om nie veel op hardeware te bespaar nie, en het daarom die volgende toerusting met uitgebreide waarborge en ondersteuning gekoop:
Toerusting lys
- twee fisiese Dell PowerEdge R640-bedieners soos volg:
- twee Intel Xeon Gold 5120-verwerkers
- 512 GB RAM
- twee SAS-skywe in RAID1, vir OS-installasie
- ingeboude 4-poort 1G netwerkkaart
- twee 2-poort 10G netwerkkaarte
- een 2-poort FC HBA 16G.
- Dell MD2f 3820 kontroleerderberging wat via FC 16G direk aan Dell-gashere gekoppel is;
- twee skakelaars van die tweede vlak - Cisco WS-C2960RX-48FPS-L gestapel;
- twee skakelaars van die derde vlak - Cisco WS-C3850-24T-E, gekombineer in 'n stapel;
- Rack, UPS, PDU, konsole bedieners - verskaf deur die datasentrum.
Soos ons kan sien, het die bestaande toerusting goeie vooruitsigte vir horisontale en vertikale skaal, ingeval die onderneming met ander maatskappye met 'n soortgelyke profiel op die internet kan meeding en 'n wins begin maak wat belê kan word in die uitbreiding van hulpbronne vir verdere mededinging en winsgroei.
Watter toerusting kan ons byvoeg as die onderneming besluit om die werkverrigting van ons rekenaarkluster te verhoog:
- ons het 'n groot reserwe in terme van die aantal poorte op die 2960X skakelaars, wat beteken dat ons meer hardeware bedieners kan byvoeg;
- koop twee FC-skakelaars om bergingstelsels en bykomende bedieners daaraan te koppel;
- bestaande bedieners kan opgegradeer word - voeg geheue by, vervang verwerkers met meer doeltreffendes, koppel aan 'n 10G-netwerk met bestaande netwerkadapters;
- jy kan bykomende skyfrakke by die bergingstelsel voeg met die vereiste tipe skywe - SAS, SATA of SSD, afhangende van die beplande vrag;
- nadat jy FC-skakelaars bygevoeg het, kan jy nog 'n bergingstelsel koop om nog meer skyfkapasiteit by te voeg, en as jy 'n spesiale Afstandreplikasie-opsie daarby koop, kan jy data-replikasie tussen bergingstelsels beide binne die grense van een datasentrum en tussen datasentrums opstel (maar dit is reeds buite die bestek van die artikel);
- daar is ook derdevlakskakelaars - Cisco 3850, wat as 'n foutverdraagsame netwerkkern gebruik kan word vir hoëspoedroetering tussen interne netwerke. Dit sal baie help in die toekoms, soos die interne infrastruktuur groei. Die 3850 het ook 10G-poorte wat later gebruik kan word wanneer netwerktoerusting na 10G-spoed opgegradeer word.
Aangesien daar nou nêrens sonder virtualisering is nie, sal ons beslis in die neiging wees, veral aangesien dit 'n goeie manier is om die koste van die verkryging van duur bedieners vir individuele infrastruktuurelemente (webbedieners, databasisse, ens.) te verminder, wat nie altyd optimaal is nie. word gebruik in die geval van lae vrag, en dit is presies wat aan die begin van die projek bekendstelling sal wees.
Daarbenewens het virtualisering baie ander voordele wat vir ons baie nuttig kan wees: VM-fouttoleransie van 'n hardeware-bedienerfout, Regstreekse migrasie tussen cluster-hardeware-nodusse vir hul instandhouding, handmatige of outomatiese ladingverspreiding tussen cluster-nodusse, ens.
Vir die hardeware wat deur die onderneming gekoop word, stel die ontplooiing van 'n hoogs-beskikbare VMware vSphere-kluster homself voor, maar aangesien enige sagteware van VMware bekend is vir sy "perd"-prysetikette, sal ons absoluut gratis virtualisasiebestuursagteware gebruik - , op grond waarvan 'n bekende, maar reeds kommersiële produk geskep word - .
Sagteware oVirt nodig om al die elemente van die infrastruktuur in een geheel te kombineer om gerieflik met hoogs beskikbare virtuele masjiene te kan werk - dit is databasisse, webtoepassings, instaanbedieners, balanseerders, bedieners vir die versameling van logs en analise, ens. , waaruit die webportaal van ons onderneming bestaan.
Om hierdie inleiding op te som, wag die volgende artikels op ons, wat in die praktyk presies sal wys hoe om die hele hardeware- en sagteware-infrastruktuur van 'n onderneming te ontplooi:
Lys van artikels
- Deel 1. Berei voor om 'n oVirt-kluster te ontplooi 4.3.
- Deel 2. Installering en konfigurasie van 'n oVirt-groepering 4.3.
- Deel 3. Stel 'n VyOS-kluster op, organiseer foutverdraagsame eksterne roetes.
- Deel 4. Die opstel van die Cisco 3850-stapel, organisering van intranetroetering.
Deel 1. Voorbereiding om 'n oVirt 4.3-kluster te ontplooi
Basiese gasheeropstelling
Die installering en konfigurasie van die bedryfstelsel is die maklikste stap. Daar is baie artikels oor hoe om die bedryfstelsel behoorlik te installeer en op te stel, so dit maak geen sin om te probeer om iets eksklusief hieroor uit te gee nie.
So, ons het twee Dell PowerEdge R640-gashere waarop ons die bedryfstelsel moet installeer en voorlopige instellings moet uitvoer om hulle as hipervisers te gebruik om virtuele masjiene in 'n oVirt 4.3-groepering te laat loop.
Aangesien ons van plan is om die gratis nie-kommersiële sagteware oVirt te gebruik, het ons die bedryfstelsel gekies om gashere te ontplooi CentOS 7.7, alhoewel dit moontlik is om ander bedryfstelsels op leërskare vir oVirt te installeer:
- 'n spesiale bou gebaseer op RHEL, die sg. ;
- OS Oracle Linux Somer 2019 om oVirt daarop aan die gang te hou.
Voordat u die bedryfstelsel installeer, word dit aanbeveel:
- konfigureer die iDRAC-netwerkkoppelvlak op beide gashere;
- dateer firmware vir BIOS en iDRAC op na die nuutste weergawes;
- stel die stelselprofiel van die bediener op, verkieslik in prestasiemodus;
- stel RAID op vanaf plaaslike skywe (RAID1 word aanbeveel) om die bedryfstelsel op die bediener te installeer.
Dan installeer ons die bedryfstelsel op die skyf wat vroeër deur iDRAC geskep is - die installasieproses is normaal, daar is geen spesiale oomblikke daarin nie. Jy kan ook toegang tot die bedienerkonsole kry om OS-installasie via iDRAC te begin, alhoewel niks jou verhoed om 'n monitor, sleutelbord en muis direk aan die bediener te koppel en die bedryfstelsel vanaf 'n flash drive te installeer nie.
Nadat ons die bedryfstelsel geïnstalleer het, voer ons die aanvanklike instellings uit:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Die installering van die basiese stel sagteware
Vir die aanvanklike OS-opstelling moet jy enige netwerkkoppelvlak op die bediener opstel sodat jy toegang tot die internet het om die OS op te dateer en die nodige sagtewarepakkette te installeer. Dit kan beide tydens die OS-installasieproses en daarna gedoen word.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Al die bogenoemde instellings en stel sagteware is 'n kwessie van persoonlike voorkeur, en hierdie stel is slegs 'n aanbeveling.
Aangesien ons gasheer die rol van 'n hipervisor sal speel, sal ons die gewenste prestasieprofiel aktiveer:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Jy kan meer oor die prestasieprofiel hier lees:«.
Nadat ons die bedryfstelsel geïnstalleer het, gaan ons voort na die volgende deel - die opstel van netwerkkoppelvlakke op gashere, en 'n stapel Cisco 2960X-skakelaars.
Die opstel van 'n Cisco 2960X Switch Stack
In ons projek sal die volgende VLAN-nommers gebruik word - of uitsaaidomeine wat van mekaar geïsoleer is, om verskillende soorte verkeer te skei:
VLAN 10 - Internet
VLAN 17 - Bestuur (iDRAC, berging, skakelaarsbestuur)
VLAN 32 – VM-produksienetwerk
VLAN 33 – interkonneksienetwerk (na eksterne kontrakteurs)
VLAN 34 - VM-toetsnetwerk
VLAN 35 - VM ontwikkelaar netwerk
VLAN 40 – moniteringsnetwerk
Voordat ons begin werk, kom ons gee 'n diagram op die L2-vlak, waartoe ons uiteindelik behoort te kom:
Vir netwerkinteraksie van oVirt-gashere en virtuele masjiene met mekaar, sowel as vir die bestuur van ons bergingstelsel, is dit nodig om 'n stapel Cisco 2960X-skakelaars op te stel.
Dell-gashere het ingeboude 4-poort netwerkkaarte, daarom is dit raadsaam om hul verbinding met die Cisco 2960X te organiseer deur 'n foutverdraagsame netwerkverbinding te gebruik, deur die groepering van fisiese netwerkpoorte in 'n logiese koppelvlak en die LACP (802.3) te gebruik. ad) protokol:
- die eerste twee poorte op die gasheer is in bindingsmodus gekonfigureer en aan die 2960X-skakelaar gekoppel - hierdie logiese koppelvlak sal gekonfigureer word oorbrug met 'n adres vir gasheerbestuur, monitering, kommunikasie met ander gashere in die oVirt-groepering, sal dit ook gebruik word vir Regstreekse migrasie van virtuele masjiene;
- die tweede twee poorte op die gasheer is ook in bindingsmodus gekonfigureer en aan die 2960X gekoppel - op hierdie logiese koppelvlak wat oVirt gebruik, sal brûe later geskep word (in die ooreenstemmende VLAN's) waaraan virtuele masjiene sal koppel.
- beide netwerkpoorte binne dieselfde logiese koppelvlak sal aktief wees, d.w.s. verkeer op hulle kan gelyktydig in die balanseringsmodus oorgedra word.
- netwerkinstellings op cluster nodusse moet presies dieselfde wees, behalwe vir IP-adresse.
Basiese skakelaarstapelopstelling 2960X en sy hawens
Voorheen moes ons skakelaars wees:
- rek gemonteer;
- verbind deur twee spesiale kabels van die vereiste lengte, byvoorbeeld CAB-STK-E-1M;
- gekoppel aan die kragtoevoer;
- gekoppel aan die administrateur se werkstasie via die konsolepoort vir hul aanvanklike konfigurasie.
Die nodige leiding hiervoor is beskikbaar by vervaardiger.
Nadat ons die bogenoemde stappe voltooi het, konfigureer ons die skakelaars.
Wat elke opdrag beteken, is nie veronderstel om binne die raamwerk van hierdie artikel ontsyfer te word nie; indien nodig, kan al die inligting onafhanklik gevind word.
Ons doel is om vinnig 'n skakelaarstapel op te stel en gashere en bergingsbestuur-koppelvlakke daaraan te koppel.
1) Ons koppel aan die hoofskakelaar, gaan na die bevoorregte modus, gaan dan na die konfigurasiemodus en maak die basiese instellings.
Basiese skakelaar konfigurasie:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Stoor die konfigurasie met die opdrag "wr mem" en herbegin die skakelaarstapel met die opdrag "herlaai» op die hoofskakelaar 1.
2) Ons konfigureer die netwerkpoorte van die skakelaar in die toegangsmodus (toegang) in VLAN 17, om die beheerkoppelvlakke van bergingstelsels en iDRAC-bedieners te verbind.
Konfigureer bestuurpoorte:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Nadat u die stapel herlaai het, maak seker dat dit reg werk:
Kontroleer die werking van die stapel:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Die opstel van SSH-toegang tot die 2960X-stapel
Om die stapel op afstand te bestuur via SSH, sal ons IP 172.20.1.10 gebruik wat op SVI gekonfigureer is (wissel virtuele koppelvlak) VLAN17.
Alhoewel dit wenslik is om 'n toegewyde toegewyde poort op die skakelaar vir bestuursdoeleindes te gebruik, is dit 'n kwessie van persoonlike voorkeur en geleentheid.
Stel SSH-toegang tot die skakelaarstapel op:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordStel 'n wagwoord op om bevoorregte modus te betree:
enable secret *myenablepassword*
service password-encryptionStel NTP op:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Stel logiese Etherchannel-koppelvlakke en fisiese poorte op wat aan gashere gekoppel is. Vir gemak van konfigurasie, sal alle beskikbare VLAN's op alle logiese koppelvlakke toegelaat word, maar dit word gewoonlik aanbeveel om net op te stel wat nodig is:
Opstel van Etherchannel-koppelvlakke:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeAanvanklike konfigurasie van netwerkkoppelvlakke vir virtuele masjiene, op gashere Gasheer 1 и Gasheer 2
Ons kyk na die teenwoordigheid van die modules wat nodig is vir die werking van binding in die stelsel, installeer die module vir die bestuur van brûe:
modinfo bonding
modinfo 8021q
yum install bridge-utilsDie opstel van die BOND1 logiese koppelvlak vir virtuele masjiene en sy fisiese koppelvlakke op gashere:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Nadat u die instellings op die stapel voltooi het 2960H en gashere, herbegin die netwerk op die gashere, en kontroleer die werkbaarheid van die logiese koppelvlak.
- op gasheer:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- op die skakelaarstapel 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Aanvanklike konfigurasie van netwerkkoppelvlakke vir die bestuur van groephulpbronne, op gashere Gasheer 1 и Gasheer 2
Die opstel van die BOND1 logiese koppelvlak vir bestuur op gashere, en sy fisiese koppelvlakke:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Nadat u die instellings op die stapel voltooi het 2960H en gashere, herbegin die netwerk op die gashere, en kontroleer die werkbaarheid van die logiese koppelvlak.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryStel 'n bestuursnetwerkkoppelvlak op elke gasheer in VLAN 17, en bind dit aan die logiese koppelvlak BOND1:
Konfigureer VLAN17 op Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfigureer VLAN17 op Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicOns herbegin die netwerk op die gashere en kontroleer hul sigbaarheid vir mekaar.
Dit voltooi die konfigurasie van die Cisco 2960X-skakelaarstapel, en as alles korrek gedoen is, het ons nou netwerkverbinding van alle infrastruktuurelemente met mekaar op die L2-vlak.
Dell MD3820f berging opstelling
Voordat u begin werk aan die opstel van die bergingstelsel, moet dit reeds aan die Cisco-skakelaarstapel gekoppel wees 2960H bestuurskoppelvlakke, sowel as aan gashere Gasheer 1 и Gasheer 2 deur FC.
Die algemene skema van hoe die stoorstelsel aan die skakelaarstapel gekoppel moet word, is in die vorige hoofstuk gegee.
Die skema om berging via FC aan gashere te koppel, moet soos volg lyk:
Tydens die verbinding is dit nodig om die WWPN-adresse vir die FC HBA-gashere wat aan die FC-poorte op die bergingstelsel gekoppel is, neer te skryf - dit sal nodig wees vir die daaropvolgende konfigurasie van gasheerbinding aan LUN'e op die stoorstelsel.
Laai die Dell MD3820f-bergingbestuurnutsprogram af en installeer dit op die administrateurwerkstasie - PowerVault Modulêre skyfbergingbestuurder (MDSM).
Ons koppel aan haar via haar verstek IP-adresse, en stel dan ons adresse op vanaf VLAN17, om beheerders via TCP/IP te bestuur:
Berging1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Nadat ons die adresse opgestel het, gaan ons na die stoorbestuurskoppelvlak en stel 'n wagwoord in, stel die tyd in, werk die firmware vir beheerders en skywe op, indien nodig, ens.
Hoe dit gedoen word, word beskryf in berging.
Nadat ons die bogenoemde instellings gemaak het, hoef ons net 'n paar dinge te doen:
- Stel gasheer FC-poort-ID's op - Gasheerpoort-identifiseerders.
- Skep 'n gasheergroep − gasheergroep en voeg ons twee Dell-gashere daarby.
- Skep 'n skyfgroep en virtuele skywe (of LUN's) daarin, wat aan gashere aangebied sal word.
- Konfigureer die aanbieding van virtuele skywe (of LUN's) vir gashere.
Die byvoeging van nuwe gashere en bindende identifiseerders van gasheer FC-poorte word deur die spyskaart gedoen - Gasheer Mappings -> definieer -> Gashere …
Die WWPN-adresse van die FC HBA-gashere kan byvoorbeeld in die bediener se iDRAC gevind word.
As gevolg hiervan behoort ons iets soos hierdie prentjie te kry:
Om 'n nuwe gasheergroep by te voeg en gashere daaraan te bind, word gedoen deur die spyskaart - Gasheer Mappings -> definieer -> Gasheergroep …
Vir gashere, kies die tipe bedryfstelsel - Linux (DM-MP).
Nadat u 'n gasheergroep geskep het, deur die oortjie Berging- en kopieerdienste, skep 'n skyfgroep - skyfgroep, met 'n tipe afhangende van die vereistes vir fouttoleransie, byvoorbeeld RAID10, en daarin virtuele skywe van die vereiste grootte:
En laastens, die finale stadium is die aanbieding van virtuele skywe (of LUN's) vir gashere.
Om dit te doen, deur die spyskaart - Gasheer Mappings -> Lun kartering -> Voeg ... ons bind virtuele skywe aan gashere deur nommers aan hulle toe te ken.
Alles moet soos hierdie kiekie lyk:
Dit is waar ons klaarmaak met die berging-opstelling, en as alles korrek gedoen is, moet die gashere die LUN's sien wat deur hul FC HBA's aan hulle aangebied word.
Kom ons dwing die stelsel om inligting oor gekoppelde dryf op te dateer:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanKom ons kyk watter toestelle op ons bedieners sigbaar is:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Op gashere kan u ook addisioneel konfigureer multipadopstellings, en hoewel dit dit self kan doen wanneer oVirt geïnstalleer word, is dit beter om die korrektheid van die MP vooraf na te gaan.
Installeer en konfigureer DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Stel die MP-diens om outomaties te begin en begin dit:
systemctl enable multipathd && systemctl restart multipathdKontroleer inligting oor gelaaide modules vir MP-werking:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Bekyk 'n opsomming van die bestaande multipad-konfigurasie:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningNadat u 'n nuwe LUN by die bergingstelsel gevoeg het en dit aan die gasheer aangebied het, moet u die HBA's wat aan die gasheer daarop gekoppel is, skandeer.
systemctl reload multipathd
multipath -v2En laastens kyk ons of alle LUN's op die stoorstelsel vir gashere aangebied is, en of daar twee paaie na almal is.
MP-operasiekontrole:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningSoos u kan sien, is al drie virtuele skywe op die bergingstelsel op twee maniere sigbaar. Dus is al die voorbereidende werk afgehandel, wat beteken dat jy kan voortgaan na die hoofgedeelte - die opstel van die oVirt-kluster, wat in die volgende artikel bespreek sal word.
Bron: will.com