Gwahoddir darllenwyr i ymgyfarwyddo ag egwyddorion adeiladu seilwaith sy'n goddef namau ar gyfer menter fach o fewn un ganolfan ddata, a drafodir yn fanwl mewn cyfres fer o erthyglau.
Cyflwyniad
Dan canolfan ddata (Canolfan Prosesu Data) fel a ganlyn:
- rac ei hun yn ei "ystafell weinydd" ei hun ar diriogaeth y fenter, sy'n bodloni'r gofynion sylfaenol ar gyfer darparu offer pŵer ac oeri, ac mae ganddo hefyd fynediad i'r Rhyngrwyd trwy ddau ddarparwr annibynnol;
- rac wedi'i rentu gyda'i offer ei hun, wedi'i leoli mewn canolfan ddata go iawn - yr hyn a elwir. cydleoliad Haen III neu IV sy'n gwarantu pŵer dibynadwy, oeri a mynediad i'r Rhyngrwyd yn fethiant;
- offer ar brydles yn llawn mewn canolfan ddata Haen III neu IV.
Pa opsiwn llety i'w ddewis - ym mhob achos, mae popeth yn unigol, ac fel arfer yn dibynnu ar sawl prif ffactor:
- pam mae menter angen ei seilwaith TG ei hun o gwbl;
- beth yn union y mae'r fenter ei eisiau o'r seilwaith TG (dibynadwyedd, scalability, hylaw, ac ati);
- swm y buddsoddiad cychwynnol mewn seilwaith TG, yn ogystal â pha fath o gostau ar ei gyfer - cyfalaf (sy'n golygu prynu eich offer eich hun), neu weithredu (cyfarpar yn cael ei rentu fel arfer);
- gorwel cynllunio'r fenter ei hun.
Gallwch ysgrifennu llawer am y ffactorau sy'n dylanwadu ar benderfyniad menter i greu a defnyddio ei seilwaith TG, ond ein nod yw dangos yn ymarferol sut i greu'r union seilwaith hwn fel ei fod yn oddefgar o ddiffygion a gallwch chi arbed o hyd - lleihau cost caffael meddalwedd masnachol, neu eu hosgoi yn gyfan gwbl.
Fel y dengys arfer hir, nid yw'n werth arbed haearn, gan fod y miser yn talu ddwywaith, a hyd yn oed llawer mwy. Ond eto - caledwedd da, dim ond argymhelliad yw hwn, ac yn y diwedd beth yn union i'w brynu ac am faint yn dibynnu ar alluoedd y fenter, a "trachwant" ei reolaeth. Ar ben hynny, dylid deall y gair "trachwant" yn ystyr dda y gair, gan ei bod yn well buddsoddi mewn caledwedd yn y cam cychwynnol, fel na fydd gennych yn ddiweddarach broblemau difrifol gyda'i gefnogaeth a'i raddio ymhellach, gan ei fod yn anghywir i ddechrau. gall cynllunio ac arbedion gormodol arwain at gostau uwch nag wrth gychwyn prosiect.
Felly, mae’r data cychwynnol ar gyfer y prosiect:
- mae menter sydd wedi penderfynu creu ei phorth gwe ei hun a dod â'i gweithgareddau i'r Rhyngrwyd;
- penderfynodd y cwmni rentu rac i ddarparu ar gyfer ei offer mewn canolfan ddata dda a ardystiwyd yn unol â safon Haen III;
- penderfynodd y cwmni beidio ag arbed llawer ar galedwedd, ac felly prynodd yr offer canlynol gyda gwarantau a chefnogaeth estynedig:
Rhestr offer
- dau weinydd corfforol Dell PowerEdge R640 fel a ganlyn:
- dau brosesydd Intel Xeon Gold 5120
- RAM 512 Gb
- dau ddisg SAS yn RAID1, ar gyfer gosod OS
- cerdyn rhwydwaith 4G 1-porthladd adeiledig
- dau gerdyn rhwydwaith 2-borthladd 10G
- un 2-borthladd FC HBA 16G.
- Storfa rheolydd Dell MD2f 3820 wedi'i gysylltu trwy FC 16G yn uniongyrchol â gwesteiwyr Dell;
- dau switshis o'r ail lefel - Cisco WS-C2960RX-48FPS-L wedi'u pentyrru;
- dau switshis o'r drydedd lefel - Cisco WS-C3850-24T-E, wedi'u cyfuno i mewn i bentwr;
- Rack, UPS, PDU, gweinyddwyr consol - a ddarperir gan y ganolfan ddata.
Fel y gallwn weld, mae gan yr offer presennol ragolygon da ar gyfer graddio llorweddol a fertigol, os gall y fenter gystadlu â chwmnïau eraill o broffil tebyg ar y Rhyngrwyd, a dechrau gwneud elw y gellir ei fuddsoddi mewn ehangu adnoddau ar gyfer cystadleuaeth bellach a twf elw.
Pa offer y gallwn ei ychwanegu os bydd y fenter yn penderfynu cynyddu perfformiad ein clwstwr cyfrifiadura:
- mae gennym gronfa wrth gefn fawr o ran nifer y porthladdoedd ar y switshis 2960X, sy'n golygu y gallwn ychwanegu mwy o weinyddion caledwedd;
- prynu dau switsh FC i gysylltu systemau storio a gweinyddwyr ychwanegol iddynt;
- gellir uwchraddio gweinyddwyr presennol - ychwanegu cof, disodli proseswyr â rhai mwy effeithlon, cysylltu â rhwydwaith 10G gydag addaswyr rhwydwaith presennol;
- gallwch ychwanegu silffoedd disg ychwanegol i'r system storio gyda'r math gofynnol o ddisgiau - SAS, SATA neu SSD, yn dibynnu ar y llwyth a gynlluniwyd;
- ar ôl ychwanegu switshis FC, gallwch brynu system storio arall i ychwanegu hyd yn oed mwy o gapasiti disg, ac os ydych chi'n prynu opsiwn Dyblygu o Bell arbennig iddo, gallwch chi ffurfweddu atgynhyrchu data rhwng systemau storio o fewn ffiniau un ganolfan ddata a rhwng canolfannau data (ond mae hyn eisoes y tu hwnt i gwmpas yr erthygl);
- mae yna hefyd switshis trydydd lefel - Cisco 3850, y gellir ei ddefnyddio fel craidd rhwydwaith sy'n goddef namau ar gyfer llwybro cyflym rhwng rhwydweithiau mewnol. Bydd hyn yn helpu llawer yn y dyfodol, wrth i'r seilwaith mewnol dyfu. Mae gan y 3850 hefyd borthladdoedd 10G y gellir eu defnyddio'n ddiweddarach wrth uwchraddio offer rhwydwaith i gyflymder 10G.
Gan nad oes unrhyw le heb rithwiroli, byddwn yn sicr mewn tuedd, yn enwedig gan fod hon yn ffordd wych o leihau'r gost o gaffael gweinyddwyr drud ar gyfer elfennau seilwaith unigol (gweinyddwyr gwe, cronfeydd data, ac ati), nad ydynt bob amser yn optimaidd. a ddefnyddir rhag ofn y bydd llwyth isel, a dyma'n union beth fydd ar ddechrau lansiad y prosiect.
Yn ogystal, mae gan rithwiroli lawer o fanteision eraill a all fod yn ddefnyddiol iawn i ni: goddefgarwch bai VM o fethiant gweinydd caledwedd, Mudo byw rhwng nodau caledwedd clwstwr ar gyfer eu cynnal a chadw, dosbarthiad llwyth â llaw neu awtomatig rhwng nodau clwstwr, ac ati.
Ar gyfer y caledwedd a brynwyd gan y fenter, mae defnyddio clwstwr VMware vSphere sydd ar gael yn helaeth yn awgrymu ei hun, ond gan fod unrhyw feddalwedd gan VMware yn adnabyddus am ei dagiau pris “ceffyl”, byddwn yn defnyddio meddalwedd rheoli rhithwiroli rhad ac am ddim - , y mae cynnyrch adnabyddus, ond sydd eisoes yn fasnachol yn cael ei greu - .
Meddalwedd oVirt angenrheidiol i gyfuno holl elfennau'r seilwaith yn un cyfanwaith er mwyn gallu gweithio'n gyfleus gyda pheiriannau rhithwir sydd ar gael yn fawr - mae'r rhain yn gronfeydd data, cymwysiadau gwe, gweinyddwyr dirprwyol, balanswyr, gweinyddwyr ar gyfer casglu logiau a dadansoddeg, ac ati, hynny yw , yr hyn y mae porth gwe ein menter yn ei gynnwys.
Wrth grynhoi'r cyflwyniad hwn, mae'r erthyglau canlynol yn ein disgwyl, a fydd yn dangos yn ymarferol yn union sut i ddefnyddio holl seilwaith caledwedd a meddalwedd menter:
Rhestr o erthyglau
- Rhan 1. Paratoi i Ddefnyddio Clwstwr oVirt 4.3.
- Rhan 2. Gosod a ffurfweddu clwstwr oVirt 4.3.
- Rhan 3. Sefydlu clwstwr VyOS, trefnu llwybro allanol sy'n goddef diffygion.
- Rhan 4. Sefydlu stac Cisco 3850, trefnu llwybro mewnrwyd.
Rhan 1. Paratoi i Ddefnyddio Clwstwr oVirt 4.3
Gosodiad gwesteiwr sylfaenol
Gosod a ffurfweddu'r OS yw'r cam hawsaf. Mae yna lawer o erthyglau ar sut i osod a ffurfweddu'r OS yn iawn, felly nid yw'n gwneud unrhyw synnwyr i geisio rhoi rhywbeth unigryw am hyn.
Felly, mae gennym ddau westeiwr Dell PowerEdge R640 y mae angen i ni osod yr OS arnynt a pherfformio gosodiadau rhagarweiniol er mwyn eu defnyddio fel hypervisors i redeg peiriannau rhithwir mewn clwstwr oVirt 4.3.
Gan ein bod yn bwriadu defnyddio'r meddalwedd oVirt anfasnachol rhad ac am ddim, rydym wedi dewis yr OS ar gyfer defnyddio gwesteiwyr CentOS 7.7, er ei bod yn bosibl gosod systemau gweithredu eraill ar westeion ar gyfer oVirt:
- adeilad arbennig yn seiliedig ar RHEL, yr hyn a elwir. ;
- OS Oracle Linux Haf 2019 am gadw oVirt i redeg arno.
Cyn gosod yr OS, argymhellir:
- ffurfweddu rhyngwyneb rhwydwaith iDRAC ar y ddau westeiwr;
- diweddaru firmware ar gyfer BIOS ac iDRAC i'r fersiynau diweddaraf;
- ffurfweddu Proffil System y gweinydd, yn y modd Perfformiad yn ddelfrydol;
- ffurfweddu RAID o ddisgiau lleol (argymhellir RAID1) i osod yr OS ar y gweinydd.
Yna rydym yn gosod yr OS ar y ddisg a grëwyd yn gynharach trwy iDRAC - mae'r broses osod yn normal, nid oes unrhyw eiliadau arbennig ynddo. Gallwch hefyd gael mynediad at gonsol y gweinydd i ddechrau gosod OS trwy iDRAC, er nad oes dim yn eich atal rhag cysylltu monitor, bysellfwrdd a llygoden yn uniongyrchol â'r gweinydd a gosod yr OS o yriant fflach.
Ar ôl gosod yr OS, rydym yn perfformio ei osodiadau cychwynnol:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Gosod y set sylfaenol o feddalwedd
Ar gyfer y gosodiad OS cychwynnol, mae angen i chi ffurfweddu unrhyw ryngwyneb rhwydwaith ar y gweinydd fel y gallwch gael mynediad i'r Rhyngrwyd i ddiweddaru'r OS a gosod y pecynnau meddalwedd angenrheidiol. Gellir gwneud hyn yn ystod y broses osod OS ac ar ei ôl.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Mae pob un o'r gosodiadau uchod a set o feddalwedd yn fater o ddewis personol, a dim ond argymhelliad yw'r set hon.
Gan y bydd ein gwesteiwr yn chwarae rôl hypervisor, byddwn yn galluogi'r proffil perfformiad dymunol:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Gallwch ddarllen mwy am y proffil perfformiad yma:".
Ar ôl gosod yr OS, symudwn ymlaen i'r rhan nesaf - ffurfweddu rhyngwynebau rhwydwaith ar westeion, a phentwr o switshis Cisco 2960X.
Ffurfweddu Cisco 2960X Switch Stack
Yn ein prosiect, bydd y rhifau VLAN canlynol yn cael eu defnyddio - neu ddarlledu parthau wedi'u hynysu oddi wrth ei gilydd, er mwyn gwahanu gwahanol fathau o draffig:
VLAN 10 - Rhyngrwyd
VLAN 17 - Rheolaeth (iDRAC, storio, rheoli switshis)
VLAN 32 - Rhwydwaith cynhyrchu VM
VLAN 33 – rhwydwaith rhyng-gysylltiad (i gontractwyr allanol)
VLAN 34 - Rhwydwaith prawf VM
VLAN 35 - Rhwydwaith datblygwyr VM
VLAN 40 – rhwydwaith monitro
Cyn dechrau gweithio, gadewch i ni roi diagram ar lefel L2, y dylem ddod ato yn y pen draw:
Ar gyfer rhyngweithio rhwydwaith gwesteiwyr oVirt a pheiriannau rhithwir â'i gilydd, yn ogystal ag ar gyfer rheoli ein system storio, mae angen ffurfweddu pentwr o switshis Cisco 2960X.
Mae gan westeion Dell gardiau rhwydwaith 4-porthladd adeiledig, felly, fe'ch cynghorir i drefnu eu cysylltiad â'r Cisco 2960X gan ddefnyddio cysylltiad rhwydwaith sy'n goddef namau, gan ddefnyddio grwpio porthladdoedd rhwydwaith ffisegol i ryngwyneb rhesymegol, a'r LACP (802.3 ad) protocol:
- mae'r ddau borth cyntaf ar y gwesteiwr wedi'u ffurfweddu yn y modd bondio a'u cysylltu â'r switsh 2960X - bydd y rhyngwyneb rhesymegol hwn yn cael ei ffurfweddu bont gyda chyfeiriad ar gyfer rheoli gwesteiwr, monitro, cyfathrebu â gwesteiwyr eraill yn y clwstwr oVirt, bydd hefyd yn cael ei ddefnyddio ar gyfer mudo byw o beiriannau rhithwir;
- mae'r ail ddau borthladd ar y gwesteiwr hefyd wedi'u ffurfweddu yn y modd bondio ac wedi'u cysylltu â'r 2960X - ar y rhyngwyneb rhesymegol hwn gan ddefnyddio oVirt, bydd pontydd yn cael eu creu yn ddiweddarach (yn y VLANs cyfatebol) y bydd peiriannau rhithwir yn cysylltu â nhw.
- bydd y ddau borthladd rhwydwaith o fewn yr un rhyngwyneb rhesymegol yn weithredol, h.y. gellir trosglwyddo traffig arnynt ar yr un pryd, yn y modd cydbwyso.
- rhaid i osodiadau rhwydwaith ar nodau clwstwr fod yn union yr un fath, ac eithrio cyfeiriadau IP.
Gosodiad stac switsh sylfaenol 2960X a'i phorthladdoedd
Yn flaenorol, dylai ein switshis fod yn:
- rac wedi'i osod;
- wedi'i gysylltu â dau gebl arbennig o'r hyd gofynnol, er enghraifft, CAB-STK-E-1M;
- yn gysylltiedig â'r cyflenwad pŵer;
- wedi'i gysylltu â gweithfan y gweinyddwr trwy'r porthladd consol ar gyfer eu ffurfweddiad cychwynnol.
Mae’r canllawiau angenrheidiol ar gyfer hyn ar gael yn gwneuthurwr.
Ar ôl cwblhau'r camau uchod, rydym yn ffurfweddu'r switshis.
Nid yw'r hyn y mae pob gorchymyn yn ei olygu i fod i gael ei ddehongli o fewn fframwaith yr erthygl hon; os oes angen, gellir dod o hyd i'r holl wybodaeth yn annibynnol.
Ein nod yw sefydlu pentwr switsh yn gyflym a chysylltu gwesteiwyr a rhyngwynebau rheoli storio ag ef.
1) Rydym yn cysylltu â'r switsh meistr, ewch i'r modd breintiedig, yna ewch i'r modd cyfluniad a gwnewch y gosodiadau sylfaenol.
Ffurfwedd switsh sylfaenol:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Arbedwch y ffurfwedd gyda'r gorchymyn "wr mem" " ac ailgychwyn y pentwr switsh gyda'r gorchymyn "ail-lwytho» ar y swits meistr 1.
2) Rydym yn ffurfweddu porthladdoedd rhwydwaith y switsh yn y modd mynediad (mynediad) yn VLAN 17, i gysylltu rhyngwynebau rheoli systemau storio a gweinyddwyr iDRAC.
Ffurfweddu Porthladdoedd Rheoli:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Ar ôl ail-lwytho'r pentwr, gwiriwch ei fod yn gweithio'n gywir:
Gwirio gweithrediad y pentwr:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Sefydlu mynediad SSH i'r pentwr 2960X
I reoli'r pentwr o bell trwy SSH, byddwn yn defnyddio IP 172.20.1.10 wedi'i ffurfweddu ar SVI (newid rhyngwyneb rhithwir) VLAN17.
Er ei bod yn ddymunol defnyddio porthladd pwrpasol ar y switsh at ddibenion rheoli, mae hyn yn fater o ddewis personol a chyfle.
Sefydlu mynediad SSH i'r pentwr switsh:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordGosodwch gyfrinair i fynd i mewn i'r modd breintiedig:
enable secret *myenablepassword*
service password-encryptionSefydlu NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Sefydlu rhyngwynebau Etherchannel rhesymegol a phorthladdoedd ffisegol sy'n gysylltiedig â gwesteiwyr. Er hwylustod, bydd yr holl VLANs sydd ar gael yn cael eu caniatáu ar bob rhyngwyneb rhesymegol, ond yn gyffredinol argymhellir ffurfweddu dim ond yr hyn sydd ei angen:
Ffurfweddu rhyngwynebau Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeCyfluniad cychwynnol rhyngwynebau rhwydwaith ar gyfer peiriannau rhithwir, ar westeion Gwesteiwr1 и Gwesteiwr2
Rydym yn gwirio presenoldeb y modiwlau angenrheidiol ar gyfer gweithredu bondio yn y system, gosod y modiwl ar gyfer rheoli pontydd:
modinfo bonding
modinfo 8021q
yum install bridge-utilsFfurfweddu'r rhyngwyneb rhesymegol BOND1 ar gyfer peiriannau rhithwir a'i ryngwynebau ffisegol ar westeion:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Ar ôl cwblhau'r gosodiadau ar y pentwr 2960X a gwesteiwyr, ailgychwyn y rhwydwaith ar y gwesteiwyr, a gwirio gweithrediad y rhyngwyneb rhesymegol.
- ar gwesteiwr:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- ar y pentwr switsh 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Cyfluniad cychwynnol rhyngwynebau rhwydwaith ar gyfer rheoli adnoddau clwstwr, ar westeion Gwesteiwr1 и Gwesteiwr2
Ffurfweddu rhyngwyneb rhesymegol BOND1 ar gyfer rheoli gwesteiwyr, a'i ryngwynebau ffisegol:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Ar ôl cwblhau'r gosodiadau ar y pentwr 2960X a gwesteiwyr, ailgychwyn y rhwydwaith ar y gwesteiwyr, a gwirio gweithrediad y rhyngwyneb rhesymegol.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summarySefydlu rhyngwyneb rhwydwaith rheoli ar bob gwesteiwr i mewn VLAN 17, a'i rwymo i'r rhyngwyneb rhesymegol BOND1:
Ffurfweddu VLAN17 ar Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicFfurfweddu VLAN17 ar Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicRydym yn ailgychwyn y rhwydwaith ar y gwesteiwyr ac yn gwirio eu gwelededd i'w gilydd.
Mae hyn yn cwblhau cyfluniad pentwr switsh Cisco 2960X, a phe bai popeth yn cael ei wneud yn gywir, nawr mae gennym gysylltedd rhwydwaith o'r holl elfennau seilwaith â'i gilydd ar lefel L2.
Gosodiad storio Dell MD3820f
Cyn dechrau ar y gwaith o ffurfweddu'r system storio, rhaid ei fod eisoes wedi'i gysylltu â simnai switsh Cisco 2960X rhyngwynebau rheoli, yn ogystal â gwesteiwyr Gwesteiwr1 и Gwesteiwr2 trwy FC.
Rhoddwyd y cynllun cyffredinol o sut y dylid cysylltu'r system storio â'r pentwr switsh yn y bennod flaenorol.
Dylai'r cynllun ar gyfer cysylltu storfa trwy FC â gwesteiwyr edrych fel hyn:
Yn ystod y cysylltiad, mae angen ysgrifennu cyfeiriadau WWPN ar gyfer gwesteiwyr FC HBA sy'n gysylltiedig â phorthladdoedd y CC ar y system storio - bydd hyn yn angenrheidiol ar gyfer cyfluniad dilynol rhwymiad gwesteiwr i LUNs ar y system storio.
Dadlwythwch a gosodwch gyfleustodau rheoli storio Dell MD3820f ar weithfan y gweinyddwr - Rheolwr Storio Disg Modiwlaidd PowerVault (MDSM).
Rydyn ni'n cysylltu â hi trwy ei chyfeiriadau IP diofyn, ac yna'n ffurfweddu ein cyfeiriadau o VLAN17, i reoli rheolwyr trwy TCP/IP:
Storio1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Ar ôl sefydlu'r cyfeiriadau, rydym yn mynd i'r rhyngwyneb rheoli storio ac yn gosod cyfrinair, gosod yr amser, diweddaru'r firmware ar gyfer rheolwyr a disgiau, os oes angen, ac ati.
Disgrifir sut y gwneir hyn yn storfa.
Ar ôl gwneud y gosodiadau uchod, dim ond ychydig o bethau y mae angen i ni eu gwneud:
- Ffurfweddu IDau porthladd FC gwesteiwr - Dynodwyr Porthladd Lletyol.
- Creu grŵp gwesteiwr - grŵp gwesteiwr ac ychwanegu ein dau gwesteiwr Dell ato.
- Creu grŵp disg a disgiau rhithwir (neu LUNs) ynddo, a fydd yn cael eu cyflwyno i westeion.
- Ffurfweddu cyflwyniad disgiau rhithwir (neu LUNs) ar gyfer gwesteiwyr.
Mae ychwanegu gwesteiwyr newydd a dynodwyr rhwymol porthladdoedd gwesteiwr FC atynt yn cael ei wneud trwy'r ddewislen - Mapiau Gwesteiwr -> Diffiniwch -> Gwesteiwyr…
Gellir dod o hyd i gyfeiriadau WWPN gwesteiwyr FC HBA, er enghraifft, yn iDRAC y gweinydd.
O ganlyniad, dylem gael rhywbeth fel y llun hwn:
Mae ychwanegu grŵp gwesteiwr newydd a rhwymo gwesteiwyr ato yn cael ei wneud trwy'r ddewislen - Mapiau Gwesteiwr -> Diffiniwch -> Grŵp Gwesteiwr…
Ar gyfer gwesteiwyr, dewiswch y math o OS - Linux (DM-MP).
Ar ôl creu grŵp gwesteiwr, trwy'r tab Gwasanaethau Storio a Chopïo, creu grŵp disg - Grŵp Disg, gyda math yn dibynnu ar y gofynion ar gyfer goddefgarwch bai, er enghraifft, RAID10, ac ynddo disgiau rhithwir o'r maint gofynnol:
Ac yn olaf, y cam olaf yw cyflwyno disgiau rhithwir (neu LUNs) ar gyfer gwesteiwyr.
I wneud hyn, trwy'r ddewislen - Mapiau Gwesteiwr -> Llun mapio -> Ychwanegwch ... rydym yn rhwymo disgiau rhithwir i westeion trwy aseinio rhifau iddynt.
Dylai popeth edrych fel y sgrinlun hwn:
Dyma lle rydyn ni'n gorffen gyda'r gosodiad storio, ac os gwnaed popeth yn gywir, yna dylai'r gwesteiwyr weld y LUNs a gyflwynir iddynt trwy eu HBAs FC.
Gadewch i ni orfodi'r system i ddiweddaru gwybodaeth am yriannau cysylltiedig:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanGadewch i ni weld pa ddyfeisiau sy'n weladwy ar ein gweinyddwyr:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Ar westeion, gallwch chi hefyd ffurfweddu hefyd amllwybr, ac er y gall ei wneud ei hun wrth osod oVirt, mae'n well gwirio cywirdeb yr AS ymlaen llaw.
Gosod a ffurfweddu DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Gosodwch y gwasanaeth MP i gychwyn yn awtomatig a'i gychwyn:
systemctl enable multipathd && systemctl restart multipathdGwirio gwybodaeth am fodiwlau wedi'u llwytho ar gyfer gweithrediad MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Gweld crynodeb o'r ffurfweddiad amllwybr presennol:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningAr ôl ychwanegu LUN newydd i'r system storio a'i gyflwyno i'r gwesteiwr, mae angen i chi sganio'r HBAs sy'n gysylltiedig â'r gwesteiwr arno.
systemctl reload multipathd
multipath -v2Ac yn olaf, rydym yn gwirio a yw'r holl LUNs wedi'u cyflwyno ar y system storio ar gyfer gwesteiwyr, ac a oes dau lwybr i bawb.
Gwiriad gweithrediad MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningFel y gallwch weld, mae'r tair disg rhithwir ar y system storio i'w gweld mewn dwy ffordd. Felly, mae'r holl waith paratoi wedi'i gwblhau, sy'n golygu y gallwch symud ymlaen i'r brif ran - sefydlu'r clwstwr oVirt, a fydd yn cael ei drafod yn yr erthygl nesaf.
Ffynhonnell: hab.com