ProHoster > Blog > Stjórnsýsla > Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Lesendum er boðið að kynna sér meginreglur þess að byggja upp bilunarþolinn innviði fyrir lítið fyrirtæki í einni gagnaver, sem fjallað verður ítarlega um í stuttri greinaröð.

Inngangur

undir gagnaver (Gagnavinnslumiðstöð) má skilja sem:

  • eigin rekki í eigin "miðlaraherbergi" á yfirráðasvæði fyrirtækisins, sem uppfyllir lágmarkskröfur til að útvega orku og kælibúnað, og hefur einnig aðgang að internetinu í gegnum tvo sjálfstæða veitendur;
  • leigð rekki með eigin búnaði, staðsettur í alvöru gagnaveri - svokallaða. flokks III eða IV samsetning sem tryggir áreiðanlega afl, kælingu og bilunaraðgang á internetinu;
  • að fullu leigður búnaður í Tier III eða IV gagnaver.

Hvaða gistimöguleiki á að velja - í hverju tilviki er allt einstaklingsbundið og fer venjulega eftir nokkrum meginþáttum:

  • hvers vegna þarf fyrirtæki sitt eigið upplýsingatækni innviði yfirleitt;
  • hvað nákvæmlega vill fyrirtækið fá af upplýsingatækniinnviðum (áreiðanleiki, sveigjanleiki, meðhöndlun osfrv.);
  • upphæð upphaflegrar fjárfestingar í upplýsingatækniinnviðum, svo og hvers konar kostnaður við það - fjármagn (sem þýðir að kaupa eigin búnað), eða rekstur (búnaður er venjulega leigður);
  • áætlanagerð sjálfs fyrirtækisins.

Þú getur skrifað mikið um þá þætti sem hafa áhrif á ákvörðun fyrirtækis um að búa til og nota upplýsingatækniinnviði þess, en markmið okkar er að sýna í reynd hvernig á að búa til einmitt þessa innviði þannig að hann sé bæði bilunarþolinn og þú getur samt sparað - draga úr kostnaði við öflun viðskiptahugbúnaðar eða forðast hann alveg.

Eins og löng æfing sýnir, er ekki þess virði að spara í járni, þar sem vesalingurinn borgar tvisvar, og jafnvel miklu meira. En aftur - góður vélbúnaður, þetta er bara tilmæli, og á endanum hvað nákvæmlega á að kaupa og fyrir hversu mikið fer eftir getu fyrirtækisins og "græðgi" stjórnenda þess. Þar að auki ætti að skilja orðið "græðgi" í góðum skilningi þess orðs, þar sem það er betra að fjárfesta í vélbúnaði á upphafsstigi, svo að þú eigir síðar í alvarlegum vandræðum með frekari stuðning og stigstærð, þar sem upphaflega rangt. skipulagning og óhóflegur sparnaður getur leitt til hærri kostnaðar en þegar verkefni er hafið.

Svo, upphafsgögn fyrir verkefnið:

  • það er fyrirtæki sem hefur ákveðið að búa til sína eigin vefgátt og koma starfsemi sinni á netið;
  • fyrirtækið ákvað að leigja rekki til að hýsa búnað þess í góðu gagnaveri sem er vottað samkvæmt Tier III staðlinum;
  • Fyrirtækið ákvað að spara ekki mikið í vélbúnaði og keypti því eftirfarandi búnað með aukinni ábyrgð og stuðningi:

Tækjalisti

  • tveir líkamlegir Dell PowerEdge R640 netþjónar sem hér segir:
  • tveir Intel Xeon Gold 5120 örgjörvar
  • 512 Gb vinnsluminni
  • tveir SAS diskar í RAID1, fyrir OS uppsetningu
  • innbyggt 4-porta 1G netkort
  • tvö 2-porta 10G netkort
  • einn 2-port FC HBA 16G.
  • Dell MD2f 3820 stýringargeymsla tengd í gegnum FC 16G beint við Dell vélar;
  • tveir rofar á öðru stigi - Cisco WS-C2960RX-48FPS-L staflað;
  • tveir rofar á þriðja stigi - Cisco WS-C3850-24T-E, sameinuð í stafla;
  • Rekki, UPS, PDU, stjórnborðsþjónar - veitt af gagnaverinu.

Eins og við sjáum hefur núverandi búnaður góðar horfur á láréttri og lóðréttri stærðargráðu, ef fyrirtækið getur keppt við önnur fyrirtæki með svipaða mynd á netinu og byrjar að græða sem hægt er að fjárfesta í að auka fjármagn til frekari samkeppni og hagnaðarvöxtur.

Hvaða búnaði getum við bætt við ef fyrirtækið ákveður að auka afköst tölvuklasans okkar:

  • við höfum stóran varasjóð hvað varðar fjölda tengi á 2960X rofanum, sem þýðir að við getum bætt við fleiri vélbúnaðarþjónum;
  • kaupa tvo FC rofa til að tengja geymslukerfi og viðbótarþjóna við þá;
  • Hægt er að uppfæra núverandi netþjóna - bæta við minni, skipta um örgjörva fyrir skilvirkari, tengdu við 10G net með núverandi netkortum;
  • þú getur bætt við viðbótar diskahillum við geymslukerfið með nauðsynlegri gerð af diskum - SAS, SATA eða SSD, allt eftir fyrirhuguðu álagi;
  • eftir að hafa bætt við FC rofa geturðu keypt annað geymslukerfi til að bæta við enn meira diskrými og ef þú kaupir sérstakan Remote Replication valkost við það geturðu stillt gagnaafritun á milli geymslukerfa bæði innan marka eins gagnavera og milli gagnavera (en þetta er nú þegar utan gildissviðs greinarinnar);
  • það eru líka þriðja stigs rofar - Cisco 3850, sem hægt er að nota sem bilunarþolinn netkjarna fyrir háhraða leið milli innri neta. Þetta mun hjálpa mikið í framtíðinni þar sem innri innviðir stækka. 3850 er einnig með 10G tengi sem hægt er að nota síðar þegar netbúnaður er uppfærður í 10G hraða.

Þar sem nú er hvergi án sýndarvæðingar, munum við vissulega vera í þróuninni, sérstaklega þar sem þetta er frábær leið til að draga úr kostnaði við að afla dýrra netþjóna fyrir einstaka innviðaþætti (vefþjóna, gagnagrunna osfrv.), sem eru ekki alltaf ákjósanlegir. notað ef álag er lítið, og þetta er nákvæmlega það sem verður í upphafi verkefnisins.

Auk þess hefur sýndarvæðing marga aðra kosti sem geta verið mjög gagnlegir fyrir okkur: VM bilanaþol frá bilun í vélbúnaðarþjóni, Lifandi flutningur milli klasa vélbúnaðarhnúta fyrir viðhald þeirra, handvirk eða sjálfvirk dreifing álags milli klasahnúta o.s.frv.

Fyrir vélbúnaðinn sem fyrirtækið keypti bendir uppsetning á mjög tiltækum VMware vSphere klasa fyrir sig, en þar sem hvaða hugbúnaður frá VMware er þekktur fyrir „hesta“ verðmiða sína munum við nota algerlega ókeypis sýndarstjórnunarhugbúnað - oVirt, á grundvelli þess er vel þekkt, en þegar viðskiptaleg vara búin til - rhev.

Программное обеспечение oVirt nauðsynlegt að sameina alla þætti innviðanna í eina heild til að geta unnið á þægilegan hátt með mjög tiltækum sýndarvélum - þetta eru gagnagrunnar, vefforrit, proxy-þjónar, jafnvægistæki, netþjónar til að safna annálum og greiningar o.s.frv., þ.e. , hvað vefgátt fyrirtækisins okkar samanstendur af.

Í stuttu máli þessa inngangs bíða okkar eftirfarandi greinar, sem sýna í reynd hvernig á að dreifa öllu vélbúnaðar- og hugbúnaðarinnviði fyrirtækis:

Listi yfir greinar

  • Part 1. Undirbúningur að setja upp oVirt þyrping 4.3.
  • Part 2. Uppsetning og uppsetning oVirt klasa 4.3.
  • Part 3. Að setja upp VyOS þyrping, skipuleggja bilunarþolna ytri leið.
  • Part 4. Að setja upp Cisco 3850 stafla, skipuleggja leið á innra neti.

Hluti 1. Undirbúningur að setja upp oVirt 4.3 þyrping

Grunnuppsetning hýsingaraðila

Að setja upp og stilla stýrikerfið er auðveldasta skrefið. Það eru fullt af greinum um hvernig eigi að setja upp og stilla stýrikerfið rétt, svo það er ekkert vit í að reyna að gefa út eitthvað einkarétt um þetta.

Þannig að við erum með tvo Dell PowerEdge R640 véla sem við þurfum að setja upp stýrikerfið á og framkvæma bráðabirgðastillingar til að nota þá sem yfirsýnara til að keyra sýndarvélar í oVirt 4.3 klasa.

Þar sem við ætlum að nota ókeypis óviðskiptahugbúnaðinn oVirt, völdum við stýrikerfið til að dreifa vélum CentOS 7.7, þó það sé hægt að setja upp önnur stýrikerfi á vélum fyrir oVirt:

  • sérstök smíði byggð á RHEL, svokölluð. oVirt Node;
  • OS Oracle Linux sumarið 2019 það var tilkynnt um að halda oVirt í gangi á því.

Áður en stýrikerfið er sett upp er mælt með:

  • stilla iDRAC netviðmótið á báðum vélum;
  • uppfærðu vélbúnaðar fyrir BIOS og iDRAC í nýjustu útgáfur;
  • stilla kerfissnið þjónsins, helst í árangursham;
  • stilla RAID frá staðbundnum diskum (mælt er með RAID1) til að setja upp stýrikerfið á þjóninum.

Síðan setjum við upp stýrikerfið á disknum sem var búið til áður í gegnum iDRAC - uppsetningarferlið er eðlilegt, það eru engin sérstök augnablik í því. Þú getur líka fengið aðgang að miðlara stjórnborðinu til að hefja uppsetningu stýrikerfis í gegnum iDRAC, þó ekkert komi í veg fyrir að þú tengir skjá, lyklaborð og mús beint við netþjóninn og setur upp stýrikerfið af flash-drifi.

Eftir uppsetningu stýrikerfisins gerum við upphafsstillingar þess:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Uppsetning grunnhugbúnaðar

Fyrir upphaflegu stýrikerfisuppsetninguna þarftu að stilla hvaða netviðmót sem er á þjóninum þannig að þú hafir aðgang að internetinu til að uppfæra stýrikerfið og setja upp nauðsynlega hugbúnaðarpakka. Þetta er hægt að gera bæði meðan á uppsetningarferli stýrikerfisins stendur og eftir það.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Allar ofangreindar stillingar og hugbúnaðarsett er spurning um persónulegt val og þetta sett er aðeins meðmæli.

Þar sem gestgjafi okkar mun gegna hlutverki yfirsjónarmanns, munum við virkja frammistöðusniðið sem óskað er eftir:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Þú getur lesið meira um frammistöðuprófílinn hér:4. kafli".

Eftir uppsetningu stýrikerfisins förum við yfir í næsta hluta - stilla netviðmót á vélum og stafla af Cisco 2960X rofum.

Stilla Cisco 2960X Switch Stack

Í verkefninu okkar verða eftirfarandi VLAN númer notuð - eða útvarpslén einangruð hvert frá öðru, til að aðgreina mismunandi tegundir umferðar:

VLAN 10 - Internet
VLAN 17 - Stjórnun (iDRAC, geymsla, rofastjórnun)
VLAN 32 – VM framleiðslunet
VLAN 33 – samtengingarnet (til ytri verktaka)
VLAN 34 - VM prófunarnet
VLAN 35 - VM þróunarnet
VLAN 40 – eftirlitsnet

Áður en unnið er, skulum við gefa skýringarmynd á L2 stigi, sem við ættum að lokum að koma að:

Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Fyrir netsamskipti oVirt gestgjafa og sýndarvéla sín á milli, svo og til að stjórna geymslukerfinu okkar, er nauðsynlegt að stilla stafla af Cisco 2960X rofum.

Dell vélar eru með innbyggð 4-porta netkort, því er ráðlegt að skipuleggja tengingu þeirra við Cisco 2960X með bilunarþolinni nettengingu, með því að flokka líkamlega nettengi í rökrétt viðmót og LACP (802.3) ad) siðareglur:

  • fyrstu tvær tengin á vélinni eru stilltar í tengistillingu og tengdar við 2960X rofann - þetta rökrétta viðmót verður stillt brú með heimilisfangi fyrir hýsingarstjórnun, eftirlit, samskipti við aðra gestgjafa í oVirt klasanum, það verður einnig notað fyrir lifandi flutning sýndarvéla;
  • önnur tvö tengi á hýsilinn eru einnig stillt í tengingarham og tengd við 2960X - á þessu rökrétta viðmóti með oVirt, verða brýr búnar til síðar (í samsvarandi VLAN) sem sýndarvélar munu tengjast.
  • báðar nettengin innan sama rökræna viðmótsins verða virkar, þ.e. umferð á þeim er hægt að senda samtímis, í jafnvægisham.
  • netstillingar á klasahnútum verða að vera nákvæmlega þær sömu, nema IP tölur.

Grunnuppsetning skiptistafla 2960X og hafnir þess

Áður ættu rofar okkar að vera:

  • rekki festur;
  • tengdir með tveimur sérstökum snúrum af tilskildri lengd, til dæmis CAB-STK-E-1M;
  • tengdur við aflgjafa;
  • tengdur við vinnustöð stjórnandans í gegnum stjórnborðstengið fyrir upphaflega stillingu.

Nauðsynlegar leiðbeiningar um þetta er að finna á opinber blaðsíða framleiðanda.

Eftir að hafa lokið ofangreindum skrefum stillum við rofana.
Hvað hver skipun þýðir er ekki ætlast til að vera dulkóðuð innan ramma þessarar greinar; ef nauðsyn krefur er hægt að finna allar upplýsingar sjálfstætt.
Markmið okkar er að setja fljótt upp skiptistafla og tengja vélar og geymslustjórnunarviðmót við hann.

1) Við tengjumst aðalrofanum, förum í forréttindastillingu, förum síðan í stillingarstillingu og gerum grunnstillingarnar.

Grunnstillingar rofa:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Vistaðu stillinguna með skipuninni "wr mem" og endurræstu rofastaflann með skipuninni "endurhlaða» á aðalrofanum 1.

2) Við stillum nettengi rofans í aðgangsham (aðgangur) í VLAN 17, til að tengja stjórnviðmót geymslukerfa og iDRAC netþjóna.

Stilla stjórnunarhöfn:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Eftir að hafa hlaðið staflanum aftur skaltu athuga hvort hann virki rétt:

Athugaðu virkni staflans:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Setja upp SSH aðgang að 2960X stafla

Til að fjarstýra staflanum í gegnum SSH munum við nota IP 172.20.1.10 stillt á SVI (skipta um sýndarviðmót) VLAN17.

Þó að æskilegt sé að nota sérstakt tengi á rofanum í stjórnunartilgangi er þetta spurning um persónulegt val og tækifæri.

Stilla SSH aðgang að rofastaflanum:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Settu upp lykilorð til að fara í forréttindastillingu:

enable secret *myenablepassword*
service password-encryption

Settu upp NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Settu upp rökrétt Etherchannel tengi og líkamleg höfn tengd við vélar. Til að auðvelda stillingar verða öll tiltæk VLAN leyfð á öllum rökréttum viðmótum, en almennt er mælt með því að stilla aðeins það sem þarf:

Stilla Etherchannel tengi:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Upphafleg stilling netviðmóta fyrir sýndarvélar, á vélum Gestgjafi 1 и Gestgjafi 2

Við athugum tilvist eininganna sem nauðsynlegar eru fyrir tengingu í kerfinu, setjum upp eininguna til að stjórna brýr:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Stilling BOND1 rökrétta viðmótsins fyrir sýndarvélar og líkamleg viðmót þess á vélum:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Eftir að hafa lokið stillingum á stafla 2960H og vélar, endurræstu netið á vélunum og athugaðu virkni rökrétta viðmótsins.

  • á gestgjafa:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • á skiptistokknum 2960H:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Upphafleg stilling netviðmóta til að stjórna klasaauðlindum, á vélum Gestgjafi 1 и Gestgjafi 2

Stilling BOND1 rökrétta viðmótsins fyrir stjórnun á gestgjöfum og líkamleg viðmót þess:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Eftir að hafa lokið stillingum á stafla 2960H og vélar, endurræstu netið á vélunum og athugaðu virkni rökrétta viðmótsins.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Settu upp stjórnunarnetsviðmót á hverjum gestgjafa í VLAN 17, og binda það við rökrétt viðmót BOND1:

Stilling VLAN17 á Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Stilling VLAN17 á Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Við endurræsum netið á vélunum og athugum sýnileika þeirra hver fyrir öðrum.

Þetta lýkur uppsetningu Cisco 2960X rofastaflans, og ef allt var gert rétt, höfum við nú nettengingu allra innviðaþátta við hvert annað á L2 stigi.

Dell MD3820f geymsluuppsetning

Áður en hafist er handa við að stilla geymslukerfið verður það þegar að vera tengt við Cisco switch stafla 2960H stjórnunarviðmót, svo og til gestgjafa Gestgjafi 1 и Gestgjafi 2 í gegnum FC.

Almennt kerfi um hvernig geymslukerfið ætti að vera tengt við rofastaflann var gefið upp í fyrri kafla.

Kerfið til að tengja geymslukerfi í gegnum FC við gestgjafa ætti að líta svona út:

Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Á meðan á tengingunni stendur er nauðsynlegt að skrifa niður WWPN vistföngin fyrir FC HBA vélina sem eru tengdir við FC tengin á geymslukerfinu - þetta verður nauðsynlegt fyrir síðari uppsetningu á hýsilbindingu við LUN á geymslukerfinu.

Sæktu og settu upp Dell MD3820f geymslustjórnunarforritið á stjórnandavinnustöðinni - PowerVault Modular Disk Storage Manager (MDSM).
Við tengjumst henni í gegnum sjálfgefna IP-tölur hennar og stillum síðan vistföngin okkar frá VLAN17, til að stjórna stjórnendum í gegnum TCP/IP:

Geymsla1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Eftir að vistföngin hafa verið sett upp förum við í geymslustjórnunarviðmótið og stillum lykilorð, stillum tíma, uppfærum fastbúnað fyrir stýringar og diska, ef þarf, o.s.frv.
Hvernig þetta er gert er lýst í stjórnunarleiðbeiningar geymsla.

Eftir að hafa gert ofangreindar stillingar þurfum við aðeins að gera nokkra hluti:

  1. Stilla hýsil FC tengi auðkenni - Hýsingarhafnarauðkenni.
  2. Búðu til gestgjafahóp − gestgjafahópur og bæta við tveimur Dell vélum okkar við það.
  3. Búðu til diskahóp og sýndardiska (eða LUN) í honum, sem verða kynntir gestgjöfum.
  4. Stilltu kynningu sýndardiska (eða LUN) fyrir gestgjafa.

Að bæta nýjum vélum og binda auðkenni fyrir FC hýsingartengi við þá er gert í gegnum valmyndina - Host kortlagning -> Skilgreina -> Gestgjafar…
WWPN vistföng FC HBA gestgjafa má til dæmis finna í iDRAC netþjónsins.

Fyrir vikið ættum við að fá eitthvað eins og þessa mynd:

Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Að bæta nýjum gestgjafahópi við og binda vélar við hann er gert í gegnum valmyndina - Host kortlagning -> Skilgreina -> Gestgjafahópur…
Fyrir gestgjafa, veldu tegund stýrikerfis - Linux (DM-MP).

Eftir að hafa búið til gestgjafahóp, í gegnum flipann Geymslu- og afritunarþjónusta, búðu til diskahóp - Diskur hópur, með gerð sem fer eftir kröfum um bilanaþol, til dæmis RAID10, og í honum sýndardiskar af tilskildri stærð:

Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Og að lokum er lokastigið kynning á sýndardiska (eða LUN) fyrir gestgjafa.
Til að gera þetta, í gegnum valmyndina - Host kortlagning -> Lun kortlagning -> Bæta við… við bindum sýndardiska við vélar með því að úthluta þeim númerum.

Allt ætti að líta svona út:

Sköpun bilunarþolinna upplýsingatækniinnviða. Hluti 1 - Undirbúningur að dreifa oVirt 4.3 klasa

Þetta er þar sem við ljúkum með geymsluuppsetninguna, og ef allt var gert rétt, þá ættu gestgjafarnir að sjá LUNs kynnt fyrir þeim í gegnum FC HBAs þeirra.
Við skulum þvinga kerfið til að uppfæra upplýsingar um tengda drif:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Við skulum sjá hvaða tæki eru sýnileg á netþjónum okkar:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Á gestgjöfum geturðu líka stillt til viðbótar fjölbraut, og þó það geti gert það sjálft þegar oVirt er sett upp, þá er betra að athuga réttmæti MP fyrirfram.

Að setja upp og stilla DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Stilltu MP þjónustuna á sjálfvirka ræsingu og ræstu hana:

systemctl enable multipathd && systemctl restart multipathd

Athugar upplýsingar um hlaðnar einingar fyrir MP-aðgerð:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Skoða yfirlit yfir núverandi fjölbrauta uppsetningu:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Eftir að þú hefur bætt nýju LUN við geymslukerfið og kynnt það fyrir gestgjafanum þarftu að skanna HBA sem eru tengd við hýsilinn á því. 

systemctl reload multipathd
multipath -v2

Og að lokum athugum við hvort öll LUN hafi verið kynnt á geymslukerfinu fyrir vélar og hvort það séu tvær leiðir til allra.

MP rekstrarathugun:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Eins og þú sérð eru allir þrír sýndardiskarnir á geymslukerfinu sýnilegir á tvo vegu. Þar með er allri undirbúningsvinnu lokið sem þýðir að þú getur haldið áfram að meginhlutanum - uppsetningu oVirt klasans sem fjallað verður um í næstu grein.

Heimild: www.habr.com

Bæta við athugasemd