ProHoster > Blog > Rêveberî > Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Xwendevan têne vexwendin ku xwe bi prensîbên avakirina binesaziyek xelet-tolerans ji bo pargîdaniyek piçûk di nav yek navendek daneyê de nas bikin, ku dê bi hûrgulî di nav rêzek gotaran de were nîqaş kirin.

Prologue

Di bin Navenda daneyê (Navenda Pêvajoya Daneyê) dibe ku wekî:

  • racka xweya xweya li "odeya servera" ya xweya li cîhê pargîdaniyê, ku hewcedariyên hindiktirîn ji bo peydakirina dabînkirina hêzê û sarkirina amûran pêk tîne, û di heman demê de bi du pêşkêşkerên serbixwe ve xwedan gihandina Înternetê ye;
  • refikek kirêkirî digel alavên xwe, ku di navendek daneya rastîn de ye - ya ku jê re tê gotin. hevbendî, ku bi standarda Tier III an IV-ê re tevdigere, û ku dabînkirina hêzê ya pêbawer, sarbûn û gihîştina Înternetê ya toleransê ya xelet garantî dike;
  • alavên bi tevahî kirêkirî li navendek daneya Tier III an IV.

Hilbijartina kîjan vebijarka rûniştinê di her rewşê de ferdî ye, û bi gelemperî bi çend faktorên sereke ve girêdayî ye:

  • Çima pargîdaniyek binesaziya IT-ya xwe hewce dike?
  • Pargîdanî bi rastî ji binesaziya IT-ê çi dixwaze (pêbawerî, mezinbûn, rêvebirin, hwd.);
  • qebareya veberhênanên destpêkê yên di binesaziya IT-ê de, û her weha çi celeb lêçûn ji bo wê - sermaye (ku tê vê wateyê ku hûn alavên xwe bikirin), an xebitandin (alavên bi gelemperî têne kirêkirin);
  • asoya plansaziya pargîdaniyê bixwe.

Li ser faktorên ku bandorê li biryara pargîdaniyek diafirîne û bikar anîna binesaziya IT-ya xwe dike, pir tişt dikare were nivîsandin, lê armanca me ew e ku em di pratîkê de nîşan bidin ka meriv çawa vê binesaziyê diafirîne da ku hem xelet-tolerans be û hem jî karibe drav bide teserûfkirin. - kêm bike lêçûna kirîna nermalava bazirganî, an ji wan bi tevahî dûr bixin.

Wekî ku pratîka dirêj-dirêj nîşan dide, ne hêja ye ku meriv li ser hardware xilas bike, ji ber ku stew du caran dide, û hêj bêtir. Lê dîsa, hardware baş tenê pêşniyarek e, û di dawiyê de bi rastî çi bikirin û ji bo çi qas bi kapasîteyên pargîdanî û "xemgîniya" rêveberiya wê ve girêdayî ye. Digel vê yekê, divê peyva "xemgînî" di wateya baş a peyvê de were fêm kirin, ji ber ku çêtir e ku meriv di qonaxa destpêkê de li ser hardware veberhênanê bike, da ku bi piştgirî û pîvandina wê re pirsgirêkên ciddî nebin, ji ber ku di destpêkê de plansaziyek xelet û xelet bû. teserûfên zêde ji dema destpêkirina projeyê dibe sedema lêçûnên bilindtir.

Ji ber vê yekê, daneyên destpêkê ji bo projeyê:

  • pargîdaniyek heye ku biryar daye ku portala xweya webê biafirîne û çalakiyên xwe bîne ser Înternetê;
  • Pargîdaniyê biryar da ku refikek kirê bike da ku alavên xwe li navendek daneya baş a ku li gorî standarda Tier III hatî pejirandin bicîh bike;
  • Pargîdaniyê biryar da ku pir li ser hardware xilas neke, û ji ber vê yekê alavên jêrîn bi garantî û piştgirîya dirêjkirî kirî:

Lîsteya amûran

  • du pêşkêşkerên fîzîkî yên Dell PowerEdge R640 wiha ne:
  • du pêvajoyên Intel Xeon Gold 5120
  • 512 GB RAM
  • du dîskên SAS di RAID1 de, ji bo sazkirina OS
  • ava-li 4-port karta torê 1G
  • du kartên torê 2-port 10G
  • yek 2-port FC HBA 16G.
  • Pergala hilanînê ya 2-kontrolker Dell MD3820f, ku bi FC 16G ve rasterast bi mêvandarên Dell ve girêdayî ye;
  • du guheztinên asta duyemîn - Cisco WS-C2960RX-48FPS-L li hev kirin;
  • du guheztinên asta sêyem - Cisco WS-C3850-24T-E, li hev kirin;
  • Rack, UPS, PDU, serverên konsolê ji hêla navenda daneyê ve têne peyda kirin.

Wekî ku em dibînin, amûrên heyî ji bo pîvandina horizontî û vertîkal xwedan perspektîfên baş in, heke pargîdanî bikaribe bi pargîdaniyên din ên profîlek wekhev re li ser Înternetê re pêşbaziyê bike, û dest bi qezenckirina qezencan bike, ku dikare di berfirehkirina çavkaniyan de ji bo pêşbaziya din were veberhênan. û mezinbûna qezencê.

Ger pargîdanî biryar da ku performansa komika xweya komputerê zêde bike em dikarin kîjan amûran lê zêde bikin:

  • di hejmara lîmanên li ser guhezên 2960X de rezervek me ya mezin heye, ev tê vê wateyê ku em dikarin bêtir pêşkêşkerên hardware lê zêde bikin;
  • du guheztinên FC yên din bikirin da ku pergalên hilanînê û serverên din bi wan ve girêdin;
  • Pêşkêşkerên heyî dikarin werin nûve kirin - bîranînê zêde bikin, pêvajoyan bi yên bihêztir biguhezînin, bi karanîna adapterên torê yên heyî bi torgilokek 10G ve girêdin;
  • Hûn dikarin bi celebê dîskê - SAS, SATA an SSD, li gorî barkirina plansazkirî, refikên dîskê li pergala hilanînê zêde bikin;
  • piştî ku hûn guheztinên FC lê zêde bikin, hûn dikarin pergalek hilanînê ya din bikirin da ku hêj bêtir kapasîteya dîskê zêde bikin, û heke hûn vebijarkek taybetî ya Remote Replication jê re bikirin, hûn dikarin di navbera pergalên hilanînê de hem di nav heman navenda daneyê de hem jî di navbera navendên daneyê de veguheztina daneyê saz bikin ( lê ev jixwe li derveyî çarçoveya gotarê ye);
  • Di heman demê de guheztinên asta sêyem jî hene - Cisco 3850, ku dikare wekî navgînek torê ya toleransê ji bo rêvekirina bilez a di navbera torên navxweyî de were bikar anîn. Ev dê di pêşerojê de ji ber ku binesaziya navxweyî mezin dibe pir alîkar be. 3850 di heman demê de portên 10G jî hene, ku dikare paşê were bikar anîn dema ku amûrên torê xwe bi leza 10G nûve bike.

Ji ber ku naha tu cîhek bêyî virtualîzekirinê tune, em ê bê guman di meylekê de bin, nemaze ji ber ku ev rêyek hêja ye ku meriv lêçûna kirîna serverên biha ji bo hêmanên binesaziya kesane (pêşkêşkerên malperê, databas, hwd.), ku ne her gav in, kêm bike. çêtirîn di rewşa barkirina kêm de têne bikar anîn, û ev e ku dê di destpêka destpêkirina projeyê de çêbibe.

Wekî din, virtualîzasyon gelek avantajên din jî hene ku dikarin ji me re pir bikêr bin: Tolerasyona xeletiya VM-ê li hember têkçûna servera hardware, Koçkirina zindî di navbera girêkên komê yên hardware de ji bo domandina wan, belavkirina barkirinê ya bi destan an otomatîkî di navbera girêkên komê de, hwd.

Ji bo hardware ku ji hêla pargîdaniyê ve hatî kirîn, bicîhkirina komek pir berdest a VMware vSphere xwe pêşniyar dike, lê ji ber ku her nermalava VMware bi bihayên xwe yên "hesp" tê zanîn, em ê nermalava bêkêmasî ji bo birêvebirina virtualbûnê bikar bînin - oVirt, li ser bingeha ku hilberek naskirî lê jixwe bazirganî tê afirandin - rhev.

Software oVirt pêdivî ye ku meriv hemî hêmanên binesaziyê di yek tevahî de berhev bike da ku meriv bi rehetî bi makîneyên virtual yên pir berdest re bixebite - ev databas, serîlêdanên malperê, serverên proxy, balansker, pêşkêşkerên ji bo berhevkirina têketin û analîtîk, hwd. portala webê ya pargîdaniya me ji wan pêk tê.

Ji bo kurtkirina vê danasînê, em dikarin li benda gotarên jêrîn bin, yên ku dê di pratîkê de tam destnîşan bikin ka meriv çawa tevaya binesaziya hardware û nermalavê ya pargîdaniyek çawa bicîh dike:

Lîsteya gotaran

  • Beş 1. Amadekirina sazkirina komek oVirt 4.3.
  • Beş 2. Sazkirin û mîhengkirina koma oVirt 4.3.
  • Beş 3. Sazkirina komek VyOS-ê, organîzekirina rêveçûna derveyî ya toleransê xelet.
  • Beş 4. Sazkirina stakek Cisco 3850, rêvekirina intranetê organîze dike.

Beş 1. Amadekirina ji bo bicihkirina komek oVirt 4.3

Sazkirina mêvandarê bingehîn

Sazkirin û mîhengkirina OS-ê gava herî hêsan e. Gelek gotarên li ser ka meriv çawa bi rêkûpêk saz kirin û mîhengkirina OS-ê heye, ji ber vê yekê ne tiştek e ku meriv di derheqê vê yekê de tiştek taybetî bide der.

Ji ber vê yekê, me du mêvandarên Dell PowerEdge R640 hene ku em hewce ne ku li ser wan OS-ê saz bikin û mîhengên pêşîn pêk bînin da ku wan wekî hîpervisor bikar bînin ji bo xebitandina makîneyên virtual di koma oVirt 4.3 de.

Ji ber ku em plan dikin ku nermalava ne-bazirganî ya belaş oVirt bikar bînin, OS ji bo bicîhkirina mêvandaran hate hilbijartin. CentOS 7.7, her çend OS-yên din dikarin ji bo oVirt li ser mêvandar werin saz kirin:

  • avahiyek taybetî ya li ser bingeha RHEL, bi navê. oVirt Node;
  • OS Oracle Linux, havîna 2019 hat ragihandin li ser piştgirîkirina xebata oVirt li ser wê.

Berî sazkirina OS-ê tê pêşniyar kirin:

  • pêveka torê ya iDRAC li ser her du mêvandaran mîheng bikin;
  • BIOS û firmware iDRAC bi guhertoyên herî dawî nûve bikin;
  • Profîla Pergalê ya serverê mîheng bikin, bi tercîh di moda Performansê de;
  • RAID ji dîskên herêmî mîheng bikin (RAID1 tê pêşniyar kirin) da ku OS-ê li ser serverê saz bike.

Dûv re em OS-ê li ser dîska ku berê bi iDRAC ve hatî afirandin saz dikin - pêvajoya sazkirinê normal e, di wê de ti demên taybetî tune. Gihîştina konsolê serverê ji bo destpêkirina sazkirina OS-ê jî dikare bi riya iDRAC-ê were bidestxistin, her çend tiştek nahêle ku hûn çavdêrek, klavye û mişk rasterast bi serverê ve girêdin û OS-ê ji ajokerek flash-ê saz bikin.

Piştî sazkirina OS-ê, em mîhengên wê yên destpêkê pêk tînin:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Sazkirina komek bingehîn a nermalavê

Ji bo destpêkê veavakirina OS-ê, hûn hewce ne ku her navbeynkariya torê ya li ser serverê mîheng bikin da ku hûn bikarin xwe bigihînin Înternetê da ku OS-yê nûve bikin û pakêtên nermalava pêwîst saz bikin. Ev hem di pêvajoya sazkirina OS-ê de hem jî piştî wê dikare were kirin.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Hemî mîhengên li jor û set nermalavê mijarek tercîha kesane ye, û ev set tenê pêşniyarek e.

Ji ber ku mêvandarê me dê rola hîpervisorek bilîze, em ê profîla performansa pêwîst çalak bikin:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Hûn dikarin li vir li ser profîla performansê bêtir bixwînin: "Beşa 4. awaz û aheng-adm".

Piştî sazkirina OS-ê, em diçin beşa din - sazkirina navgînên torê yên li ser mêvandaran û stûnek guheztinên Cisco 2960X.

Veavakirina Cisco 2960X Switch Stack

Projeya me dê hejmarên jêrîn ên VLAN-an bikar bîne - an domên weşanê, ji hev veqetandî, da ku celebên seyrûseferê ji hev veqetîne:

VLAN 10 - Înternet
VLAN 17 - Rêvebir (iDRAC, pergala hilanînê, rêveberiya guhastinê)
VLAN 32 - Tora hilberîna VM
VLAN 33 - Tora pêwendiyê (ji peykerên derve re)
VLAN 34 - Tora testa VM
VLAN 35 - Tora pêşdebiran VM
VLAN 40 – Tora şopandinê

Berî ku em dest bi xebatê bikin, li vir di asta L2 de diagramek heye ku divê em di dawiyê de bigihîjin:

Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Ji bo danûstendina torê ya mêvandarên oVirt û makîneyên virtual bi hev re, û her weha ji bo birêvebirina pergala hilanînê ya me, pêdivî ye ku meriv stûnek guhezên Cisco 2960X mîheng bike.

Mêvandarên Dell xwedan qertên torê yên 4-port in, ji ber vê yekê, tê pêşniyar kirin ku girêdana xwe bi Cisco 2960X-ê re bi karanîna pêwendiyek torê ya tolerant-qesûr, bi karanîna komek benderên torê yên laşî di navgînek mentiqî de, û protokola LACP organîze bikin ( 802.3ad):

  • du portên pêşîn ên li ser mêvandar di moda girêdanê de têne mîheng kirin û bi guheztina 2960X ve têne girêdan - ev navbeynkariya mentiqî dê were mîheng kirin pir bi navnîşanek ji bo rêveberiya mêvandar, çavdêrîkirin, danûstendina bi mêvandarên din ên di koma oVirt de, ew ê ji bo koçberiya Zindî ya makîneyên virtual jî were bikar anîn;
  • du lîmanên duyemîn ên li ser mêvandar jî di moda girêdanê de têne mîheng kirin û bi 2960X ve têne girêdan - li ser vê navbeynkariya mentiqî ya ku oVirt bikar tîne, dê di pêşerojê de pira (di VLAN-ên têkildar de) ku dê makîneyên virtual pê ve girêdayî bin, werin afirandin.
  • herdu portên torê, di nav heman navgîniya mentiqî de, dê çalak bin, yanî. seyrûsefera li ser wan dikare bi hevdemî, di moda hevsengiyê de were veguheztin.
  • mîhengên torê yên li ser girêkên komê divê bi tevahî HEWAN bin, ji bilî navnîşanên IP-yê.

Sazkirina stackê ya bingehîn 2960X û benderên wê

Divê guhêrbarên me pêşî ev bin:

  • rack mounted;
  • bi du kabloyên taybetî yên dirêjahiya pêwîst ve girêdayî ye, mînakî, CAB-STK-E-1M;
  • bi dabînkirina hêzê ve girêdayî ye;
  • Ji bo veavakirina wan a destpêkê bi riya porta konsolê ve bi qereqola xebatê ya rêveberê ve girêdayî ye.

Rêbernameya pêwîst ji bo vê yekê heye rûpela fermî çêker.

Piştî qedandina gavên jorîn, em guheztan mîheng dikin.
Wateya her fermanê nayê armanc kirin ku di çarçoveya vê gotarê de were deşîfrekirin; heke hewce be, hemî agahdarî dikarin serbixwe werin dîtin.
Armanca me ev e ku em bi lez û bez mîhengê guheztinê mîheng bikin û mêvandar û navgînên rêveberiya hilanînê bi wê ve girêbidin.

1) Bi guheztina masterê ve girêdin, biçin moda îmtiyazê, dûv re biçin moda veavakirinê û mîhengên bingehîn bikin.

Veguheztina bingehîn:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Em konfigurasyonê bi fermana "" hilîninwr mem"û bi fermanê steka guhastinê ji nû ve bidin destpêkirin"ji nû ve barkirin» li ser mifteya sereke 1.

2) Em portên torê yên guhêrbar di moda gihîştinê de di VLAN 17-ê de mîheng dikin, da ku pêwendiyên rêveberiyê yên pergalên hilanînê û serverên iDRAC ve girêbidin.

Sazkirina portên rêveberiyê:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Piştî barkirina stackê, kontrol bikin ku ew rast dixebite:

Kontrolkirina fonksiyona stackê:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Sazkirina gihîştina SSH-ê ya 2960X-ê

Ji bo ku ji dûr ve stêrk bi SSH-ê ve were rêvebirin, em ê IP-ya 172.20.1.10-a ku ji bo SVI-yê hatî mîheng kirin bikar bînin (navbera virtual biguherînin) VLAN17.

Her çend tê pêşniyar kirin ku ji bo mebestên rêveberiyê portek veqetandî li ser veguheztinê bikar bînin, ev mijarek tercîh û kapasîteyên kesane ye.

Veavakirina gihîştina SSH-ê ya li komek guhêrkan:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Ji bo têketina moda îmtiyazê şîfreyek saz bikin:

enable secret *myenablepassword*
service password-encryption

Sazkirina NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Têkiliyên mentiqî yên Etherchannel û portên laşî yên ku bi mêvandaran ve girêdayî ne mîheng bikin. Ji bo hêsankirina veavakirinê, hemî VLAN-yên berdest dê li ser hemî navgînên mentiqî werin çalak kirin, lê bi gelemperî tê pêşniyar kirin ku tenê ya ku hewce dike mîheng bike:

Veavakirina navgînên Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Veavakirina destpêkê ya navberên torê yên ji bo makîneyên virtual li ser mêvandaran Mêvan1 и Mêvan2

Em hebûna modulên ku ji bo girêdana di pergalê de dixebitin kontrol dikin, modulek ji bo kontrolkirina piran saz dikin:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Veavakirina navbeynkariya mantiqî BOND1 ji bo makîneyên virtual û pêwendiyên wê yên laşî yên li ser mêvandaran:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Piştî qedandina mîhengên li ser stakê 2960H û mêvandar, em torê li ser mêvandaran ji nû ve dest pê dikin û fonksiyona pêwendiya mentiqî kontrol dikin.

  • li ser mêvandar:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • li ser stack switch 2960H:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Veavakirina destpêkê ya navberên torê ji bo birêvebirina çavkaniyên komê yên li ser mêvandaran Mêvan1 и Mêvan2

Veavakirina pêwendiya mantiqî ya BOND1 ji bo rêveberiyê û pêwendiyên wê yên laşî yên li ser mêvandaran:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Piştî qedandina mîhengên li ser stakê 2960H û mêvandar, em torê li ser mêvandaran ji nû ve dest pê dikin û fonksiyona pêwendiya mentiqî kontrol dikin.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Em pêwendiya torê ya kontrolê li ser her mêvandar mîheng dikin VLAN 17, û wê bi navgîniya mantiqî BOND1 ve girêdin:

Veavakirina VLAN17 li ser Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Veavakirina VLAN17 li ser Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Em torê li ser mêvandaran ji nû ve dest pê dikin û dîtina wan ji hevûdu re kontrol dikin.

Ev veavakirina stûna guhezên Cisco 2960X temam dike, û ger her tişt rast hatibe kirin, wê hingê me di asta L2 de pêwendiya torê ya hemî hêmanên binesaziyê bi hev re heye.

Sazkirina pergala hilanînê Dell MD3820f

Berî ku dest bi xebata li ser sazkirina pergala hilanînê bike, divê ew jixwe bi stûnek guhezên Cisco-yê ve were girêdan 2960H navberên kontrolê, û hem jî ji bo mêvandaran Mêvan1 и Mêvan2 bi rêya FC.

Nexşeya giştî ya ku divê pergalên hilanînê çawa bi stûnek guhêrbar ve were girêdan di beşa berê de hate dayîn.

Diagrama ji bo girêdana pergala hilanînê bi riya FC bi mêvandaran re divê bi vî rengî xuya bike:

Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Di dema pêwendiyê de, hûn hewce ne ku navnîşanên WWPN-ê ji bo mêvandarên FC HBA yên ku bi benderên FC-yê yên li ser pergala hilanînê ve girêdayî ne binivîsin - ev ê ji bo sazkirina paşîn a girêdana mêvandaran bi LUN-ên li ser pergala hilanînê re hewce be.

Li ser stasyona xebatê ya rêveberê, ji bo birêvebirina pergala hilanînê Dell MD3820f amûrê dakêşin û saz bikin - Gerînendeyê hilanîna Dîska Modular PowerVault (MDSM).
Em bi navnîşanên IP-ya wê yên xwerû ve pê ve girêdidin, û dûv re navnîşanên xwe ji wan mîheng dikin VLAN17, ji bo birêvebirina kontrolkeran bi rêya TCP/IP:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Piştî sazkirina navnîşanan, biçin navrûya rêveberiya hilanînê û şîfreyek saz bikin, wextê saz bikin, firmware ji bo kontrolker û dîskan nûve bikin, heke hewce be, hwd.
Çawa ev tê kirin di nav de tête diyar kirin rêberê rêveberiyê Sîstema Storage

Piştî qedandina mîhengên jorîn, em ê tenê çend gavan bikin:

  1. Nasnameyên porta FC-yê mêvandar mîheng bikin - Nasnameyên Portê Host.
  2. Komek mêvandar ava bikin - Koma mêvandar û du mêvandarên me yên Dell lê zêde bikin.
  3. Di wê de komek dîskê û dîskên virtual (an LUN) biafirînin ku dê ji mêvandaran re bêne pêşkêş kirin.
  4. Pêşandana dîskên virtual (an LUN) ji bo mêvandaran mîheng bikin.

Zêdekirina mêvandarên nû û girêdana nasnavên porta FC-ya mêvandar bi wan re bi navgîniyê ve tête kirin - Host Mappings -> Binavkirin -> Mêvandar…
Navnîşanên WWPN yên mêvandarên FC HBA, wek nimûne, di pêşkêşkerên iDRAC de têne dîtin.

Wekî encamek, divê em tiştek weha bistînin:

Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Zêdekirina komeke nû ya mêvandar û girêdana mêvandarên wê bi navgîniyê ve tê kirin - Host Mappings -> Binavkirin -> Koma Mêvandar…
Ji bo mêvandaran, celebê OS-ê hilbijêrin - Linux (DM-MP).

Piştî afirandina komek mêvandar, bi riya tabê Xizmetên Storage & Kopîkirinê, komek dîskê çêbikin - Koma Dîskê, bi celebek ku li gorî hewcedariyên ji bo tolerasyona xeletiyê ve girêdayî ye, mînakî RAID10, û tê de dîskên virtual yên bi mezinahiya pêdivî ye:

Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Û di dawiyê de, qonaxa dawîn pêşkêşkirina dîskên virtual (an LUN) ji mêvandaran re ye.
Ji bo vê yekê, bi navgîniya menu - Host Mappings -> Nexşeya heyvê -> Lêzêdekirin… Em dîskên virtual bi mazûban re bi jimartin ji wan re têkildar dikin.

Divê her tişt mîna vê dîmenê xuya bike:

Afirandina binesaziyek IT-toleransê. Beş 1 - amadekarî ji bo bicihkirina komek oVirt 4.3

Li vir em sazkirina pergala hilanînê diqedînin, û ger her tişt rast hatibe kirin, wê hingê divê mêvandar LUN-ên ku bi navgîniya FC HBA-ya xwe ji wan re têne pêşkêş kirin bibînin.
Ka em zorê bidin pergalê ku agahdariya li ser dîskên girêdayî nûve bike:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Ka em bibînin ka kîjan cîhazên li ser serverên me têne xuyang kirin:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Li ser mêvandaran hûn dikarin pêvekî jî mîheng bikin pirjimar, û her çend dema ku oVirt saz dike ew bixwe dikare vê yekê bike jî, çêtir e ku hûn di pêş de xebata rast a MP-ê kontrol bikin.

Sazkirin û veavakirina DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Karûbarê MP saz bikin ku bixweber dest pê bike û wê bide destpêkirin:

systemctl enable multipathd && systemctl restart multipathd

Kontrolkirina agahdariya li ser modulên barkirî yên ji bo operasyona MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Ka em li agahdariya kurteya li ser veavakirina piralî ya heyî binêrin:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Piştî ku LUNek nû li pergala hilanînê zêde bike û wê ji mêvandar re pêşkêş bike, hûn hewce ne ku HBA-yên ku bi mêvandarê ve girêdayî ne li ser wê bişopînin. 

systemctl reload multipathd
multipath -v2

Û di dawiyê de, em kontrol dikin ka gelo hemî LUN li ser pergala hilanînê ji bo mêvandaran hatine pêşkêş kirin, û gelo du rê ji hemîyan re hene.

Kontrolkirina operasyona MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Wekî ku hûn dikarin bibînin, her sê dîskên virtual yên li ser pergala hilanînê bi du riyan têne xuyang kirin. Bi vî rengî, hemî xebata amadekar qediya, ku tê vê wateyê ku hûn dikarin berbi beşa sereke ve biçin - sazkirina koma oVirt, ku dê di gotara pêş de were nîqaş kirin.

Source: www.habr.com

Add a comment