ProHoster > Blog > Pangangasiwa > Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

Inaanyayahan ang mga mambabasa na maging pamilyar sa mga prinsipyo ng pagbuo ng isang fault-tolerant na imprastraktura para sa isang maliit na negosyo sa loob ng iisang data center, na tatalakayin nang detalyado sa isang maikling serye ng mga artikulo.

Panimula

Sa ilalim Data center (Data Processing Center) ay maaaring maunawaan bilang:

  • ang iyong sariling rack sa iyong sariling "server room" sa lugar ng enterprise, na nakakatugon sa mga minimum na kinakailangan para sa pagbibigay ng power supply at paglamig ng kagamitan, at mayroon ding Internet access sa pamamagitan ng dalawang independiyenteng provider;
  • isang inuupahang rack na may sariling kagamitan, na matatagpuan sa isang tunay na sentro ng data - ang tinatawag na. collocation, na sumusunod sa Tier III o IV na pamantayan, at na ginagarantiyahan ang maaasahang power supply, paglamig at fault-tolerant na access sa Internet;
  • ganap na nirentahang kagamitan sa isang Tier III o IV data center.

Aling opsyon sa tirahan ang pipiliin ay indibidwal sa bawat kaso, at kadalasang nakadepende sa ilang pangunahing salik:

  • Bakit kailangan ng isang enterprise ang sarili nitong imprastraktura ng IT?
  • ano nga ba ang gusto ng enterprise mula sa imprastraktura ng IT (kaasahan, scalability, pamamahala, atbp.);
  • ang dami ng mga paunang pamumuhunan sa imprastraktura ng IT, pati na rin kung anong uri ng mga gastos para dito - kapital (na nangangahulugang bumili ka ng iyong sariling kagamitan), o pagpapatakbo (kagamitan ay karaniwang inuupahan);
  • pagpaplano ng abot-tanaw ng negosyo mismo.

Maraming maaaring isulat tungkol sa mga salik na nakakaimpluwensya sa desisyon ng isang enterprise na lumikha at gumamit ng IT infrastructure nito, ngunit ang layunin namin ay ipakita sa pagsasanay kung paano likhain ang mismong imprastraktura na ito upang ito ay parehong fault-tolerant at makatipid din ng pera. – bawasan ang halaga ng pagbili ng komersyal na software, o iwasan ang mga ito nang buo.

Tulad ng ipinapakita ng pangmatagalang kasanayan, hindi sulit ang pagtitipid sa hardware, dahil dalawang beses nagbabayad ang kuripot, at higit pa. Ngunit muli, ang mahusay na hardware ay isang rekomendasyon lamang, at sa huli kung ano ang eksaktong bibilhin at kung magkano ang nakasalalay sa mga kakayahan ng negosyo at ang "kasakiman" ng pamamahala nito. Bukod dito, ang salitang "kasakiman" ay dapat na maunawaan sa mabuting kahulugan ng salita, dahil mas mahusay na mamuhunan sa hardware sa paunang yugto, upang hindi magkaroon ng malubhang problema sa karagdagang suporta at pag-scale nito, dahil sa una ay hindi tamang pagpaplano at ang labis na pagtitipid ay maaaring humantong sa mas mataas na gastos kaysa sa pagsisimula ng proyekto.

Kaya, ang paunang data para sa proyekto:

  • mayroong isang negosyo na nagpasya na lumikha ng sarili nitong web portal at dalhin ang mga aktibidad nito sa Internet;
  • nagpasya ang kumpanya na magrenta ng rack upang ilagay ang mga kagamitan nito sa isang mahusay na data center na sertipikado ayon sa pamantayan ng Tier III;
  • nagpasya ang kumpanya na huwag magtipid nang malaki sa hardware, at samakatuwid ay binili ang mga sumusunod na kagamitan na may pinahabang warranty at suporta:

Listahan ng kagamitan

  • dalawang pisikal na Dell PowerEdge R640 server tulad ng sumusunod:
  • dalawang Intel Xeon Gold 5120 processor
  • 512 Gb RAM
  • dalawang SAS disk sa RAID1, para sa pag-install ng OS
  • built-in na 4-port 1G network card
  • dalawang 2-port 10G network card
  • isang 2-port na FC HBA 16G.
  • 2-controller storage system Dell MD3820f, direktang konektado sa pamamagitan ng FC 16G sa mga host ng Dell;
  • dalawang pangalawang antas na switch - Cisco WS-C2960RX-48FPS-L na nakasalansan;
  • dalawang third-level switch - Cisco WS-C3850-24T-E, nakasalansan;
  • Ang mga rack, UPS, PDU, console server ay ibinibigay ng data center.

Tulad ng nakikita natin, ang umiiral na kagamitan ay may magandang mga prospect para sa pahalang at patayong scaling, kung ang negosyo ay magagawang makipagkumpitensya sa iba pang mga kumpanya ng isang katulad na profile sa Internet, at magsimulang kumita ng kita, na maaaring mamuhunan sa pagpapalawak ng mga mapagkukunan para sa karagdagang kumpetisyon at paglago ng kita.

Anong kagamitan ang maaari naming idagdag kung magpasya ang enterprise na pataasin ang performance ng aming computing cluster:

  • mayroon kaming malaking reserba sa bilang ng mga port sa 2960X switch, na nangangahulugang maaari kaming magdagdag ng higit pang mga server ng hardware;
  • bumili ng dalawang karagdagang switch ng FC upang ikonekta ang mga storage system at karagdagang mga server sa kanila;
  • maaaring i-upgrade ang mga umiiral na server - magdagdag ng memorya, palitan ang mga processor ng mas makapangyarihan, kumonekta sa isang 10G network gamit ang mga kasalukuyang adapter ng network;
  • Maaari kang magdagdag ng mga karagdagang istante ng disk sa sistema ng imbakan na may kinakailangang uri ng disk - SAS, SATA o SSD, depende sa nakaplanong pagkarga;
  • pagkatapos magdagdag ng mga switch ng FC, maaari kang bumili ng isa pang storage system upang magdagdag ng higit pang kapasidad ng disk, at kung bumili ka ng isang espesyal na opsyon sa Remote Replication dito, maaari kang mag-set up ng data replication sa pagitan ng mga storage system sa loob ng parehong data center at sa pagitan ng mga data center ( ngunit ito ay lampas na sa saklaw ng artikulo);
  • Mayroon ding mga third-level switch - Cisco 3850, na maaaring magamit bilang fault-tolerant na core ng network para sa high-speed na pagruruta sa pagitan ng mga panloob na network. Malaki ang maitutulong nito sa hinaharap habang lumalaki ang panloob na imprastraktura. Ang 3850 ay mayroon ding 10G port, na magagamit sa ibang pagkakataon kapag ina-upgrade ang iyong network equipment sa 10G na bilis.

Dahil ngayon ay wala nang walang virtualization, siyempre tayo ay nasa uso, lalo na dahil ito ay isang mahusay na paraan upang mabawasan ang gastos ng pagbili ng mga mamahaling server para sa mga indibidwal na elemento ng imprastraktura (mga web server, database, atbp.), na hindi palaging pinakamainam ay ginagamit sa kaso ng mababang pagkarga, at ito mismo ang mangyayari sa simula ng paglulunsad ng proyekto.

Bilang karagdagan, ang virtualization ay may maraming iba pang mga pakinabang na maaaring maging lubhang kapaki-pakinabang sa amin: VM fault tolerance laban sa pagkabigo ng server ng hardware, Live na paglipat sa pagitan ng mga hardware cluster node para sa kanilang pagpapanatili, manu-mano o awtomatikong pamamahagi ng pagkarga sa pagitan ng mga cluster node, atbp.

Para sa hardware na binili ng enterprise, ang deployment ng isang mataas na available na cluster ng VMware vSphere ay nagmumungkahi ng sarili nito, ngunit dahil ang anumang software mula sa VMware ay kilala sa mga tag ng presyo nitong "kabayo", gagamit kami ng ganap na libreng software para sa pamamahala ng virtualization - oVirt, sa batayan kung saan nilikha ang isang kilalang ngunit komersyal na produkto - rhev.

ΠŸΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½ΠΎΠ΅ обСспСчСниС oVirt kinakailangan upang pagsamahin ang lahat ng mga elemento ng imprastraktura sa isang buo upang magawang maginhawang gumana sa mga magagamit na virtual machine - ito ay mga database, web application, proxy server, balancer, server para sa pagkolekta ng mga log at analytics, atbp., iyon ay, kung ano ang web portal ng aming negosyo ay binubuo ng.

Upang ibuod ang pagpapakilalang ito, maaari naming abangan ang mga sumusunod na artikulo, na magpapakita sa pagsasanay nang eksakto kung paano i-deploy ang buong imprastraktura ng hardware at software ng isang enterprise:

Listahan ng mga artikulo

  • Bahagi 1. Naghahanda na mag-deploy ng oVirt 4.3 cluster.
  • Bahagi 2. Pag-install at pag-configure ng oVirt 4.3 cluster.
  • Bahagi 3. Pagse-set up ng VyOS cluster, pag-aayos ng fault-tolerant na panlabas na pagruruta.
  • Bahagi 4. Pagse-set up ng Cisco 3850 stack, pag-aayos ng intranet routing.

Bahagi 1. Paghahanda na mag-deploy ng oVirt 4.3 cluster

Pangunahing pag-setup ng host

Ang pag-install at pag-configure ng OS ay ang pinakamadaling hakbang. Napakaraming artikulo kung paano maayos na i-install at i-configure ang OS, kaya walang saysay na subukang magbigay ng isang bagay na eksklusibo tungkol dito.

Kaya, mayroon kaming dalawang Dell PowerEdge R640 host kung saan kailangan naming i-install ang OS at magsagawa ng mga paunang setting upang magamit ang mga ito bilang hypervisors para sa pagpapatakbo ng mga virtual machine sa oVirt 4.3 cluster.

Dahil plano naming gamitin ang libreng non-commercial na oVirt software, pinili ang OS para sa pag-deploy ng mga host CentOS 7.7, kahit na ang ibang mga OS ay maaaring mai-install sa mga host para sa oVirt:

  • isang espesyal na build batay sa RHEL, ang tinatawag na. oVirt Node;
  • OS Oracle Linux, tag-init 2019 ito ay inihayag tungkol sa pagsuporta sa gawain ng oVirt dito.

Bago i-install ang OS inirerekomenda:

  • i-configure ang interface ng network ng iDRAC sa parehong mga host;
  • i-update ang BIOS at iDRAC firmware sa pinakabagong mga bersyon;
  • i-configure ang System Profile ng server, mas mabuti sa Performance mode;
  • i-configure ang RAID mula sa mga lokal na disk (Inirerekomenda ang RAID1) upang mai-install ang OS sa server.

Pagkatapos ay i-install namin ang OS sa disk na nilikha nang mas maaga sa pamamagitan ng iDRAC - normal ang proseso ng pag-install, walang mga espesyal na sandali dito. Ang pag-access sa console ng server upang simulan ang pag-install ng OS ay maaari ding makuha sa pamamagitan ng iDRAC, bagama't walang pumipigil sa iyo na direktang ikonekta ang isang monitor, keyboard at mouse sa server at i-install ang OS mula sa isang flash drive.

Pagkatapos i-install ang OS, ginagawa namin ang mga paunang setting nito:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Pag-install ng isang pangunahing hanay ng software

Upang paunang i-configure ang OS, kailangan mong i-configure ang anumang interface ng network sa server upang ma-access mo ang Internet upang i-update ang OS at i-install ang mga kinakailangang software package. Magagawa ito kapwa sa panahon ng proseso ng pag-install ng OS at pagkatapos nito.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Ang lahat ng mga setting sa itaas at set ng software ay isang bagay ng personal na kagustuhan, at ang hanay na ito ay isang rekomendasyon lamang.

Dahil gaganap ang aming host bilang isang hypervisor, paganahin namin ang kinakailangang profile ng pagganap:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Maaari kang magbasa nang higit pa tungkol sa profile ng pagganap dito: β€œKabanata 4. sintunado at sintunado-adm".

Pagkatapos i-install ang OS, lumipat kami sa susunod na bahagi - ang pag-set up ng mga interface ng network sa mga host at isang stack ng Cisco 2960X switch.

Pag-configure ng Cisco 2960X Switch Stack

Gagamitin ng aming proyekto ang mga sumusunod na bilang ng mga VLAN - o mga broadcast domain, na nakahiwalay sa isa't isa, upang paghiwalayin ang iba't ibang uri ng trapiko:

VLAN 10 - Internet
VLAN 17 – Pamamahala (iDRAC, storage system, switch management)
VLAN 32 – Network ng produksyon ng VM
VLAN 33 – interconnection network (sa mga panlabas na kontratista)
VLAN 34 – VM test network
VLAN 35 – Network ng developer ng VM
VLAN 40 – Pagsubaybay sa network

Bago simulan ang trabaho, narito ang isang diagram sa antas ng L2 na dapat nating marating sa huli:

Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

Para sa pakikipag-ugnayan sa network ng mga host ng oVirt at virtual machine sa isa't isa, gayundin para sa pamamahala ng aming storage system, kinakailangan na mag-configure ng stack ng Cisco 2960X switch.

Ang mga host ng Dell ay may built-in na 4-port network card, samakatuwid, ipinapayong ayusin ang kanilang koneksyon sa Cisco 2960X gamit ang isang fault-tolerant na koneksyon sa network, gamit ang isang pagpapangkat ng mga pisikal na network port sa isang lohikal na interface, at ang LACP protocol ( 802.3ad):

  • ang unang dalawang port sa host ay naka-configure sa bonding mode at nakakonekta sa 2960X switch - ang lohikal na interface na ito ay mai-configure tulay na may address para sa pamamahala ng host, pagsubaybay, komunikasyon sa iba pang mga host sa cluster ng oVirt, gagamitin din ito para sa Live na paglipat ng mga virtual machine;
  • ang pangalawang dalawang port sa host ay naka-configure din sa bonding mode at nakakonekta sa 2960X - sa lohikal na interface na ito gamit ang oVirt, ang mga tulay ay gagawin sa hinaharap (sa kaukulang mga VLAN) kung saan ang mga virtual machine ay konektado.
  • parehong mga network port, sa loob ng parehong lohikal na interface, ay magiging aktibo, i.e. ang trapiko sa kanila ay maaaring mailipat nang sabay-sabay, sa mode ng pagbabalanse.
  • Ang mga setting ng network sa mga cluster node ay dapat na ganap na PAREHO, maliban sa mga IP address.

Pangunahing switch stack setup 2960X at ang mga daungan nito

Ang aming mga switch ay dapat munang:

  • naka-mount sa rack;
  • konektado sa pamamagitan ng dalawang espesyal na cable ng kinakailangang haba, halimbawa, CAB-STK-E-1M;
  • konektado sa power supply;
  • nakakonekta sa workstation ng administrator sa pamamagitan ng console port para sa kanilang unang configuration.

Ang kinakailangang gabay para dito ay makukuha sa opisyal na pahina tagagawa.

Matapos makumpleto ang mga hakbang sa itaas, i-configure namin ang mga switch.
Ang ibig sabihin ng bawat utos ay hindi nilayon na ma-decipher sa loob ng balangkas ng artikulong ito; kung kinakailangan, ang lahat ng impormasyon ay matatagpuan nang nakapag-iisa.
Ang aming layunin ay i-configure ang switch stack sa lalong madaling panahon at ikonekta ang mga host at mga interface ng pamamahala ng storage dito.

1) Kumonekta sa master switch, pumunta sa privileged mode, pagkatapos ay pumunta sa configuration mode at gumawa ng mga pangunahing setting.

Pangunahing switch config:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

I-save namin ang config gamit ang command na "wr mem" at i-reboot ang switch stack gamit ang command "i-reloadΒ» sa master switch 1.

2) Kino-configure namin ang mga network port ng switch sa access mode sa VLAN 17, upang ikonekta ang mga interface ng pamamahala ng mga storage system at iDRAC server.

Pag-set up ng mga port ng pamamahala:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Pagkatapos i-reload ang stack, tingnan kung gumagana ito nang tama:

Sinusuri ang functionality ng stack:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.Π₯Π₯Π₯Π₯
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.Π₯Π₯Π₯Π₯    15     4       Ready
 2       Member 0029.c251.Π₯Π₯Π₯Π₯     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Pagse-set up ng SSH access sa 2960X stack

Upang malayuang pamahalaan ang stack sa pamamagitan ng SSH, gagamitin namin ang IP 172.20.1.10 na na-configure para sa SVI (switch virtual interface) VLAN17.

Bagama't ipinapayong gumamit ng dedikadong port sa switch para sa mga layunin ng pamamahala, ito ay isang bagay ng personal na kagustuhan at mga kakayahan.

Pag-configure ng SSH access sa isang stack ng mga switch:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Mag-set up ng password para makapasok sa privileged mode:

enable secret *myenablepassword*
service password-encryption

Pag-set up ng NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) I-configure ang mga lohikal na interface ng Etherchannel at mga pisikal na port na konektado sa mga host. Para sa kadalian ng pagsasaayos, ang lahat ng magagamit na VLAN ay paganahin sa lahat ng mga lohikal na interface, ngunit karaniwang inirerekomenda na i-configure lamang kung ano ang kinakailangan:

Pag-configure ng mga interface ng Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Paunang pagsasaayos ng mga interface ng network para sa mga virtual machine sa mga host Panauhin1 ΠΈ Panauhin2

Sinusuri namin ang pagkakaroon ng mga module na kinakailangan para sa pagbubuklod upang gumana sa system, mag-install ng isang module para sa pagkontrol ng mga tulay:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Pag-configure ng lohikal na interface ng BOND1 para sa mga virtual machine at mga pisikal na interface nito sa mga host:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Matapos makumpleto ang mga setting sa stack 2960H at mga host, i-restart namin ang network sa mga host at suriin ang functionality ng lohikal na interface.

  • sa host:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • sa switch stack 2960H:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Paunang pagsasaayos ng mga interface ng network para sa pamamahala ng mga mapagkukunan ng cluster sa mga host Panauhin1 ΠΈ Panauhin2

Pag-configure ng lohikal na interface ng BOND1 para sa pamamahala at ang mga pisikal na interface nito sa mga host:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Matapos makumpleto ang mga setting sa stack 2960H at mga host, i-restart namin ang network sa mga host at suriin ang functionality ng lohikal na interface.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Kino-configure namin ang interface ng control network sa bawat host sa VLAN 17, at itali ito sa lohikal na interface na BOND1:

Pag-configure ng VLAN17 sa Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Pag-configure ng VLAN17 sa Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

I-restart namin ang network sa mga host at suriin ang kanilang visibility sa isa't isa.

Kinukumpleto nito ang pagsasaayos ng stack ng Cisco 2960X switch, at kung nagawa nang tama ang lahat, ngayon ay mayroon na tayong koneksyon sa network ng lahat ng elemento ng imprastraktura sa bawat isa sa antas ng L2.

Pag-set up ng Dell MD3820f storage system

Bago simulan ang trabaho sa pag-set up ng storage system, dapat na nakakonekta na ito sa isang stack ng Cisco switch 2960H control interface, gayundin sa mga host Panauhin1 ΠΈ Panauhin2 sa pamamagitan ng FC.

Ang pangkalahatang diagram kung paano dapat ikonekta ang mga storage system sa isang stack ng mga switch ay ibinigay sa nakaraang kabanata.

Ang diagram para sa pagkonekta ng storage system sa pamamagitan ng FC sa mga host ay dapat magmukhang ganito:

Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

Sa panahon ng koneksyon, kailangan mong isulat ang mga address ng WWPN para sa mga host ng FC HBA na konektado sa mga port ng FC sa system ng imbakan - kakailanganin ito para sa pag-set up sa ibang pagkakataon ng pagbubuklod ng mga host sa LUN sa storage system.

Sa workstation ng administrator, i-download at i-install ang utility para sa pamamahala ng Dell MD3820f storage system – PowerVault Modular Disk Storage Manager (MDSM).
Kumonekta kami dito sa pamamagitan ng mga default na IP address nito, at pagkatapos ay i-configure ang aming mga address mula sa VLAN17, upang pamahalaan ang mga controller sa pamamagitan ng TCP/IP:

Pag-iimbak1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Pagkatapos i-set up ang mga address, pumunta sa interface ng pamamahala ng imbakan at magtakda ng password, itakda ang oras, i-update ang firmware para sa mga controller at disk, kung kinakailangan, atbp.
Kung paano ito ginagawa ay inilarawan sa gabay sa pangangasiwa Sistema ng imbakan

Pagkatapos makumpleto ang mga setting sa itaas, kakailanganin lang naming gawin ang ilang hakbang:

  1. I-configure ang mga host FC port ID – Host Port Identifiers.
  2. Gumawa ng host group – Grupo ng host at idagdag ang aming dalawang Dell host dito.
  3. Lumikha ng isang grupo ng disk at mga virtual na disk (o mga LUN) dito na ipapakita sa mga host.
  4. I-configure ang presentasyon ng mga virtual disk (o LUN) para sa mga host.

Ang pagdaragdag ng mga bagong host at nagbubuklod na host FC port identifier sa kanila ay ginagawa sa pamamagitan ng menu - Host Mappings -> Tukuyin -> Mga host…
Ang mga WWPN address ng mga host ng FC HBA ay matatagpuan, halimbawa, sa mga iDRAC server.

Bilang resulta, dapat tayong makakuha ng ganito:

Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

Ang pagdaragdag ng isang bagong pangkat ng mga host at nagbubuklod na mga host dito ay ginagawa sa pamamagitan ng menu - Host Mappings -> Tukuyin -> Host Group…
Para sa mga host, piliin ang uri ng OS - Linux (DM-MP).

Pagkatapos gumawa ng host group, sa pamamagitan ng tab Mga Serbisyo sa Pag-iimbak at Pagkopya, lumikha ng isang disk group - Grupo ng Disk, na may isang uri depende sa mga kinakailangan para sa pagpapahintulot sa kasalanan, halimbawa, RAID10, at sa loob nito mga virtual na disk ng kinakailangang laki:

Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

At sa wakas, ang huling yugto ay ang pagtatanghal ng mga virtual disk (o LUN) sa mga host.
Upang gawin ito, sa pamamagitan ng menu - Host Mappings -> Pagmamapa ng buwan -> Magdagdag ng ... Iniuugnay namin ang mga virtual na disk sa mga host sa pamamagitan ng pagtatalaga ng mga numero sa kanila.

Ang lahat ay dapat magmukhang screenshot na ito:

Paglikha ng isang fault-tolerant na imprastraktura ng IT. Bahagi 1 - paghahandang mag-deploy ng oVirt 4.3 cluster

Dito natin tatapusin ang pag-set up ng storage system, at kung nagawa nang tama ang lahat, dapat makita ng mga host ang mga LUN na ipinakita sa kanila sa pamamagitan ng kanilang FC HBA.
Pilitin natin ang system na i-update ang impormasyon tungkol sa mga konektadong disk:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Tingnan natin kung anong mga device ang nakikita sa aming mga server:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Sa mga host maaari mo ring i-configure dumami, at kahit na kapag nag-i-install ng oVirt maaari itong gawin mismo, mas mahusay na suriin ang tamang operasyon ng MP nang maaga sa iyong sarili.

Pag-install at pagsasaayos ng DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Itakda ang serbisyo ng MP sa autostart at ilunsad ito:

systemctl enable multipathd && systemctl restart multipathd

Sinusuri ang impormasyon tungkol sa mga na-load na module para sa pagpapatakbo ng MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Tingnan natin ang buod ng impormasyon tungkol sa umiiral na multipath configuration:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Pagkatapos magdagdag ng bagong LUN sa storage system at ipakita ito sa host, kailangan mong i-scan ang mga HBA na konektado sa host dito. 

systemctl reload multipathd
multipath -v2

At sa wakas, sinusuri namin kung ang lahat ng LUN ay ipinakita sa sistema ng imbakan para sa mga host, at kung mayroong dalawang landas sa lahat ng mga ito.

Sinusuri ang pagpapatakbo ng MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Gaya ng nakikita mo, lahat ng tatlong virtual na disk sa storage system ay makikita sa dalawang landas. Kaya, ang lahat ng gawaing paghahanda ay nakumpleto na, na nangangahulugang maaari kang magpatuloy sa pangunahing bahagi - ang pag-set up ng kumpol ng oVirt, na tatalakayin sa susunod na artikulo.

Pinagmulan: www.habr.com

Magdagdag ng komento