ProHoster > Blog > Administrasi > Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Pamiarsa diondang pikeun familiarize diri jeung prinsip ngawangun infrastruktur lepat-toleran pikeun perusahaan leutik dina hiji puseur data tunggal, nu bakal dibahas di jéntré dina runtuyan pondok artikel.

Bagian bubuka

odoh Puseur data (Puseur Pangolahan Data) tiasa dihartoskeun salaku:

  • rak sorangan dina "kamar server" sorangan dina enggon perusahaan, nu meets sarat minimum pikeun nyadiakeun catu daya sarta cooling pakakas, sarta ogé boga aksés Internet ngaliwatan dua panyadia bebas;
  • rak nyéwa kalawan parabot sorangan, lokasina di puseur data nyata - nu disebut. kolokasi, anu saluyu sareng standar Tier III atanapi IV, sareng anu ngajamin catu daya anu dipercaya, pendinginan sareng aksés Internét anu teu toleran;
  • alat-alat pinuh disewa dina Tier III atawa IV puseur data.

Pilihan akomodasi anu mana anu dipilih nyaéta individu dina unggal kasus, sareng biasana gumantung kana sababaraha faktor utama:

  • Naha perusahaan peryogi infrastruktur IT sorangan?
  • naon kahayang perusahaan tina infrastruktur IT (reliabilitas, skalabilitas, manageability, jsb);
  • volume Investasi awal dina infrastruktur IT, kitu ogé jenis waragad pikeun eta - ibukota (nu hartina anjeun meuli parabot sorangan), atawa operasional (parabot biasana disewa);
  • perencanaan cakrawala tina perusahaan sorangan.

Seueur anu tiasa diserat ngeunaan faktor-faktor anu mangaruhan kaputusan perusahaan pikeun nyiptakeun sareng ngagunakeun infrastruktur IT na, tapi tujuan kami nyaéta pikeun nunjukkeun sacara praktis kumaha cara nyiptakeun infrastruktur ieu supados éta henteu toleran sareng ogé tiasa nyimpen artos. biaya purchasing software komérsial, atawa ulah eta sakabehna.

Salaku prakték jangka panjang nembongkeun, teu patut ngahemat hardware, saprak pelit mayar dua kali, komo leuwih. Tapi deui, hardware alus ngan hiji rekomendasi, sarta dina tungtungna naon meuli jeung sabaraha gumantung kana kamampuhan pausahaan jeung "karakoan" manajemén na. Leuwih ti éta, kecap "kararakahan" kudu dipikaharti dina harti kecap alus, saprak éta hadé pikeun investasi di hardware dina tahap awal, ku kituna teu boga masalah serius kalayan rojongan salajengna jeung skala na, saprak mimitina salah tata jeung tabungan kaleuleuwihan bisa ngakibatkeun waragad luhur batan nalika ngamimitian proyek.

Janten, data awal pikeun proyék:

  • aya hiji perusahaan anu geus mutuskeun pikeun nyieun portal web sorangan jeung mawa kagiatanana ka Internet;
  • parusahaan mutuskeun pikeun nyéwa rak pikeun nempatkeun parabot na di puseur data alus Certified nurutkeun standar golongan III;
  • parusahaan mutuskeun teu ngahemat loba hardware, sarta ku kituna meuli parabot handap kalawan jaminan tambahan sarta rojongan:

Daptar parabot

  • dua server Dell PowerEdge R640 fisik saperti kieu:
  • dua prosésor Intel Xeon Emas 5120
  • RAM 512 GB
  • dua disk SAS di RAID1, pikeun instalasi OS
  • diwangun-di 4-port kartu jaringan 1G
  • dua 2-port kartu jaringan 10G
  • hiji 2-port FC HBA 16G.
  • 2-sistem gudang controller Dell MD3820f, disambungkeun via FC 16G langsung ka sarwa Dell;
  • dua saklar tingkat kadua - Cisco WS-C2960RX-48FPS-L tumpuk;
  • dua saklar tingkat katilu - Cisco WS-C3850-24T-E, tumpuk;
  • Rak, UPS, PDU, konsol server disadiakeun ku puseur data.

Sakumaha anu urang tingali, alat-alat anu tos aya gaduh prospek anu hadé pikeun skala horisontal sareng vertikal, upami perusahaan tiasa bersaing sareng perusahaan-perusahaan anu sanés dina profil anu sami dina Internét, sareng mimiti kéngingkeun kauntungan, anu tiasa diinvestasikeun dina ngembangkeun sumber daya pikeun kompetisi salajengna. jeung tumuwuhna kauntungan.

Alat naon anu tiasa urang tambahkeun upami perusahaan mutuskeun pikeun ningkatkeun kinerja klaster komputasi urang:

  • urang boga cadangan badag dina Jumlah palabuhan dina switch 2960X, nu hartina urang bisa nambahkeun leuwih server hardware;
  • mésér dua saklar FC tambahan pikeun nyambungkeun sistem panyimpenan sareng server tambahan pikeun aranjeunna;
  • server aya bisa ditingkatkeun - tambahkeun memori, ngaganti prosesor kalawan leuwih kuat, nyambung ka jaringan 10G maké adapters jaringan aya;
  • Anjeun tiasa nambihan rak disk tambahan kana sistem panyimpen kalayan jinis disk anu diperyogikeun - SAS, SATA atanapi SSD, gumantung kana beban anu direncanakeun;
  • saatos nambihan saklar FC, anjeun tiasa mésér sistem panyimpen anu sanés pikeun nambihan kapasitas disk anu langkung ageung, sareng upami anjeun mésér pilihan Réplikasi Jauh khusus, anjeun tiasa nyetél réplikasi data antara sistem panyimpen dina pusat data anu sami sareng antara pusat data ( tapi ieu geus saluareun dina lingkup artikel);
  • Aya ogé saklar tingkat katilu - Cisco 3850, nu bisa dipaké salaku inti jaringan lepat-toleran pikeun routing-speed tinggi antara jaringan internal. Ieu bakal pohara mantuan dina mangsa nu bakal datang salaku infrastruktur internal tumuwuh. 3850 ogé ngagaduhan palabuhan 10G, anu tiasa dianggo engké nalika ningkatkeun alat jaringan anjeun ka kecepatan 10G.

Kusabab ayeuna teu aya tempat tanpa virtualisasi, tangtosna urang bakal aya dina tren, khususna sabab ieu mangrupikeun cara anu saé pikeun ngirangan biaya mésér server mahal pikeun elemen infrastruktur individu (server wéb, database, sareng sajabana), anu henteu salawasna. optimal dipaké dina kasus beban low, sarta ieu persis naon anu bakal kajadian di awal peluncuran proyék.

Sajaba ti éta, virtualization boga loba kaunggulan sejenna nu bisa jadi pohara kapaké pikeun urang: VM kasabaran sesar ngalawan kagagalan server hardware, Migrasi Live antara titik klaster hardware pikeun pangropéa maranéhna, distribusi beban manual atawa otomatis antara titik klaster, jsb.

Pikeun hardware anu dipésér ku perusahaan, panyebaran kluster VMware vSphere anu sayogi pisan nunjukkeun dirina, tapi kumargi parangkat lunak ti VMware dipikanyaho ku tag harga "kuda", kami bakal ngagunakeun parangkat lunak gratis pisan pikeun ngatur virtualisasi - oVirt, dumasar kana produk anu kasohor tapi parantos komersil diciptakeun - rhev.

software oVirt perlu pikeun ngagabungkeun sakabeh elemen infrastruktur jadi hiji gembleng pikeun bisa merenah digawekeun ku mesin virtual kacida sadia - ieu database, aplikasi wéb, server proxy, balancers, server pikeun ngumpulkeun log jeung analytics, jsb, nyaeta, naon portal wéb perusahaan kami diwangun ku.

Pikeun nyimpulkeun bubuka ieu, urang tiasa ngarepkeun tulisan-tulisan di handap ieu, anu bakal nunjukkeun dina prakna persis kumaha cara nyebarkeun sakumna infrastruktur hardware sareng parangkat lunak perusahaan:

Daptar artikel

  • Bagéan 1. Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3.
  • Bagéan 2. Masang sareng ngonpigurasikeun oVirt 4.3 klaster.
  • Bagéan 3. Nyetel klaster VyOS, ngatur routing éksternal toleran-lepat.
  • Bagéan 4. Nyetel hiji Cisco 3850 tumpukan, ngatur intranet routing.

Bagian 1. Nyiapkeun nyebarkeun hiji oVirt 4.3 klaster

Setélan host dasar

Masang sareng ngonpigurasikeun OS mangrupikeun léngkah anu paling gampang. Aya loba artikel hébat ngeunaan kumaha carana install leres tur ngonpigurasikeun OS, jadi teu aya gunana pikeun nyobaan masihan kaluar hal ekslusif ngeunaan ieu.

Janten, urang gaduh dua host Dell PowerEdge R640 dimana urang kedah masang OS sareng ngalaksanakeun setélan awal supados tiasa dianggo salaku hypervisors pikeun ngajalankeun mesin virtual dina klaster oVirt 4.3.

Kusabab urang ngarencanakeun ngagunakeun parangkat lunak oVirt non-komersial gratis, OS dipilih pikeun nyebarkeun host CentOS 7.7, sanajan OS séjén bisa dipasang dina host pikeun oVirt:

  • ngawangun husus dumasar kana RHEL, nu disebut. oVirt Node;
  • OS Oracle Linux, usum panas 2019 éta diumumkeun ngeunaan ngadukung karya oVirt dina éta.

Sateuacan masang OS disarankeun:

  • ngonpigurasikeun panganteur jaringan iDRAC dina duanana host;
  • ngapdet BIOS sareng firmware iDRAC ka versi panganyarna;
  • ngonpigurasikeun Propil System server urang, preferably dina modeu Performance;
  • ngonpigurasikeun RAID ti disk lokal (RAID1 dianjurkeun) pikeun masang OS dina server.

Teras we install OS dina disk dijieun saméméhna via iDRAC - prosés instalasi normal, teu aya moments husus di dinya. Aksés ka konsol server pikeun ngawitan instalasi OS ogé bisa didapet via iDRAC, najan euweuh nyegah anjeun ti ngahubungkeun monitor a, keyboard jeung mouse langsung ka server tur masang OS ti flash drive.

Saatos masang OS, urang ngalakukeun setélan awalna:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Masang sakumpulan software dasar

Pikeun mimiti ngonpigurasikeun OS, anjeun kedah ngonpigurasikeun antarmuka jaringan naon waé dina server supados anjeun tiasa ngaksés Internét pikeun ngapdet OS sareng masang pakét parangkat lunak anu diperyogikeun. Ieu tiasa dilakukeun boh salami prosés pamasangan OS sareng saatosna.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Sadaya setélan sareng set parangkat lunak di luhur mangrupikeun pilihan pribadi, sareng set ieu ngan ukur rekomendasi.

Kusabab host kami bakal maénkeun peran hypervisor, kami bakal ngaktipkeun profil kinerja anu diperyogikeun:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Anjeun tiasa maca langkung seueur ngeunaan profil kinerja di dieu: "Bab 4. ditataan jeung ditata-adm".

Saatos masang OS, urang ngaléngkah ka bagian salajengna - nyetél interfaces jaringan dina host sareng tumpukan saklar Cisco 2960X.

Ngonpigurasikeun hiji Cisco 2960X Pindah tumpukan

Proyék kami bakal nganggo nomer VLAN di handap ieu - atanapi domain siaran, terasing tina unggal anu sanés, pikeun misahkeun sababaraha jinis lalu lintas:

VLAN 10 - Internét
VLAN 17 - Manajemén (iDRAC, sistem panyimpen, manajemén switch)
VLAN 32 - Jaringan produksi VM
VLAN 33 - jaringan interkonéksi (ka kontraktor éksternal)
VLAN 34 - Jaringan uji VM
VLAN 35 - Jaringan pamekar VM
VLAN 40 – Jaringan monitoring

Sateuacan ngamimitian damel, ieu mangrupikeun diagram dina tingkat L2 anu tungtungna urang kedah dugi ka:

Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Pikeun interaksi jaringan tina host oVirt jeung mesin virtual saling, kitu ogé pikeun ngatur sistem gudang urang, perlu pikeun ngonpigurasikeun tumpukan Cisco 2960X switch.

Dell host geus diwangun-di kartu jaringan 4-port, kituna, éta sasaena pikeun ngatur sambungan maranéhanana ka Cisco 2960X ngagunakeun sambungan jaringan lepat-toleran, ngagunakeun grup tina palabuhan jaringan fisik kana panganteur logis, sarta protokol LACP ( 802.3ad):

  • dua palabuhan munggaran dina host anu ngonpigurasi dina mode beungkeutan tur disambungkeun ka switch 2960X - panganteur logis ieu bakal ngonpigurasi jambatan kalawan alamat pikeun manajemén host, ngawas, komunikasi jeung host séjén dina klaster oVirt, eta oge bakal dipaké pikeun migrasi Live mesin virtual;
  • kadua dua palabuhan on host anu ogé ngonpigurasi dina mode beungkeutan tur disambungkeun ka 2960X - dina panganteur logis ieu ngagunakeun oVirt, sasak bakal dijieun dina mangsa nu bakal datang (dina VLANs pakait) nu mesin virtual bakal disambungkeun.
  • duanana palabuhan jaringan, dina panganteur logis sarua, bakal aktip, i.e. lalulintas leuwih aranjeunna bisa dikirimkeun sakaligus, dina mode balancing.
  • Setélan jaringan dina titik kluster kedah leres-leres SARUA, kecuali alamat IP.

Setelan tumpukan switch dasar 2960X jeung palabuhan na

Saklar kami kedah janten:

  • rak dipasang;
  • disambungkeun ngaliwatan dua kabel husus tina panjangna diperlukeun, contona, CAB-STK-E-1M;
  • disambungkeun ka catu daya;
  • disambungkeun ka workstation administrator urang via port konsol pikeun konfigurasi awal maranéhna.

Pitunjuk anu dipikabutuh pikeun ieu sayogi di halaman resmi produsén.

Saatos ngalengkepan léngkah di luhur, urang ngonpigurasikeun saklar.
Naon hartina unggal paréntah teu dimaksudkeun pikeun deciphered dina kerangka artikel ieu; lamun perlu, sagala informasi bisa kapanggih sacara mandiri.
Tujuan kami nyaéta pikeun ngonpigurasikeun tumpukan saklar gancang-gancang sareng nyambungkeun host sareng antarmuka manajemén panyimpen ka dinya.

1) Sambungkeun ka saklar master, angkat ka modeu hak istimewa, teras angkat ka modeu konfigurasi sareng ngadamel setélan dasar.

Konfigurasi switch dasar:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Urang nyimpen config jeung paréntah "wr meme"Sareng reboot tumpukan switch kalayan paréntah"muatkeun deui» dina saklar master 1.

2) Urang ngonpigurasikeun palabuhan jaringan tina switch dina modeu aksés dina VLAN 17, pikeun nyambungkeun interfaces manajemén sistem gudang jeung server iDRAC.

Nyetél port manajemén:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Saatos ngamuat deui tumpukan éta, pariksa yén éta jalanna leres:

Mariksa pungsionalitas tumpukan:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Nyetel aksés SSH kana tumpukan 2960X

Pikeun jarak jauh ngatur tumpukan via SSH, urang bakal make IP 172.20.1.10 ngonpigurasi pikeun SVI (switch panganteur virtual) VLAN17.

Sanajan éta sasaena ngagunakeun dedicated port dedicated on switch pikeun tujuan manajemén, ieu téh ngarupakeun matéri leuwih sering dipake tinimbang pribadi tur kamampuhan.

Ngonpigurasikeun aksés SSH kana tumpukan saklar:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Setel kecap akses pikeun asup ka modeu privileged:

enable secret *myenablepassword*
service password-encryption

Nyetél NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Konpigurasikeun interfaces Etherchannel logis jeung palabuhan fisik disambungkeun ka host. Pikeun ngagampangkeun konfigurasi, sadaya VLAN anu sayogi bakal diaktipkeun dina sadaya antarmuka logis, tapi sacara umum disarankeun pikeun ngonpigurasikeun naon waé anu diperyogikeun:

Ngonpigurasikeun panganteur Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Konfigurasi awal interfaces jaringan pikeun mesin virtual on host Tamu1 и Tamu2

Kami pariksa ayana modul anu dipikabutuh pikeun beungkeutan dina sistem, pasang modul pikeun ngadalikeun sasak:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Ngonpigurasikeun antarmuka logis BOND1 pikeun mesin virtual sareng antarmuka fisikna dina host:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Saatos ngalengkepan setélan dina tumpukan 2960H jeung sarwa, urang balikan deui jaringan dina sarwa jeung pariksa pungsionalitas panganteur logis.

  • dina host:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • dina tumpukan switch 2960H:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Konfigurasi awal interfaces jaringan pikeun ngatur sumberdaya cluster on host Tamu1 и Tamu2

Ngonpigurasikeun antarmuka logis BOND1 pikeun manajemén sareng antarmuka fisikna dina host:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Saatos ngalengkepan setélan dina tumpukan 2960H jeung sarwa, urang balikan deui jaringan dina sarwa jeung pariksa pungsionalitas panganteur logis.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Urang ngonpigurasikeun panganteur jaringan kontrol dina unggal host di VLAN 17, sareng ngabeungkeut kana antarmuka logis BOND1:

Ngonpigurasikeun VLAN17 dina Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Ngonpigurasikeun VLAN17 dina Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Urang balikan deui jaringan dina host jeung pariksa pisibilitas maranéhna pikeun silih.

Ieu ngalengkepan konfigurasi tumpukan Cisco 2960X saklar, sarta lamun sagalana geus rengse neuleu, lajeng ayeuna urang boga konektipitas jaringan sadaya elemen infrastruktur ka silih dina tingkat L2.

Nyetél Sistim gudang Dell MD3820f

Sateuacan ngawitan dianggo dina nyetél sistem gudang, éta kudu geus disambungkeun ka tumpukan switch Cisco 2960H interfaces kontrol, kitu ogé pikeun host Tamu1 и Tamu2 ngaliwatan FC.

Diagram umum kumaha sistem gudang kudu disambungkeun ka tumpukan saklar dibere dina bab saméméhna.

Diagram pikeun nyambungkeun sistem panyimpen via FC ka host kedah sapertos kieu:

Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Salila sambungan, anjeun kedah nyerat alamat WWPN pikeun host FC HBA anu disambungkeun ka palabuhan FC dina sistem panyimpen - ieu bakal dipikabutuh pikeun engké nyetél beungkeutan host kana LUN dina sistem panyimpen.

Dina workstation administrator, unduh sareng pasang utilitas pikeun ngatur sistem panyimpenan Dell MD3820f - PowerVault Modular Disk Panyimpenan Manajer (MDSM).
Urang sambungkeun kana éta ngaliwatan alamat IP standar na, lajeng ngonpigurasikeun alamat urang ti VLAN17, pikeun ngatur pangendali liwat TCP/IP:

Panyimpen1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Saatos nyetél alamatna, angkat ka antarmuka manajemén panyimpen sareng setel kecap konci, setel waktosna, ngapdet firmware pikeun pangendali sareng disk, upami diperyogikeun, jsb.
Kumaha ieu dilakukeun dijelaskeun dina pituduh administrasi Sistim gudang

Saatos ngalengkepan setélan di luhur, urang ngan ukur kedah ngalakukeun sababaraha léngkah:

  1. Konpigurasikeun ID port FC host - Host Port Identifiers.
  2. Jieun grup host - Grup host sareng tambahkeun dua host Dell kami.
  3. Jieun grup disk jeung disk virtual (atawa LUNs) di dinya nu bakal dibere ka host.
  4. Konpigurasikeun presentasi disk virtual (atanapi LUN) pikeun host.

Nambahkeun host anyar sareng idéntifikasi port FC host anu mengikat ka aranjeunna dilakukeun ngaliwatan ménu - Host Mappings -> mere batesan -> Tuan rumah…
Alamat WWPN host FC HBA tiasa dipendakan, contona, dina server iDRAC.

Hasilna, urang kudu meunang hal kawas kieu:

Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Nambahkeun grup host anyar sareng ngariung host kana éta dilakukeun ngaliwatan ménu - Host Mappings -> mere batesan -> Grup host…
Pikeun host, pilih jinis OS - Linux (DM-MP).

Sanggeus nyieun grup host, ngaliwatan tab Panyimpenan & Salin Services, jieun grup disk - Grup Disk, kalayan jinis gumantung kana sarat pikeun kasabaran kasalahan, contona, RAID10, sareng di jerona disk virtual ukuran anu diperyogikeun:

Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Tungtungna, tahap ahir nyaéta presentasi disk virtual (atanapi LUN) ka host.
Jang ngalampahkeun ieu, ngaliwatan menu - Host Mappings -> Pemetaan bulan -> Tambihkeun… Kami ngahubungkeun disk virtual sareng host ku cara masihan nomer ka aranjeunna.

Sadayana kedah katingali sapertos screenshot ieu:

Nyiptakeun infrastruktur IT anu toleran lepat. Bagian 1 - Nyiapkeun pikeun nyebarkeun klaster oVirt 4.3

Ieu dimana urang rengse nyetél sistem gudang, sarta lamun sagalana geus rengse leres, lajeng host kedah ningali LUNs dibere ka aranjeunna ngaliwatan FC HBA maranéhna.
Hayu urang maksakeun sistem pikeun ngapdet inpormasi ngeunaan disk anu disambungkeun:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Hayu urang tingali alat naon anu katingali dina server kami:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Dina host anjeun ogé tiasa ngonpigurasikeun multipath, sareng sanaos nalika masang oVirt tiasa ngalakukeun ieu nyalira, langkung saé mariksa operasi MP anu leres sateuacanna.

Pamasangan sareng konfigurasi DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Setel jasa MP pikeun ngamimitian otomatis sareng jalankeunana:

systemctl enable multipathd && systemctl restart multipathd

Mariksa inpormasi ngeunaan modul anu dimuat pikeun operasi MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Hayu urang tingali inpormasi kasimpulan ngeunaan konfigurasi multipath anu tos aya:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Saatos nambihan LUN anyar kana sistem panyimpen sareng nampilkeun ka host, anjeun kedah nyeken HBA anu nyambung ka host dina éta. 

systemctl reload multipathd
multipath -v2

Sarta pamustunganana, urang pariksa naha sakabeh LUNs dibere dina sistem gudang pikeun sarwa, jeung naha aya dua jalur pikeun sakabéh éta.

Mariksa operasi MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Sakumaha anjeun tiasa tingali, sadaya tilu disk virtual dina sistem panyimpenan katingali sapanjang dua jalur. Ku kituna, sagala pagawean preparatory geus réngsé, nu hartina anjeun bisa neruskeun ka bagian utama - nyetel klaster oVirt, nu bakal dibahas dina artikel salajengna.

sumber: www.habr.com

Tambahkeun komentar