Giimbitahan ang mga magbabasa nga pamilyar ang ilang kaugalingon sa mga prinsipyo sa pagtukod sa usa ka imprastraktura nga matugoton sa sayup alang sa usa ka gamay nga negosyo sa sulod sa usa ka sentro sa datos, nga hisgutan sa detalye sa usa ka mubo nga serye sa mga artikulo.
Pasiuna
Ubos sentro sa datos (Data Processing Center) mahimong sabton nga:
- kaugalingon nga rack sa kaugalingon nga "server room" sa teritoryo sa negosyo, nga nagtagbo sa minimum nga mga kinahanglanon alang sa paghatag gahum ug kagamitan sa pagpabugnaw, ug adunay usab pag-access sa Internet pinaagi sa duha nga independente nga mga taghatag;
- usa ka giabangan nga rack nga adunay kaugalingon nga kagamitan, nga nahimutang sa usa ka tinuud nga sentro sa datos - ang gitawag nga. usa ka Tier III o IV nga kolokasyon nga naggarantiya sa kasaligan nga gahum, pagpabugnaw ug pagkapakyas sa pag-access sa Internet;
- bug-os nga giabangan nga kagamitan sa usa ka Tier III o IV nga sentro sa datos.
Unsa nga kapilian sa akomodasyon ang pilion - sa matag kaso, ang tanan indibidwal, ug kasagaran nagdepende sa daghang mga hinungdan:
- nganong gikinahanglan man sa usa ka negosyo ang kaugalingong imprastraktura sa IT;
- unsa gyud ang gusto sa negosyo gikan sa imprastraktura sa IT (kasaligan, scalability, pagdumala, ug uban pa);
- ang kantidad sa inisyal nga pagpamuhunan sa imprastraktura sa IT, ingon man kung unsang klase nga gasto alang niini - kapital (nga nagpasabut nga pagpalit sa imong kaugalingon nga kagamitan), o pag-operate (kasagaran giabangan ang kagamitan);
- ang kapunawpunawan sa pagplano sa negosyo mismo.
Daghan ka magsulat bahin sa mga hinungdan nga nag-impluwensya sa desisyon sa usa ka negosyo sa paghimo ug paggamit sa imprastraktura sa IT, apan ang among katuyoan mao ang pagpakita sa praktis kung giunsa paghimo kini nga imprastraktura aron pareho kini nga dili matugotan sa sayup ug makatipig ka pa - pagpakunhod sa gasto sa pag-angkon sa komersyal nga software, o likayi kini sa hingpit.
Sama sa gipakita sa taas nga praktis, dili kini takus sa pagtipig sa puthaw, tungod kay ang miser nagbayad duha ka beses, ug labi pa. Apan pag-usab - maayo nga hardware, kini usa lamang ka rekomendasyon, ug sa katapusan kung unsa gyud ang paliton ug kung pila ang nagdepende sa mga kapabilidad sa negosyo, ug ang "kahakog" sa pagdumala niini. Dugang pa, ang pulong nga "kahakog" kinahanglan sabton sa maayong diwa sa pulong, tungod kay mas maayo nga mamuhunan sa hardware sa inisyal nga yugto, aron sa ulahi wala ka'y seryoso nga mga problema sa dugang nga suporta ug pag-scale niini, tungod kay sa sinugdan dili husto. Ang pagplano ug sobra nga pagtipig mahimong mosangpot sa mas taas nga gasto kay sa pagsugod sa usa ka proyekto.
Busa, ang inisyal nga datos alang sa proyekto:
- adunay usa ka negosyo nga nakahukom sa paghimo sa kaugalingon nga web portal ug pagdala sa mga kalihokan niini sa Internet;
- ang kompanya nakahukom sa pag-abang sa usa ka rack aron ma-accommodate ang mga kagamitan niini sa usa ka maayo nga sentro sa datos nga sertipikado sumala sa sukaranan sa Tier III;
- nakahukom ang kompanya nga dili magdaginot ug daghan sa hardware, ug busa gipalit ang mosunod nga kagamitan nga adunay taas nga garantiya ug suporta:
Listahan sa mga ekipo
- duha ka pisikal nga Dell PowerEdge R640 server sama sa mosunod:
- duha ka Intel Xeon Gold 5120 nga mga processor
- 512 Gb nga RAM
- duha ka SAS disk sa RAID1, alang sa pag-instalar sa OS
- built-in nga 4-port 1G network card
- duha ka 2-port 10G network card
- usa ka 2-port FC HBA 16G.
- Dell MD2f 3820 controller storage konektado pinaagi sa FC 16G direkta ngadto sa Dell host;
- duha ka switch sa ikaduhang lebel - Cisco WS-C2960RX-48FPS-L stacked;
- duha ka switch sa ikatulo nga lebel - Cisco WS-C3850-24T-E, gihiusa ngadto sa usa ka stack;
- Rack, UPS, PDU, console server - gihatag sa data center.
Sama sa atong makita, ang kasamtangan nga mga ekipo adunay maayong mga palaaboton alang sa pinahigda ug bertikal scaling, sa kaso nga ang negosyo mahimong makigkompetensiya sa ubang mga kompanya sa usa ka susama nga profile sa Internet, ug magsugod sa paghimo sa usa ka ganansya nga mahimong mamuhunan sa pagpalapad sa mga kapanguhaan alang sa dugang nga kompetisyon. ug pagtubo sa kita.
Unsa nga kagamitan ang mahimo natong idugang kung ang negosyo modesisyon nga madugangan ang pasundayag sa among cluster sa kompyuter:
- kita adunay usa ka dako nga reserba sa mga termino sa gidaghanon sa mga pantalan sa 2960X switch, nga nagpasabot nga kita makadugang sa dugang hardware server;
- pagpalit og duha ka FC switch aron makonektar ang mga sistema sa pagtipig ug dugang nga mga server ngadto kanila;
- Ang mga kasamtangan nga mga server mahimong ma-upgrade - makadugang sa panumduman, ilisan ang mga processor nga mas episyente, magkonektar sa usa ka 10G network nga adunay mga adapter sa network;
- mahimo nimong idugang ang dugang nga mga istante sa disk sa sistema sa pagtipig nga adunay kinahanglan nga tipo sa mga disk - SAS, SATA o SSD, depende sa giplano nga pagkarga;
- pagkahuman sa pagdugang sa mga switch sa FC, mahimo ka makapalit ug lain nga sistema sa pagtipig aron makadugang labi pa nga kapasidad sa disk, ug kung mopalit ka usa ka espesyal nga kapilian sa Remote Replication niini, mahimo nimong i-configure ang pagkopya sa datos tali sa mga sistema sa pagtipig sa sulod sa mga utlanan sa usa ka sentro sa datos ug taliwala sa mga sentro sa datos (apan kini lapas na sa kasangkaran sa artikulo);
- adunay usab ikatulo nga lebel switch - Cisco 3850, nga mahimong gamiton ingon nga usa ka fault-tolerant network core alang sa high-speed routing tali sa internal nga mga network. Makatabang kini og daghan sa umaabot, samtang ang internal nga imprastraktura motubo. Ang 3850 usab adunay 10G nga mga pantalan nga mahimong magamit sa ulahi kung mag-upgrade sa kagamitan sa network sa 10G nga tulin.
Tungod kay karon wala’y bisan diin nga wala’y virtualization, siguradong naa kami sa uso, labi na tungod kay kini usa ka maayong paagi aron makunhuran ang gasto sa pag-angkon og mahal nga mga server alang sa indibidwal nga mga elemento sa imprastraktura (mga web server, database, ug uban pa), nga dili kanunay nga kamalaumon. gigamit sa kaso sa ubos nga load, ug mao gayud kini ang mahitabo sa sinugdanan sa paglunsad sa proyekto.
Dugang pa, ang virtualization adunay daghang uban pang mga bentaha nga mahimong mapuslanon kaayo sa amon: Ang pagtugot sa sayup sa VM gikan sa usa ka kapakyasan sa server sa hardware, Live nga paglalin tali sa mga cluster hardware node alang sa ilang pagmentinar, manual o awtomatiko nga pag-apod-apod sa pagkarga taliwala sa mga cluster node, ug uban pa.
Alang sa hardware nga gipalit sa negosyo, ang pag-deploy sa usa ka magamit kaayo nga VMware vSphere cluster nagsugyot sa kaugalingon, apan tungod kay ang bisan unsang software gikan sa VMware nahibal-an sa mga tag sa presyo nga "kabayo", mogamit kami hingpit nga libre nga software sa pagdumala sa virtualization - , pinasukad sa usa ka ilado, apan nahimo na nga komersyal nga produkto - .
Software oVirt gikinahanglan aron makombinar ang tanan nga mga elemento sa imprastraktura ngadto sa usa ka bug-os aron makahimo sa sayon nga pagtrabaho uban sa mga magamit nga virtual machine - kini mga database, web application, proxy server, balancer, server alang sa pagkolekta sa mga log ug analytics, ug uban pa, nga mao , unsa ang gilangkuban sa web portal sa among negosyo.
Sa pagsumaryo niini nga pasiuna, ang mga mosunud nga artikulo naghulat kanamo, nga magpakita sa praktis kung giunsa ang pag-deploy sa tibuuk nga imprastraktura sa hardware ug software sa usa ka negosyo:
Listahan sa mga artikulo
- Bahin 1. Pag-andam sa Pag-deploy sa usa ka oVirt Cluster 4.3.
- Bahin 2. Pag-instalar ug pag-configure sa usa ka oVirt cluster 4.3.
- Bahin 3. Pag-set up ug VyOS cluster, pag-organisar sa fault-tolerant external routing.
- Bahin 4. Pag-set up sa Cisco 3850 stack, pag-organisar sa intranet routing.
Bahin 1. Pag-andam sa Pag-deploy ug oVirt 4.3 Cluster
Panguna nga pag-setup sa host
Ang pag-install ug pag-configure sa OS mao ang labing kadali nga lakang. Adunay daghang mga artikulo kung giunsa ang husto nga pag-install ug pag-configure sa OS, mao nga wala’y hinungdan nga sulayan ang paghatag usa ka butang nga eksklusibo bahin niini.
Busa, kami adunay duha ka Dell PowerEdge R640 nga mga host diin kinahanglan namon nga i-install ang OS ug himuon ang pasiuna nga mga setting aron magamit kini ingon mga hypervisors aron makadagan ang mga virtual machine sa usa ka cluster sa oVirt 4.3.
Tungod kay nagplano kami nga gamiton ang libre nga non-komersyal nga software nga oVirt, gipili namon ang OS alang sa pag-deploy sa mga host. CentOS 7.7, bisan kung posible nga i-install ang ubang mga operating system sa mga host para sa oVirt:
- usa ka espesyal nga pagtukod base sa RHEL, ang gitawag. ;
- OS Oracle Linux Ting-init 2019 mahitungod sa pagpadayon sa oVirt sa pagdagan niini.
Sa wala pa i-install ang OS, girekomenda:
- i-configure ang iDRAC network interface sa duha ka host;
- pag-update sa firmware alang sa BIOS ug iDRAC sa pinakabag-o nga mga bersyon;
- i-configure ang System Profile sa server, mas maayo sa Performance mode;
- i-configure ang RAID gikan sa mga lokal nga disk (girekomenda ang RAID1) aron ma-install ang OS sa server.
Dayon among i-install ang OS sa disk nga gihimo sa sayo pa pinaagi sa iDRAC - ang proseso sa pag-instalar normal, walay espesyal nga mga gutlo niini. Mahimo usab nimo nga ma-access ang console sa server aron masugdan ang pag-install sa OS pinaagi sa iDRAC, bisan kung wala’y makapugong kanimo sa pagkonekta sa usa ka monitor, keyboard ug mouse direkta sa server ug i-install ang OS gikan sa usa ka flash drive.
Human ma-install ang OS, gihimo namon ang mga inisyal nga setting niini:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Pag-instalar sa batakang set sa software
Para sa inisyal nga setup sa OS, kinahanglan nimo nga i-configure ang bisan unsang network interface sa server aron maka-access ka sa Internet aron ma-update ang OS ug i-install ang gikinahanglan nga software packages. Mahimo kini sa panahon sa proseso sa pag-install sa OS ug pagkahuman niini.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Ang tanan nga mga setting sa ibabaw ug set sa software usa ka butang sa personal nga gusto, ug kini nga set usa lamang ka rekomendasyon.
Tungod kay ang among host magdula sa papel sa usa ka hypervisor, mahimo namon ang gusto nga profile sa pasundayag:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Mahimo nimong mabasa ang dugang bahin sa profile sa pasundayag dinhi:".
Pagkahuman sa pag-install sa OS, nagpadayon kami sa sunod nga bahin - ang pag-configure sa mga interface sa network sa mga host, ug usa ka stack sa mga switch sa Cisco 2960X.
Pag-configure sa Cisco 2960X Switch Stack
Sa among proyekto, ang mosunod nga mga numero sa VLAN ang gamiton - o i-broadcast ang mga domain nga nahimulag gikan sa usag usa, aron mabulag ang lainlaing lahi sa trapiko:
VLAN 10 - internet
VLAN 17 - Pagdumala (iDRAC, pagtipig, pagdumala sa switch)
VLAN 32 - Network sa produksiyon sa VM
VLAN 33 - interconnection network (sa gawas nga mga kontraktor)
VLAN 34 - Network sa pagsulay sa VM
VLAN 35 - Network sa developer sa VM
VLAN 40 - monitoring network
Sa dili pa magsugod sa trabaho, maghatag kita og usa ka diagram sa lebel sa L2, nga sa katapusan atong maabot:
Alang sa interaksyon sa network sa mga host sa oVirt ug mga virtual machine sa usag usa, ingon man sa pagdumala sa among sistema sa pagtipig, kinahanglan nga i-configure ang usa ka stack sa mga switch sa Cisco 2960X.
Ang mga host sa Dell adunay built-in nga 4-port network card, busa, gisugyot nga i-organisar ang ilang koneksyon sa Cisco 2960X gamit ang usa ka fault-tolerant nga koneksyon sa network, gamit ang pag-grupo sa pisikal nga mga pantalan sa network sa usa ka lohikal nga interface, ug ang LACP (802.3 ad) protocol:
- ang unang duha ka port sa host gi-configure sa bonding mode ug konektado sa 2960X switch - kini nga logical interface ma-configure tulay nga adunay adres alang sa pagdumala sa host, pag-monitor, komunikasyon sa ubang mga host sa cluster sa oVirt, gamiton usab kini alang sa Live nga paglalin sa mga virtual machine;
- ang ikaduha nga duha ka pantalan sa host gi-configure usab sa bonding mode ug konektado sa 2960X - sa kini nga lohikal nga interface gamit ang oVirt, ang mga tulay himuon sa ulahi (sa katugbang nga mga VLAN) diin ang mga virtual machine magkonektar.
- ang duha ka network port sulod sa samang lohikal nga interface mahimong aktibo, i.e. Ang trapiko sa kanila mahimong mapasa nga dungan, sa mode nga pagbalanse.
- Ang mga setting sa network sa mga cluster node kinahanglan nga parehas gyud, gawas sa mga IP address.
Basic switch stack setup 2960X ug ang mga pantalan niini
Kaniadto, ang atong mga switch kinahanglan nga:
- gibutang sa rack;
- konektado sa duha ka espesyal nga mga kable sa gikinahanglan nga gitas-on, pananglitan, CAB-STK-E-1M;
- konektado sa suplay sa kuryente;
- konektado sa workstation sa administrator pinaagi sa console port para sa ilang inisyal nga configuration.
Ang gikinahanglan nga giya alang niini anaa sa taggama.
Human makompleto ang mga lakang sa ibabaw, among gi-configure ang mga switch.
Ang gipasabot sa matag sugo dili kinahanglan nga masabtan sulod sa gambalay niini nga artikulo; kon gikinahanglan, ang tanang impormasyon mahimong makit-an nga independente.
Ang among katuyoan mao ang dali nga pag-set up sa switch stack ug pagkonektar sa mga host ug mga interface sa pagdumala sa pagtipig niini.
1) Nagkonektar kami sa master switch, adto sa privileged mode, dayon adto sa configuration mode ug paghimo sa basic settings.
Panguna nga switch config:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
I-save ang config gamit ang command "wr mem"ug i-restart ang switch stack gamit ang command"i-reload»sa master switch 1.
2) Gi-configure namo ang mga network port sa switch sa access mode (access) sa VLAN 17, aron makonektar ang control interface sa storage system ug iDRAC servers.
Pag-configure sa mga Port sa Pagdumala:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Human ma-reload ang stack, susiha nga kini nagtrabaho sa husto:
Pagsusi sa paglihok sa stack:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Pag-set up sa SSH access sa 2960X stack
Aron madumala ang stack sa layo pinaagi sa SSH, atong gamiton ang IP 172.20.1.10 nga gi-configure sa SVI (switch virtual interface) VLAN17.
Bisan kung gitinguha nga mogamit usa ka gipahinungod nga pantalan sa switch alang sa mga katuyoan sa pagdumala, kini usa ka butang sa personal nga gusto ug oportunidad.
Pag-set up sa SSH access sa switch stack:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordPaghimo og password aron makasulod sa privileged mode:
enable secret *myenablepassword*
service password-encryptionI-set up ang NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) I-set up ang lohikal nga mga interface sa Etherchannel ug pisikal nga mga pantalan nga konektado sa mga host. Alang sa kasayon sa pag-configure, ang tanang magamit nga VLAN tugotan sa tanang lohikal nga mga interface, apan kasagaran girekomendar nga i-configure lamang ang gikinahanglan:
Pag-configure sa mga interface sa Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeInisyal nga pag-configure sa mga interface sa network alang sa mga virtual machine, sa mga host Bisita1 и Bisita2
Gisusi namon ang presensya sa mga module nga gikinahanglan alang sa operasyon sa bonding sa sistema, i-install ang module alang sa pagdumala sa mga tulay:
modinfo bonding
modinfo 8021q
yum install bridge-utilsPag-configure sa BOND1 nga lohikal nga interface alang sa mga virtual nga makina ug ang pisikal nga mga interface niini sa mga host:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Human makompleto ang mga setting sa stack 2960H ug mga host, i-restart ang network sa mga host, ug susiha ang operability sa lohikal nga interface.
- sa host:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- sa switch stack 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Inisyal nga pag-configure sa mga interface sa network alang sa pagdumala sa mga kapanguhaan sa cluster, sa mga host Bisita1 и Bisita2
Pag-configure sa BOND1 nga lohikal nga interface alang sa pagdumala sa mga host, ug ang pisikal nga mga interface niini:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Human makompleto ang mga setting sa stack 2960H ug mga host, i-restart ang network sa mga host, ug susiha ang operability sa lohikal nga interface.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryPaghimo usa ka interface sa pagdumala sa network sa matag host sa VLAN 17, ug ihigot kini sa lohikal nga interface BOND1:
Pag-configure sa VLAN17 sa Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicPag-configure sa VLAN17 sa Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicGi-restart namo ang network sa mga host ug gisusi ang ilang visibility sa usag usa.
Nakompleto niini ang pag-configure sa Cisco 2960X switch stack, ug kung ang tanan nahimo sa husto, karon kami adunay koneksyon sa network sa tanan nga mga elemento sa imprastraktura sa usag usa sa lebel sa L2.
Dell MD3820f storage setup
Sa wala pa magsugod ang pagtrabaho sa pag-configure sa sistema sa pagtipig, kinahanglan nga konektado na kini sa stack sa switch sa Cisco 2960H mga interface sa pagdumala, ingon man sa mga host Bisita1 и Bisita2 pinaagi sa FC.
Ang kinatibuk-ang laraw kung giunsa ang sistema sa pagtipig kinahanglan nga konektado sa switch stack gihatag sa miaging kapitulo.
Ang laraw alang sa pagkonektar sa pagtipig pinaagi sa FC sa mga host kinahanglan nga ingon niini:
Atol sa koneksyon, kinahanglan nga isulat ang mga adres sa WWPN alang sa mga host sa FC HBA nga konektado sa mga pantalan sa FC sa sistema sa pagtipig - kinahanglan kini alang sa sunud nga pagsulud sa host nga nagbugkos sa mga LUN sa sistema sa pagtipig.
I-download ug i-install ang Dell MD3820f storage management utility sa administrator workstation - PowerVault Modular Disk Storage Manager (MDSM).
Gikonektar namo siya pinaagi sa iyang default nga mga IP address, ug dayon i-configure ang among mga adres gikan sa VLAN17, sa pagdumala sa mga controller pinaagi sa TCP/IP:
Pagtipig1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Pagkahuman sa pag-set up sa mga adres, moadto kami sa interface sa pagdumala sa pagtipig ug magbutang usa ka password, itakda ang oras, i-update ang firmware alang sa mga controller ug mga disk, kung kinahanglan, ug uban pa.
Giunsa kini pagbuhat gihulagway sa pagtipig.
Pagkahuman sa paghimo sa mga setting sa ibabaw, kinahanglan ra naton buhaton ang pipila ka mga butang:
- I-configure ang host FC port ID - Host Port Identifiers.
- Paghimo og host group − host nga grupo ug idugang ang among duha ka mga host sa Dell niini.
- Paghimo usa ka grupo sa disk ug mga virtual nga disk (o mga LUN) niini, nga ipresentar sa mga host.
- I-configure ang presentasyon sa mga virtual disk (o LUN) para sa mga host.
Ang pagdugang sa mga bag-ong host ug pagbugkos nga mga identifier sa host FC nga mga pantalan sa kanila gihimo pinaagi sa menu - Host Mappings -> Ihulagway -> Mga host…
Ang mga adres sa WWPN sa mga host sa FC HBA makita, pananglitan, sa iDRAC sa server.
Ingon usa ka sangputanan, kinahanglan nga makakuha kita usa ka butang nga sama niini nga litrato:
Ang pagdugang ug bag-ong host group ug pagbugkos sa mga host niini gihimo pinaagi sa menu - Host Mappings -> Ihulagway -> Grupo sa host…
Alang sa mga host, pilia ang tipo sa OS - Linux (DM-MP).
Human sa paghimo sa usa ka host nga grupo, pinaagi sa tab Mga Serbisyo sa Pagtipig ug Pagkopya, paghimo og disk group - grupo sa disk, nga adunay usa ka tipo depende sa mga kinahanglanon alang sa pagtugot sa sayup, pananglitan, RAID10, ug sa sulod niini mga virtual nga disk sa gikinahanglan nga gidak-on:
Ug sa katapusan, ang katapusan nga yugto mao ang pagpresentar sa mga virtual disk (o LUN) alang sa mga host.
Aron mahimo kini, pinaagi sa menu - Host Mappings -> Pagmapa sa bulan -> Add ... gibugkos namo ang mga virtual nga disk ngadto sa mga host pinaagi sa paghatag og mga numero ngadto kanila.
Ang tanan kinahanglan nga tan-awon sama niini nga screenshot:
Dinhi kita matapos sa setup sa pagtipig, ug kung ang tanan nahimo sa husto, nan ang mga host kinahanglan nga makakita sa mga LUN nga gipresentar ngadto kanila pinaagi sa ilang mga FC HBA.
Atong pugson ang sistema sa pag-update sa impormasyon bahin sa konektadong mga drive:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanAtong tan-awon kung unsang mga aparato ang makita sa among mga server:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Sa mga host, mahimo ka usab nga mag-configure multipath, ug bisan kung mahimo kini sa iyang kaugalingon kung mag-install sa oVirt, mas maayo nga susihon una ang pagkahusto sa MP.
Pag-instalar ug pag-configure sa DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Itakda ang serbisyo sa MP sa autostart ug sugdi kini:
systemctl enable multipathd && systemctl restart multipathdPagsusi sa impormasyon bahin sa loaded modules alang sa MP operation:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Pagtan-aw sa usa ka summary sa kasamtangan nga multipath configuration:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningHuman makadugang ug bag-ong LUN sa storage system ug ipresentar kini sa host, kinahanglan nimong i-scan ang mga HBA nga konektado sa host niini.
systemctl reload multipathd
multipath -v2Ug sa katapusan, among susihon kung ang tanan nga mga LUN gipresentar sa sistema sa pagtipig alang sa mga host, ug kung adunay duha ka agianan sa tanan.
Pagsusi sa operasyon sa MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningSama sa imong nakita, ang tanan nga tulo nga mga virtual disk sa sistema sa pagtipig makita sa duha ka paagi. Sa ingon, ang tanan nga buluhaton sa pag-andam nahuman na, nga nagpasabut nga mahimo ka magpadayon sa panguna nga bahin - pag-set up sa cluster sa oVirt, nga hisgutan sa sunod nga artikulo.
Source: www.habr.com