Asaina ny mpamaky hahafantatra ny fitsipiky ny fananganana fotodrafitrasa mahazaka lesoka ho an'ny orinasa madinika ao anatin'ny ivon-toeram-baovao tokana, izay hodinihina amin'ny antsipiriany ao anatin'ny andian-dahatsoratra fohy.
prodrome
ambany Data center (Ivom-pikarakarana angona) dia azo adika hoe:
- ny tranonao manokana ao amin'ny "efitrano mpizara" anao manokana ao amin'ny tranon'ny orinasa, izay mahafeno ny fepetra faran'izay kely indrindra amin'ny famatsiana herinaratra sy ny fampangatsiahana ny fitaovana, ary koa manana fidirana amin'ny Internet amin'ny alàlan'ny mpamatsy tsy miankina roa;
- trano fanofana miaraka amin'ny fitaovany manokana, hita ao amin'ny foibe data tena izy - ilay antsoina hoe. fiaraha-miasa, izay mifanaraka amin'ny fenitra Tier III na IV, ary miantoka ny famatsiana herinaratra azo antoka, ny fampangatsiahana ary ny fidirana amin'ny Internet tsy misy diso;
- fitaovana fanofana tanteraka ao amin'ny foibe data Tier III na IV.
Ny safidin'ny trano fonenana hofidiana dia tsirairay amin'ny tranga tsirairay, ary matetika dia miankina amin'ny anton-javatra maro:
- Nahoana ny orinasa iray no mila fotodrafitrasa IT manokana?
- inona marina no tadiavin'ny orinasa amin'ny fotodrafitrasa informatika (fahatokisana, scalability, fitantanana, sns.);
- ny habetsaky ny fampiasam-bola voalohany amin'ny fotodrafitrasa informatika, ary koa ny karazana fandaniana ho azy - renivohitra (izay midika fa mividy ny fitaovanao manokana ianao), na miasa (matetika nofaina ny fitaovana);
- drafitra faravodilanitry ny orinasa mihitsy.
Betsaka ny azo soratana momba ny anton-javatra mandrisika ny fanapahan-kevitry ny orinasa iray hamorona sy hampiasa ny fotodrafitrasa informatika, fa ny tanjonay dia ny hampiseho amin'ny fomba fanao ny fomba hamoronana io fotodrafitrasa io mba sady mahazaka lesoka no afaka mitahiry vola ihany koa. ny vidin'ny fividianana rindrambaiko ara-barotra, na misoroka azy ireo tanteraka.
Araka ny asehon'ny fanazaran-tena maharitra, dia tsy mendrika ny mitahiry fitaovana, satria mandoa indroa ny mahihitra, ary mihoatra lavitra noho izany aza. Saingy indray, ny fitaovana tsara dia soso-kevitra fotsiny, ary amin'ny farany dia inona marina no hividianana ary ohatrinona no miankina amin'ny fahaiza-manaon'ny orinasa sy ny "fitiavam-bola" amin'ny fitantanana azy. Ankoatr'izay, ny teny hoe "fitiavam-bola" dia tokony ho takatra tsara amin'ny teny, satria tsara kokoa ny mampiasa vola amin'ny fitaovana amin'ny dingana voalohany, mba tsy hanana olana goavana amin'ny fanohanana sy ny fampitomboana azy bebe kokoa, satria tamin'ny voalohany dia tsy mety ny drafitra ary ny tahiry be loatra dia mety hitarika ho amin'ny vidiny ambony kokoa noho ny amin'ny fanombohana ny tetikasa.
Noho izany, ny angona voalohany ho an'ny tetikasa:
- misy orinasa nanapa-kevitra ny hamorona vavahadin-tranonkalany manokana ary hitondra ny asany amin'ny Internet;
- nanapa-kevitra ny hanofa trano fitehirizam-bokatra ny orinasa mba hametrahana ny fitaovany ao amin'ny foibe data tsara voamarina araka ny fenitra Tier III;
- Ny orinasa dia nanapa-kevitra ny tsy hamonjy be amin'ny fitaovana, ary noho izany dia nividy ireto fitaovana manaraka ireto miaraka amin'ny fiantohana maharitra sy fanohanana:
Lisitry ny fitaovana
- mpizara roa Dell PowerEdge R640 ara-batana toy izao manaraka izao:
- roa Intel Xeon Gold 5120 processeur
- RAM 512 Gb
- kapila SAS roa ao amin'ny RAID1, ho an'ny fametrahana OS
- naorina-in 4-port 1G karatra tambajotra
- karatra tambajotra 2-port 10G roa
- iray 2-port FC HBA 16G.
- Rafitra fitahirizana 2-controller Dell MD3820f, mifandray amin'ny alalan'ny FC 16G mivantana amin'ny mpampiantrano Dell;
- switch faharoa ambaratonga faharoa - Cisco WS-C2960RX-48FPS-L natambatra;
- switch ambaratonga fahatelo roa - Cisco WS-C3850-24T-E, napetraka;
- Rack, UPS, PDU, console servers dia omen'ny foibe data.
Araka ny hitantsika, ny fitaovana efa misy dia manana fanantenana tsara ho an'ny scaling marindrano sy mitsangana, raha ny orinasa dia afaka mifaninana amin'ny orinasa hafa mitovy profil amin'ny Internet, ary manomboka mahazo tombony, izay azo ampiasaina amin'ny fanitarana ny loharanon-karena ho an'ny fifaninanana bebe kokoa. ary fitomboana tombombarotra.
Inona no fitaovana azontsika ampiana raha manapa-kevitra ny hampitombo ny fahombiazan'ny cluster informatika ny orinasa:
- manana tahiry lehibe amin'ny isan'ny seranana amin'ny switch 2960X izahay, izay midika fa afaka manampy mpizara hardware bebe kokoa izahay;
- mividy switch FC roa fanampiny hampifandray ireo rafitra fitahirizana sy mpizara fanampiny amin'izy ireo;
- azo havaozina ny lohamilina efa misy - ampio ny fahatsiarovana, manolo ireo processeur matanjaka kokoa, mifandray amin'ny tambajotra 10G amin'ny alàlan'ny adaptatera tambajotra efa misy;
- Azonao atao ny manampy talantalana kapila fanampiny amin'ny rafitra fitahirizana miaraka amin'ny karazana kapila ilaina - SAS, SATA na SSD, arakaraka ny entana nomanina;
- Aorian'ny fampidirana ireo switch FC dia afaka mividy rafitra fitahirizana hafa ianao mba hanampiana ny fahafahan'ny kapila bebe kokoa, ary raha mividy safidy Replication Remote manokana ianao, dia azonao atao ny mametraka ny replication data eo amin'ny rafitra fitahirizana ao anatin'ny foibe data iray ihany ary eo anelanelan'ny foibe data ( fa izany dia efa mihoatra ny faritry ny lahatsoratra);
- Misy ihany koa ny switch-ambaratonga fahatelo - Cisco 3850, izay azo ampiasaina ho fototry ny tambajotra mahazaka fahadisoana ho an'ny fandalovana haingam-pandeha eo amin'ny tambajotra anatiny. Tena hanampy tokoa izany amin'ny ho avy rehefa mitombo ny fotodrafitrasa anatiny. Ny 3850 dia manana seranan-tsambo 10G ihany koa, izay azo ampiasaina any aoriana rehefa manavao ny fitaovan'ny tambajotranao amin'ny hafainganam-pandeha 10G.
Koa satria tsy misy na aiza na aiza tsy misy virtoaly, mazava ho azy fa ho ao anatin'ny fironana isika, indrindra satria fomba tsara indrindra hampihenana ny vidin'ny fividianana server lafo vidy ho an'ny singa fotodrafitrasa tsirairay (server web, databases, sns.), izay tsy voatery foana. Ny tsara indrindra dia ampiasaina raha misy entana ambany, ary izany indrindra no hitranga amin'ny fanombohan'ny tetikasa.
Fanampin'izany, manana tombony maro hafa ny virtoaly izay mety tena mahasoa antsika: Fandeferana VM amin'ny tsy fahombiazan'ny server hardware, Fifindra-monina mivantana eo anelanelan'ny node cluster hardware ho an'ny fikojakojana azy, fizarana entana manual na mandeha ho azy eo anelanelan'ny node cluster, sns.
Ho an'ny fitaovana novidin'ny orinasa, ny fametrahana cluster VMware vSphere tena azo ampiasaina dia manolo-kevitra ny tenany, fa satria misy rindrambaiko avy amin'ny VMware fantatra amin'ny marika vidin'ny "soavaly", dia hampiasa rindrambaiko maimaim-poana izahay amin'ny fitantanana virtoaly - , mifototra amin'ny famoronana vokatra malaza nefa efa ara-barotra - .
rindrambaiko oVirt ilaina ny manambatra ireo singa fotodrafitrasa rehetra ho iray manontolo mba hahafahana miasa tsara amin'ny milina virtoaly tena misy - ireo dia angon-drakitra, fampiharana amin'ny Internet, mpizara proxy, mpifandanja, mpizara fanangonana logs sy analytics, sns. vavahadin-tranonkala an'ny orinasanay dia misy ny.
Mba hamintinana ity teny fampidirana ity dia afaka miandrandra ireto lahatsoratra manaraka ireto isika, izay hampiseho amin'ny fomba fanao tsara ny fomba fametrahana ny fotodrafitrasa rehetra amin'ny fitaovana sy rindrambaiko amin'ny orinasa iray:
Lisitry ny lahatsoratra
- Fizarana 1. Miomana amin'ny fametrahana cluster oVirt 4.3.
- Fizarana 2. Fametrahana sy fanamboarana kluster oVirt 4.3.
- Fizarana 3. Mametraka kluster VyOS, mandamina ny fandeferana ivelany tsy mety levona.
- Fizarana 4. Mametraka stack Cisco 3850, mandamina ny lalana intranet.
Fizarana 1. Miomana amin'ny fametrahana cluster oVirt 4.3
Fametrahana mpampiantrano fototra
Ny fametrahana sy ny fanamboarana ny OS no dingana mora indrindra. Betsaka ny lahatsoratra momba ny fomba fametrahana sy fanamboarana ny OS, noho izany dia tsy misy dikany ny manandrana manome zavatra manokana momba izany.
Noho izany, manana mpampiantrano Dell PowerEdge R640 roa isika izay ilaintsika ametrahana ny OS sy manao fikandrana mialoha mba hampiasana azy ireo ho hypervisors amin'ny fampandehanana milina virtoaly ao amin'ny cluster oVirt 4.3.
Koa satria mikasa ny hampiasa ny rindrambaiko oVirt tsy ara-barotra maimaim-poana izahay, dia nofidina ny OS amin'ny fametrahana mpampiantrano CentOS 7.7, na dia azo apetraka amin'ny mpampiantrano aza ny OS hafa ho an'ny oVirt:
- fananganana manokana mifototra amin'ny RHEL, ilay antsoina hoe. ;
- OS Oracle Linux, fahavaratra 2019 momba ny fanohanana ny asan'ny oVirt momba izany.
Alohan'ny fametrahana ny OS dia soso-kevitra:
- amboary ny seha-pifandraisana iDRAC amin'ny mpampiantrano roa;
- manavao ny firmware BIOS sy iDRAC amin'ny dikan-teny farany;
- amboary ny mombamomba ny rafitra an'ny mpizara, indrindra amin'ny fomba Fampisehoana;
- amboary ny RAID avy amin'ny kapila eo an-toerana (RAID1 no soso-kevitra) hametrahana ny OS amin'ny mpizara.
Avy eo dia mametraka ny OS amin'ny kapila noforonina teo aloha amin'ny alàlan'ny iDRAC - ny dingana fametrahana dia ara-dalàna, tsy misy fotoana manokana ao anatiny. Ny fidirana amin'ny console server mba hanombohana ny fametrahana OS dia azo alaina amin'ny alàlan'ny iDRAC, na dia tsy misy aza manakana anao tsy hampifandray mivantana ny monitor, ny klavier ary ny totozy amin'ny server ary ny fametrahana ny OS amin'ny flash drive.
Aorian'ny fametrahana ny OS dia manao ny fikandrana voalohany izahay:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Fametrahana andiana rindrambaiko fototra
Mba hanitsiana ny OS amin'ny voalohany dia mila manitsy ny interface misy tambajotra amin'ny mpizara ianao mba hahafahanao miditra amin'ny Internet mba hanavaozana ny OS sy hametraka ny fonosana rindrambaiko ilaina. Izany dia azo atao na mandritra ny fizotry ny fametrahana OS sy aorian'izany.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Ireo toe-javatra rehetra voalaza etsy ambony ireo sy ny lozisialy dia miankina amin'ny safidin'ny tena manokana, ary ity andiany ity dia soso-kevitra ihany.
Koa satria ny mpampiantrano anay dia handray ny andraikitry ny hypervisor, dia avelanay ny mombamomba ny fampisehoana ilaina:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Azonao atao ny mamaky bebe kokoa momba ny mombamomba ny fampisehoana eto: “".
Aorian'ny fametrahana ny OS dia mifindra amin'ny ampahany manaraka isika - ny fametrahana ny fifandraisana amin'ny tambajotra amin'ny mpampiantrano sy ny stack amin'ny switch Cisco 2960X.
Fametrahana Cisco 2960X Switch Stack
Ny tetikasanay dia hampiasa ireto laharana VLAN ireto - na sehatra fampielezam-peo, mitoka-monina, mba hanavahana karazana fifamoivoizana:
VLAN 10 - Internet
VLAN 17 - Fitantanana (iDRAC, rafitra fitahirizana, fitantanana switch)
VLAN 32 - Tambajotra famokarana VM
VLAN 33 - tambazotram-pifandraisana (amin'ny mpiantoka ivelany)
VLAN 34 - Tambajotra fitsapana VM
VLAN 35 - Tambajotra mpamorona VM
VLAN 40 – Tambajotra fanaraha-maso
Alohan'ny hanombohan'ny asa, ity misy kisary amin'ny ambaratonga L2 izay tokony ho tonga amin'ny farany:
Ho an'ny fifaneraserana amin'ny tambajotran'ny mpampiantrano oVirt sy ny milina virtoaly amin'ny tsirairay, ary koa amin'ny fitantanana ny rafitra fitehirizana anay, dia ilaina ny manamboatra antontam-pamokarana Cisco 2960X.
Ny mpampiantrano Dell dia manana karatra tambajotra misy seranan-tsambo 4, noho izany dia tsara ny mandamina ny fifandraisan'izy ireo amin'ny Cisco 2960X amin'ny alàlan'ny fifandraisana amin'ny tamba-jotra mandefitra amin'ny fahadisoana, amin'ny fampiasana ny fivondronan'ny seranan-tsambo ara-batana ho interface tsara, ary ny protocol LACP ( 802.3ad):
- Ny seranan-tsambo roa voalohany amin'ny mpampiantrano dia amboarina amin'ny fomba fatorana ary mifandray amin'ny switch 2960X - ity interface lojika ity dia hamboarina tetezana miaraka amin'ny adiresy ho an'ny fitantanana mpampiantrano, fanaraha-maso, fifandraisana amin'ny mpampiantrano hafa ao amin'ny cluster oVirt, dia hampiasaina amin'ny fifindra-monina mivantana amin'ny milina virtoaly ihany koa;
- Ny seranan-tsambo roa faharoa amin'ny mpampiantrano dia namboarina ihany koa amin'ny fomba fatorana ary mifandray amin'ny 2960X - amin'ity lozisialy interface tsara ity amin'ny fampiasana oVirt, ny tetezana dia hatsangana amin'ny ho avy (ao amin'ireo VLAN mifanaraka amin'izany) izay hampifandraisana ireo milina virtoaly.
- ny seranan-tsambo roa, ao anatin'ny interface lojika iray ihany, dia ho mavitrika, i.e. ny fifamoivoizana amin'izy ireo dia azo alefa miaraka, amin'ny fomba fifandanjana.
- Ny firafitry ny tambajotra amin'ny node cluster dia tsy maintsy MITOVY tanteraka, afa-tsy ny adiresy IP.
Fametrahana stack switch fototra 2960X sy ny seranan-tsambony
Ny switch dia tsy maintsy:
- rakotra napetraka;
- mifandray amin'ny tariby manokana roa amin'ny halavany ilaina, ohatra, CAB-STK-E-1M;
- mifandray amin'ny famatsiana herinaratra;
- mifandray amin'ny toeram-piasan'ny administratera amin'ny alàlan'ny seranan-tsambon'ny console ho an'ny fanamboarana voalohany.
Ny torolalana ilaina amin'izany dia hita ao amin'ny mpanamboatra.
Rehefa vita ny dingana etsy ambony, dia manamboatra ny switch isika.
Ny dikan'ny baiko tsirairay dia tsy natao hohazavaina ao anatin'ity lahatsoratra ity; raha ilaina dia azo jerena tsy miankina ny fampahalalana rehetra.
Ny tanjonay dia ny hanefa haingana araka izay azo atao ny stack switch ary hampifandray ny mpampiantrano sy ny fifandraisana amin'ny fitantanana fitahirizana azy.
1) Ampifandraiso amin'ny switch master, mandehana amin'ny mode privilége, avy eo mandehana amin'ny mode configuration ary manaova toe-javatra fototra.
Config fototra switch:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Tehirizo ny config miaraka amin'ny baiko "wr meme"ary avereno indray ny stack switch miaraka amin'ny baiko"avereno» eo amin'ny switch master 1.
2) Ampifandraiso amin'ny VLAN 17 ny seranan-tsambon'ny tambajotra amin'ny alàlan'ny fidirana ao amin'ny VLAN XNUMX, hampifandray ny fifandraisana amin'ny fitantanana ny rafitra fitahirizana sy ny mpizara iDRAC.
Fametrahana seranan-tsambo fitantanana:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Rehefa avy namerina namerina ny stack, jereo fa mandeha tsara izy io:
Fanamarinana ny fiasan'ny stack:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Mametraka fidirana SSH amin'ny stack 2960X
Mba hitantanana lavitra ny stack amin'ny SSH dia hampiasa IP 172.20.1.10 namboarina ho an'ny SVI (switch virtoaly interface tsara) isika. VLAN17.
Na dia tsara aza ny mampiasa seranan-tsambo natokana ho an'ny switch ho an'ny tanjona fitantanana, dia resaka safidy sy fahaiza-manao manokana izany.
Fametrahana ny fidirana SSH amin'ny stack of switch:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordManangana tenimiafina hidirana amin'ny fomba manokana:
enable secret *myenablepassword*
service password-encryptionFametrahana NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Ampifanaraho ny fifandraisana lojika Etherchannel sy ny seranana ara-batana mifandray amin'ny mpampiantrano. Ho fanamorana ny fanamafisana, ny VLAN rehetra misy dia alefa amin'ny fifandraisana lojika rehetra, fa amin'ny ankapobeny dia asaina manamboatra izay ilaina ihany:
Fametrahana ny fifandraisana amin'ny Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeFanofanana voalohany amin'ny fifandraisana amin'ny tambajotra ho an'ny milina virtoaly amin'ny mpampiantrano mpampiantrano1 и mpampiantrano2
Manamarina ny fisian'ny modules ilaina amin'ny fatorana miasa ao amin'ny rafitra izahay, mametraka module ho an'ny fanaraha-maso ny tetezana:
modinfo bonding
modinfo 8021q
yum install bridge-utilsFametrahana ny interface lojika BOND1 ho an'ny milina virtoaly sy ny fifandraisana ara-batana amin'ny mpampiantrano:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Rehefa vita ny fanovana eo amin'ny stack 2960H ary ny mpampiantrano, dia averinay indray ny tambajotra amin'ny mpampiantrano ary jereo ny fiasan'ny interface lojika.
- amin'ny mpampiantrano:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- amin'ny stack switch 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Fanofanana voalohany amin'ny fifandraisana amin'ny tambajotra amin'ny fitantanana loharanon-karena cluster amin'ny mpampiantrano mpampiantrano1 и mpampiantrano2
Fametrahana ny interface lojika BOND1 ho an'ny fitantanana sy ny fifandraisana ara-batana amin'ny mpampiantrano:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Rehefa vita ny fanovana eo amin'ny stack 2960H ary ny mpampiantrano, dia averinay indray ny tambajotra amin'ny mpampiantrano ary jereo ny fiasan'ny interface lojika.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryAmpifanaraho amin'ny mpampiantrano tsirairay ny interface interface amin'ny tambajotra VLAN 17, ary afehezo amin'ny interface logique BOND1:
Fametrahana VLAN17 amin'ny Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicFametrahana VLAN17 amin'ny Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicAverinay indray ny tambajotra amin'ny mpampiantrano ary hizaha ny fahitana azy ireo.
Izany dia mameno ny fanamafisam-peo amin'ny Cisco 2960X switch, ary raha vita tsara ny zava-drehetra, dia manana fifandraisana amin'ny tambajotran'ny singa fotodrafitrasa rehetra isika amin'ny ambaratonga L2.
Fametrahana rafitra fitahirizana Dell MD3820f
Alohan'ny hanombohan'ny asa amin'ny fametrahana ny rafitra fitahirizana dia tsy maintsy efa mifandray amin'ny antontam-pamokarana Cisco 2960H interface tsara, ary koa ny mpampiantrano mpampiantrano1 и mpampiantrano2 via FC.
Ny kisary ankapoben'ny fomba tokony hampifandraisana ny rafitra fitahirizana amin'ny fitambaran'ny switch dia nomena tao amin'ny toko teo aloha.
Ny kisary mampifandray ny rafitra fitahirizana amin'ny alalan'ny FC amin'ny mpampiantrano dia tokony ho toy izao:
Mandritra ny fifandraisana dia mila manoratra ny adiresin'ny WWPN ho an'ny mpampiantrano FC HBA mifandray amin'ny seranan-tsambo FC amin'ny rafitra fitahirizana ianao - izany dia ilaina amin'ny fametrahana ny famatorana ny mpampiantrano amin'ny LUN amin'ny rafitra fitahirizana.
Ao amin'ny toeram-piasan'ny mpitantana, alaivo ary apetraho ny fitaovana fitantanana ny rafitra fitahirizana Dell MD3820f - PowerVault Modular Disk Storage Manager (MDSM).
Mampifandray azy amin'ny alàlan'ny adiresy IP misy azy izahay, ary avy eo dia amboary ny adiresinay avy VLAN17, hitantana ny mpanara-maso amin'ny alalan'ny TCP/IP:
Fitehirizana1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Aorian'ny fametrahana ny adiresy dia mandehana any amin'ny sehatry ny fitantanana fitahirizana ary mametraha tenimiafina, mametra ny fotoana, manavao ny firmware ho an'ny controllers sy disks, raha ilaina, sns.
Ny fomba hanaovana izany dia voalaza ao amin'ny Rafitra fitahirizana
Rehefa vita ireo fanovana etsy ambony ireo dia mila manao dingana vitsivitsy ihany isika:
- Ampifandraiso ireo ID port FC mpampiantrano - Host Port Identifiers.
- Mamorona vondrona mpampiantrano - Vondrona mpampiantrano ary ampio ny mpampiantrano Dell roa anay.
- Mamorona vondrona kapila sy kapila virtoaly (na LUN) ao izay hatolotra ny mpampiantrano.
- Ampifanaraho ny fanolorana kapila virtoaly (na LUN) ho an'ny mpampiantrano.
Ny fampidirana mpampiantrano vaovao sy famatorana mpampiantrano seranan-tsambo FC amin'izy ireo dia atao amin'ny alàlan'ny menu - Host Mappings -> hamaritra -> mpampiantrano…
Ny adiresin'ny WWPN an'ny mpampiantrano FC HBA dia hita, ohatra, ao amin'ny mpizara iDRAC.
Vokatr'izany dia tokony hahazo zavatra toy izao isika:
Ny fampidirana vondrona mpampiantrano vaovao sy mpampiantrano mamatotra azy dia atao amin'ny alalan'ny sakafo - Host Mappings -> hamaritra -> Vondrona mpampiantrano…
Ho an'ny mpampiantrano, safidio ny karazana OS - Linux (DM-MP).
Rehefa avy namorona vondrona mpampiantrano, amin'ny alalan'ny tabilao Serivisy fitahirizana & kopia, mamorona vondrona kapila - Vondrona Disk, miaraka amin'ny karazana miankina amin'ny fepetra takiana amin'ny fandeferana diso, ohatra, RAID10, ary ao anatin'izany ny kapila virtoaly amin'ny habeny ilaina:
Ary farany, ny dingana farany dia ny fanolorana kapila virtoaly (na LUN) ho an'ny mpampiantrano.
Mba hanaovana izany, amin'ny alalan'ny menu - Host Mappings -> Sarintany volana -> Add ... Ampifandraisinay amin'ny mpampiantrano ny kapila virtoaly amin'ny alàlan'ny fanomezana isa azy ireo.
Ny zava-drehetra dia tokony hitovy amin'ity pikantsary ity:
Eto no hamaranana ny fametrahana ny rafitra fitahirizana, ary raha vita tsara ny zava-drehetra, dia tokony ho hitan'ny mpampiantrano ny LUN natolotra azy ireo tamin'ny alalan'ny FC HBA.
Andao hanery ny rafitra hanavao vaovao momba ny kapila mifandray:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanAndeha hojerentsika hoe inona ny fitaovana hita ao amin'ny lohamilinay:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Amin'ny mpampiantrano dia azonao atao koa ny manitsy multipath, ary na dia eo aza ny fametrahana ny oVirt dia afaka manao izany ny tenany, dia tsara kokoa ny manamarina ny fiasan'ny MP mialoha mialoha.
Fametrahana sy fanamafisana ny DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Ampidiro ny serivisy MP mba hanombohan'ny fiara ary atombohy:
systemctl enable multipathd && systemctl restart multipathdFanamarinana fampahalalana momba ny maodely feno entana ho an'ny fampandehanana MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Andeha hojerentsika ny fampahalalana famintinana momba ny fikirakirana multipath efa misy:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningRehefa avy nampiditra LUN vaovao amin'ny rafitra fitahirizana sy manolotra izany amin'ny mpampiantrano ianao dia mila mijery ny HBA mifandray amin'ny mpampiantrano azy.
systemctl reload multipathd
multipath -v2Ary farany, jereo raha naseho tao amin'ny rafitra fitahirizana ho an'ny mpampiantrano ny LUN rehetra, ary raha misy lalana roa mankany amin'izy rehetra.
Fanamarinana ny fiasan'ny MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningAraka ny hitanao dia hita amin'ny lalana roa ny kapila virtoaly telo rehetra ao amin'ny rafitra fitahirizana. Noho izany dia vita ny asa fanomanana rehetra, izay midika fa afaka miroso amin'ny ampahany lehibe ianao - ny fametrahana ny cluster oVirt, izay hodinihina ao amin'ny lahatsoratra manaraka.
Source: www.habr.com