Legantoj estas invititaj konatiĝi kun la principoj de konstruado de misfunkcia infrastrukturo por malgranda entrepreno ene de ununura datumcentro, kiu estos detale diskutita en mallonga serio de artikoloj.
Prologo
Sub datumcentro (Centro pri Datumtraktado) povas esti komprenata kiel:
- propra rako en sia propra "servila ĉambro" sur la teritorio de la entrepreno, kiu plenumas la minimumajn postulojn por provizi potencon kaj malvarmigan ekipaĵon, kaj ankaŭ havas interretan aliron per du sendependaj provizantoj;
- luita rako kun propra ekipaĵo, situanta en vera datumcentro - la tn. Tier III aŭ IV-kolokado, kiu garantias fidindan potencon, malvarmigon kaj malsukcesan retaliron;
- plene luigita ekipaĵo en Tier III aŭ IV datencentro.
Kiun loĝejon elekti - ĉiukaze ĉio estas individua, kaj kutime dependas de pluraj ĉefaj faktoroj:
- kial entrepreno entute bezonas sian propran IT-infrastrukturon;
- kion precize la entrepreno volas de la IT-infrastrukturo (fidindeco, skaleblo, mastreblo, ktp.);
- la kvanto de komenca investo en IT-infrastrukturo, same kiel kiaj kostoj por ĝi - kapitalo (kio signifas aĉeti vian propran ekipaĵon), aŭ funkciado (ekipaĵo estas kutime luita);
- la planhorizonto de la entrepreno mem.
Vi povas skribi multe pri la faktoroj influantaj la decidon de entrepreno krei kaj uzi ĝian IT-infrastrukturon, sed nia celo estas montri praktike kiel krei ĉi tiun infrastrukturon por ke ĝi estu kaj mistolerema kaj vi ankoraŭ povu ŝpari - redukti la koston akiri komercan programaron, aŭ eviti ilin tute.
Kiel longa praktiko montras, ne indas ŝpari sur fero, ĉar la avarulo pagas dufoje, kaj eĉ multe pli. Sed denove - bona aparataro, ĉi tio estas nur rekomendo, kaj finfine, kion ĝuste aĉeti kaj kiom multe dependas de la kapabloj de la entrepreno, kaj la "avideco" de ĝia administrado. Krome, la vorto "avideco" devus esti komprenata en la bona signifo de la vorto, ĉar estas pli bone investi en aparataro en la komenca etapo, por ke poste vi ne havu gravajn problemojn kun ĝia plua subteno kaj skalo, ĉar komence malĝusta. planado kaj troa ŝparado povas konduki al pli altaj kostoj ol kiam oni komencas projekton.
Do, la komencaj datumoj por la projekto:
- estas entrepreno, kiu decidis krei propran retportalon kaj alporti siajn agadojn al Interreto;
- la kompanio decidis lui rakon por gastigi sian ekipaĵon en bona datumcentro atestita laŭ la normo Tier III;
- la firmao decidis ne ŝpari multe pri aparataro, kaj tial aĉetis la sekvan ekipaĵon kun plilongigitaj garantioj kaj subteno:
Listo de ekipaĵoj
- du fizikaj Dell PowerEdge R640-serviloj jene:
- du procesoroj Intel Xeon Gold 5120
- 512 Gb de RAM
- du SAS-diskoj en RAID1, por OS-instalado
- enkonstruita 4-havena 1G retkarto
- du 2-havenaj 10G retaj kartoj
- unu 2-havena FC HBA 16G.
- Dell MD2f 3820 regila stokado konektita per FC 16G rekte al Dell-gastigantoj;
- du ŝaltiloj de la dua nivelo - Cisco WS-C2960RX-48FPS-L stakitaj;
- du ŝaltiloj de la tria nivelo - Cisco WS-C3850-24T-E, kombinitaj en stakon;
- Rack, UPS, PDU, konzola serviloj - provizitaj de la datumcentro.
Kiel ni povas vidi, la ekzistanta ekipaĵo havas bonajn perspektivojn por horizontala kaj vertikala skalo, se la entrepreno povas konkuri kun aliaj kompanioj de simila profilo en la Interreto, kaj komencas fari profiton kiu povas esti investita en vastigado de rimedoj por plia konkuro. kaj kresko de profito.
Kiun ekipaĵon ni povas aldoni se la entrepreno decidas pliigi la rendimenton de nia komputika areto:
- ni havas grandan rezervon laŭ la nombro da havenoj sur la 2960X-ŝaltiloj, kio signifas, ke ni povas aldoni pli da aparataj serviloj;
- aĉetu du FC-ŝaltilojn por konekti stokadsistemojn kaj kromajn servilojn al ili;
- ekzistantaj serviloj povas esti ĝisdatigitaj - aldonu memoron, anstataŭigu procesorojn per pli efikaj, konektu al reto 10G kun ekzistantaj retaj adaptiloj;
- vi povas aldoni pliajn diskbretojn al la stokado kun la bezonata tipo de diskoj - SAS, SATA aŭ SSD, depende de la planita ŝarĝo;
- post aldonado de FC-ŝaltiloj, vi povas aĉeti alian stoksistemon por aldoni eĉ pli da diskkapacito, kaj se vi aĉetas specialan opcion de Remote Replication al ĝi, vi povas agordi datuman reproduktadon inter stokadsistemoj kaj ene de la limoj de unu datumcentro kaj inter datumcentroj. (sed tio jam estas ekster la amplekso de la artikolo);
- ekzistas ankaŭ trinivelaj ŝaltiloj - Cisco 3850, kiuj povas esti uzataj kiel mistolerema retokerno por altrapida vojigo inter internaj retoj. Ĉi tio multe helpos estonte, ĉar la interna infrastrukturo kreskas. La 3850 ankaŭ havas 10G-havenojn, kiuj povas esti uzataj poste kiam oni ĝisdatigas retajn ekipaĵojn al 10G-rapideco.
Ĉar nun estas nenie sen virtualigo, ni certe estos en la tendenco, precipe ĉar ĉi tio estas bonega maniero redukti la koston de akiro de multekostaj serviloj por individuaj infrastrukturaj elementoj (retserviloj, datumbazoj, ktp.), kiuj ne ĉiam estas optimumaj. estas uzataj en kazo de malalta ŝarĝo, kaj ĝuste tio estos komence de la lanĉo de la projekto.
Krome, virtualigo havas multajn aliajn avantaĝojn, kiuj povas esti tre utilaj al ni: VM-faŭltoleremo de fiasko de aparataro-servilo, Viva migrado inter cluster-hardvaronodoj por ilia prizorgado, manlibro aŭ aŭtomata ŝarĝo-distribuo inter cluster-nodoj, ktp.
Por la aparataro aĉetita de la entrepreno, la disfaldiĝo de tre disponebla VMware vSphere-areo sugestas sin, sed ĉar iu ajn programaro de VMware estas konata pro siaj "ĉevalaj" prezaj etikedoj, ni uzos absolute senpagan virtualigan administradprogramaron - , surbaze de kiu kreiĝas konata, sed jam komerca produkto - .
Programaro oVirt necesas kunigi ĉiujn elementojn de la infrastrukturo en unu tuton por povi oportune labori kun tre disponeblaj virtualaj maŝinoj - tio estas datumbazoj, TTT-aplikoj, prokuraj serviloj, balanciloj, serviloj por kolekti protokolojn kaj analizojn ktp., tio estas. , el kio konsistas la retportalo de nia entrepreno.
Resumante ĉi tiun enkondukon, la sekvaj artikoloj atendas nin, kiuj montros praktike ĝuste kiel disfaldi la tutan aparataron kaj programaran infrastrukturon de entrepreno:
Listo de artikoloj
- Parto 1. Preparante por Deploji oVirt Cluster 4.3.
- Parto 2. Instalado kaj agordo de oVirt-grupo 4.3.
- Parto 3. Agordante VyOS-grupon, organizante mistoleran eksteran vojigon.
- Parto 4. Agordante la stakon Cisco 3850, organizante intraretan vojigon.
Parto 1. Preparado por Deploji oVirt 4.3 Cluster
Baza aranĝo de gastiganto
Instali kaj agordi la OS estas la plej facila paŝo. Estas multaj artikoloj pri kiel ĝuste instali kaj agordi la OS, do ne havas sencon provi doni ion ekskluzivan pri tio.
Do, ni havas du gastigantojn de Dell PowerEdge R640, sur kiuj ni devas instali la OS kaj plenumi antaŭajn agordojn por uzi ilin kiel hipervizilojn por ruli virtualajn maŝinojn en oVirt 4.3-grupo.
Ĉar ni planas uzi la senpagan nekomercan programaron oVirt, ni elektis la OS por disfaldi gastigantojn CentOS 7.7, kvankam eblas instali aliajn operaciumojn sur gastigantoj por oVirt:
- speciala konstruo bazita sur RHEL, la t.n. ;
- OS Oracle Linukso Somero 2019 pri pluigi oVirt sur ĝi.
Antaŭ ol instali la OS, oni rekomendas:
- agordi la iDRAC-retan interfacon sur ambaŭ gastigantoj;
- ĝisdatigi firmware por BIOS kaj iDRAC al la plej novaj versioj;
- agordi la Sisteman Profilon de la servilo, prefere en Performance-reĝimo;
- agordu RAID de lokaj diskoj (RAID1 rekomendas) por instali la OS sur la servilo.
Tiam ni instalas la OS sur la disko kreita pli frue per iDRAC - la instalado estas normala, ne estas specialaj momentoj en ĝi. Vi ankaŭ povas aliri la servilan konzolon por komenci OS-instaladon per iDRAC, kvankam nenio malhelpas vin konekti monitoron, klavaron kaj muson rekte al la servilo kaj instali la OS de poŝmemoro.
Post instalo de la OS, ni plenumas ĝiajn komencajn agordojn:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instalado de la baza aro de programaro
Por la komenca OS-agordo, vi devas agordi ajnan retan interfacon sur la servilo por ke vi povu aliri la Interreton por ĝisdatigi la OS kaj instali la necesajn programajn pakaĵojn. Ĉi tio povas esti farita kaj dum la instalado de OS kaj post ĝi.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Ĉiuj ĉi-supraj agordoj kaj aro de programaro estas demando de persona prefero, kaj ĉi tiu aro estas nur rekomendo.
Ĉar nia gastiganto ludos la rolon de hiperviziero, ni ebligos la deziratan agadprofilon:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Vi povas legi pli pri la agado-profilo ĉi tie:".
Post instalo de la OS, ni transiras al la sekva parto - agordi retajn interfacojn sur gastigantoj, kaj stakon de Cisco 2960X-ŝaltiloj.
Agordante Cisco 2960X Ŝaltilo-Stakon
En nia projekto, la sekvaj VLAN-numeroj estos uzataj - aŭ dissendaj domajnoj izolitaj unu de la alia, por apartigi malsamajn specojn de trafiko:
VLAN 10 - Interreto
VLAN 17 - Administrado (iDRAC, stokado, administrado de ŝaltiloj)
VLAN 32 – VM-produktada reto
VLAN 33 - interkonekta reto (al eksteraj entreprenistoj)
VLAN 34 - VM-testreto
VLAN 35 - Reto por programistoj de VM
VLAN 40 - monitora reto
Antaŭ ol komenci laboron, ni donu diagramon ĉe la L2-nivelo, al kiu ni eventuale venu:
Por retinterago de oVirt-gastigantoj kaj virtualaj maŝinoj unu kun la alia, same kiel por administri nian stoksistemon, necesas agordi stakon de Cisco 2960X-ŝaltiloj.
Dell-gastigantoj havas enkonstruitajn 4-havenajn retajn kartojn, tial, estas konsilinde organizi ilian konekton al la Cisco 2960X uzante mistoleran retkonekton, uzante la grupigon de fizikaj retaj havenoj en logikan interfacon, kaj la LACP (802.3). ad) protokolo:
- la unuaj du havenoj sur la gastiganto estas agorditaj en liga reĝimo kaj konektitaj al la 2960X-ŝaltilo - ĉi tiu logika interfaco estos agordita ponto kun adreso por mastrumado de gastiganto, monitorado, komunikado kun aliaj gastigantoj en la areto oVirt, ĝi ankaŭ estos uzata por Viva migrado de virtualaj maŝinoj;
- la duaj du havenoj sur la gastiganto ankaŭ estas agorditaj en liga reĝimo kaj konektitaj al la 2960X - sur ĉi tiu logika interfaco uzante oVirt, pontoj estos kreitaj poste (en la respondaj VLANoj) al kiuj virtualaj maŝinoj konektos.
- ambaŭ retaj havenoj ene de la sama logika interfaco estos aktivaj, t.e. trafiko sur ili povas esti transdonita samtempe, en la ekvilibra reĝimo.
- retaj agordoj sur grapolnodoj devas esti ekzakte la samaj, krom IP-adresoj.
Baza ŝaltilo stako aranĝo 2960X kaj ĝiaj havenoj
Antaŭe, niaj ŝaltiloj devas esti:
- rako muntita;
- konektita per du specialaj kabloj de la bezonata longo, ekzemple, CAB-STK-E-1M;
- konektita al la nutrado;
- konektita al la laborstacio de la administranto per la konzola haveno por ilia komenca agordo.
La necesa gvido por ĉi tio haveblas ĉe fabrikanto.
Post plenumi la suprajn paŝojn, ni agordas la ŝaltilojn.
Kion signifas ĉiu komando, ne estas supozeble deĉifrita en la kadro de ĉi tiu artikolo; se necese, ĉiuj informoj troveblas sendepende.
Nia celo estas rapide starigi ŝaltilon kaj konekti gastigantojn kaj stokadadministrajn interfacojn al ĝi.
1) Ni konektas al la majstra ŝaltilo, iras al la privilegia reĝimo, poste iras al la agorda reĝimo kaj faras la bazajn agordojn.
Baza ŝaltila agordo:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Konservu la agordon per la komando "wr mem" kaj rekomencu la ŝaltilon per la komando "reŝargi» sur la ĉefŝaltilo 1.
2) Ni agordas la retajn havenojn de la ŝaltilo en la alirreĝimo (aliro) en VLAN 17, por konekti la kontrolinterfacojn de stokaj sistemoj kaj iDRAC-serviloj.
Agordi Administrajn Pordojn:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Post reŝargi la stakon, kontrolu, ke ĝi funkcias ĝuste:
Kontrolante la funkciadon de la stako:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Agordi SSH-aliron al la 2960X-stako
Por administri la stakon malproksime per SSH, ni uzos IP 172.20.1.10 agordita sur SVI (ŝanĝu virtualan interfacon) VLAN17.
Kvankam estas dezirinde uzi dediĉitan diligentan havenon sur la ŝaltilo por administradaj celoj, ĉi tio estas afero de persona prefero kaj ŝanco.
Agordi SSH-aliron al la ŝaltilo:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordAgordu pasvorton por eniri privilegian reĝimon:
enable secret *myenablepassword*
service password-encryptionAgordu NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Agordu logikan Etherchannel-interfacojn kaj fizikajn havenojn konektitajn al gastigantoj. Por facileco de agordo, ĉiuj disponeblaj VLAN-oj estos permesitaj sur ĉiuj logikaj interfacoj, sed ĝenerale rekomendas agordi nur tion, kio estas bezonata:
Agordi Etherchannel-interfacojn:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeKomenca agordo de retinterfacoj por virtualaj maŝinoj, sur gastigantoj Gastiganto1 и Gastiganto2
Ni kontrolas la ĉeeston de la moduloj necesaj por la funkciado de ligado en la sistemo, instalas la modulon por administri pontojn:
modinfo bonding
modinfo 8021q
yum install bridge-utilsAgordante la logikan interfacon BOND1 por virtualaj maŝinoj kaj ĝiaj fizikaj interfacoj sur gastigantoj:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Post kompletigi la agordojn sur la stako 2960H kaj gastigantoj, rekomencu la reton sur la gastigantoj, kaj kontrolu la operablecon de la logika interfaco.
- sur gastiganto:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- sur la ŝaltila stako 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Komenca agordo de retaj interfacoj por administri grapolresursojn, sur gastigantoj Gastiganto1 и Gastiganto2
Agordante la logikan interfacon BOND1 por administrado sur gastigantoj, kaj ĝiaj fizikaj interfacoj:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Post kompletigi la agordojn sur la stako 2960H kaj gastigantoj, rekomencu la reton sur la gastigantoj, kaj kontrolu la operablecon de la logika interfaco.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryAgordu administradan retan interfacon sur ĉiu gastiganto en VLAN 17, kaj ligu ĝin al la logika interfaco BOND1:
Agordante VLAN17 sur Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicAgordante VLAN17 sur Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicNi rekomencas la reton en la gastigantoj kaj kontrolas ilian videblecon unu al la alia.
Ĉi tio kompletigas la agordon de la Cisco 2960X-ŝaltilo, kaj se ĉio estis farita ĝuste, nun ni havas retan konekteblecon de ĉiuj infrastrukturaj elementoj unu al la alia ĉe la L2-nivelo.
Dell MD3820f stokado agordo
Antaŭ ol komenci labori pri agordo de la stokadsistemo, ĝi devas jam esti konektita al la Cisco-ŝaltilo 2960H administradinterfacoj, same kiel al gastigantoj Gastiganto1 и Gastiganto2 per FC.
La ĝenerala skemo pri kiel la stokadsistemo devus esti konektita al la ŝaltilo estis donita en la antaŭa ĉapitro.
La skemo por konekti stokadon per FC al gastigantoj devus aspekti jene:
Dum la konekto, necesas noti la WWPN-adresojn por la FC HBA-gastigantoj konektitaj al la FC-havenoj sur la stokadsistemo - tio estos necesa por la posta agordo de gastiganto ligado al LUN-oj sur la stokadsistemo.
Elŝutu kaj instalu la ilon pri stokado de Dell MD3820f sur la administranto-laborstacio - PowerVault Modular Disk Storage Manager (MDSM).
Ni konektas al ŝi per ŝiaj defaŭltaj IP-adresoj, kaj poste agordas niajn adresojn de VLAN17, por administri regilojn per TCP/IP:
Stokado1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Post agordo de la adresoj, ni iras al la stokado-administra interfaco kaj starigas pasvorton, agordas la tempon, ĝisdatigas la firmware por regiloj kaj diskoj, se necese, ktp.
Kiel ĉi tio estas farita estas priskribita en stokado.
Post fari la suprajn agordojn, ni devas fari nur kelkajn aferojn:
- Agordi gastigantajn FC-havenidentojn - Gastigaj Havenaj Identigiloj.
- Krei gastigan grupon − gastiga grupo kaj aldonu niajn du Dell-gastigojn al ĝi.
- Kreu diskogrupon kaj virtualajn diskojn (aŭ LUN) en ĝi, kiuj estos prezentitaj al gastigantoj.
- Agordu la prezenton de virtualaj diskoj (aŭ LUNoj) por gastigantoj.
Aldono de novaj gastigantoj kaj ligado de identigiloj de gastigaj FC-havenoj al ili estas farita per la menuo - Gastigaj Mapoj -> Difini -> Gastigantoj…
La WWPN-adresoj de la FC HBA-gastigantoj troveblas, ekzemple, en la iDRAC de la servilo.
Kiel rezulto, ni devus ricevi ion kiel ĉi tiu bildo:
Aldoni novan gastigan grupon kaj ligi gastigantojn al ĝi estas farita per la menuo - Gastigaj Mapoj -> Difini -> Gastiganta Grupo…
Por gastigantoj, elektu la tipon de OS - Linukso (DM-MP).
Post kreado de gastiga grupo, tra la langeto Servoj de Stokado kaj Kopio, kreu diskogrupon - Diska Grupo, kun tipo dependanta de la postuloj por faŭltoleremo, ekzemple, RAID10, kaj en ĝi virtualaj diskoj de la bezonata grandeco:
Kaj finfine, la fina etapo estas la prezento de virtualaj diskoj (aŭ LUN) por gastigantoj.
Por fari tion, tra la menuo - Gastigaj Mapoj -> Lun-mapado -> Aldoni ... ni ligas virtualajn diskojn al gastigantoj asignante nombrojn al ili.
Ĉio devus aspekti kiel ĉi tiu ekrankopio:
Jen kie ni finas kun la stokado-agordo, kaj se ĉio estis farita ĝuste, tiam la gastigantoj devus vidi la LUN-ojn prezentitajn al ili per siaj FC HBA-oj.
Ni devigu la sistemon ĝisdatigi informojn pri konektitaj diskoj:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanNi vidu, kiaj aparatoj estas videblaj sur niaj serviloj:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Ĉe gastigantoj, vi ankaŭ povas aldone agordi multvojo, kaj kvankam ĝi povas fari ĝin mem instalante oVirt, estas pli bone kontroli la ĝustecon de la MP antaŭe.
Instalado kaj agordo de DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Agordu la MP-servon aŭtomate kaj lanĉu ĝin:
systemctl enable multipathd && systemctl restart multipathdKontrolante informojn pri ŝarĝitaj moduloj por MP-funkciado:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Vidante resumon de la ekzistanta plurvoja agordo:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningPost aldoni novan LUN al la stokadsistemo kaj prezenti ĝin al la gastiganto, vi devas skani la HBA-ojn konektitajn al la gastiganto sur ĝi.
systemctl reload multipathd
multipath -v2Kaj finfine, ni kontrolas ĉu ĉiuj LUN-oj estis prezentitaj sur la stokadsistemo por gastigantoj, kaj ĉu estas du vojoj al ĉiuj.
Kontrolo de operacio MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningKiel vi povas vidi, ĉiuj tri virtualaj diskoj sur la stokadsistemo estas videblaj en du manieroj. Tiel, la tuta prepara laboro estas kompletigita, kio signifas, ke vi povas daŭrigi al la ĉefa parto - agordi la oVirt-grupon, pri kiu estos diskutita en la sekva artikolo.
fonto: www.habr.com