Læsere opfordres til at sætte sig ind i principperne for at opbygge en fejltolerant infrastruktur til en lille virksomhed inden for et enkelt datacenter, hvilket vil blive diskuteret i detaljer i en kort serie af artikler.
prodrom
under datacenter (Databehandlingscenter) kan forstås som:
- eget rack i sit eget "serverrum" på virksomhedens område, som opfylder minimumskravene til levering af strøm- og køleudstyr og også har internetadgang gennem to uafhængige udbydere;
- et lejet rack med eget udstyr, placeret i et rigtigt datacenter – det såkaldte. en Tier III eller IV samlokalisering, der garanterer pålidelig strøm, køling og failover internetadgang;
- fuldt udlejet udstyr i et Tier III- eller IV-datacenter.
Hvilken indkvarteringsmulighed at vælge - i hvert tilfælde er alt individuelt og afhænger normalt af flere hovedfaktorer:
- hvorfor har en virksomhed overhovedet brug for sin egen it-infrastruktur;
- hvad præcist ønsker virksomheden af IT-infrastrukturen (pålidelighed, skalerbarhed, håndterbarhed osv.);
- størrelsen af den oprindelige investering i IT-infrastruktur, samt hvilken type omkostninger for det - kapital (hvilket betyder at købe dit eget udstyr), eller drift (udstyr er normalt lejet);
- selve virksomhedens planlægningshorisont.
Du kan skrive meget om de faktorer, der har indflydelse på en virksomheds beslutning om at skabe og bruge sin it-infrastruktur, men vores mål er i praksis at vise, hvordan man skaber netop denne infrastruktur, så den både er fejltolerant, og du stadig kan spare - reducere omkostningerne ved at anskaffe kommerciel software, eller undgå dem helt.
Som lang praksis viser, er det ikke værd at spare på jern, da gnieren betaler to gange, og endda meget mere. Men igen - god hardware, dette er kun en anbefaling, og i sidste ende, hvad der præcist skal købes og for hvor meget afhænger af virksomhedens evner og dens ledelses "grådighed". Desuden skal ordet "grådighed" forstås i ordets gode betydning, da det er bedre at investere i hardware i den indledende fase, så du senere ikke har alvorlige problemer med dets yderligere støtte og skalering, da det oprindeligt er forkert planlægning og for store besparelser kan føre til højere omkostninger, end når man starter et projekt.
Så de indledende data for projektet:
- der er en virksomhed, der har besluttet at oprette sin egen webportal og bringe sine aktiviteter til internettet;
- virksomheden besluttede at leje et rack til at rumme dets udstyr i et godt datacenter, der er certificeret i henhold til Tier III-standarden;
- virksomheden besluttede ikke at spare meget på hardware og købte derfor følgende udstyr med udvidede garantier og support:
Udstyrsliste
- to fysiske Dell PowerEdge R640-servere som følger:
- to Intel Xeon Gold 5120-processorer
- 512 Gb RAM
- to SAS-diske i RAID1, til OS-installation
- indbygget 4-ports 1G netværkskort
- to 2-ports 10G netværkskort
- en 2-ports FC HBA 16G.
- Dell MD2f 3820-controllerlager tilsluttet via FC 16G direkte til Dell-værter;
- to switche på andet niveau - Cisco WS-C2960RX-48FPS-L stablet;
- to switche på tredje niveau - Cisco WS-C3850-24T-E, kombineret til en stak;
- Rack, UPS, PDU, konsolservere - leveret af datacenteret.
Som vi kan se, har det eksisterende udstyr gode muligheder for horisontal og vertikal skalering, hvis virksomheden kan konkurrere med andre virksomheder med lignende profil på internettet, og begynder at tjene penge, der kan investeres i at udvide ressourcerne til yderligere konkurrence og vækst i overskuddet.
Hvilket udstyr kan vi tilføje, hvis virksomheden beslutter at øge ydeevnen af vores computerklynge:
- vi har en stor reserve i forhold til antallet af porte på 2960X switchene, hvilket betyder at vi kan tilføje flere hardwareservere;
- køb to FC-switche for at forbinde lagersystemer og yderligere servere til dem;
- eksisterende servere kan opgraderes - tilføj hukommelse, udskift processorer med mere effektive, opret forbindelse til et 10G-netværk med eksisterende netværksadaptere;
- du kan tilføje yderligere diskhylder til lagersystemet med den nødvendige type diske - SAS, SATA eller SSD, afhængigt af den planlagte belastning;
- efter at have tilføjet FC-switches, kan du købe et andet lagersystem for at tilføje endnu mere diskkapacitet, og hvis du køber en speciel fjernreplikeringsmulighed til det, kan du konfigurere datareplikering mellem lagersystemer både inden for et datacenters grænser og mellem datacentre (men dette er allerede uden for artiklens rammer);
- der findes også switche på tredje niveau - Cisco 3850, som kan bruges som en fejltolerant netværkskerne til højhastighedsrouting mellem interne netværk. Dette vil hjælpe meget i fremtiden, efterhånden som den interne infrastruktur vokser. 3850 har også 10G-porte, der kan bruges senere ved opgradering af netværksudstyr til 10G-hastighed.
Da der nu ikke er nogen steder uden virtualisering, vil vi helt sikkert være i trenden, især da dette er en fantastisk måde at reducere omkostningerne ved at anskaffe dyre servere til individuelle infrastrukturelementer (webservere, databaser osv.), som ikke altid er optimale. bruges i tilfælde af lav belastning, og det er præcis, hvad der vil være i starten af projektlanceringen.
Derudover har virtualisering mange andre fordele, som kan være meget nyttige for os: VM-fejltolerance fra en hardware-serverfejl, Live-migrering mellem cluster-hardware-noder for deres vedligeholdelse, manuel eller automatisk belastningsfordeling mellem cluster-noder osv.
For hardwaren købt af virksomheden foreslår implementeringen af en meget tilgængelig VMware vSphere-klynge sig selv, men da enhver software fra VMware er kendt for sine "heste" prismærker, vil vi bruge helt gratis virtualiseringsstyringssoftware - , på grundlag af hvilket et velkendt, men allerede kommercielt produkt skabes - .
Software oVirt nødvendigt at kombinere alle elementer i infrastrukturen til én helhed for bekvemt at kunne arbejde med højt tilgængelige virtuelle maskiner - det er databaser, webapplikationer, proxyservere, balancerer, servere til indsamling af logfiler og analyser osv., dvs. , hvad vores virksomheds webportal består af.
Som opsummering af denne introduktion venter følgende artikler på os, som i praksis viser præcis, hvordan man implementerer hele hardware- og softwareinfrastrukturen i en virksomhed:
Liste over artikler
- Part 1. Forberedelse til at implementere en oVirt-klynge 4.3.
- Part 2. Installation og konfiguration af en oVirt-klynge 4.3.
- Part 3. Opsætning af en VyOS-klynge, organisering af fejltolerant ekstern routing.
- Part 4. Opsætning af Cisco 3850-stakken, organisering af intranet-routing.
Del 1. Forberedelse til implementering af en oVirt 4.3-klynge
Grundlæggende værtsopsætning
Installation og konfiguration af OS er det nemmeste trin. Der er en masse artikler om, hvordan man korrekt installerer og konfigurerer operativsystemet, så det giver ingen mening at prøve at give noget eksklusivt ud om dette.
Så vi har to Dell PowerEdge R640-værter, hvorpå vi skal installere OS og udføre foreløbige indstillinger for at bruge dem som hypervisorer til at køre virtuelle maskiner i en oVirt 4.3-klynge.
Da vi planlægger at bruge den gratis ikke-kommercielle oVirt-software, valgte vi OS til værtsimplementering 7.7 CentOS, selvom det er muligt at installere andre operativsystemer på værter til oVirt:
- en speciel opbygning baseret på RHEL, den såkaldte. ;
- OS Oracle Linux sommer 2019 om at holde oVirt kørende på det.
Før du installerer operativsystemet, anbefales det:
- konfigurere iDRAC-netværksgrænsefladen på begge værter;
- opdatere firmware til BIOS og iDRAC til de nyeste versioner;
- konfigurere serverens systemprofil, helst i ydeevnetilstand;
- konfigurere RAID fra lokale diske (RAID1 anbefales) for at installere operativsystemet på serveren.
Derefter installerer vi OS på den tidligere oprettede disk gennem iDRAC - installationsprocessen er normal, der er ingen specielle øjeblikke i den. Du kan også få adgang til serverkonsollen for at starte OS-installation via iDRAC, selvom intet forhindrer dig i at tilslutte en skærm, et tastatur og en mus direkte til serveren og installere OS fra et flashdrev.
Efter installation af OS udfører vi dets indledende indstillinger:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Installation af det grundlæggende sæt af software
Til den indledende OS-opsætning skal du konfigurere enhver netværksgrænseflade på serveren, så du kan få adgang til internettet for at opdatere operativsystemet og installere de nødvendige softwarepakker. Dette kan gøres både under OS installationsprocessen og efter den.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Alle ovenstående indstillinger og softwaresæt er et spørgsmål om personlig præference, og dette sæt er kun en anbefaling.
Da vores vært vil spille rollen som en hypervisor, aktiverer vi den ønskede præstationsprofil:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Du kan læse mere om præstationsprofilen her:".
Efter installation af operativsystemet går vi videre til næste del - konfiguration af netværksgrænseflader på værter og en stak Cisco 2960X-switche.
Konfiguration af en Cisco 2960X Switch Stack
I vores projekt vil følgende VLAN-numre blive brugt - eller broadcast-domæner isoleret fra hinanden, for at adskille forskellige typer trafik:
VLAN 10 - Internet
VLAN 17 – Management (iDRAC, storage, switches management)
VLAN 32 – VM produktionsnetværk
VLAN 33 – sammenkoblingsnetværk (til eksterne entreprenører)
VLAN 34 – VM test netværk
VLAN 35 – VM-udviklernetværk
VLAN 40 – overvågningsnetværk
Inden vi starter arbejdet, lad os give et diagram på L2-niveau, som vi til sidst skulle komme til:
For netværksinteraktion mellem oVirt-værter og virtuelle maskiner med hinanden, samt til styring af vores lagersystem, er det nødvendigt at konfigurere en stak Cisco 2960X-switche.
Dell-værter har indbyggede 4-ports netværkskort, derfor er det tilrådeligt at organisere deres forbindelse til Cisco 2960X ved hjælp af en fejltolerant netværksforbindelse, ved at bruge grupperingen af fysiske netværksporte i en logisk grænseflade og LACP (802.3) ad) protokol:
- de første to porte på værten er konfigureret i bonding-tilstand og forbundet til 2960X-switchen - denne logiske grænseflade vil blive konfigureret bro med en adresse til værtsstyring, overvågning, kommunikation med andre værter i oVirt-klyngen, vil den også blive brugt til Live-migrering af virtuelle maskiner;
- de to andre porte på værten er også konfigureret i bonding-tilstand og forbundet til 2960X - på denne logiske grænseflade ved hjælp af oVirt vil der senere blive oprettet broer (i de tilsvarende VLAN'er), som virtuelle maskiner vil forbinde til.
- begge netværksporte inden for samme logiske grænseflade vil være aktive, dvs. trafik på dem kan transmitteres samtidigt i balanceringstilstand.
- netværksindstillinger på klynge noder skal være nøjagtig de samme, undtagen IP-adresser.
Grundlæggende switch stak opsætning 2960X og dens havne
Tidligere skulle vores kontakter være:
- rack monteret;
- forbundet med to specielle kabler af den nødvendige længde, for eksempel CAB-STK-E-1M;
- tilsluttet strømforsyningen;
- tilsluttet administratorens arbejdsstation via konsolporten til deres indledende konfiguration.
Den nødvendige vejledning hertil findes på fabrikant.
Efter at have gennemført ovenstående trin, konfigurerer vi switchene.
Hvad hver kommando betyder, skal ikke dechifreres inden for rammerne af denne artikel; om nødvendigt kan al information findes uafhængigt.
Vores mål er hurtigt at opsætte en switch-stack og forbinde værter og lagerstyringsgrænseflader til den.
1) Vi forbinder til hovedafbryderen, går til den privilegerede tilstand, går derefter til konfigurationstilstanden og laver de grundlæggende indstillinger.
Grundlæggende switch-konfiguration:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Gem konfigurationen med kommandoen "wr mem" og genstart switch-stakken med kommandoen "genindlæse» på hovedafbryderen 1.
2) Vi konfigurerer switchens netværksporte i adgangstilstand (adgang) i VLAN 17, for at forbinde styringsgrænseflader på lagersystemer og iDRAC-servere.
Konfiguration af administrationsporte:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Efter genindlæsning af stakken skal du kontrollere, at den fungerer korrekt:
Kontrol af stakkens funktion:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Opsætning af SSH-adgang til 2960X-stakken
For at styre stakken eksternt via SSH, vil vi bruge IP 172.20.1.10 konfigureret på SVI (skift virtuel grænseflade) VLAN17.
Selvom det er ønskeligt at bruge en dedikeret dedikeret port på switchen til administrationsformål, er dette et spørgsmål om personlig præference og mulighed.
Konfiguration af SSH-adgang til switch-stakken:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordIndstil en adgangskode for at gå ind i privilegeret tilstand:
enable secret *myenablepassword*
service password-encryptionKonfigurer NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Konfigurer logiske Etherchannel-grænseflader og fysiske porte forbundet til værter. For at lette konfigurationen vil alle tilgængelige VLAN'er være tilladt på alle logiske grænseflader, men det anbefales generelt kun at konfigurere det, der er nødvendigt:
Konfiguration af Etherchannel-grænseflader:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeIndledende konfiguration af netværksgrænseflader til virtuelle maskiner på værter Vært 1 и Vært 2
Vi kontrollerer tilstedeværelsen af de moduler, der er nødvendige for driften af limning i systemet, installer modulet til styring af broer:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfiguration af den logiske BOND1-grænseflade til virtuelle maskiner og dens fysiske grænseflader på værter:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Efter at have gennemført indstillingerne på stakken 2960H og værter, genstart netværket på værterne og kontroller funktionaliteten af den logiske grænseflade.
- på vært:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- på switch-stakken 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Indledende konfiguration af netværksgrænseflader til styring af klyngressourcer på værter Vært 1 и Vært 2
Konfiguration af den logiske BOND1-grænseflade til administration på værter og dens fysiske grænseflader:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Efter at have gennemført indstillingerne på stakken 2960H og værter, genstart netværket på værterne og kontroller funktionaliteten af den logiske grænseflade.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryKonfigurer en administrationsnetværksgrænseflade på hver vært i VLAN 17, og bind det til den logiske grænseflade BOND1:
Konfiguration af VLAN17 på Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfiguration af VLAN17 på Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicVi genstarter netværket på værterne og tjekker deres synlighed for hinanden.
Dette fuldender konfigurationen af Cisco 2960X switch-stakken, og hvis alt blev gjort korrekt, har vi nu netværksforbindelse af alle infrastrukturelementer til hinanden på L2-niveau.
Dell MD3820f lageropsætning
Inden arbejdet med at konfigurere lagersystemet påbegyndes, skal det allerede være tilsluttet Cisco switch-stakken 2960H administrationsgrænseflader, såvel som til værter Vært 1 и Vært 2 via FC.
Det generelle skema for, hvordan lagersystemet skal forbindes til switch-stakken, blev givet i det foregående kapitel.
Ordningen for tilslutning af lager via FC til værter skal se sådan ud:
Under forbindelsen er det nødvendigt at nedskrive WWPN-adresserne for FC HBA-værterne, der er tilsluttet FC-portene på lagersystemet - dette vil være nødvendigt for den efterfølgende konfiguration af værtsbinding til LUN'er på lagersystemet.
Download og installer Dell MD3820f lagerstyringsværktøjet på administratorarbejdsstationen - PowerVault Modular Disk Storage Manager (MDSM).
Vi opretter forbindelse til hende via hendes standard IP-adresser og konfigurerer derefter vores adresser fra VLAN17, for at administrere controllere via TCP/IP:
Opbevaring 1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Efter opsætning af adresserne går vi til lagerstyringsgrænsefladen og indstiller en adgangskode, indstiller tiden, opdaterer firmwaren til controllere og diske, hvis det er nødvendigt, osv.
Hvordan dette gøres er beskrevet i opbevaring.
Efter at have foretaget ovenstående indstillinger, skal vi kun gøre et par ting:
- Konfigurer værts FC-port-id'er - Værtsportidentifikatorer.
- Opret en værtsgruppe − værtsgruppe og føj vores to Dell-værter til det.
- Opret en diskgruppe og virtuelle diske (eller LUN'er) i den, som vil blive præsenteret for værter.
- Konfigurer præsentationen af virtuelle diske (eller LUN'er) for værter.
Tilføjelse af nye værter og binding af identifikatorer for værts FC-porte til dem sker gennem menuen - Værtskortlægninger -> Definere -> Værter…
FC HBA-værternes WWPN-adresser kan f.eks. findes i serverens iDRAC.
Som et resultat skulle vi få noget som dette billede:
Tilføjelse af en ny værtsgruppe og binding af værter til den sker via menuen - Værtskortlægninger -> Definere -> Værtsgruppe...
For værter, vælg typen af OS - Linux (DM-MP).
Efter oprettelse af en værtsgruppe, gennem fanen Opbevarings- og kopitjenester, opret en diskgruppe - Diskgruppe, med en type afhængig af kravene til fejltolerance, for eksempel RAID10, og deri virtuelle diske af den nødvendige størrelse:
Og endelig er den sidste fase præsentationen af virtuelle diske (eller LUN'er) til værter.
For at gøre dette, gennem menuen - Værtskortlægninger -> Lun kortlægning -> Tilføj ... vi binder virtuelle diske til værter ved at tildele numre til dem.
Alt skulle se ud som dette skærmbillede:
Det er her, vi afslutter med storage-opsætningen, og hvis alt blev gjort korrekt, så skulle værterne se LUN'erne præsenteret for dem gennem deres FC HBA'er.
Lad os tvinge systemet til at opdatere oplysninger om tilsluttede drev:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanLad os se, hvilke enheder der er synlige på vores servere:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -På værter kan du også konfigurere yderligere flervej, og selvom det kan gøre det selv, når du installerer oVirt, er det bedre at kontrollere rigtigheden af MP'en på forhånd.
Installation og konfiguration af DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Indstil MP-tjenesten til autostart og start den:
systemctl enable multipathd && systemctl restart multipathdKontrol af oplysninger om indlæste moduler til MP-drift:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <dm-devel@redhat.com>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Visning af en oversigt over den eksisterende flervejskonfiguration:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningEfter at have tilføjet et nyt LUN til lagersystemet og præsenteret det for værten, skal du scanne de HBA'er, der er forbundet med værten på den.
systemctl reload multipathd
multipath -v2Og til sidst tjekker vi, om alle LUN'er er blevet præsenteret på lagersystemet for værter, og om der er to stier til alle.
MP funktionskontrol:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningSom du kan se, er alle tre virtuelle diske på lagersystemet synlige på to måder. Alt det forberedende arbejde er således afsluttet, hvilket betyder, at du kan gå videre til hoveddelen - opsætning af oVirt-klyngen, som vil blive diskuteret i næste artikel.
Kilde: www.habr.com
