Leserne inviteres til å gjøre seg kjent med prinsippene for å bygge en feiltolerant infrastruktur for en liten bedrift innenfor et enkelt datasenter, som vil bli diskutert i detalj i en kort artikkelserie.
prodrome
under Datasenter (Databehandlingssenter) kan forstås som:
- ditt eget rack i ditt eget "serverrom" i bedriftens lokaler, som oppfyller minimumskravene for strømforsyning og kjøling av utstyr, og har også Internett-tilgang gjennom to uavhengige leverandører;
- et leid stativ med eget utstyr, plassert i et ekte datasenter - det såkalte. samlokalisering, som samsvarer med Tier III- eller IV-standarden, og som garanterer pålitelig strømforsyning, kjøling og feiltolerant Internett-tilgang;
- fullt leid utstyr i et Tier III- eller IV-datasenter.
Hvilket overnattingsalternativ du skal velge er individuelt i hvert enkelt tilfelle, og avhenger vanligvis av flere hovedfaktorer:
- Hvorfor trenger en bedrift sin egen IT-infrastruktur?
- hva nøyaktig ønsker bedriften fra IT-infrastrukturen (pålitelighet, skalerbarhet, administrerbarhet, etc.);
- volumet av innledende investeringer i IT-infrastrukturen, samt hvilken type kostnader for det - kapital (som betyr at du kjøper ditt eget utstyr), eller operativt (utstyr leies vanligvis);
- planleggingshorisont for selve virksomheten.
Det kan skrives mye om faktorene som påvirker en bedrifts beslutning om å opprette og bruke IT-infrastrukturen, men vårt mål er å vise i praksis hvordan man kan lage nettopp denne infrastrukturen slik at den både er feiltolerant og også kan spare penger. kostnadene ved å kjøpe kommersiell programvare, eller unngå dem helt.
Som langsiktig praksis viser, er det ikke verdt å spare på maskinvare, siden den gjerrige betaler to ganger, og enda mye mer. Men igjen, god maskinvare er bare en anbefaling, og til slutt hva du skal kjøpe og for hvor mye avhenger av bedriftens evner og "grådigheten" til ledelsen. Dessuten bør ordet "grådighet" forstås i den gode betydningen av ordet, siden det er bedre å investere i maskinvare i det innledende stadiet, for ikke å ha alvorlige problemer med dens videre støtte og skalering, siden opprinnelig feil planlegging og for store innsparinger kan føre til høyere kostnader enn ved oppstart av prosjektet.
Så de første dataene for prosjektet:
- det er et foretak som har bestemt seg for å opprette sin egen nettportal og bringe sine aktiviteter til Internett;
- selskapet bestemte seg for å leie et stativ for å plassere utstyret i et godt datasenter sertifisert i henhold til Tier III-standarden;
- selskapet bestemte seg for å ikke spare mye på maskinvare, og kjøpte derfor følgende utstyr med utvidede garantier og støtte:
Utstyrsliste
- to fysiske Dell PowerEdge R640-servere som følger:
- to Intel Xeon Gold 5120-prosessorer
- 512 Gb RAM
- to SAS-disker i RAID1, for OS-installasjon
- innebygd 4-ports 1G nettverkskort
- to 2-ports 10G nettverkskort
- en 2-ports FC HBA 16G.
- 2-kontrollers lagringssystem Dell MD3820f, koblet via FC 16G direkte til Dell-verter;
- to andrenivåsvitsjer - Cisco WS-C2960RX-48FPS-L stablet;
- to tredjenivåsvitsjer - Cisco WS-C3850-24T-E, stablet;
- Rack, UPS, PDU, konsollservere leveres av datasenteret.
Som vi ser, har det eksisterende utstyret gode muligheter for horisontal og vertikal skalering, hvis bedriften er i stand til å konkurrere med andre selskaper med lignende profil på Internett, og begynner å tjene penger, som kan investeres i å utvide ressurser for ytterligere konkurranse. og resultatvekst.
Hvilket utstyr kan vi legge til hvis bedriften bestemmer seg for å øke ytelsen til dataklyngen vår:
- vi har en stor reserve i antall porter på 2960X-svitsjene, noe som betyr at vi kan legge til flere maskinvareservere;
- kjøpe to ekstra FC-svitsjer for å koble lagringssystemer og ekstra servere til dem;
- eksisterende servere kan oppgraderes - legg til minne, bytt ut prosessorer med kraftigere, koble til et 10G-nettverk ved hjelp av eksisterende nettverkskort;
- Du kan legge til flere diskhyller til lagringssystemet med den nødvendige typen disk - SAS, SATA eller SSD, avhengig av den planlagte belastningen;
- etter å ha lagt til FC-svitsjer, kan du kjøpe et annet lagringssystem for å legge til enda mer diskkapasitet, og hvis du kjøper et spesielt alternativ for ekstern replikering, kan du sette opp datareplikering mellom lagringssystemer både innenfor samme datasenter og mellom datasentre ( men dette er allerede utenfor rammen av artikkelen);
- Det finnes også tredjenivåsvitsjer – Cisco 3850, som kan brukes som en feiltolerant nettverkskjerne for høyhastighetsruting mellom interne nettverk. Dette vil være svært nyttig i fremtiden ettersom den interne infrastrukturen vokser. 3850 har også 10G-porter, som kan brukes senere når du oppgraderer nettverksutstyret til 10G-hastigheter.
Siden det nå ikke er noe sted uten virtualisering, vil vi selvfølgelig være med i trenden, spesielt siden dette er en utmerket måte å redusere kostnadene ved å kjøpe dyre servere for individuelle infrastrukturelementer (webservere, databaser osv.), som ikke alltid er det optimal brukes ved lav belastning, og det er nettopp dette som vil skje i begynnelsen av prosjektlanseringen.
I tillegg har virtualisering mange andre fordeler som kan være svært nyttige for oss: VM-feiltoleranse mot maskinvareserverfeil, Live migrering mellom maskinvareklyngenoder for vedlikehold, manuell eller automatisk lastfordeling mellom klyngenoder osv.
For maskinvaren kjøpt av bedriften foreslår utrullingen av en svært tilgjengelig VMware vSphere-klynge seg selv, men siden all programvare fra VMware er kjent for sine "heste"-prislapper, vil vi bruke helt gratis programvare for å administrere virtualisering - , på grunnlag av hvilket et velkjent, men allerede kommersielt produkt lages - .
Programvare oVirt nødvendig å kombinere alle infrastrukturelementer til én helhet for å kunne jobbe med svært tilgjengelige virtuelle maskiner - disse er databaser, webapplikasjoner, proxy-servere, balansere, servere for innsamling av logger og analyser, etc., det vil si hva nettportalen til vår virksomhet består av.
For å oppsummere denne introduksjonen kan vi se frem til følgende artikler, som vil vise i praksis nøyaktig hvordan man distribuerer hele maskinvare- og programvareinfrastrukturen til en bedrift:
Liste over artikler
- Del 1. Forbereder distribusjon av en oVirt 4.3-klynge.
- Del 2. Installere og konfigurere oVirt 4.3 cluster.
- Del 3. Sette opp en VyOS-klynge, organisere feiltolerant ekstern ruting.
- Del 4. Sette opp en Cisco 3850-stack, organisere intranettruting.
Del 1. Forbereder distribusjon av en oVirt 4.3-klynge
Grunnleggende vertsoppsett
Installering og konfigurering av operativsystemet er det enkleste trinnet. Det er mange artikler om hvordan du installerer og konfigurerer operativsystemet riktig, så det er ingen vits i å prøve å gi ut noe eksklusivt om dette.
Så vi har to Dell PowerEdge R640-verter som vi må installere operativsystemet på og utføre foreløpige innstillinger for å bruke dem som hypervisorer for å kjøre virtuelle maskiner i oVirt 4.3-klyngen.
Siden vi planlegger å bruke den gratis ikke-kommersielle oVirt-programvaren, ble operativsystemet valgt for å distribuere verter 7.7 CentOS, selv om andre operativsystemer kan installeres på verter for oVirt:
- en spesialbygg basert på RHEL, den såkalte. ;
- OS Oracle Linux, sommeren 2019 om å støtte arbeidet til oVirt med det.
Før du installerer operativsystemet, anbefales det:
- konfigurere iDRAC-nettverksgrensesnittet på begge vertene;
- oppdater BIOS og iDRAC-fastvaren til de nyeste versjonene;
- konfigurere serverens systemprofil, fortrinnsvis i ytelsesmodus;
- konfigurere RAID fra lokale disker (RAID1 anbefales) for å installere operativsystemet på serveren.
Deretter installerer vi operativsystemet på disken som ble opprettet tidligere via iDRAC - installasjonsprosessen er normal, det er ingen spesielle øyeblikk i den. Tilgang til serverkonsollen for å starte OS-installasjon kan også oppnås via iDRAC, selv om ingenting hindrer deg i å koble en skjerm, et tastatur og en mus direkte til serveren og installere OS fra en flash-stasjon.
Etter å ha installert operativsystemet, utfører vi de første innstillingene:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Installere et grunnleggende sett med programvare
For å konfigurere operativsystemet til å begynne med, må du konfigurere et hvilket som helst nettverksgrensesnitt på serveren slik at du kan få tilgang til Internett for å oppdatere operativsystemet og installere de nødvendige programvarepakkene. Dette kan gjøres både under OS-installasjonsprosessen og etter den.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Alle de ovennevnte innstillingene og programvaresettet er et spørsmål om personlig preferanse, og dette settet er kun en anbefaling.
Siden verten vår vil spille rollen som en hypervisor, vil vi aktivere den nødvendige ytelsesprofilen:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Du kan lese mer om prestasjonsprofilen her: "".
Etter å ha installert OS, går vi videre til neste del - å sette opp nettverksgrensesnitt på vertene og en stabel med Cisco 2960X-svitsjer.
Konfigurere en Cisco 2960X Switch Stack
Prosjektet vårt vil bruke følgende antall VLAN - eller kringkastingsdomener, isolert fra hverandre, for å skille forskjellige typer trafikk:
VLAN 10 - Internett
VLAN 17 – Management (iDRAC, lagringssystemer, svitsjadministrasjon)
VLAN 32 – VM produksjonsnettverk
VLAN 33 – sammenkoblingsnettverk (til eksterne entreprenører)
VLAN 34 – VM testnettverk
VLAN 35 – VM-utviklernettverk
VLAN 40 – Overvåkingsnettverk
Før du starter arbeidet, her er et diagram på L2-nivå som vi til slutt bør komme til:
For nettverksinteraksjon av oVirt-verter og virtuelle maskiner med hverandre, samt for å administrere lagringssystemet vårt, er det nødvendig å konfigurere en stabel med Cisco 2960X-svitsjer.
Dell-verter har innebygde 4-ports nettverkskort, derfor er det tilrådelig å organisere tilkoblingen til Cisco 2960X ved hjelp av en feiltolerant nettverkstilkobling, ved å bruke en gruppering av fysiske nettverksporter i et logisk grensesnitt, og LACP-protokollen ( 802.3ad):
- de to første portene på verten er konfigurert i bonding-modus og koblet til 2960X-svitsjen - dette logiske grensesnittet vil bli konfigurert bro med en adresse for vertsadministrasjon, overvåking, kommunikasjon med andre verter i oVirt-klyngen, vil den også bli brukt til Live migrering av virtuelle maskiner;
- de to andre portene på verten er også konfigurert i bonding-modus og koblet til 2960X - på dette logiske grensesnittet ved hjelp av oVirt, vil det bli opprettet broer i fremtiden (i de tilsvarende VLAN-ene) som virtuelle maskiner vil bli koblet til.
- begge nettverksportene, innenfor samme logiske grensesnitt, vil være aktive, dvs. trafikk over dem kan overføres samtidig, i balanseringsmodus.
- nettverksinnstillingene på klyngenodene må være absolutt DE SAMME, med unntak av IP-adresser.
Grunnleggende bryterstabeloppsett 2960X og dens havner
Våre brytere må først være:
- rack montert;
- koblet til via to spesielle kabler med ønsket lengde, for eksempel CAB-STK-E-1M;
- koblet til strømforsyningen;
- koblet til administratorens arbeidsstasjon via konsollporten for deres første konfigurasjon.
Nødvendig veiledning for dette er tilgjengelig på produsenten.
Etter å ha fullført trinnene ovenfor, konfigurerer vi bryterne.
Hva hver kommando betyr er ikke ment å bli dechiffrert innenfor rammen av denne artikkelen; om nødvendig kan all informasjon finnes uavhengig.
Målet vårt er å konfigurere bryterstakken så raskt som mulig og koble verter og lagringsadministrasjonsgrensesnitt til den.
1) Koble til hovedbryteren, gå til privilegert modus, gå deretter til konfigurasjonsmodus og foreta grunnleggende innstillinger.
Grunnleggende bryterkonfigurasjon:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Vi lagrer konfigurasjonen med kommandoen "wr mem" og start bryterstakken på nytt med kommandoen "lesse» på hovedbryteren 1.
2) Vi konfigurerer nettverksportene til svitsjen i tilgangsmodus i VLAN 17, for å koble administrasjonsgrensesnittene til lagringssystemer og iDRAC-servere.
Sette opp administrasjonsporter:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Etter å ha lastet inn stabelen på nytt, kontroller at den fungerer som den skal:
Sjekke funksjonaliteten til stabelen:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Sette opp SSH-tilgang til 2960X-stakken
For å eksternt administrere stabelen via SSH, vil vi bruke IP 172.20.1.10 konfigurert for SVI (bytt virtuelt grensesnitt) VLAN17.
Selv om det er tilrådelig å bruke en dedikert dedikert port på svitsjen for administrasjonsformål, er dette et spørsmål om personlige preferanser og muligheter.
Konfigurere SSH-tilgang til en stabel med brytere:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordSett opp et passord for å gå inn i privilegert modus:
enable secret *myenablepassword*
service password-encryptionSette opp NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Konfigurer logiske Etherchannel-grensesnitt og fysiske porter koblet til verter. For enkel konfigurasjon vil alle tilgjengelige VLAN være aktivert på alle logiske grensesnitt, men det anbefales generelt å konfigurere bare det som er nødvendig:
Konfigurering av Etherchannel-grensesnitt:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeInnledende konfigurasjon av nettverksgrensesnitt for virtuelle maskiner på verter Vert 1 и Vert 2
Vi sjekker tilstedeværelsen av moduler som er nødvendige for at bindingen skal fungere i systemet, installerer en modul for å kontrollere broer:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfigurering av det logiske grensesnittet BOND1 for virtuelle maskiner og dets fysiske grensesnitt på verter:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Etter å ha fullført innstillingene på stabelen 2960H og verter, starter vi nettverket på vertene og sjekker funksjonaliteten til det logiske grensesnittet.
- på verten:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- på bryterstabelen 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Innledende konfigurasjon av nettverksgrensesnitt for å administrere klyngeressurser på verter Vert 1 и Vert 2
Konfigurering av det logiske grensesnittet BOND1 for administrasjon og dets fysiske grensesnitt på verter:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Etter å ha fullført innstillingene på stabelen 2960H og verter, starter vi nettverket på vertene og sjekker funksjonaliteten til det logiske grensesnittet.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryVi konfigurerer kontrollnettverksgrensesnittet på hver vert i VLAN 17, og bind den til det logiske grensesnittet BOND1:
Konfigurere VLAN17 på Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfigurere VLAN17 på Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicVi starter nettverket på nytt på vertene og sjekker deres synlighet for hverandre.
Dette fullfører konfigurasjonen av stabelen med Cisco 2960X-svitsjer, og hvis alt ble gjort riktig, så har vi nå nettverkstilkobling av alle infrastrukturelementer til hverandre på L2-nivå.
Sette opp Dell MD3820f lagringssystem
Før du starter arbeidet med å sette opp lagringssystemet, må det allerede være koblet til en stabel med Cisco-svitsjer 2960H kontrollgrensesnitt, så vel som til verter Vert 1 и Vert 2 via FC.
Det generelle diagrammet over hvordan lagringssystemer skal kobles til en stabel med brytere ble gitt i forrige kapittel.
Diagrammet for å koble lagringssystemet via FC til vertene skal se slik ut:
Under tilkoblingen må du skrive ned WWPN-adressene for FC HBA-vertene som er koblet til FC-portene på lagringssystemet - dette vil være nødvendig for senere å sette opp bindingen av verter til LUN-er på lagringssystemet.
Last ned og installer verktøyet for å administrere Dell MD3820f-lagringssystemet på administratorens arbeidsstasjon – PowerVault Modular Disk Storage Manager (MDSM).
Vi kobler til den via standard IP-adresser, og konfigurerer deretter adressene våre fra VLAN17, for å administrere kontrollere via TCP/IP:
Lagring 1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Etter å ha satt opp adressene, gå til lagringsadministrasjonsgrensesnittet og angi et passord, still inn tiden, oppdater fastvaren for kontrollere og disker, om nødvendig, etc.
Hvordan dette gjøres er beskrevet i Oppbevaringssystem
Etter å ha fullført innstillingene ovenfor, trenger vi bare å gjøre noen få trinn:
- Konfigurer verts FC-port-IDer – Vertsportidentifikatorer.
- Opprett en vertsgruppe – Vertsgruppe og legg til våre to Dell-verter til den.
- Lag en diskgruppe og virtuelle disker (eller LUN-er) i den som vil bli presentert for verter.
- Konfigurer presentasjonen av virtuelle disker (eller LUN-er) for verter.
Å legge til nye verter og binde verts FC-portidentifikatorer til dem gjøres gjennom menyen - Vertskartlegginger -> Definere -> Verter...
WWPN-adresser til FC HBA-verter finnes for eksempel i iDRAC-servere.
Som et resultat bør vi få noe slikt:
Å legge til en ny gruppe verter og binde verter til den gjøres gjennom menyen - Vertskartlegginger -> Definere -> Vertsgruppe...
For verter, velg OS-typen – Linux (DM-MP).
Etter å ha opprettet en vertsgruppe, gjennom fanen Lagrings- og kopieringstjenester, opprett en diskgruppe – Diskgruppe, med en type avhengig av kravene til feiltoleranse, for eksempel RAID10, og i den virtuelle disker av nødvendig størrelse:
Og til slutt er det siste stadiet presentasjonen av virtuelle disker (eller LUN-er) til verter.
For å gjøre dette, gjennom menyen - Vertskartlegginger -> Månekartlegging -> Legg til ... Vi knytter virtuelle disker til verter ved å tilordne numre til dem.
Alt skal se ut som dette skjermbildet:
Det er her vi fullfører oppsettet av lagringssystemet, og hvis alt ble gjort riktig, bør vertene se LUN-ene presentert for dem gjennom deres FC HBA.
La oss tvinge systemet til å oppdatere informasjon om tilkoblede disker:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanLa oss se hvilke enheter som er synlige på serverne våre:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -På verter kan du også konfigurere i tillegg fler, og selv om det kan gjøre dette selv når du installerer oVirt, er det bedre å sjekke riktig funksjon av MP på forhånd selv.
Installasjon og konfigurering av DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Sett MP-tjenesten til å autostarte og starte den:
systemctl enable multipathd && systemctl restart multipathdSjekke informasjon om innlastede moduler for MP-drift:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256La oss se på sammendragsinformasjonen om den eksisterende flerveiskonfigurasjonen:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningEtter å ha lagt til et nytt LUN til lagringssystemet og presentert det for verten, må du skanne HBAene som er koblet til verten på den.
systemctl reload multipathd
multipath -v2Og til slutt sjekker vi om alle LUN-er ble presentert på lagringssystemet for vertene, og om det er to veier til dem alle.
Sjekker MP-drift:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningSom du kan se, er alle de tre virtuelle diskene på lagringssystemet synlige langs to baner. Dermed er alt det forberedende arbeidet fullført, noe som betyr at du kan gå videre til hoveddelen - å sette opp oVirt-klyngen, som vil bli diskutert i neste artikkel.
Kilde: www.habr.com