De aandacht van de lezers wordt gevraagd voor de principes van het opzetten van een veerkrachtige infrastructuur voor een klein bedrijf binnen één datacenter, die in een kleine serie artikelen gedetailleerd zal worden besproken.
Inleiding
Onder Datacenter (Data Center) kan worden begrepen als:
- een eigen rack in zijn ‘serverruimte’ op het terrein van het bedrijf, dat voldoet aan de minimale vereisten voor stroomvoorziening en koeling van de apparatuur, en dat ook toegang heeft tot het internet via twee onafhankelijke providers;
- een gehuurd rack met eigen apparatuur, gelegen in een echt datacenter – de zogenaamde collocatie, dat voldoet aan de Tier III of IV standaard, en waarin betrouwbare stroomvoorziening, koeling wordt gegarandeerd en een veerkrachtige internetverbinding wordt geboden;
- volledig gehuurde apparatuur in een Tier III of IV datacenter.
Welke optie voor plaatsing te kiezen – dit is in elk geval individueel en hangt meestal af van verschillende belangrijke factoren:
- waarvoor het bedrijf überhaupt een eigen IT-infrastructuur nodig heeft;
- wat precies het bedrijf wil van de IT-infrastructuur (betrouwbaarheid, schaalbaarheid, beheersbaarheid, enz.);
- de omvang van de initiële investeringen in de IT-infrastructuur, evenals het type kosten (kapitaal, wat betekent dat eigen apparatuur wordt aangeschaft) of operationeel (waarbij de apparatuur meestal wordt gehuurd);
- de planningshorizon van het bedrijf zelf.
Er kan veel geschreven worden over de factoren die de beslissing van een bedrijf beïnvloeden voor het creëren en gebruiken van zijn IT-infrastructuur, maar ons doel is om praktisch te tonen hoe deze infrastructuur kan worden opgezet, zodat deze zowel veerkrachtig is als de kosten voor commerciële software kan verlagen of zelfs volledig kan vermijden.
Uit langdurige ervaring blijkt dat bezuinigen op hardware niet raadzaam is, want wie goedkoop koopt, betaalt dubbel en vaak veel meer. Toch is goed hardware slechts een aanbeveling. Uiteindelijk hangt het af van de mogelijkheden van het bedrijf en de 'zuinigheid' van de leiding. Het woord 'zuinigheid' moet hierbij in positieve zin worden opgevat, aangezien het beter is om in hardware te investeren aan het begin, om later niet met ernstige problemen te kampen bij de verdere ondersteuning en schaalvergroting. Foutieve planning en overmatige besparingen in een vroeg stadium kunnen leiden tot grotere kosten in de toekomst dan bij de lancering van het project.
Dus, de uitgangsgegevens voor het project:
- er is een onderneming die heeft besloten een eigen website te creëren en haar activiteiten op het internet te brengen;
- de onderneming heeft besloten een rack te huren voor het plaatsen van haar apparatuur in een goed datacenter met certificering volgens de Tier III-norm;
- de onderneming heeft besloten niet te veel te besparen op hardware, en heeft daarom de volgende apparatuur aangeschaft met uitgebreide garanties en ondersteuning:
Lijst van apparatuur
- twee fysieke servers Dell PowerEdge R640 met de volgende configuratie:
- twee Intel Xeon Gold 5120-processors
- 512 Gb RAM
- twee SAS-schijven in RAID1 voor het installeren van het besturingssysteem
- ingebouwde 4-poorts netwerkinterfacekaart 1G
- twee 2-poorts netwerkinterfacekaarten 10G
- één 2-poorts FC HBA 16G.
- 2-controller Dell MD3820f SAN, rechtstreeks verbonden via FC 16G met de Dell-hosts;
- twee Layer 2-switches — Cisco WS-C2960RX-48FPS-L, samengevoegd in een stack;
- twee Layer 3-switches — Cisco WS-C3850-24T-E, samengevoegd in een stack;
- Rack, UPS, PDU, console servers – worden geleverd door het datacenter.
Zoals we zien, heeft de aanwezige apparatuur goede mogelijkheden voor horizontale en verticale schaalvergroting, voor het geval het bedrijf kan concurreren met andere bedrijven van vergelijkbaar profiel op het internet en begint winst te maken, die kan worden geïnvesteerd in het uitbreiden van middelen voor verdere concurrentie en groei van de winst.
Welke apparatuur kunnen we toevoegen als het bedrijf besluit de prestaties van onze rekengroep te verhogen:
- we hebben een grote reserve in het aantal poorten op de 2960X-switches, dus we kunnen meer fysieke servers toevoegen;
- koop twee extra FC-switches om ze aan de SAN en aanvullende servers te koppelen;
- de reeds bestaande servers kunnen worden geüpgraded – voeg geheugen toe, vervang de CPU's door krachtigere modellen, sluit aan op een 10G-netwerk met de al beschikbare netwerkadapters;
- aan de SAN kunnen extra schijfkasten worden toegevoegd met het benodigde type schijven – SAS, SATA of SSD, afhankelijk van de verwachte belasting;
- na het toevoegen van FC-switches kan er een extra SAN worden aangeschaft om nog meer schijfcapaciteit toe te voegen, en als je een speciale optie Remote Replication koopt, kun je dataverreplikatie tussen SAN's instellen, zowel binnen één datacenter als tussen datacentra (maar dat valt buiten de reikwijdte van dit artikel);
- er zijn ook laag 3-switches – Cisco 3850, die kunnen worden gebruikt als een betrouwbaar netwerk-kern voor hoge snelheid routering tussen interne netwerken. Dit zal heel nuttig zijn naarmate de interne infrastructuur groeit. De 3850 heeft ook 10G-poorten die later kunnen worden gebruikt bij de upgrade van netwerkapparatuur naar 10G-snelheid.
Aangezien virtualisatie tegenwoordig essentieel is, zullen wij natuurlijk ook in die trend meegaan, bovendien is het een uitstekende manier om de kosten voor het aanschaffen van dure servers voor afzonderlijke infrastruktuurelementen (webservers, databases enz.) te verlagen, die niet altijd optimaal worden gebruikt bij lage belasting, wat precies het geval zal zijn bij de start van het project.
Bovendien heeft virtualisatie veel andere voordelen die zeer nuttig voor ons kunnen zijn: hoge beschikbaarheid van VM's bij een hardwarefout van de server, live migratie tussen hardwareknopen in de cluster voor onderhoud, handmatige of automatische belastingverdeling tussen knopen in de cluster, enz.
Voor de hardware die door het bedrijf is aangeschaft, ligt het voor de hand om een hoogbeschikbaar VMware vSphere-cluster te implementeren, maar aangezien elke software van VMware bekend staat om zijn 'astronomische' prijzen, zullen we absoluut gratis software voor de virtualisatiebeheer gaan gebruiken – , waarop een bekend, maar nu commercieel product is gebaseerd — .
Software oVirt het is noodzakelijk om alle elementen van de infrastructuur samen te voegen tot één geheel, zodat we gemakkelijk kunnen werken met hoogbeschikbare virtuele machines – dit omvat databases, webapplicaties, proxyservers, load balancers, servers voor het verzamelen van logs en analytische gegevens, enzovoort, dat wil zeggen, de componenten waaruit het webportaal van ons bedrijf bestaat.
Samenvattend dit inleidende stuk, staan ons de volgende artikelen te wachten, die in de praktijk laten zien hoe we de volledige hardware- en software-infrastructuur van het bedrijf kunnen opzetten:
Lijst van artikelen
- Deel 1. Voorbereiding op de implementatie van het oVirt 4.3-cluster.
- Deel 2. Installatie en configuratie van het oVirt 4.3-cluster.
- Deel 3. Configuratie van het VyOS-cluster, organisatie van redundante externe routering.
- Deel 4. Configuratie van de Cisco 3850-stack, organisatie van interne routering.
Deel 1. Voorbereiding op de implementatie van het oVirt 4.3-cluster
Basisconfiguratie van hosts
De installatie en configuratie van het besturingssysteem is de eenvoudigste fase. Er zijn talloze artikelen over hoe je een besturingssysteem correct installeert en configureert, dus het heeft geen zin om te proberen iets exclusiefs hierover te geven.
Dus, we hebben twee Dell PowerEdge R640-hosts waarop het besturingssysteem moet worden geïnstalleerd en voorlopige instellingen moeten worden uitgevoerd, zodat ze als hypervisors kunnen worden gebruikt voor het draaien van virtuele machines in het oVirt 4.3-cluster.
Aangezien we van plan zijn om de gratis niet-commerciële software oVirt te gebruiken, is het besturingssysteem voor de hosts gekozen: CentOS 7.7, hoewel andere besturingssystemen ook op de hosts voor oVirt kunnen worden geïnstalleerd:
- een speciale build op basis van RHEL, de zogenaamde ;
- OS Oracle Linux, in de zomer van 2019 werd aangekondigd Voor de installatie van het besturingssysteem wordt aanbevolen:
de iDRAC-netwerkinterface op beide hosts in te stellen;
- de firmware voor BIOS en iDRAC te updaten naar de laatste versies;
- de System Profile van de server bij voorkeur in de Performance-modus in te stellen;
- RAID van de lokale schijven te configureren (bij voorkeur RAID1), voor de installatie van het besturingssysteem op de server.
- Installeer vervolgens het besturingssysteem op de schijf die eerder via iDRAC is gemaakt – het installatieproces is standaard, er zijn geen bijzondere dingen aan de hand. Toegang tot de serverconsole voor het starten van de installatie van het besturingssysteem kan ook via iDRAC, hoewel er niets in de weg staat om een monitor, toetsenbord en muis rechtstreeks op de server aan te sluiten en het besturingssysteem vanaf een ‘USB-stick’ te installeren.
Na de installatie van het besturingssysteem voeren we de eerste instellingen uit:
Na het installeren van het besturingssysteem voeren we de initiële instellingen uit:
systemctl inschakelen network.service
systemctl starten network.service
systemctl status network.servicesystemctl stoppen NetworkManager
systemctl uitschakelen NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl inschakelen ntpd.service
systemctl starten ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instellen van de basisset van software
Voor de initiële configuratie van het besturingssysteem moet een netwerkinterface op de server worden ingesteld, zodat toegang tot het internet mogelijk is voor het bijwerken van het besturingssysteem en het installeren van vereiste softwarepakketten. Dit kan zowel tijdens de installatie van het besturingssysteem als erna worden gedaan.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Alle bovenstaande instellingen en softwarepakketten zijn een kwestie van persoonlijke voorkeur en dit pakket is slechts een advies.
Aangezien onze host fungeert als hypervisor, laten we het vereiste prestatieprofiel inschakelen:
systemctl inschakelen tuned
systemctl starten tuned
systemctl status tuned tuned-adm profiel
tuned-adm profiel virtual-host Meer informatie over het prestatieprofiel is hier te lezen: ««.
Na de installatie van het besturingssysteem gaan we verder met de volgende stap – het configureren van netwerkinterfaces op de hosts en de Cisco 2960X-switchstack.
Configuratie van de Cisco 2960X-switchstack
In ons project zullen we de volgende VLAN-nummers gebruiken — of broadcastdomeinen, van elkaar geïsoleerd, met als doel verschillende soorten verkeer te scheiden:
VLAN 10 – Internet
VLAN 17 – Beheer (iDRAC, SAN, switches management)
VLAN 32 – VM productienetwerk
VLAN 33 – interconnectienetwerk (naar externe aannemers)
VLAN 34 – VM testnetwerk
VLAN 35 – VM ontwikkelaarsnetwerk
VLAN 40 – Bewakingsnetwerk
Voordat we beginnen, geven we een schema op L2-niveau, dat we uiteindelijk willen bereiken:
Voor de netwerkintegratie van oVirt-hosts en virtuele machines onderling, evenals voor het beheer van onze SAN, is de configuratie van de Cisco 2960X-switchstack noodzakelijk.
De Dell-hosts hebben ingebouwde 4-poorts netwerkkaarten, daarom is het zinvol om hun verbinding met de Cisco 2960X op te zetten via een redundante netwerkverbinding, door fysieke netwerkpoorten te groeperen in een logische interface, en protocol LACP (802.3ad) te gebruiken:
- de eerste twee poorten op de host worden ingesteld in bondingsmodus en aangesloten op de switch 2960X – op deze logische interface zal worden geconfigureerd bridge met een adres voor het beheer van de host, monitoring, communicatie met andere hosts in de oVirt-cluster; het zal ook worden gebruikt voor Live migratie van virtuele machines;
- de tweede twee poorten op de host zijn ook geconfigureerd in bonding-modus en verbonden met 2960X - op deze logische interface worden met behulp van oVirt later bridges (in de overeenkomstige VLAN's) aangemaakt waaraan virtuele machines zullen worden verbonden.
- beide netwerkpoorten, binnen één logische interface, zullen actief zijn, dat wil zeggen, het verkeer kan tegelijkertijd via hen worden verzonden in load balancing modus.
- de netwerkinstellingen op de cluster knooppunten moeten absoluut IDENTIEK zijn, met uitzondering van IP-adressen.
Basisconfiguratie van de switch-stapel 2960X en zijn poorten
Vooraf moeten onze switches zijn:
- gemonteerd in een rack;
- verbonden met twee speciale kabels van de juiste lengte, bijvoorbeeld, CAB-STK-E-1M;
- aangesloten op de voeding;
- verbonden met de werkstation van de beheerder via de consolepoort voor hun initiële configuratie.
De benodigde handleiding hiervoor is beschikbaar op van de fabrikant.
Na het uitvoeren van de bovengenoemde acties, configureren we de switches.
Wat elke commando betekent, zal in het kader van dit artikel niet worden uitgelegd; indien nodig kan alle informatie zelfstandig worden gevonden.
Ons doel is om de switch-stapel zo snel mogelijk te configureren en de hosts en beheersinterfaces van de opslagarray eraan te koppelen.
1) We verbinden met de primaire switch, gaan naar de privileged mode, daarna gaan we naar de configuratiemodus en doen de basisinstellingen.
Basisconfiguratie van de switch:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
We bewaren de configuratie met het commando «wr mem» en herstarten de switchstack met het commando «reload» op de primaire switch 1.
2) We configureren de netwerkpoorten van de switch in access-modus (access) op VLAN 17, voor het aansluiten van de beheersinterfaces van de SNA en iDRAC servers.
Configuratie van de beheerspoorten:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Na het herstarten van de stack, controleren we of deze correct functioneert:
Controle van de werking van de stack:
2960X#show switch stack-ring speed
Stack Ring Snelheid : 20G
Stack Ring Configuratie: Vol
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Poort 1 Poort 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Poort 1 Poort 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Adres : 0cd0.f8e4.XXXX
Mac persistentie wachttijd: Onbeperkt
H/W Huidige
Switch# Rol Mac Adres Prioriteit Versie Staat
----------------------------------------------------------
*1 Master 0cd0.f8e4.XXXX 15 4 Gereed
2 Lid 0029.c251.XXXX 14 4 Gereed
Stack Poort Status Buren
Switch# Poort 1 Poort 2 Poort 1 Poort 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Configuratie van SSH-toegang tot de stack 2960X
Voor remote beheer van de stack via SSH, zullen we IP 172.20.1.10 gebruiken, ingesteld op SVI (switch virtual interface) VLAN17.
Hoewel het voor beheersdoeleinden gewenst is om een speciale toegewezen poort op de switch te gebruiken, is dit een kwestie van persoonlijke voorkeur en mogelijkheden.
Configuratie van SSH-toegang tot de switchstack:
ip default-gateway 172.20.1.2
interface vlan 17
ip adres 172.20.1.10 255.255.255.0
hostname 2960X
ip domeinnaam hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh versie 2
ip ssh time-out 90
line vty 0 4
session-time-out 60
exec-time-out 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-time-out 60
exec-time-out 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authenticatie login default lokaal
username cisco privilege 15 secret my_ssh_passwordWe stellen het wachtwoord in voor toegang tot de privileged mode:
enable secret *myenablepassword*
service password-encryptionWe stellen NTP in:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) We configureren de logische interfaces van Etherchannel en de fysieke poorten die met hosts zijn verbonden. Voor de eenvoud van de configuratie zullen alle bestaande VLAN's worden toegestaan op alle logische interfaces, maar het wordt doorgaans aanbevolen om alleen in te stellen wat nodig is:
Configuratie van Etherchannel interfaces:
interface Port-channel1
description EtherChannel met Host1-beheer
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel met Host2-beheer
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel met Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel met Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-beheer
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-beheer
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-beheer
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-beheer
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeEerste configuratie van netwerken interfaces voor virtuele machines op de hosts Host1 en Host2
We controleren of de benodigde modules voor bonding in het systeem aanwezig zijn, en installeren de module voor het beheren van bridges:
modinfo bonding
modinfo 8021q
yum install bridge-utilsConfiguratie op de hosts van de logische interface BOND1 voor virtuele machines en zijn fysieke interfaces:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#BESCHRIJVING - beheer
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#BESCHRIJVING - beheer
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#BESCHRIJVING - beheer
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Na het voltooien van de configuraties op de stack 2960X en hosts, herstarten we het netwerk op de hosts en controleren we de functionaliteit van de logische interface.
- op de host:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (27 april 2011)
Bonding Mode: IEEE 802.3ad Dynamische linkaggregatie
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: snel
Min links: 0
Aggregator selectiebeleid (ad_select): stabiel
Systeemprioriteit: 65535
...
Slave Interface: em2
MII Status: up
Snelheid: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Snelheid: 1000 Mbps
Duplex: full- op de stack van switches 2960X:
2960X#show lacp internal
Flags: S - Apparaat vraagt trage LACPDUs aan
F - Apparaat vraagt snelle LACPDUs aan
A - Apparaat is in actieve modus P - Apparaat is in passieve modus
Channel group 1
LACP poort Admin Oper Poort Poort
Poort Flags Status Prioriteit Sleutel Sleutel Nummer Status
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - uit P - gegroepeerd in port-channel
I - stand-alone s - opgeschort
H - Hot-standby (alleen LACP)
R - Layer3 S - Layer2
U - in gebruik N - niet in gebruik, geen aggregatie
f - niet gelukt om aggregator toe te wijzen
M - niet in gebruik, minimum links niet gehaald
m - niet in gebruik, poort niet geaggregeerd vanwege minimum links niet gehaald
u - ongeschikt voor bundeling
w - wachtend om geaggregeerd te worden
d - standaardpoort
A - gevormd door Auto LAG
Aantal channel-groepen in gebruik: 11
Aantal aggregators: 11
Groep Poort-channel Protocol Poorten
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Eerste configuratie van netwerkinterfaces voor het beheer van clustermiddelen, op de hosts Host1 en Host2
Configuratie op de hosts van de logische interface BOND1 voor beheer, en zijn fysieke interfaces:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#BESCHRIJVING - beheer
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#BESCHRIJVING - beheer
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#BESCHRIJVING - beheer
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Na het voltooien van de configuraties op de stack 2960X en hosts, herstarten we het netwerk op de hosts en controleren we de functionaliteit van de logische interface.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryWe configureren de beheernetwerkinterface op elke host in VLAN 17, en koppelen deze aan de logische interface BOND1:
Configuratie van VLAN17 op Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publiekConfiguratie van VLAN17 op Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicWe starten het netwerk opnieuw op op de hosts en controleren hun zichtbaarheid tussen elkaar.
Met deze configuratie van de Cisco 2960X-switches is het proces voltooid, en als alles goed is gegaan, hebben we nu netwerkaansluitingen tussen alle infrastructuurelementen op L2-niveau.
Configuratie van de Dell MD3820f SAN.
Voordat we beginnen met het instellen van de SAN, moet deze al zijn aangesloten op de stapel van Cisco-switches. 2960X met de beheersinterfaces, en ook met de hosts. Host1 en Host2 via FC.
Een algemeen schema van hoe de SAN moet worden aangesloten op de stapel switches werd in het vorige hoofdstuk gegeven.
Het schema voor de aansluiting van de SAN via FC op de hosts moet er als volgt uitzien:
Tijdens de aansluiting is het noodzakelijk om de WWPN-adressen van de FC HBA-hosts die zijn aangesloten op de FC-poorten van de SAN te noteren; dit zal later nodig zijn voor de configuratie van de binding van hosts aan de LUN's op de SAN.
Op de werkstation van de beheerder downloaden en installeren we de tool voor het beheren van de Dell MD3820f SAN – PowerVault Modular Disk Storage Manager (MDSM).
We maken verbinding met het via de standaard IP-adressen, en configureren vervolgens onze adressen uit VLAN17, voor het beheer van de controllers via TCP/IP:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Na het instellen van de adressen, gaan we naar de beheerinterface van de SAN en stellen we een wachtwoord in, configureren we de tijd, updaten we de firmware voor de controllers en schijven, indien nodig, enz.
Hoe dit gedaan wordt, wordt beschreven in SAS.
Na het uitvoeren van de bovenstaande instellingen, moeten we slechts enkele acties ondernemen:
- De identificatie van de host FC-poorten configureren – Host Port Identifiers.
- Een hostgroep aanmaken – Host group en onze twee Dell-hosts eraan toevoegen.
- Een schijfgroep en daarin virtuele schijven (of LUN's) creëren die aan de hosts gepresenteerd zullen worden.
- De presentatie van virtuele schijven (of LUN's) voor de hosts configureren.
Het toevoegen van nieuwe hosts en het binden van de identificaties van host FC-poorten gebeurt via het menu – Host Mappings -> Define -> Hosts…
De WWPN-adressen van de FC HBA-hosts zijn bijvoorbeeld te vinden in iDRAC van de server.
Als resultaat zou je een afbeelding zoals deze moeten hebben:
Het toevoegen van een nieuwe hostgroep en het koppelen van hosts aan deze groep gebeurt via het menu – Host Mappings -> Define -> Hostgroep…
Voor de hosts kiezen we het type besturingssysteem – Linux (DM-MP).
Na het aanmaken van de hostgroep, via het tabblad Opslag & Kopiediensten, maken we een schijfgroep aan – Schijfgroep, met een type afhankelijk van de vereisten voor de beschikbaarheid, bijvoorbeeld, RAID10, en daarin de virtuele schijven van de benodigde grootte:
En tenslotte de laatste stap — de presentatie van de virtuele schijven (of LUN’s) voor de hosts.
Hiervoor via het menu – Host Mappings -> Lun-mapping -> Toevoegen… koppelen we de virtuele schijven aan de hosts, door ze te nummeren.
Het moet eruitzien zoals op deze screenshot:
Met de configuratie van de opslagruimte zijn we nu klaar, en als alles correct is gedaan, zouden de hosts de gepresenteerde LUN’s via hun FC HBA moeten zien.
Laten we het systeem de informatie over de aangesloten schijven bijwerken:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanLaten we kijken welke apparaten zichtbaar zijn op onze servers:
cat /proc/scsi/scsi
Aangesloten apparaten:
Host: scsi0 Kanaal: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi15 Kanaal: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi15 Kanaal: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi15 Kanaal: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi15 Kanaal: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi15 Kanaal: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi18 Kanaal: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi18 Kanaal: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi18 Kanaal: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi18 Kanaal: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
Host: scsi18 Kanaal: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revisie: 05
lsscsi
[0:2:0:0] schijf DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] schijf DELL MD38xxf 0825 -
[15:0:0:1] schijf DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] schijf DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] schijf DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] schijf DELL Universal Xport 0825 -
[18:0:0:0] schijf DELL MD38xxf 0825 -
[18:0:0:1] schijf DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] schijf DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] schijf DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] schijf DELL Universal Xport 0825 -Op hosts kan ook extra worden ingesteld multipath, en hoewel bij de installatie van oVirt dit automatisch kan gebeuren, is het beter om de werking van MP van tevoren zelf te controleren.
Installatie en configuratie van DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}We stellen de MP-service in om automatisch op te starten en starten deze:
systemctl enable multipathd && systemctl restart multipathdControleer informatie over de geladen modules voor het functioneren van MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Bekijk een samenvatting van de bestaande multipath-configuratie:
mpathconf
multipath is ingeschakeld
find_multipaths is uitgeschakeld
gebruikersvriendelijke namen zijn uitgeschakeld
dm_multipath-module is geladen
multipathd draaitNa het toevoegen van een nieuwe LUN aan de opslag en het presenteren ervan aan de host, moet een scan van de aan de host gekoppelde HBA worden uitgevoerd.
systemctl reload multipathd
multipath -v2En tenslotte controleren we of alle LUN's zijn gepresenteerd op de opslag voor de hosts, en of er voor alle twee paden zijn.
Controleer de werking van MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningZoals te zien is, zijn alle drie de virtuele schijven op de opslag zichtbaar via twee paden. Hiermee zijn alle voorbereidende werkzaamheden afgerond, en kunnen we overgaan tot de uitvoering van het belangrijkste deel – de configuratie van de oVirt-cluster, wat in het volgende artikel wordt behandeld.
Bron: habr.com
