ProHoster > Blogg > Administration > Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

LÀsarna erbjuds att bekanta sig med principerna för att bygga en redundanssÀker infrastruktur för ett litet företag inom ramen för ett enda datacenter, som kommer att behandlas i en liten serie artiklar.

Inledande del

Pod datacentret (Data Center) kan förstÄs som:

  • en egen rack i sitt "serverrum" pĂ„ företagets omrĂ„de, som uppfyller minimikraven för att sĂ€kerstĂ€lla elförsörjning och kylning av utrustningen, samt ha en internetanslutning genom tvĂ„ oberoende tjĂ€nsteleverantörer;
  • en hyrd rack med egen utrustning, belĂ€gen i ett faktiskt datacenter – sĂ„ kallad colocation, som uppfyller Tier III- eller IV-standarden, och dĂ€r pĂ„litlig elförsörjning, kylning och redundanta internetanslutningar garanteras;
  • fullt hyrd utrustning i ett datacenter av Tier III eller IV.

Vilken placering att vĂ€lja – i varje fall Ă€r allt individuellt och beror vanligtvis pĂ„ flera grundlĂ€ggande faktorer:

  • vad företaget överhuvudtaget vill ha med sin egen IT-infrastruktur;
  • vad företaget vill ha frĂ„n IT-infrastrukturen (pĂ„litlighet, skalbarhet, hanterbarhet osv.);
  • mĂ€ngden initiala investeringar i IT-infrastrukturen samt vilken typ av kostnader den innebĂ€r – kapital (dvs. köp av egen utrustning) eller driftkostnader (utrustningen hyrs vanligtvis);
  • planeringshorisonten för företaget sjĂ€lv.

Det finns mycket att skriva om de faktorer som pĂ„verkar beslutet för företaget kring skapandet och anvĂ€ndningen av sin IT-infrastruktur, men vĂ„rt mĂ„l Ă€r att visa praktiskt hur man skapar just denna infrastruktur sĂ„ att den blir bĂ„de redundanssĂ€ker och samtidigt kan spara – minska kostnaderna för att köpa kommersiell programvara, eller helt och hĂ„llet undvika dem.

Som lĂ„ng erfarenhet visar, Ă€r det inte vĂ€rt att spara pĂ„ utrustningen, eftersom den sparsamma betalar dubbelt, och till och med mer. Men Ă„ andra sidan – bra hĂ„rdvara Ă€r bara en rekommendation, och i slutĂ€ndan beror vad man egentligen ska köpa och till vilket pris pĂ„ företagets resurser och dess lednings "snĂ„lhet". Begreppet "snĂ„lhet" bör förstĂ„s i en positiv bemĂ€rkelse, eftersom det Ă€r bĂ€ttre att investera i utrustning i ett tidigt skede för att undvika allvarliga problem med fortsatt stöd och skalning senare. Felaktig planering frĂ„n början och överdriven besparing kan leda till större kostnader i framtiden Ă€n vid projektets start.

SÄ, de ursprungliga uppgifterna för projektet:

  • det finns ett företag som har beslutat att skapa en egen webbportal och ta sin verksamhet online;
  • företaget har beslutat att hyra ett rack för att placera sin utrustning i ett bra datacenter som har Tier III-certifiering;
  • företaget har beslutat att inte snĂ„la pĂ„ utrustning, och dĂ€rför köpte följande utrustning med utökade garantier och support:

Utrustningslista

  • tvĂ„ fysiska servrar Dell PowerEdge R640 med följande specifikationer:
  • tvĂ„ Intel Xeon Gold 5120-processorer
  • 512 Gb RAM
  • tvĂ„ SAS-diskenheter i RAID1 för installation av operativsystemet
  • inbyggd 4-portars nĂ€tverkskort 1G
  • tvĂ„ 2-portars 10G-nĂ€tverkskort
  • en 2-portars FC HBA 16G.
  • 2-kontrollernas lagringssystem Dell MD3820f, ansluten via FC 16G direkt till Dell-vĂ€rdarna;
  • tvĂ„ andra nivĂ„ns switchar — Cisco WS-C2960RX-48FPS-L sammanbundna i ett stack;
  • tvĂ„ tredje nivĂ„ns switchar — Cisco WS-C3850-24T-E, sammanbundna i ett stack;
  • Rack, UPS, PDU och konsolservrar – tillhandahĂ„lls av datacentret.

Som vi ser, har den befintliga utrustningen goda möjligheter för horisontell och vertikal skalning, om företaget kan konkurrera med andra liknande företag online, och börja generera intÀkter som kan investeras i att utöka resurserna för fortsatt konkurrens och ökad vinst.

Vilken utrustning kan vi lÀgga till om företaget beslutar att öka kapaciteten för vÄrt berÀkningskluster:

  • vi har ett stort överskott av portar pĂ„ switcharna 2960X, vilket innebĂ€r att vi kan lĂ€gga till fler hĂ„rdvaruserverar;
  • köpa tvĂ„ FC-switchar för att koppla dem till lagringssystemet och ytterligare servrar;
  • de befintliga servrarna kan uppgraderas - lĂ€gga till minne, byta ut processorer mot mer kraftfulla, koppla till 10G-nĂ€t med befintliga nĂ€tverksadaptrar;
  • det gĂ„r att lĂ€gga till extra diskhyllor till lagringssystemet med nödvĂ€ndig typ av diskar - SAS, SATA eller SSD, beroende pĂ„ planerad belastning;
  • efter att ha lagt till FC-switchar kan man köpa ytterligare ett lagringssystem för att tillföra mer lagringskapacitet, och om man köper till den speciella alternativet Remote Replication, kan datoreplikering mellan lagringssystemen konfigureras bĂ„de inom samma datacenter och mellan datacenter (men det hĂ€r Ă€r utanför artikelns Ă€mne);
  • det finns Ă€ven nivĂ„ 3-switchar - Cisco 3850, som kan anvĂ€ndas som ett redundanta kĂ€rn i nĂ€tverket, för hög hastighet-routing mellan interna nĂ€t. Detta kommer att vara mycket hjĂ€lpsamt i takt med att den interna infrastrukturen vĂ€xer. Dessutom har 3850 10G-portar som kan anvĂ€ndas senare, vid uppgradering av nĂ€tverksutrustningen till hastighet 10G.

Eftersom vi inte kan undvika virtualisering, kommer vi sjÀlvklart att vara i linje med trenden, sÀrskilt eftersom det Àr ett utmÀrkt sÀtt att minska kostnaderna för att köpa dyra servrar för olika infrastrukturelement (webbservrar, databaser, etc.) som ibland inte utnyttjas optimalt vid lÄg belastning, och det Àr precis sÄ det kommer att vara i början av projektets start.

Dessutom har virtualisering mÄnga andra fördelar som kan bli mycket vÀrdefulla för oss: hög tillgÀnglighet av virtuella maskiner frÄn hÄrdvarufel, Live migration mellan hÄrdvarunoder i klustret för underhÄll, manuell eller automatisk lastbalansering mellan klusternoder, m.m.

För hÄrdvara som företaget köper, Àr det lÀmpligt att implementera en hög tillgÀnglighetskluster med VMware vSphere, men eftersom alla VMware-program Àr kÀnda för sina "ridÄ"-priser, kommer vi att anvÀnda helt fri programvara för att hantera virtualisering - oVirt, som ligger till grund för en kÀnd, men redan kommersiell produkt - RHEV.

Programvara oVirt Ă€r nödvĂ€ndigt för att sammansluta alla infrastrukturens element till en helhet för att möjliggöra smidig drift av hög tillgĂ€ngliga virtuella maskiner – det handlar om databaser, webbapplikationer, proxyservrar, lastbalanserare, servrar för logginsamling och analys, och sĂ„ vidare, det vill sĂ€ga vad som utgör webbportalen för vĂ„rt företag.

Sammanfattningsvis för denna introduktion kommer vi att titta pÄ följande artiklar som praktiskt visar hur man distribuerar hela hÄrdvaru- och mjukvaruinfrastrukturen för företaget:

Lista över artiklar

  • Del 1. Förberedelse för distribution av oVirt 4.3-kluster.
  • Del 2. Installation och konfiguration av oVirt 4.3-kluster.
  • Del 3. Konfiguration av VyOS-kluster, organisering av hög tillgĂ€nglighet extern routing.
  • Del 4. Konfiguration av Cisco 3850-stacken, organisering av intern routing.

Del 1. Förberedelse för distribution av oVirt 4.3-kluster

GrundlÀggande konfiguration av vÀrdar

Installation och konfigurering av OS – detta Ă€r det enklaste steget. Det finns otaliga artiklar om hur man korrekt installerar och konfigurerar ett operativsystem, sĂ„ det Ă€r meningslöst att försöka ge nĂ„got exklusivt om detta.

SÄ vi har tvÄ Dell PowerEdge R640-vÀrdar dÀr operativsystemet mÄste installeras och preliminÀra instÀllningar göras, för att anvÀnda dem som hypervisorer för att köra virtuella maskiner i oVirt 4.3-klustret.

Eftersom vi planerar att anvÀnda den gratis, icke-kommersiella programvaran oVirt, valdes operativsystemet CentOS 7.7, Àven om det Àr möjligt att installera andra operativsystem pÄ vÀrdarna för oVirt:

  • en speciell version baserad pĂ„ RHEL, sĂ„ kallad oVirt Node;
  • OS Oracle Linux, som annonserades sommaren 2019. det meddelades om stöd för att köra oVirt pĂ„ det.

Innan installation av operativsystemet rekommenderas:

  • att konfigurera nĂ€tverksgrĂ€nssnittet iDRAC pĂ„ bĂ„da vĂ€rdarna;
  • att uppdatera firmware för BIOS och iDRAC till de senaste versionerna;
  • att stĂ€lla in System Profile för servern, helst i Performance-lĂ€get;
  • att konfigurera RAID med lokala diskar (RAID1 rekommenderas), för installation av operativsystemet pĂ„ servern.

Sedan installerar vi operativsystemet pĂ„ den tidigare skapade disken via iDRAC – installationsprocessen Ă€r vanlig, det finns inga sĂ€rskilda moment. TillgĂ„ng till serverkonsolen för att pĂ„börja installationen av operativsystemet kan Ă€ven fĂ„s via iDRAC, Ă€ven om ingenting hindrar att ansluta en monitor, ett tangentbord och en mus direkt till servern och installera operativsystemet frĂ„n ett "USB-minne".

Efter installationen av operativsystemet utför vi dess initiala instÀllningar:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Installera grundlÀggande mjukvarusystem

För att utföra den inledande konfigurationen av operativsystemet behöver vi konfigurera nÄgon nÀtverksgrÀnssnitt pÄ servern sÄ att vi kan fÄ tillgÄng till Internet för att uppdatera operativsystemet och installera nödvÀndig programvara. Detta kan göras antingen under installationen av operativsystemet eller efterÄt.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Alla ovanstÄende instÀllningar och programvarukomponenter Àr en frÄga om personliga preferenser, och denna uppsÀttning Àr endast rekommenderande.

Eftersom vÄr vÀrd kommer att fungera som hypervisor, lÄt oss aktivera den nödvÀndiga prestandaprofilen:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Mer information om prestandaprofilen kan lÀsas hÀr: «Kapitel 4. tuned och tuned-adm«.

Efter att ha installerat operativsystemet gĂ„r vi vidare till nĂ€sta steg – konfiguration av nĂ€tverksgrĂ€nssnitt pĂ„ vĂ€rdar och Cisco 2960X-switchar.

Konfiguration av Cisco 2960X-switchstack

I vĂ„rt projekt kommer vi att anvĂ€nda följande VLAN-nummer — eller broadcastdomĂ€ner, som Ă€r isolerade frĂ„n varandra för att separera olika typer av trafik:

VLAN 10 – Internet
VLAN 17 – Hantering (iDRAC, lagringssystem, hantering av switchar)
VLAN 32 – VM produktionsnĂ€tverk
VLAN 33 – sammankopplingsnĂ€tverk (till externa entreprenörer)
VLAN 34 – VM testnĂ€tverk
VLAN 35 – VM utvecklar nĂ€tverk
VLAN 40 – övervakningsnĂ€tverk

Innan vi börjar arbetet ska vi presentera en L2-schema som vi i slutÀndan bör nÄ:

Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

För nÀtverkskommunikation mellan oVirt-vÀrdar och virtuella maskiner sinsemellan, samt för att hantera vÄrt lagringssystem, krÀvs konfiguration av Cisco 2960X-switchstack.

Dell-vÀrdar har inbyggda 4-portars nÀtverkskort, sÄ det Àr lÀmpligt att organisera deras anslutning till Cisco 2960X med hjÀlp av en redundant nÀtverksanslutning, genom att gruppera fysiska nÀtverksportar till ett logiskt grÀnssnitt och anvÀnda LACP-protokollet (802.3ad):

  • de första tvĂ„ porter pĂ„ vĂ€rden konfigureras i bonderingslĂ€ge och ansluts till switchen 2960X – pĂ„ detta logiska grĂ€nssnitt kommer att konfigureras bridge med en adress för att hantera vĂ€rden, övervaka och kommunicera med andra vĂ€rdar i oVirt-klustret, den kommer ocksĂ„ att anvĂ€ndas för Live migration av virtuella maskiner;
  • de tvĂ„ andra portarna pĂ„ vĂ€rden konfigureras ocksĂ„ i bonding-lĂ€ge och kopplas till 2960X – pĂ„ detta logiska grĂ€nssnitt ska bridge skapas (i motsvarande VLANs) vilka virtuella maskiner kommer att ansluta till.
  • bĂ„da nĂ€tverksportarna, inom ett logiskt grĂ€nssnitt, kommer att vara aktiva, dvs. trafik kan skickas pĂ„ dem samtidigt, i balanseringslĂ€ge.
  • nĂ€tverksinstĂ€llningarna pĂ„ klusterns noder mĂ„ste vara absolut IDENTISKA, förutom IP-adresserna.

GrundlÀggande konfiguration av switchstacken 2960X och dess portar

VÄra switchar mÄste preliminÀrt:

  • monteras i rack;
  • kopplas ihop med tvĂ„ speciella kablar i rĂ€tt lĂ€ngd, exempelvis CAB-STK-E-1M;
  • kopplas till strömförsörjningen;
  • kopplas till administratörens arbetsstation via konsolporten för initial konfiguration.

NödvÀndig dokumentation för detta finns pÄ den officiella sidan tillverkaren.

Efter att ha slutfört ovanstÄende steg, gör vi konfigurationen av switcharna.
Vad varje kommando betyder kommer inte att förklaras inom ramen för denna artikel, all information kan hittas sjÀlv om sÄ önskas.
VÄrt mÄl Àr att snabbt konfigurera switchstacken och ansluta vÀrdar och styrgrÀnssnitt för lagringssystemet.

1) Anslut till den ledande switchen, gÄ till privilegierat lÀge, dÀrefter gÄ in i konfigurationslÀge och gör de grundlÀggande instÀllningarna.

Grundkonfiguration av switchen:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Spara konfigurationen med kommandot «wr mem» och starta om switchstacken med kommandot «reload» pÄ den primÀra switchen switch 1.

2) Konfigurera switchens nÀtverksportar i access-lÀge i VLAN 17 för att ansluta till hanteringsgrÀnssnitten för lagringssystem (Storage) och iDRAC-servrar.

Konfiguration av hanteringsportar:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Efter omstart av stacken, kontrollera att den fungerar korrekt:

Kontroll av stackens funktion:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.XXXX
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.XXXX    15     4       Ready
 2       Member 0029.c251.XXXX     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Konfigurera SSH-Ă„tkomst till stacken 2960X

För fjÀrrhantering av stacken via SSH, ska vi anvÀnda IP 172.20.1.10, instÀlld pÄ SVI (switch virtual interface) VLAN17.

Även om det Ă€r önskvĂ€rt att anvĂ€nda en sĂ€rskild dedikerad port pĂ„ switchen för hantering, Ă€r det en frĂ„ga om personliga preferenser och möjligheter.

Konfiguration av SSH-Ă„tkomst till switchstacken:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

StÀll in lösenord för att logga in i privilegierad lÀge:

enable secret *myenablepassword*
service password-encryption

StÀll in NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Vi konfigurerar logiska grÀnssnitt för Etherchannel och fysiska portar som Àr anslutna till vÀrdar. För enkelhetens skull kommer alla befintliga VLAN att tillÄtas pÄ alla logiska grÀnssnitt, men det rekommenderas vanligtvis att endast konfigurera det som behövs:

Konfiguration av Etherchannel-grÀnssnitt:

interface Port-channel1
 description EtherChannel med Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel med Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel med Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel med Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

PrimÀrkonfiguration av nÀtverksgrÀnssnitt för virtuella maskiner pÄ vÀrdarna Host1 och Host2

Vi kontrollerar att nödvÀndiga moduler för bonding finns i systemet, installerar modulen för att hantera broar:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Konfiguration pÄ vÀrdarna av det logiska grÀnssnittet BOND1 för virtuella maskiner och dess fysiska grÀnssnitt:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#BESKRIVNING - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#BESKRIVNING - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#BESKRIVNING - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Efter att instÀllningarna har slutförts pÄ stacken 2960X och vÀrddatorer, vi startar om nÀtverket pÄ vÀrddatorerna och kontrollerar funktionen hos det logiska grÀnssnittet.

  • pĂ„ vĂ€rddatorn:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (27 april 2011)

Bonding Mode: IEEE 802.3ad Dynamisk lÀnkaggregering
SĂ€ndningshashpolicy: layer2+3 (2)
MII-status: up
MII-pollningsintervall (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad information
LACP-hastighet: snabb
Minsta lÀnkar: 0
Aggregator urvalspolicy (ad_select): stabil
Systemprioritet: 65535
...
SlavegrÀnssnitt: em2
MII-status: up
Hastighet: 1000 Mbps
Duplex: full
...
SlavegrÀnssnitt: em3
MII-status: up
Hastighet: 1000 Mbps
Duplex: full

  • pĂ„ switchstacken 2960X:

2960X#show lacp internal
Flaggor:  S - Enheten begÀr lÄngsamma LACPDUs
        F - Enheten begÀr snabba LACPDUs
        A - Enheten Àr i aktivt lÀge       P - Enheten Àr i passivt lÀge

Kanalgrupp 1
                           LACP-port     Admin     Oper    Port        Port
Port      Flaggor   Status     Prioritet      Nyckel       Nyckel     Nummer      Status
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flaggor:  D - ned        P - aggregerad i portkanal
        I - fristÄende s - suspenderad
        H - Hot-standby (endast LACP)
        R - Layer3      S - Layer2
        U - i bruk      N - inte i bruk, inga aggregerade
        f - misslyckades att allokera aggregator

        M - inte i bruk, minimi lÀnkar inte uppfyllda
        m - inte i bruk, port inte aggregerad pÄ grund av minimi lÀnkar inte uppfyllda
        u - olÀmplig för aggregering
        w - vÀntande pÄ att aggregera
        d - standardport

        A - bildad av Auto LAG

Antal kanalgrupper i bruk: 11
Antal aggregat:           11

Grupp  Port-kanal  Protokoll    Portar
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

GrundlÀggande instÀllning av nÀtverksgrÀnssnitt för hantering av klustrets resurser pÄ vÀrddatorerna Host1 och Host2

Konfigurering av det logiska grÀnssnittet BOND1 för hantering pÄ vÀrddatorerna och dess fysiska grÀnssnitt:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#BESKRIVNING - hantering
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=ja
IPV6INIT=nej
ONBOOT=ja
USERCTL=nej
NM_CONTROLLED=nej
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#BESKRIVNING - hantering
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=ja
MASTER=bond0
SLAVE=ja
USERCTL=nej
NM_CONTROLLED=nej

cat /etc/sysconfig/network-scripts/ifcfg-em1
#BESKRIVNING - hantering
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=ja
MASTER=bond0
SLAVE=ja
USERCTL=nej
NM_CONTROLLED=nej

Efter att instÀllningarna har slutförts pÄ stacken 2960X och vÀrddatorer, vi startar om nÀtverket pÄ vÀrddatorerna och kontrollerar funktionen hos det logiska grÀnssnittet.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Vi konfigurerar hanteringsnÀtverksgrÀnssnittet pÄ varje vÀrddator i VLAN 17, och kopplar det till det logiska grÀnssnittet BOND1:

Konfigurering av VLAN17 pÄ Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=ja
USERCTL=nej
NM_CONTROLLED=nej
VLAN=ja
MTU=1500
IPV4_FAILURE_FATAL=ja
IPV6INIT=nej
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=ja
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Konfigurering av VLAN17 pÄ Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Vi startar om nÀtverket pÄ vÀrdarna och kontrollerar deras synlighet för varandra.

Nu Àr instÀllningen av Cisco 2960X-switcharna klar, och om allt Àr gjort korrekt, sÄ har vi nu nÀtverksanslutning mellan alla infrastrukturelement pÄ L2-nivÄ.

InstÀllning av Dell MD3820f lagringssystem

Innan vi pÄbörjar arbetet med att konfigurera lagringssystemet ska det redan vara anslutet till stapeln av Cisco-switchar. 2960X styrningsgrÀnssnitt, samt till vÀrdarna Host1 och Host2 via FC.

Översiktsdiagrammet för hur lagringssystemet ska anslutas till switchstapeln presenterades i föregĂ„ende kapitel.

Diagrammet för anslutning av lagringssystemet via FC till vÀrdarna ska se ut sÄ hÀr:

Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

Under anslutningen Ă€r det viktigt att notera WWPN-adresserna för FC HBA-vĂ€rdar som Ă€r anslutna till FC-portarna pĂ„ lagringssystemet – detta kommer att krĂ€vas för den efterföljande konfigurationen av bindningen av vĂ€rdar till LUN:er i lagringssystemet.

Till administratörens arbetsstation laddar vi ner och installerar verktyget för att hantera Dell MD3820f lagringssystem – PowerVault Modular Disk Storage Manager (MDSM).
Vi ansluter till den via dess standard IP-adresser och konfigurerar sedan vÄra adresser frÄn VLAN17, för att hantera kontrollerna via TCP/IP:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Efter att adresserna Àr instÀllda gÄr vi in i lagringssystemets hanteringsgrÀnssnitt och stÀller in lösenord, justerar tiden, uppdaterar firmware för kontrollerna och diskarna, om det behövs, osv.
Hur detta görs beskrivs i administrationshandboken SANS.

Efter att ha utfört ovanstÄende instÀllningar behöver vi göra nÄgra fÄ ÄtgÀrder:

  1. Konfigurera identifierarna för vĂ€rdarnas FC-portar – Host Port Identifiers.
  2. Skapa en vĂ€rdgrupp – Host group och lĂ€gga till vĂ„ra tvĂ„ Dell-vĂ€rdar i den.
  3. Skapa en diskgrupp och i den virtuella diskar (eller LUN:er) som kommer att presenteras för vÀrdarna.
  4. Konfigurera presentationen av virtuella diskar (eller LUN:er) för vÀrdarna.

TillĂ€gg av nya vĂ€rdar och bindning av dem till identifierarna för vĂ€rdarnas FC-portar görs via menyn – Host Mappings -> Define -> Hosts

WWPN-adresserna för FC HBA-vÀrdar kan hittas, till exempel, i serverns iDRAC.

Som ett resultat ska vi fÄ en ungefÀrlig sÄdan bild:

Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

Att lĂ€gga till en ny vĂ€rdgrupp och koppla vĂ€rdar till den görs genom menyn – Host Mappings -> Define -> VĂ€rdgrupp

För vĂ€rdar vĂ€ljer vi operativsystemtyp – Linux (DM-MP).

Efter att ha skapat vĂ€rdgruppen, via fliken Lagring & KopieringstjĂ€nster, skapar vi en diskgrupp – Diskgrupp, med typen beroende pĂ„ kraven för redundans, sĂ„som RAID10, och i den virtuella diskar av önskad storlek:

Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

Och slutligen, det sista steget — presentation av de virtuella diskarna (eller LUN:erna) för vĂ€rdarna.
För detta gör vi via menyn – Host Mappings -> Lun-mapping -> LĂ€gg till
 knyter vi de virtuella diskarna till vĂ€rdarna, och tilldelar dem nummer.

Allt bör se ut som pÄ den hÀr skÀrmdumpen:

Skapande av en redundanssÀker IT-infrastruktur. Del 1 - förberedelse för implementering av kluster oVirt 4.3

SÄ hÀr avslutar vi instÀllningen av SCSI, och om allt har gjorts korrekt ska vÀrdarna se de presenterade LUN:erna genom sina FC HBA.
LÄt oss fÄ systemet att uppdatera informationen om de anslutna diskarna:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

LÄt oss se vilka enheter som syns pÄ vÄra servrar:

cat /proc/scsi/scsi
Anslutna enheter:
VĂ€rd: scsi0 Kanal: 02 Id: 00 Lun: 00
  Leverantör: DELL     Modell: PERC H330 Mini   Rev: 4.29
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi15 Kanal: 00 Id: 00 Lun: 00
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi15 Kanal: 00 Id: 00 Lun: 01
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi15 Kanal: 00 Id: 00 Lun: 04
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi15 Kanal: 00 Id: 00 Lun: 11
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi15 Kanal: 00 Id: 00 Lun: 31
  Leverantör: DELL     Modell: Universal Xport  Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi18 Kanal: 00 Id: 00 Lun: 00
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi18 Kanal: 00 Id: 00 Lun: 01
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi18 Kanal: 00 Id: 00 Lun: 04
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi18 Kanal: 00 Id: 00 Lun: 11
  Leverantör: DELL     Modell: MD38xxf          Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05
VĂ€rd: scsi18 Kanal: 00 Id: 00 Lun: 31
  Leverantör: DELL     Modell: Universal Xport  Rev: 0825
  Typ:   DirektÄtkomst                    ANSI SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

PÄ vÀrdar kan man Àven stÀlla in multipath, och Àven om oVirt kan göra detta automatiskt vid installation, Àr det bÀttre att kontrollera att MP fungerar korrekt i förvÀg.

Installation och konfiguration av DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Vi stÀller in MP-tjÀnsten för att starta automatiskt och startar den:

systemctl enable multipathd && systemctl restart multipathd

Kontrollera information om de laddade modulerna för att arbeta med MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software 
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

HĂ€r visas sammanfattande information om den befintliga multipath-konfigurationen:

mpathconf
multipath Àr aktiverat
find_multipaths Àr inaktiverat
user_friendly_names Àr inaktiverat
dm_multipath-modulen Àr inladdad
multipathd körs

Efter att ha lagt till en ny LUN pÄ lagringssystemet och presenterat den för vÀrden mÄste du skanna de anslutna HBA:erna pÄ den.

systemctl reload multipathd
multipath -v2

Och slutligen, kontrollerar vi om alla LUN:er har presenterats pÄ lagringssystemet för vÀrdena, och att det finns tvÄ vÀgar till varje av dem.

Kontroll av MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Som man kan se Ă€r alla tre virtuella diskar pĂ„ lagringssystemet synliga via tvĂ„ vĂ€gar. DĂ€rmed Ă€r alla förberedande arbeten fullgjorda, och vi kan gĂ„ vidare till huvudmomentet – konfigurationen av oVirt-klustret, som kommer att behandlas i nĂ€sta artikel.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster