Kviečiame skaitytojus susipažinti su gedimams atsparios infrastruktūros kūrimo mažoms įmonėms viename duomenų centre principais, kurie bus išsamiai aptariami trumpoje straipsnių serijoje.
Įvadas
po Duomenų centras (Duomenų apdorojimo centras) gali būti suprantama kaip:
- savo stelažą savo „serverio patalpoje“ įmonės patalpose, atitinkančią minimalius įrangos maitinimo ir aušinimo reikalavimus, taip pat turi prieigą prie interneto per du nepriklausomus tiekėjus;
- išnuomotas stovas su savo įranga, esantis tikrame duomenų centre – vadinamasis. kolokacija, atitinkanti III arba IV pakopos standartą ir garantuojanti patikimą elektros energijos tiekimą, vėsinimą ir gedimams atsparią interneto prieigą;
- pilnai nuomojama įranga III arba IV pakopos duomenų centre.
Kurį apgyvendinimo variantą pasirinkti kiekvienu atveju yra individualus ir dažniausiai priklauso nuo kelių pagrindinių veiksnių:
- Kodėl įmonei reikalinga nuosava IT infrastruktūra?
- ko tiksliai įmonė nori iš IT infrastruktūros (patikimumo, mastelio, valdomumo ir pan.);
- pradinių investicijų į IT infrastruktūrą apimtis, taip pat kokio tipo kaštai už tai – kapitalo (tai reiškia, kad perkate savo įrangą), ar eksploatacines (įranga dažniausiai nuomojama);
- pačios įmonės planavimo horizontas.
Galima daug rašyti apie veiksnius, įtakojančius įmonės sprendimą kurti ir naudoti savo IT infrastruktūrą, tačiau mūsų tikslas yra praktiškai parodyti, kaip sukurti būtent tokią infrastruktūrą, kad ji būtų atspari gedimams ir sutaupytų pinigų. komercinės programinės įrangos pirkimo išlaidas arba jų visai vengti.
Kaip rodo ilgametė praktika, taupyti aparatinei įrangai neverta, nes šykštus moka du kartus ir net daug daugiau. Bet vėlgi, gera techninė įranga yra tik rekomendacija, o galų gale, ką tiksliai pirkti ir už kiek, priklauso nuo įmonės galimybių ir jos vadovybės „godumo“. Be to, žodis „godumas“ turėtų būti suprantamas gerąja to žodžio prasme, nes geriau investuoti į aparatinę įrangą pradiniame etape, kad nekiltų rimtų problemų su tolesniu jos palaikymu ir masteliu, nes iš pradžių neteisingas planavimas ir per didelis taupymas gali lemti didesnes išlaidas nei pradedant projektą.
Taigi, pradiniai projekto duomenys:
- yra įmonė, kuri nusprendė sukurti savo interneto portalą ir savo veiklą perkelti į internetą;
- įmonė nusprendė išsinuomoti stelažą savo įrangai patalpinti gerame duomenų centre, sertifikuotame pagal Tier III standartą;
- įmonė nusprendė netaupyti daug aparatinės įrangos, todėl įsigijo šią įrangą su pratęstomis garantijomis ir palaikymu:
Įrangos sąrašas
- du fiziniai „Dell PowerEdge R640“ serveriai:
- du „Intel Xeon Gold 5120“ procesoriai
- 512 Gb RAM
- du SAS diskai RAID1, OS diegimui
- įmontuota 4 prievadų 1G tinklo plokštė
- dvi 2 prievadų 10G tinklo plokštės
- vienas 2 prievadų FC HBA 16G.
- 2 valdiklių saugojimo sistema „Dell MD3820f“, prijungta per FC 16G tiesiogiai prie „Dell“ kompiuterių;
- du antrojo lygio jungikliai - sukrauti Cisco WS-C2960RX-48FPS-L;
- du trečio lygio jungikliai - Cisco WS-C3850-24T-E, sukrauti;
- Rack, UPS, PDU, konsolių serverius teikia duomenų centras.
Kaip matome, esama įranga turi geras horizontalaus ir vertikalaus mastelio perspektyvas, jei įmonė sugeba konkuruoti su kitomis panašaus profilio įmonėmis internete ir pradeda uždirbti pelną, kurį galima investuoti į resursų plėtrą tolesnei konkurencijai. ir pelno augimas.
Kokią įrangą galime pridėti, jei įmonė nusprendžia padidinti mūsų skaičiavimo klasterio našumą:
- turime didelį 2960X jungiklių prievadų rezervą, o tai reiškia, kad galime pridėti daugiau aparatinės įrangos serverių;
- įsigyti du papildomus FC jungiklius, kad prie jų būtų prijungtos saugojimo sistemos ir papildomi serveriai;
- esamus serverius galima atnaujinti – pridėti atminties, pakeisti procesorius galingesniais, prisijungti prie 10G tinklo naudojant esamus tinklo adapterius;
- Į saugojimo sistemą galite pridėti papildomų diskų lentynų su reikiamo tipo disku – SAS, SATA arba SSD, priklausomai nuo planuojamo apkrovimo;
- pridėję FC jungiklius, galite įsigyti kitą saugojimo sistemą, kad padidintumėte disko talpą, o įsigiję specialią nuotolinio replikavimo parinktį, galėsite nustatyti duomenų replikaciją tarp saugojimo sistemų tiek tame pačiame duomenų centre, tiek tarp duomenų centrų ( bet tai jau nepatenka į straipsnio taikymo sritį);
- Taip pat yra trečiojo lygio komutatoriai – Cisco 3850, kurie gali būti naudojami kaip gedimams atsparus tinklo šerdis, skirtas didelės spartos maršrutizavimui tarp vidinių tinklų. Tai bus labai naudinga ateityje, kai augs vidinė infrastruktūra. 3850 taip pat turi 10G prievadus, kuriuos vėliau bus galima naudoti atnaujinant tinklo įrangą iki 10G spartos.
Kadangi dabar niekur be virtualizacijos, žinoma, būsime tendencija, juolab kad tai puikus būdas sumažinti brangių serverių įsigijimo išlaidas atskiriems infrastruktūros elementams (žiniatinklio serveriams, duomenų bazėms ir pan.), kurių ne visada yra. optimalūs yra naudojami esant mažai apkrovai, ir būtent tai atsitiks projekto pradžios pradžioje.
Be to, virtualizacija turi daug kitų privalumų, kurie mums gali būti labai naudingi: VM gedimų tolerancija aparatūros serverio gedimui, Live migracija tarp aparatūros klasterio mazgų jų priežiūrai, rankinis ar automatinis apkrovos paskirstymas tarp klasterio mazgų ir kt.
Įmonės įsigytai aparatinei įrangai siūloma įdiegti labai prieinamą „VMware vSphere“ klasterį, tačiau kadangi bet kuri „VMware“ programinė įranga yra žinoma dėl savo „arklio“ kainų etiketės, virtualizacijai valdyti naudosime visiškai nemokamą programinę įrangą. , kurio pagrindu sukuriamas gerai žinomas, bet jau komercinis produktas - .
Programinė įranga oVirtas būtina sujungti visus infrastruktūros elementus į vieną visumą, kad būtų galima patogiai dirbti su labai prieinamomis virtualiomis mašinomis - tai yra duomenų bazės, žiniatinklio programos, tarpiniai serveriai, balansuotojai, serveriai žurnalams ir analitikai rinkti ir kt., tai yra, kas mūsų įmonės interneto portalą sudaro.
Apibendrindami šią įžangą, galime tikėtis šių straipsnių, kurie praktiškai parodys, kaip tiksliai įdiegti visą įmonės aparatinę ir programinę įrangą:
Straipsnių sąrašas
- Dalis 1. Ruošiamasi diegti oVirt 4.3 klasterį.
- Dalis 2. oVirt 4.3 klasterio diegimas ir konfigūravimas.
- Dalis 3. VyOS klasterio nustatymas, gedimams atsparaus išorinio maršruto parinkimo organizavimas.
- Dalis 4. Cisco 3850 dėklo nustatymas, intraneto maršruto parinkimo organizavimas.
1 dalis. Pasiruošimas diegti oVirt 4.3 klasterį
Pagrindinė pagrindinio kompiuterio sąranka
OS įdiegimas ir konfigūravimas yra lengviausias žingsnis. Yra daug straipsnių apie tai, kaip tinkamai įdiegti ir sukonfigūruoti OS, todėl nėra prasmės bandyti pateikti ką nors išskirtinio.
Taigi, turime du „Dell PowerEdge R640“ pagrindinius kompiuterius, kuriuose turime įdiegti OS ir atlikti išankstinius nustatymus, kad galėtume juos naudoti kaip hipervizorius virtualioms mašinoms paleisti oVirt 4.3 klasteryje.
Kadangi planuojame naudoti nemokamą nekomercinę oVirt programinę įrangą, OS buvo pasirinkta pagrindiniams kompiuteriams diegti 7.7 Centos, nors oVirt pagrindiniuose kompiuteriuose gali būti įdiegtos kitos OS:
- specialus statinys, paremtas RHEL, vadinamasis. ;
- OS „Oracle Linux“, 2019 m. vasara apie tai, kaip paremti oVirt darbą.
Prieš diegiant OS rekomenduojama:
- sukonfigūruoti iDRAC tinklo sąsają abiejuose pagrindiniuose kompiuteriuose;
- atnaujinti BIOS ir iDRAC programinę įrangą į naujausias versijas;
- sukonfigūruoti serverio sistemos profilį, pageidautina našumo režimu;
- sukonfigūruokite RAID iš vietinių diskų (rekomenduojama RAID1), kad įdiegtumėte OS serveryje.
Tada įdiegiame OS į anksčiau sukurtą diską per iDRAC - diegimo procesas yra normalus, jame nėra jokių ypatingų momentų. Prieigą prie serverio konsolės, kad pradėtumėte OS diegimą, taip pat galima gauti per iDRAC, nors niekas netrukdo prijungti monitoriaus, klaviatūros ir pelės tiesiai prie serverio ir įdiegti OS iš „flash drive“.
Įdiegę OS, atliekame pradinius jos nustatymus:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Pagrindinio programinės įrangos rinkinio įdiegimas
Norėdami iš pradžių sukonfigūruoti OS, turite sukonfigūruoti bet kurią tinklo sąsają serveryje, kad galėtumėte prisijungti prie interneto, atnaujinti OS ir įdiegti reikiamus programinės įrangos paketus. Tai galima padaryti tiek OS diegimo metu, tiek po jo.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Visi aukščiau pateikti nustatymai ir programinės įrangos rinkinys priklauso nuo asmeninių pageidavimų, o šis rinkinys yra tik rekomendacinis.
Kadangi mūsų šeimininkas atliks hipervizoriaus vaidmenį, įjungsime reikiamą našumo profilį:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Daugiau apie pasirodymo profilį galite paskaityti čia: “"
Įdiegę OS pereiname prie kitos dalies – tinklo sąsajų nustatymas pagrindiniuose kompiuteriuose ir krūva Cisco 2960X jungiklių.
„Cisco 2960X Switch Stack“ konfigūravimas
Mūsų projektas naudos šiuos VLAN arba transliavimo domenus, atskirtus vienas nuo kito, kad atskirtų skirtingus srauto tipus:
VLAN 10 - Internetas
VLAN 17 – Valdymas (iDRAC, saugojimo sistemos, jungiklių valdymas)
VLAN 32 – VM gamybos tinklas
VLAN 33 – sujungimo tinklas (išoriniams rangovams)
VLAN 34 – VM testinis tinklas
VLAN 35 – VM kūrėjų tinklas
VLAN 40 – Stebėjimo tinklas
Prieš pradedant darbą, čia yra L2 lygio diagrama, kurią galiausiai turėtume pasiekti:
Norint oVirt pagrindinių kompiuterių ir virtualių mašinų sąveiką tinkle, taip pat valdyti mūsų saugojimo sistemą, būtina sukonfigūruoti Cisco 2960X jungiklių krūvą.
„Dell“ kompiuteriai turi įmontuotas 4 prievadų tinklo plokštes, todėl jų ryšį su „Cisco 2960X“ patartina organizuoti naudojant gedimams atsparų tinklo ryšį, naudojant fizinių tinklo prievadų grupavimą į loginę sąsają ir LACP protokolą ( 802.3ad):
- pirmieji du pagrindinio kompiuterio prievadai yra sukonfigūruoti ryšio režimu ir prijungti prie 2960X jungiklio - ši loginė sąsaja bus sukonfigūruota tiltas su adresu, skirtu prieglobos valdymui, stebėjimui, bendravimui su kitais oVirt klasterio pagrindiniais kompiuteriais, jis taip pat bus naudojamas virtualiųjų mašinų tiesioginiam perkėlimui;
- antrieji du pagrindinio kompiuterio prievadai taip pat sukonfigūruoti jungimo režimu ir prijungti prie 2960X - šioje loginėje sąsajoje naudojant oVirt ateityje bus kuriami tiltai (atitinkamuose VLAN), prie kurių bus prijungtos virtualios mašinos.
- abu tinklo prievadai, esantys toje pačioje loginėje sąsajoje, bus aktyvūs, t.y. srautas per juos gali būti perduodamas vienu metu, balansavimo režimu.
- tinklo nustatymai klasterio mazguose turi būti absoliučiai TIE PATI, išskyrus IP adresus.
Pagrindinė jungiklių kamino sąranka 2960X ir jos uostai
Mūsų jungikliai pirmiausia turi būti:
- montuojamas ant stovo;
- prijungtas per du specialius reikiamo ilgio kabelius, pavyzdžiui, CAB-STK-E-1M;
- prijungtas prie maitinimo šaltinio;
- prijungti prie administratoriaus darbo vietos per konsolės prievadą pradinei konfigūracijai.
Tam reikalingas gaires rasite adresu gamintojas.
Atlikę aukščiau nurodytus veiksmus, sukonfigūruojame jungiklius.
Ką reiškia kiekviena komanda, šiame straipsnyje neketinama iššifruoti, jei reikia, visą informaciją galima rasti savarankiškai.
Mūsų tikslas – kuo greičiau sukonfigūruoti jungiklių krūvą ir prie jo prijungti pagrindinius kompiuterius ir saugyklos valdymo sąsajas.
1) Prisijunkite prie pagrindinio jungiklio, eikite į privilegijuotą režimą, tada eikite į konfigūracijos režimą ir atlikite pagrindinius nustatymus.
Pagrindinė jungiklio konfigūracija:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Išsaugome konfigūraciją komanda „wr atmir iš naujo paleiskite jungiklių krūvą naudodami komandąperkrauti» ant pagrindinio jungiklio 1.
2) Komutatoriaus tinklo prievadus sukonfigūruojame prieigos režimu VLAN 17, kad būtų galima sujungti saugojimo sistemų ir iDRAC serverių valdymo sąsajas.
Valdymo prievadų nustatymas:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Įkėlę krūvą patikrinkite, ar jis tinkamai veikia:
Stacko funkcionalumo patikrinimas:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) SSH prieigos prie 2960X kamino nustatymas
Norėdami nuotoliniu būdu valdyti krūvą per SSH, naudosime IP 172.20.1.10, sukonfigūruotą SVI (switch virtual interface) VLAN17.
Nors valdymo tikslais patartina naudoti specialų jungiklio prievadą, tai priklauso nuo asmeninių pageidavimų ir galimybių.
SSH prieigos prie jungiklių krūvos konfigūravimas:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordNorėdami įjungti privilegijuotąjį režimą, nustatykite slaptažodį:
enable secret *myenablepassword*
service password-encryptionNTP nustatymas:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Sukonfigūruokite logines eterinio kanalo sąsajas ir fizinius prievadus, prijungtus prie pagrindinio kompiuterio. Kad būtų lengviau konfigūruoti, visose loginėse sąsajose bus įjungti visi galimi VLAN, tačiau paprastai rekomenduojama konfigūruoti tik tai, ko reikia:
Etherchannel sąsajų konfigūravimas:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activePradinė virtualių mašinų tinklo sąsajų konfigūracija pagrindiniuose kompiuteriuose Priegloba1 и Priegloba2
Patikriname, ar yra modulių, reikalingų sujungimui, kad veiktų sistemoje, sumontuojame modulį tiltams valdyti:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfigūruokite BOND1 loginę sąsają virtualioms mašinoms ir jos fizines sąsajas pagrindiniuose kompiuteriuose:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Atlikę nustatymus ant kamino 2960H ir pagrindinius kompiuterius, iš naujo paleidžiame tinklą pagrindiniuose kompiuteriuose ir patikriname loginės sąsajos funkcionalumą.
- priegloboje:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- ant jungiklių kamino 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Pradinė tinklo sąsajų konfigūracija, skirta valdyti klasterio išteklius pagrindiniuose kompiuteriuose Priegloba1 и Priegloba2
BOND1 loginės sąsajos konfigūravimas valdymui ir jos fizinės sąsajos pagrindiniuose kompiuteriuose:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Atlikę nustatymus ant kamino 2960H ir pagrindinius kompiuterius, iš naujo paleidžiame tinklą pagrindiniuose kompiuteriuose ir patikriname loginės sąsajos funkcionalumą.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryKonfigūruojame valdymo tinklo sąsają kiekviename pagrindiniame kompiuteryje VLAN 17, ir susiekite jį su logine sąsaja BOND1:
VLAN17 konfigūravimas Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicVLAN17 konfigūravimas Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicIš naujo paleidžiame tinklą pagrindiniuose kompiuteriuose ir patikriname, ar jie vienas kitam matomi.
Tai užbaigia Cisco 2960X komutatorių krūvos konfigūravimą ir, jei viskas buvo padaryta teisingai, dabar turime visų infrastruktūros elementų tinklo ryšį tarpusavyje L2 lygiu.
„Dell MD3820f“ saugojimo sistemos nustatymas
Prieš pradedant saugojimo sistemos nustatymo darbus, ji jau turi būti prijungta prie „Cisco“ jungiklių krūvos 2960H valdymo sąsajas, taip pat prie pagrindinio kompiuterio Priegloba1 и Priegloba2 per FC.
Bendra schema, kaip saugojimo sistemas reikia prijungti prie jungiklių krūvos, buvo pateikta ankstesniame skyriuje.
Saugojimo sistemos prijungimo per FC prie pagrindinio kompiuterio schema turėtų atrodyti taip:
Prisijungimo metu turite užsirašyti prie saugyklos sistemos FC prievadų prijungtų FC HBA pagrindinių kompiuterių WWPN adresus – tai bus reikalinga vėliau nustatant pagrindinių kompiuterių susiejimą su LUN saugojimo sistemoje.
Administratoriaus darbo vietoje atsisiųskite ir įdiekite „Dell MD3820f“ saugojimo sistemos valdymo įrankį – „PowerVault“ modulinio disko saugyklos tvarkyklė (MDSM).
Prisijungiame prie jo naudodami numatytuosius IP adresus ir konfigūruojame adresus iš VLAN17, norėdami valdyti valdiklius per TCP/IP:
Saugojimas1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Nustatę adresus, eikite į saugyklos valdymo sąsają ir nustatykite slaptažodį, nustatykite laiką, prireikus atnaujinkite valdiklių ir diskų programinę-aparatinę įrangą ir pan.
Kaip tai daroma, aprašyta Sandėliavimo sistema
Atlikę aukščiau nurodytus nustatymus, turėsime atlikti tik kelis veiksmus:
- Konfigūruoti pagrindinio kompiuterio FC prievado ID – Prieglobos prievado identifikatoriai.
- Sukurkite priimančiąją grupę - Priimančioji grupė ir pridėkite prie jo du mūsų „Dell“ šeimininkus.
- Sukurkite disko grupę ir joje virtualius diskus (arba LUN), kurie bus pateikti pagrindiniams kompiuteriams.
- Konfigūruokite virtualių diskų (arba LUN) pateikimą pagrindiniams kompiuteriams.
Naujų prieglobų pridėjimas ir pagrindinio kompiuterio FC prievado identifikatorių susiejimas atliekamas per meniu - Prieglobos žemėlapiai -> Apibrėžti -> Šeimininkai…
FC HBA pagrindinių kompiuterių WWPN adresus galima rasti, pavyzdžiui, iDRAC serveriuose.
Dėl to turėtume gauti kažką panašaus:
Naujos prieglobos grupės įtraukimas ir prieglobų susiejimas atliekamas per meniu - Prieglobos žemėlapiai -> Apibrėžti -> Priimančioji grupė…
Jei naudojate pagrindinius kompiuterius, pasirinkite OS tipą – „Linux“ (DM-MP).
Sukūrę pagrindinę grupę, per skirtuką Saugojimo ir kopijavimo paslaugos, sukurkite disko grupę - Disko grupė, kurio tipas priklauso nuo atsparumo gedimams reikalavimų, pavyzdžiui, RAID10, ir jame reikiamo dydžio virtualūs diskai:
Ir galiausiai, paskutinis etapas yra virtualių diskų (arba LUN) pateikimas pagrindiniams kompiuteriams.
Norėdami tai padaryti, per meniu - Prieglobos žemėlapiai -> Mėnulio kartografavimas -> Pridėti ... Mes susiejame virtualius diskus su hostais, priskirdami jiems numerius.
Viskas turėtų atrodyti taip, kaip ši ekrano kopija:
Čia baigiame nustatyti saugojimo sistemą ir, jei viskas buvo padaryta teisingai, šeimininkai turėtų matyti jiems per FC HBA pateiktus LUN.
Priverskime sistemą atnaujinti informaciją apie prijungtus diskus:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanPažiūrėkime, kokie įrenginiai matomi mūsų serveriuose:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Prieglobose taip pat galite papildomai konfigūruoti kelių takų, ir nors diegdamas „oVirt“ jis gali tai padaryti pats, geriau iš anksto patikrinti, ar MP veikia teisingai.
DM Multipath diegimas ir konfigūravimas
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Nustatykite MP paslaugą automatiškai paleisti ir paleiskite:
systemctl enable multipathd && systemctl restart multipathdTikrinama informacija apie įkeltus modulius MP veikimui:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Pažvelkime į esamos kelių kelių konfigūracijos suvestinę:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningPridėję naują LUN prie saugojimo sistemos ir pateikę jį pagrindiniam kompiuteriui, turite nuskaityti HBA, prijungtus prie pagrindinio kompiuterio.
systemctl reload multipathd
multipath -v2Galiausiai patikriname, ar visi LUN buvo pateikti pagrindinių kompiuterių saugojimo sistemoje ir ar yra du keliai į juos visus.
MP veikimo tikrinimas:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningKaip matote, visi trys virtualūs diskai saugojimo sistemoje yra matomi dviem keliais. Taigi visi parengiamieji darbai buvo baigti, o tai reiškia, kad galite pereiti prie pagrindinės dalies - oVirt klasterio nustatymo, kuris bus aptartas kitame straipsnyje.
Šaltinis: www.habr.com