Lukijoita pyydetään tutustumaan periaatteisiin pienyrityksen vikasietoisen infrastruktuurin rakentamisesta yhden datakeskuksen sisällä, joita käsitellään yksityiskohtaisesti lyhyessä artikkelisarjassa.
prodrome
alapuolella datakeskus (Tietojenkäsittelykeskus) voidaan ymmärtää seuraavasti:
- oma teline omassa "palvelinhuoneessaan" yrityksen alueella, joka täyttää teho- ja jäähdytyslaitteiden vähimmäisvaatimukset ja jolla on myös Internet-yhteys kahden itsenäisen palveluntarjoajan kautta;
- vuokrateline omilla laitteillaan, joka sijaitsee todellisessa datakeskuksessa - ns. tason III tai IV yhteissijoitus, joka takaa luotettavan virran, jäähdytyksen ja vikasietoisen Internet-yhteyden;
- täysin vuokrattu laitteisto Tier III tai IV datakeskuksessa.
Mikä majoitusvaihtoehto valita - jokaisessa tapauksessa kaikki on yksilöllistä ja riippuu yleensä useista päätekijöistä:
- miksi yritys ylipäätään tarvitsee oman IT-infrastruktuurin?
- mitä yritys tarkalleen ottaen haluaa IT-infrastruktuurilta (luotettavuus, skaalautuvuus, hallittavuus jne.);
- IT-infrastruktuurin alkuinvestoinnin määrä sekä sen kustannukset - pääoma (joka tarkoittaa oman laitteen ostamista) tai käyttö (laitteet vuokrataan yleensä);
- yrityksen itsensä suunnitteluhorisontti.
Voit kirjoittaa paljon tekijöistä, jotka vaikuttavat yrityksen päätökseen luoda ja käyttää IT-infrastruktuuriaan, mutta tavoitteenamme on näyttää käytännössä, kuinka juuri tämä infrastruktuuri luodaan niin, että se on sekä vikasietoinen että voit silti säästää - alentaa kaupallisten ohjelmistojen hankintakustannuksia tai välttää niitä kokonaan.
Kuten pitkä käytäntö osoittaa, raudassa ei kannata säästää, koska kurja maksaa kahdesti ja jopa paljon enemmän. Mutta jälleen kerran - hyvä laitteisto, tämä on vain suositus, ja lopulta mitä ostaa ja kuinka paljon, riippuu yrityksen kyvyistä ja sen johdon "ahneudesta". Lisäksi sana "ahneus" tulee ymmärtää sanan hyvässä merkityksessä, koska on parempi investoida laitteistoon alkuvaiheessa, jotta myöhemmin sinulla ei ole vakavia ongelmia sen lisätuen ja skaalauksen kanssa, koska alun perin virheellinen suunnittelu ja liialliset säästöt voivat johtaa korkeampiin kustannuksiin kuin projektia aloitettaessa.
Joten projektin alkutiedot:
- on yritys, joka on päättänyt luoda oman verkkoportaalin ja tuoda toimintansa Internetiin;
- yritys päätti vuokrata telineen laitteidensa sijoittamista varten hyvään Tier III -standardin mukaisesti sertifioituun datakeskukseen;
- yritys päätti olla säästämättä paljon laitteistoissa ja osti siksi seuraavat laitteet laajennetulla takuulla ja tuella:
Varusteluettelo
- kaksi fyysistä Dell PowerEdge R640 -palvelinta seuraavasti:
- kaksi Intel Xeon Gold 5120 -suoritinta
- 512 Gb RAM
- kaksi SAS-levyä RAID1:ssä käyttöjärjestelmän asennusta varten
- sisäänrakennettu 4-porttinen 1G verkkokortti
- kaksi 2-porttista 10G verkkokorttia
- yksi 2-porttinen FC HBA 16G.
- Dell MD2f 3820 -ohjaimen tallennustila, joka on kytketty FC 16G:n kautta suoraan Dell-isäntään;
- kaksi toisen tason kytkintä - Cisco WS-C2960RX-48FPS-L pinottu;
- kaksi kolmannen tason kytkintä - Cisco WS-C3850-24T-E, yhdistetty pinoksi;
- Teline-, UPS-, PDU-, konsolipalvelimet - palvelinkeskuksen toimittamat.
Kuten näemme, olemassa olevilla laitteilla on hyvät mahdollisuudet horisontaaliseen ja pystysuoraan skaalaukseen, jos yritys pystyy kilpailemaan muiden samanprofiilisten yritysten kanssa Internetissä ja alkaa tuottaa voittoa, joka voidaan sijoittaa resurssien laajentamiseen jatkokilpailua varten. ja voiton kasvu.
Mitä laitteita voimme lisätä, jos yritys päättää lisätä laskentaklusterimme suorituskykyä:
- meillä on suuri varaus 2960X-kytkimien porttien lukumäärän suhteen, mikä tarkoittaa, että voimme lisätä laitteistopalvelimia;
- ostaa kaksi FC-kytkintä tallennusjärjestelmien ja lisäpalvelimien yhdistämiseksi niihin;
- olemassa olevia palvelimia voidaan päivittää - lisää muistia, vaihda prosessorit tehokkaampiin, yhdistä 10G-verkkoon olemassa olevilla verkkosovittimilla;
- voit lisätä tallennusjärjestelmään lisää levyhyllyjä vaaditun tyyppisillä levyillä - SAS, SATA tai SSD suunnitellun kuorman mukaan;
- FC-kytkimien lisäämisen jälkeen voit ostaa toisen tallennusjärjestelmän lisäämään levykapasiteettia, ja jos ostat siihen erityisen Remote Replication -vaihtoehdon, voit määrittää tietojen replikoinnin tallennusjärjestelmien välillä sekä yhden konesalin rajojen sisällä että palvelinkeskusten välillä. (mutta tämä on jo artikkelin soveltamisalan ulkopuolella);
- on myös kolmannen tason kytkimiä - Cisco 3850, jota voidaan käyttää vikasietoisena verkkoytimenä nopeaan reitittämiseen sisäisten verkkojen välillä. Tämä auttaa paljon tulevaisuudessa, kun sisäinen infrastruktuuri kasvaa. 3850:ssä on myös 10G-portteja, joita voidaan käyttää myöhemmin päivitettäessä verkkolaitteita 10G-nopeuteen.
Koska nyt ei ole mitään ilman virtualisointia, olemme varmasti trendikkäitä, varsinkin kun tämä on loistava tapa vähentää kalliiden palvelimien hankintakustannuksia yksittäisille infrastruktuurielementeille (verkkopalvelimet, tietokannat jne.), jotka eivät aina ole optimaalisia. käytetään alhaisen kuormituksen yhteydessä, ja tämä on juuri sitä, mitä projektin käynnistämisen alussa.
Lisäksi virtualisoinnilla on monia muita etuja, joista voi olla meille paljon hyötyä: VM-vikasieto laitteistopalvelinvioista, live-migraatio klusterin laitteistosolmujen välillä niiden ylläpitoa varten, manuaalinen tai automaattinen kuormanjako klusterin solmujen välillä jne.
Yrityksen ostamien laitteistojen osalta erittäin saatavilla olevan VMware vSphere -klusterin käyttöönotto ehdottaa itsestään, mutta koska kaikki VMwaren ohjelmistot ovat tunnettuja "hevoshintalapuistaan", käytämme täysin ilmaista virtualisoinnin hallintaohjelmistoa - , jonka pohjalta luodaan tunnettu, mutta jo kaupallinen tuote - .
Программное обеспечение oVirt on tarpeen yhdistää kaikki infrastruktuurin elementit yhdeksi kokonaisuudeksi, jotta voidaan kätevästi työskennellä erittäin saatavilla olevien virtuaalikoneiden kanssa - nämä ovat tietokannat, verkkosovellukset, välityspalvelimet, tasapainottimet, palvelimet lokien ja analytiikan keräämiseen jne. , mistä yrityksemme verkkoportaali koostuu.
Yhteenvetona tästä johdannosta odottavat meitä seuraavat artikkelit, jotka osoittavat käytännössä, kuinka yrityksen koko laitteisto- ja ohjelmistoinfrastruktuuri otetaan käyttöön:
Luettelo artikkeleista
- Osa 1. OVirt-klusterin käyttöönottoon valmistautuminen 4.3.
- Osa 2. oVirt-klusterin asennus ja konfigurointi 4.3.
- Osa 3. VyOS-klusterin perustaminen, vikasietoisen ulkoisen reitityksen järjestäminen.
- Osa 4. Cisco 3850 -pinon määrittäminen, intranet-reitityksen järjestäminen.
Osa 1. OVirt 4.3 -klusterin käyttöönottoon valmistautuminen
Isäntäperusasetukset
Käyttöjärjestelmän asentaminen ja määrittäminen on helpoin vaihe. On olemassa paljon artikkeleita siitä, kuinka käyttöjärjestelmä asennetaan ja määritetään oikein, joten ei ole mitään järkeä yrittää antaa tästä jotain ainutlaatuista.
Meillä on siis kaksi Dell PowerEdge R640 -isäntäkonetta, joihin meidän on asennettava käyttöjärjestelmä ja suoritettava alustavat asetukset, jotta voimme käyttää niitä hypervisoreina virtuaalikoneiden ajamiseen oVirt 4.3 -klusterissa.
Koska aiomme käyttää ilmaista ei-kaupallista ohjelmistoa oVirt, valitsimme käyttöjärjestelmän isäntien käyttöönottoon 7.7 CentOS, vaikka on mahdollista asentaa muita käyttöjärjestelmiä isäntäkoneille oVirtille:
- RHEL-pohjainen erikoisrakennus, ns. ;
- OS Oracle Linux Summer 2019 oVirtin pitämisestä käynnissä.
Ennen käyttöjärjestelmän asentamista on suositeltavaa:
- määritä iDRAC-verkkoliitäntä molemmissa isännissä;
- päivitä BIOSin ja iDRACin laiteohjelmisto uusimpiin versioihin;
- määritä palvelimen järjestelmäprofiili, mieluiten suorituskykytilassa;
- määritä RAID paikallisilta levyiltä (RAID1 on suositeltavaa) asentaaksesi käyttöjärjestelmän palvelimelle.
Sitten asennamme käyttöjärjestelmän aiemmin luodulle levylle iDRACin kautta - asennusprosessi on normaali, siinä ei ole erityisiä hetkiä. Voit myös käyttää palvelinkonsolia käynnistääksesi käyttöjärjestelmän asennuksen iDRACin kautta, vaikka mikään ei estä sinua kytkemästä näyttöä, näppäimistöä ja hiirtä suoraan palvelimeen ja asentamasta käyttöjärjestelmää flash-asemalta.
Käyttöjärjestelmän asennuksen jälkeen suoritamme sen alkuasetukset:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Ohjelmiston perussarjan asennus
Käyttöjärjestelmän alkuasennusta varten sinun on määritettävä mikä tahansa palvelimen verkkoliitäntä, jotta voit käyttää Internetiä päivittääksesi käyttöjärjestelmän ja asentaaksesi tarvittavat ohjelmistopaketit. Tämä voidaan tehdä sekä käyttöjärjestelmän asennuksen aikana että sen jälkeen.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Kaikki yllä olevat asetukset ja ohjelmistot ovat henkilökohtaisia mieltymyksiä, ja tämä sarja on vain suositus.
Koska isäntämme toimii hypervisorina, otamme käyttöön halutun suoritusprofiilin:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Voit lukea lisää suoritusprofiilista täältä:".
Käyttöjärjestelmän asennuksen jälkeen siirrymme seuraavaan osaan - isäntien verkkoliitäntöjen määrittäminen ja pino Cisco 2960X -kytkimiä.
Cisco 2960X Switch Stackin määrittäminen
Projektissamme käytetään seuraavia VLAN-numeroita - tai toisistaan eristettyjä lähetysalueita erilaisten liikenteen erottamiseksi:
VLAN 10 - Internet
VLAN 17 – Hallinta (iDRAC, tallennustila, kytkimien hallinta)
VLAN 32 – VM-tuotantoverkosto
VLAN 33 – liitäntäverkko (ulkopuolisille urakoitsijoille)
VLAN 34 – VM-testiverkko
VLAN 35 – VM-kehittäjäverkko
VLAN 40 – seurantaverkosto
Ennen työn aloittamista annetaan kaavio L2-tasolla, johon meidän pitäisi lopulta päästä:
OVirt-isäntien ja virtuaalikoneiden keskinäistä verkkovuorovaikutusta varten sekä tallennusjärjestelmämme hallintaa varten on tarpeen määrittää pino Cisco 2960X -kytkimiä.
Dellin isännissä on sisäänrakennetut 4-porttiset verkkokortit, joten niiden yhteys Cisco 2960X:ään kannattaa järjestää vikasietoisella verkkoyhteydellä käyttämällä fyysisten verkkoporttien ryhmittelyä loogiseksi rajapinnaksi ja LACP:tä (802.3). ad) protokolla:
- isäntäkoneen kaksi ensimmäistä porttia on määritetty bonding-tilassa ja kytketty 2960X-kytkimeen - tämä looginen liitäntä määritetään silta jossa on osoite isäntähallintaa, valvontaa ja kommunikointia varten oVirt-klusterin muiden isäntien kanssa, sitä käytetään myös virtuaalikoneiden reaaliaikaiseen siirtoon;
- isäntäkoneen kaksi toista porttia on myös määritetty bonding-tilassa ja yhdistetty 2960X:ään - tässä loogisessa rajapinnassa oVirt avulla luodaan myöhemmin siltoja (vastaavissa VLANeissa), joihin virtuaalikoneet muodostavat yhteyden.
- molemmat verkkoportit saman loogisen rajapinnan sisällä ovat aktiivisia, ts. niiden liikennettä voidaan välittää samanaikaisesti, tasapainotustilassa.
- klusterin solmujen verkkoasetusten on oltava täsmälleen samat IP-osoitteita lukuun ottamatta.
Peruskytkinpinon asetukset 2960X ja sen satamat
Aikaisemmin kytkimiemme tulisi olla:
- telineeseen asennettu;
- kytketty kahdella vaaditun pituisella erikoiskaapelilla, esimerkiksi CAB-STK-E-1M;
- kytketty virtalähteeseen;
- liitetty järjestelmänvalvojan työasemaan konsoliportin kautta alkumäärityksiä varten.
Tätä varten tarvittavat ohjeet ovat saatavilla osoitteessa valmistaja.
Kun olet suorittanut yllä olevat vaiheet, konfiguroimme kytkimet.
Mitä kukin komento tarkoittaa, ei ole tarkoitus selvittää tämän artikkelin puitteissa, vaan kaikki tiedot löytyvät tarvittaessa itsenäisesti.
Tavoitteenamme on perustaa nopeasti kytkinpino ja liittää siihen isännät ja tallennustilan hallintaliitännät.
1) Yhdistämme pääkytkimeen, siirrymme etuoikeutettuun tilaan, siirrymme sitten konfigurointitilaan ja teemme perusasetukset.
Kytkimen perusasetukset:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Tallenna konfiguraatio komennolla "wr mem"ja käynnistä kytkinpino uudelleen komennolla "ladata uudelleen» pääkytkimessä 1.
2) Konfiguroimme kytkimen verkkoportit pääsytilassa (access) VLAN 17:ssä yhdistämään tallennusjärjestelmien ja iDRAC-palvelimien ohjausliitännät.
Hallintaporttien määrittäminen:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Kun olet ladannut pinon uudelleen, tarkista, että se toimii oikein:
Pinon toiminnan tarkistaminen:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) SSH-käytön määrittäminen 2960X-pinoon
Pinon etähallintaan SSH:n kautta käytämme IP 172.20.1.10:tä, joka on määritetty SVI:lle (switch virtual interface) VLAN17.
Vaikka kytkimessä onkin toivottavaa käyttää erillistä porttia hallintatarkoituksiin, tämä on henkilökohtaisten mieltymysten ja mahdollisuuksien asia.
SSH-käytön määrittäminen kytkinpinoon:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordAseta salasana siirtyäksesi etuoikeutettuun tilaan:
enable secret *myenablepassword*
service password-encryptionMääritä NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Aseta loogiset Etherchannel-liitännät ja fyysiset portit, jotka on kytketty isäntiin. Määrityksen helpottamiseksi kaikki käytettävissä olevat VLAN-verkot sallitaan kaikissa loogisissa liitännöissä, mutta yleensä suositellaan määrittämään vain tarvittavat:
Etherchannel-liitäntöjen määrittäminen:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeVirtuaalikoneiden verkkoliitäntöjen alustava konfigurointi isännissä Isäntä1 и Isäntä2
Tarkistamme liimauksen toimintaan tarvittavien moduulien olemassaolon järjestelmässä, asennamme moduulin siltojen hallintaan:
modinfo bonding
modinfo 8021q
yum install bridge-utilsBOND1:n loogisen käyttöliittymän määrittäminen virtuaalikoneita varten ja sen fyysiset liitännät isännissä:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Kun pinon asetukset on tehty 2960H ja isännät, käynnistä verkko uudelleen isännissä ja tarkista loogisen rajapinnan toimivuus.
- isännässä:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- kytkinpinossa 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Verkkoliitäntöjen alustava konfigurointi klusteriresurssien hallintaa varten isännissä Isäntä1 и Isäntä2
Loogisen BOND1-rajapinnan ja sen fyysisten liitäntöjen määrittäminen isäntien hallintaa varten:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Kun pinon asetukset on tehty 2960H ja isännät, käynnistä verkko uudelleen isännissä ja tarkista loogisen rajapinnan toimivuus.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryMääritä hallintaverkkoliitäntä jokaiseen isäntään VLAN 17, ja sitoa se loogiseen käyttöliittymään BOND1:
VLAN17:n määrittäminen isännässä 1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicVLAN17:n määrittäminen isännässä 2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKäynnistämme verkon uudelleen isännissä ja tarkistamme niiden näkyvyyden toisilleen.
Tämä viimeistelee Cisco 2960X -kytkinpinon konfiguroinnin, ja jos kaikki tehtiin oikein, meillä on nyt kaikkien infrastruktuurielementtien verkkoyhteys toisiinsa L2-tasolla.
Dell MD3820f -tallennustilan asetukset
Ennen kuin aloitat tallennusjärjestelmän konfiguroinnin, se on jo liitettävä Ciscon kytkinpinoon 2960H hallintaliittymiä sekä isäntiä Isäntä1 и Isäntä2 FC:n kautta.
Yleinen kaavio siitä, kuinka tallennusjärjestelmä tulisi kytkeä kytkinpinoon, esitettiin edellisessä luvussa.
Kaavan tallennustilan liittämiseksi FC:n kautta isäntiin pitäisi näyttää tältä:
Yhteyden aikana on tarpeen kirjoittaa muistiin tallennusjärjestelmän FC-portteihin liitettyjen FC HBA -isäntien WWPN-osoitteet - tämä on tarpeen tallennusjärjestelmän LUN-sitoutumisen myöhempää määritystä varten.
Lataa ja asenna Dell MD3820f -tallennustyökalu järjestelmänvalvojan työasemaan - PowerVault Modular Disk Storage Manager (MDSM).
Yhdistämme häneen oletus-IP-osoitteiden kautta ja määritämme sitten osoitteemme VLAN17, ohjaimien hallinta TCP/IP:n kautta:
Varastointi 1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Osoitteiden asettamisen jälkeen siirrymme tallennushallintaliittymään ja asetamme salasanan, asetamme ajan, päivitämme ohjaimien ja levyjen laiteohjelmiston tarvittaessa jne.
Kuinka tämä tehdään, kuvataan kohdassa varastointi.
Kun olet tehnyt yllä olevat asetukset, meidän tarvitsee tehdä vain muutama asia:
- Konfiguroi isännän FC-portin tunnukset - Isäntäportin tunnisteet.
- Luo isäntäryhmä − isäntäryhmä ja lisää siihen kaksi Dell-isäntäämme.
- Luo levyryhmä ja siihen virtuaaliset levyt (tai LUN:t), jotka esitetään isännille.
- Konfiguroi virtuaalilevyjen (tai LUN:iden) esitys isännille.
Uusien isäntien lisääminen ja isäntä FC-porttien sidontatunnisteet niihin tehdään valikon kautta - Isäntäkartoitukset -> Määritellä -> Isännät…
FC HBA -isäntien WWPN-osoitteet löytyvät esimerkiksi palvelimen iDRACista.
Lopputuloksena meidän pitäisi saada jotain tämän kaltaista kuvaa:
Uuden isäntäryhmän lisääminen ja isäntien sitominen siihen tehdään valikon kautta - Isäntäkartoitukset -> Määritellä -> Isäntäryhmä…
Valitse isännille käyttöjärjestelmän tyyppi - Linux (DM-MP).
Kun olet luonut isäntäryhmän, välilehden kautta Tallennus- ja kopiointipalvelut, luo levyryhmä - Levyryhmä, jonka tyyppi riippuu vikasietovaatimuksista, esimerkiksi RAID10, ja siinä vaaditun kokoiset virtuaalilevyt:
Ja lopuksi, viimeinen vaihe on virtuaalilevyjen (tai LUN:iden) esittäminen isännille.
Voit tehdä tämän valikon kautta - Isäntäkartoitukset -> Lun kartoitus -> Lisää ... sidomme virtuaaliset levyt isänteihin antamalla niille numerot.
Kaiken pitäisi näyttää tältä kuvakaappauksesta:
Tässä lopetamme tallennusasetukset, ja jos kaikki tehtiin oikein, isäntien pitäisi nähdä heille esitettävät LUN-tunnukset FC HBA:n kautta.
Pakotetaan järjestelmä päivittämään tietoja liitetyistä asemista:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanKatsotaanpa, mitkä laitteet näkyvät palvelimillamme:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Isännissä voit myös määrittää lisäksi monitie, ja vaikka se voi tehdä sen itse asentaessaan oVirt, on parempi tarkistaa MP:n oikeellisuus etukäteen.
DM Multipath:n asennus ja konfigurointi
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Aseta MP-palvelu käynnistymään automaattisesti ja käynnistä se:
systemctl enable multipathd && systemctl restart multipathdTietojen tarkistaminen ladatuista moduuleista MP-käyttöä varten:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Yhteenvedon tarkasteleminen olemassa olevista monitiemäärityksistä:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningKun olet lisännyt tallennusjärjestelmään uuden LUN-tunnuksen ja esittänyt sen isännälle, sinun on tarkistettava sen isäntään yhdistetyt HBA:t.
systemctl reload multipathd
multipath -v2Ja lopuksi tarkistamme, onko kaikki LUN:t esitetty isäntien tallennusjärjestelmässä ja onko kaikkiin kaksi polkua.
MP toiminnan tarkistus:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningKuten näet, kaikki kolme tallennusjärjestelmän virtuaalilevyä näkyvät kahdella tavalla. Näin ollen kaikki valmistelutyöt on saatu päätökseen, mikä tarkoittaa, että voit siirtyä pääosaan - oVirt-klusterin perustamiseen, josta keskustellaan seuraavassa artikkelissa.
Lähde: will.com