Читаоци се позивају да се упознају са принципима изградње инфраструктуре отпорне на грешке за мало предузеће у оквиру једног дата центра, о чему ће се детаљно говорити у кратком низу чланака.
Увод
Под Центар за податке (Центар за обраду података) може се схватити као:
- сопствени рацк у сопственој „сервер соби“ у просторијама предузећа, који испуњава минималне услове за обезбеђивање напајања и хлађења опреме, а такође има приступ Интернету преко два независна провајдера;
- изнајмљени рацк са сопственом опремом, смештен у правом дата центру – тзв. колокација, која је у складу са стандардом Тиер ИИИ или ИВ, и која гарантује поуздано напајање, хлађење и приступ Интернету отпоран на грешке;
- потпуно изнајмљена опрема у центру података Тиер ИИИ или ИВ.
Коју опцију смештаја изабрати је индивидуално у сваком случају и обично зависи од неколико главних фактора:
- Зашто је предузећу потребна сопствена ИТ инфраструктура?
- шта тачно предузеће жели од ИТ инфраструктуре (поузданост, скалабилност, управљивост, итд.);
- обим почетних улагања у ИТ инфраструктуру, као и који тип трошкова за то - капитални (што значи да купујете сопствену опрему), или оперативни (опрема се обично изнајмљује);
- хоризонт планирања самог предузећа.
Може се много писати о факторима који утичу на одлуку предузећа да креира и користи своју ИТ инфраструктуру, али наш циљ је да покажемо у пракси како да креирамо управо ту инфраструктуру тако да буде отпорна на грешке и уштеди новац. трошкове куповине комерцијалног софтвера, или их у потпуности избегавати.
Као што показује дугогодишња пракса, не вреди штедјети на хардверу, јер шкрти плаћа двапут, па чак и много више. Али опет, добар хардвер је само препорука, а на крају шта тачно купити и за колико зависи од могућности предузећа и „похлепе“ његовог менаџмента. Штавише, реч „похлепа“ треба схватити у добром смислу те речи, јер је боље улагати у хардвер у почетној фази, како не би имали озбиљних проблема са његовом даљом подршком и скалирањем, будући да је првобитно погрешно планирање и прекомерне уштеде могу довести до већих трошкова него при покретању пројекта.
Дакле, почетни подаци за пројекат:
- постоји предузеће које је одлучило да направи сопствени веб портал и пренесе своје активности на Интернет;
- компанија је одлучила да изнајми рацк како би своју опрему поставила у добар дата центар сертификован према стандарду Тиер ИИИ;
- компанија је одлучила да не штеди много на хардверу и зато је купила следећу опрему са продуженим гаранцијама и подршком:
Листа опреме
- два физичка Делл ПоверЕдге Р640 сервера, како следи:
- два Интел Ксеон Голд 5120 процесора
- 512 Гб РАМ-а
- два САС диска у РАИД1, за инсталацију ОС-а
- уграђена 4-портна 1Г мрежна картица
- две 2-портне 10Г мрежне картице
- један 2-портни ФЦ ХБА 16Г.
- Систем складиштења са 2 контролера Делл МД3820ф, повезан преко ФЦ 16Г директно на Делл хостове;
- два прекидача другог нивоа - Цисцо ВС-Ц2960РКС-48ФПС-Л наслагани;
- два прекидача трећег нивоа - Цисцо ВС-Ц3850-24Т-Е, наслагани;
- Рацк, УПС, ПДУ, конзолне сервере обезбеђује центар података.
Као што видимо, постојећа опрема има добре изгледе за хоризонтално и вертикално скалирање, ако предузеће буде у стању да се такмичи са другим компанијама сличног профила на Интернету и почне да зарађује профит, који се може уложити у проширење ресурса за даљу конкуренцију. и раст профита.
Коју опрему можемо додати ако предузеће одлучи да повећа перформансе нашег рачунарског кластера:
- имамо велику резерву у броју портова на свичевима 2960Кс, што значи да можемо додати још хардверских сервера;
- купити два додатна ФЦ прекидача за повезивање система за складиштење и додатних сервера на њих;
- постојећи сервери се могу надоградити – додати меморију, заменити процесоре моћнијим, повезати се на 10Г мрежу користећи постојеће мрежне адаптере;
- У систем за складиштење можете додати додатне полице за дискове са потребном врстом диска - САС, САТА или ССД, у зависности од планираног оптерећења;
- након додавања ФЦ прекидача, можете купити други систем за складиштење да бисте додали још више капацитета диска, а ако за њега купите посебну опцију Ремоте Реплицатион, можете подесити репликацију података између система за складиштење како унутар истог центра података тако и између центара података ( али ово је већ изван оквира чланка);
- Постоје и свичеви трећег нивоа - Цисцо 3850, који се могу користити као мрежно језгро отпорно на грешке за брзо рутирање између интерних мрежа. Ово ће бити од велике помоћи у будућности како се интерна инфраструктура буде развијала. 3850 такође има 10Г портове, који се касније могу користити приликом надоградње мрежне опреме на 10Г брзине.
Пошто сада нема нигде без виртуелизације, наравно да ћемо бити у тренду, поготово што је ово одличан начин да се смање трошкови куповине скупих сервера за појединачне инфраструктурне елементе (веб сервере, базе података итд.), који нису увек оптимални се користе у случају малог оптерећења, а то је управо оно што ће се десити на почетку покретања пројекта.
Поред тога, виртуелизација има многе друге предности које нам могу бити веома корисне: толеранција грешака ВМ на отказ хардверског сервера, миграција уживо између чворова хардверског кластера ради њиховог одржавања, ручна или аутоматска расподела оптерећења између чворова кластера итд.
За хардвер који је купило предузеће, намештање високо доступног ВМваре вСпхере кластера се намеће само по себи, али пошто је сваки ВМваре софтвер познат по својим „коњским“ ценама, користићемо апсолутно бесплатан софтвер за управљање виртуелизацијом - , на основу којих се ствара познати али већ комерцијални производ - .
Софтвер оВирт неопходно је да се сви инфраструктурни елементи комбинују у једну целину како би се могао погодно радити са високо доступним виртуелним машинама – то су базе података, веб апликације, прокси сервери, балансери, сервери за прикупљање логова и аналитике, итд., тј. веб портал нашег предузећа чине.
Да резимирамо овај увод, можемо се радовати следећим чланцима, који ће у пракси показати како тачно применити целокупну хардверску и софтверску инфраструктуру предузећа:
Списак чланака
- Део КСНУМКС. Припрема за примену оВирт 4.3 кластера.
- Део КСНУМКС. Инсталирање и конфигурисање оВирт 4.3 кластера.
- Део КСНУМКС. Постављање ВиОС кластера, организовање екстерног рутирања отпорног на грешке.
- Део КСНУМКС. Постављање Цисцо 3850 стека, организовање интранет рутирања.
Део 1. Припрема за примену оВирт 4.3 кластера
Основно подешавање хоста
Инсталирање и конфигурисање ОС-а је најлакши корак. Постоји много чланака о томе како правилно инсталирати и конфигурисати ОС, тако да нема смисла покушавати да дате нешто ексклузивно о овоме.
Дакле, имамо два Делл ПоверЕдге Р640 хоста на којима треба да инсталирамо ОС и извршимо прелиминарна подешавања да бисмо их користили као хипервизоре за покретање виртуелних машина у оВирт 4.3 кластеру.
Пошто планирамо да користимо бесплатни некомерцијални оВирт софтвер, ОС је изабран за постављање хостова КСНУМКС Уник, иако се други ОС могу инсталирати на хостове за оВирт:
- посебна конструкција заснована на РХЕЛ-у, тзв. ;
- ОС Орацле Линук, лето 2019 о подршци раду оВирт-а на њему.
Пре инсталирања ОС-а препоручује се:
- конфигуришите иДРАЦ мрежни интерфејс на оба хоста;
- ажурирајте БИОС и иДРАЦ фирмвер на најновије верзије;
- конфигуришите системски профил сервера, пожељно у режиму перформанси;
- конфигуришите РАИД са локалних дискова (препоручује се РАИД1) да бисте инсталирали ОС на сервер.
Затим инсталирамо ОС на диск креиран раније преко иДРАЦ-а - процес инсталације је нормалан, у њему нема посебних тренутака. Приступ конзоли сервера за почетак инсталације ОС-а такође се може добити преко иДРАЦ-а, иако вас ништа не спречава да повежете монитор, тастатуру и миш директно на сервер и инсталирате ОС са флеш диска.
Након инсталирања ОС-а, вршимо његова почетна подешавања:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Инсталирање основног сета софтвера
Да бисте првобитно конфигурисали ОС, потребно је да конфигуришете било који мрежни интерфејс на серверу тако да можете приступити Интернету да бисте ажурирали ОС и инсталирали потребне софтверске пакете. Ово се може урадити и током процеса инсталације ОС-а и након њега.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Сва горе наведена подешавања и софтверски сет су ствар личних преференција, а овај сет је само препорука.
Пошто ће наш домаћин играти улогу хипервизора, омогућићемо потребан профил перформанси:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Више о профилу перформанси можете прочитати овде: “".
Након инсталирања ОС-а, прелазимо на следећи део – подешавање мрежних интерфејса на хостовима и гомиле Цисцо 2960Кс свичева.
Конфигурисање Цисцо 2960Кс стека прекидача
Наш пројекат ће користити следеће бројеве ВЛАН-ова - или емитованих домена, изолованих један од другог, како би се раздвојили различити типови саобраћаја:
ВЛАН 10 - Интернет
ВЛАН 17 – Управљање (иДРАЦ, систем за складиштење, управљање прекидачима)
ВЛАН 32 – ВМ производна мрежа
ВЛАН 33 – интерконективна мрежа (спољним извођачима)
ВЛАН 34 – ВМ тестна мрежа
ВЛАН 35 – ВМ програмерска мрежа
ВЛАН 40 – Мрежа за праћење
Пре почетка рада, ево дијаграма на нивоу Л2 до којег би на крају требало да дођемо:
За мрежну интеракцију оВирт хостова и виртуелних машина међусобно, као и за управљање нашим системом за складиштење података, потребно је конфигурисати стек Цисцо 2960Кс прекидача.
Делл домаћини имају уграђене мрежне картице са 4 порта, стога је препоручљиво да организују њихову везу са Цисцо 2960Кс користећи мрежну везу отпорну на грешке, користећи груписање физичких мрежних портова у логички интерфејс и ЛАЦП протокол ( 802.3ад):
- прва два порта на хосту су конфигурисана у режиму повезивања и повезана на 2960Кс прекидач - овај логички интерфејс ће бити конфигурисан мост са адресом за управљање хостом, праћење, комуникацију са другим хостовима у оВирт кластеру, такође ће се користити за Ливе миграцију виртуелних машина;
- друга два порта на хосту су такође конфигурисана у режиму повезивања и повезана са 2960Кс - на овом логичком интерфејсу користећи оВирт, у будућности ће се креирати мостови (у одговарајућим ВЛАН-овима) на које ће виртуелне машине бити повезане.
- оба мрежна порта, у оквиру истог логичког интерфејса, биће активна, тј. саобраћај преко њих се може преносити истовремено, у балансном режиму.
- мрежна подешавања на чворовима кластера морају бити апсолутно ИСТА, са изузетком ИП адреса.
Основно подешавање стека прекидача КСНУМКСКС и његове луке
Наши прекидачи прво морају бити:
- рацк моунтед;
- повезан преко два специјална кабла потребне дужине, на пример, ЦАБ-СТК-Е-1М;
- прикључен на напајање;
- повезани са радном станицом администратора преко порта конзоле за њихову почетну конфигурацију.
Неопходна упутства за ово су доступна на произвођач.
Након што завршимо горе наведене кораке, конфигуришемо прекидаче.
Шта значи свака наредба, није предвиђено да се дешифрује у оквиру овог чланка; ако је потребно, све информације се могу пронаћи независно.
Наш циљ је да конфигуришемо стек прекидача што је брже могуће и повежемо хостове и интерфејсе за управљање складиштем на њега.
1) Повежите се на главни прекидач, идите у привилеговани режим, затим идите у конфигурациони режим и извршите основна подешавања.
Основна конфигурација прекидача:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Чувамо конфигурацију командом „вр мем" и поново покрените стек прекидача командом "релоад» на главном прекидачу 1.
2) Мрежне портове свича конфигуришемо у приступном режиму у ВЛАН 17, да повежемо управљачке интерфејсе система за складиштење и иДРАЦ сервере.
Подешавање портова за управљање:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Након што поново учитате стек, проверите да ли ради исправно:
Провера функционалности стека:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Подешавање ССХ приступа 2960Кс стеку
Да бисмо даљински управљали стеком преко ССХ-а, користићемо ИП 172.20.1.10 конфигурисан за СВИ (виртуелни интерфејс за пребацивање) ВЛАН17.
Иако је препоручљиво користити наменски порт на комутатору за потребе управљања, ово је питање личних преференција и могућности.
Конфигурисање ССХ приступа групи прекидача:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordПодесите лозинку за улазак у привилеговани режим:
enable secret *myenablepassword*
service password-encryptionПодешавање НТП-а:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Конфигуришите логичке интерфејсе Етхерцханнел и физичке портове повезане са хостовима. Ради лакшег конфигурисања, сви доступни ВЛАН-ови ће бити омогућени на свим логичким интерфејсима, али се генерално препоручује да се конфигурише само оно што је потребно:
Конфигурисање интерфејса Етхерцханнел:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeПочетна конфигурација мрежних интерфејса за виртуелне машине на хостовима Хост1 и Хост2
Проверавамо присуство модула неопходних за повезивање за рад у систему, инсталирамо модул за контролу мостова:
modinfo bonding
modinfo 8021q
yum install bridge-utilsКонфигурисање БОНД1 логичког интерфејса за виртуелне машине и његових физичких интерфејса на хостовима:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Након завршетка подешавања на стеку 2960H и хостова, поново покрећемо мрежу на хостовима и проверавамо функционалност логичког интерфејса.
- на домаћину:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- на стеку прекидача 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Почетна конфигурација мрежних интерфејса за управљање ресурсима кластера на хостовима Хост1 и Хост2
Конфигурисање БОНД1 логичког интерфејса за управљање и његових физичких интерфејса на хостовима:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Након завршетка подешавања на стеку 2960H и хостова, поново покрећемо мрежу на хостовима и проверавамо функционалност логичког интерфејса.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryКонфигуришемо интерфејс контролне мреже на сваком хосту у ВЛАН 17, и повежите га са логичким интерфејсом БОНД1:
Конфигурисање ВЛАН17 на Хост1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicКонфигурисање ВЛАН17 на Хост2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicПоново покрећемо мрежу на хостовима и проверавамо њихову видљивост једни другима.
Овим је завршена конфигурација стека Цисцо 2960Кс свичева, и ако је све урађено како треба, сада имамо мрежну повезаност свих инфраструктурних елемената једни са другима на нивоу Л2.
Подешавање система за складиштење Делл МД3820ф
Пре него што започнете рад на постављању система за складиштење података, он мора већ бити повезан са стеком Цисцо свичева 2960H контролне интерфејсе, као и на хостове Хост1 и Хост2 преко ФЦ.
Општи дијаграм како системи за складиштење података треба да се повежу са стеком прекидача дат је у претходном поглављу.
Дијаграм за повезивање система за складиштење преко ФЦ-а на хостове треба да изгледа овако:
Током повезивања, потребно је да запишете ВВПН адресе за ФЦ ХБА хостове повезане на ФЦ портове на систему за складиштење – то ће бити неопходно за касније подешавање везивања хостова за ЛУН-ове на систему за складиштење.
На радној станици администратора преузмите и инсталирајте услужни програм за управљање Делл МД3820ф системом за складиштење – ПоверВаулт Модулар Диск Стораге Манагер (МДСМ).
Повезујемо се са њим преко његових подразумеваних ИП адреса, а затим конфигуришемо наше адресе са ВЛАН17, за управљање контролерима преко ТЦП/ИП:
Складиштење1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Након подешавања адреса, идите на интерфејс за управљање складиштем и поставите лозинку, подесите време, ажурирајте фирмвер за контролере и дискове, ако је потребно, итд.
Како се то ради описано је у Систем за складиштење
Након што завршимо горенаведена подешавања, мораћемо само да урадимо неколико корака:
- Конфигуришите ИД-ове ФЦ порта домаћина – Идентификатори порта домаћина.
- Креирајте групу домаћина - Група домаћина и додајте му наша два Делл хоста.
- Направите групу дискова и виртуелне дискове (или ЛУН-ове) у њој који ће бити представљени домаћинима.
- Конфигуришите презентацију виртуелних дискова (или ЛУН-ова) за хостове.
Додавање нових хостова и везивање идентификатора ФЦ порта хоста за њих се врши преко менија - Хост Маппингс -> Дефинисати -> Домаћини…
ВВПН адресе ФЦ ХБА хостова могу се наћи, на пример, у иДРАЦ серверима.
Као резултат, требало би да добијемо нешто овако:
Додавање нове групе хостова и везивање хостова за њу се врши преко менија - Хост Маппингс -> Дефинисати -> Група домаћина…
За домаћине изаберите тип ОС - Линук (ДМ-МП).
Након креирања групе домаћина, преко таб Услуге складиштења и копирања, креирајте групу дискова – Група дискова, са типом који зависи од захтева за толеранцију грешака, на пример, РАИД10, а у њему виртуелни дискови потребне величине:
И коначно, последња фаза је представљање виртуелних дискова (или ЛУН-ова) домаћинима.
Да бисте то урадили, кроз мени - Хост Маппингс -> Мапирање месеца -> Адд ... Виртуелне дискове повезујемо са хостовима тако што им додељујемо бројеве.
Све би требало да изгледа као овај снимак екрана:
Овде завршавамо са подешавањем система за складиштење, и ако је све урађено како треба, онда би домаћини требало да виде ЛУН-ове који су им представљени преко свог ФЦ ХБА.
Хајде да присилимо систем да ажурира информације о повезаним дисковима:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanДа видимо који су уређаји видљиви на нашим серверима:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -На хостовима такође можете додатно да конфигуришете мултипатх, и иако при инсталацији оВирт то може и сам, боље је да сами унапред проверите исправан рад МП-а.
Инсталација и конфигурација ДМ Мултипатх
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Подесите МП услугу да се аутоматски покрене и покрените:
systemctl enable multipathd && systemctl restart multipathdПровера информација о учитаним модулима за рад МП:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Хајде да погледамо сажетак информација о постојећој вишепутној конфигурацији:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningНакон што додате нови ЛУН у систем за складиштење и представите га хосту, потребно је да скенирате ХБА-ове повезане са хостом на њему.
systemctl reload multipathd
multipath -v2И на крају, проверавамо да ли су сви ЛУН-ови представљени на систему складиштења за хостове и да ли постоје два пута до свих њих.
Провера рада МП:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningКао што видите, сва три виртуелна диска на систему за складиштење су видљива дуж две путање. Дакле, сви припремни радови су завршени, што значи да можете прећи на главни део - постављање оВирт кластера, о чему ће бити речи у следећем чланку.
Извор: ввв.хабр.цом