Увазе чытачоў прапануецца азнаёміцца з прынцыпамі пабудовы адмоваўстойлівай інфраструктуры невялікага прадпрыемства ў рамках аднаго ЦАДа, якія будуць дэталёва разгледжаны ў невялікім цыкле артыкулаў.
Уступная частка
Пад ЦАДам (Цэнтрам Апрацоўкі Даных) можа разумецца:
- уласная стойка ў сваім «серверным памяшканні» на тэрыторыі прадпрыемства, якое адпавядае мінімальным патрабаванням па забеспячэнні электрасілкаваннем і астуджэннем абсталявання, а таксама мае выхад у Інтэрнэт праз двух незалежных правайдэраў;
- арандуемая стойка з уласным абсталяваннем, размешчаная ў сапраўдным ЦАД - т.зв. collocation, які адпавядае стандарту Tier III або IV, і ў якім гарантуецца надзейнае электрасілкаванне, астуджэнне і забяспечваецца адмоваўстойлівы выхад у Інтэрнэт;
- цалкам якое арандуецца абсталяванне ў ЦАД Tier III або IV.
Які варыянт размяшчэння абраць - у кожным выпадку ўсё індывідуальна, і звычайна залежыць ад некалькіх асноўных фактараў:
- для чаго прадпрыемству ўвогуле ўласная IT інфраструктура;
- чаго менавіта жадае прадпрыемства ад IT інфраструктуры (надзейнасці, маштабаванасці, кіравальнасці і т.д.);
- аб'ёму пачатковых інвестыцый у IT інфраструктуру, а таксама якога тыпу выдаткі на яе - капітальныя (значыць купляецца сваё абсталяванне), або аперацыйныя (абсталяванне звычайна арандуецца);
- гарызонту планавання самога прадпрыемства.
Пра фактары, якія ўплываюць на рашэнне прадпрыемства па стварэнні і выкарыстанні яго IT інфраструктуры, можна пісаць шмат, але наша мэта ў тым, каб паказаць на практыцы, як стварыць гэтую самую інфраструктуру, каб яна была і адмоваўстойлівая, і яшчэ можна было б пры гэтым зэканоміць – знізіць выдаткі на набыццё камерцыйнага ПЗ, ці ўвогуле іх пазбегнуць.
Як паказвае доўгая практыка, на жалезе эканоміць не варта, бо скупы плаціць двойчы, і нават значна больш. Але зноў жа - добрае жалеза, гэта ўсяго толькі рэкамендацыя, і ў канчатковым выніку што менавіта купляць і за колькі, залежыць ад магчымасцяў прадпрыемства, і "прагнасці" яго кіраўніцтва. Прычым слова "прагнасць" варта разумець у добрым сэнсе гэтага слова, бо лепш укласціся ў жалеза на пачатковым этапе, каб потым не мець сур'ёзных праблем па яго далейшай падтрымцы і маштабаванні, бо першапачаткова няправільнае планаванне і празмерная эканомія, могуць прывесці ў будучыні да вялікім выдаткам, чым пры запуску праекту.
Такім чынам, зыходныя дадзеныя для праекту:
- ёсць прадпрыемства, якое вырашыла стварыць уласны вэб-партал і вывесці сваю дзейнасць у Інтэрнет;
- прадпрыемства вырашыла арандаваць стойку для размяшчэння свайго абсталявання ў добрым датацэнтры, які мае сертыфікацыю па стандарце Tier III;
- прадпрыемства вырашыла моцна не эканоміць на жалезе, і таму купіла наступнае абсталяванне з пашыранымі гарантыямі і падтрымкай:
Спіс абсталявання
- два фізічных сервера Dell PowerEdge R640 у такім складзе:
- два працэсара Intel Xeon Gold 5120
- 512 Гб аператыўнай памяці
- два SAS дыска ў RAID1, для ўсталёўкі АС
- убудаваная 4-х партовая сеткавая карта 1G
- дзве 2-х партовыя сеткавыя карты 10G
- адзін 2-х партовы FC HBA 16G.
- 2-х кантролерная СХД Dell MD3820f, падлучаная пасродкам FC 16G напроста да хастаў Dell;
- два камутатара другога ўзроўня – Cisco WS-C2960RX-48FPS-L аб'яднаныя ў стэк;
- два камутатара трэцяга ўзроўню – Cisco WS-C3850-24T-E, аб'яднаныя ў стэк;
- Стойка, UPS, PDU, кансольныя серверы - прадастаўляюцца датацэнтрам.
Як мы бачым, у наяўнага абсталявання ёсць добрыя перспектывы для гарызантальнага і вертыкальнага маштабавання, у выпадку, калі прадпрыемства зможа канкурыраваць з іншымі кампаніямі падобнага профілю ў Інтэрнеце, і пачне атрымліваць прыбытак, які можна будзе ўкласці ў пашырэнне рэсурсаў для далейшай канкурэнцыі і росту прыбытку.
Якое абсталяванне мы можам дадаць, калі прадпрыемства вырашыць павялічыць прадукцыйнасць нашага вылічальнага кластара:
- у нас ёсць вялікі рэзерв па колькасці партоў на камутатарах 2960Х, значыць можна дадаць больш апаратных сервераў;
- дакупіць два FC камутатара, каб падлучыць да іх СХД і дадатковыя серверы;
- ужо наяўныя сервера можна праапгрэйдзіць – дадаць памяці, замяніць працэсары на больш прадукцыйныя, падлучыць да сеткі 10G ужо наяўнымі сеткавымі адаптарамі;
- да СХД можна дадаць дадатковыя дыскавыя паліцы з неабходным тыпам дыскаў - SAS, SATA або SSD, залежыць ад планаванай нагрузкі;
- пасля дадання FC камутатараў можна дакупіць яшчэ адну СХД, каб дадаць яшчэ больш дыскавай ёмістасці, а калі да яе дакупіць адмысловую опцыю Remote Replication, то можна будзе наладзіць рэплікацыю дадзеных паміж СХД як у межах аднаго ЦАДа, так і паміж ЦАДамі (але гэта ўжо за рамкамі артыкула);
- таксама маюцца камутатары трэцяга ўзроўня – Cisco 3850, якія можна задзейнічаць у якасці абароненай ад збояў ядра сеткі, для высакахуткаснай маршрутызацыі паміж унутранымі сеткамі. Гэта вельмі дапаможа ў далейшым, па меры росту ўнутранай інфраструктуры. Таксама ў 3850 маюцца парты 10G, якія можна задзейнічаць пазней, пры абнаўленні сеткавага абсталявання да хуткасці 10G.
Бо зараз без віртуалізацыі нікуды, то і мы вядома ж будзем у трэндзе, тым больш гэта выдатны спосаб для памяншэння выдаткаў на набыццё дарагіх сервераў для асобных элементаў інфраструктуры (вэб-сервераў, баз дадзеных і да т.п.), якія не заўсёды аптымальна выкарыстоўваюцца ў выпадку нізкай нагрузкі, а менавіта так і будзе ў пачатку запуску праекту.
Да таго ж віртуалізацыя мае шматлікія іншыя перавагі, якія нам вельмі могуць спатрэбіцца: адмоваўстойлівасць ВМ ад збою апаратнага сервера, Live migration паміж апаратнымі вузламі кластара для іх абслугоўвання, ручное ці аўтаматычнае размеркаванне нагрузкі паміж вузламі кластара, і да т.п.
Для жалеза, набытага прадпрыемствам, напрошваецца разгортванне высока-даступнага кластара VMware vSphere, але бо любое ПЗ ад VMware вядома сваімі «конскімі» цэннікамі, то мы будзем выкарыстоўваць абсалютна бясплатнае праграмнае забеспячэнне для кіравання віртуалізацыяй. , на аснове якога ствараецца вядомы, але ўжо камерцыйны прадукт - .
Праграмнае забеспячэнне oВірт неабходна для аб'яднання паміж сабой усіх элементаў інфраструктуры ў адно цэлае, каб атрымаць магчымасць зручнай працы з высока-даступнымі віртуальнымі машынамі - гэта базы дадзеных, вэб-прыкладанні, проксі-сервера, балансавальнікі, сервера для збору логаў і аналітыкі і да т.п., гэта значыць тое, з чаго і складаецца вэб-партал нашага прадпрыемства.
Падагульняючы гэтае ўвядзенне, нас чакаюць наступныя артыкулы, якія на практыцы пакажуць, як менавіта разгарнуць усю апаратна-праграмную інфраструктуру прадпрыемства:
Спіс артыкулаў
- Частка 1. Падрыхтоўка да разгортвання кластара oVirt 4.3.
- Частка 2. Ўстаноўка і настройка кластара oVirt 4.3.
- Частка 3. Настройка кластара VyOS, арганізацыя адмоваўстойлівай знешняй маршрутызацыі.
- Частка 4. Налада стэка Cisco 3850, арганізацыя ўнутрысеткавай маршрутызацыі.
Частка 1. Падрыхтоўка да разгортвання кластара oVirt 4.3
Базавая настройка хастоў
Усталёўка і налада АС - гэта самы просты этап. Артыкулаў як правільна ўсталяваць і наладзіць АС – вялікае мноства, так што няма сэнсу спрабаваць выдаць нешта эксклюзіўнае з гэтай нагоды.
Такім чынам, у нас маецца два хаста Dell PowerEdge R640, на якія неабходна ўсталяваць АС і выканаць папярэднія наладкі, для іх выкарыстання ў якасці гіпервізораў для запуску віртуальных машын у кластары oVirt 4.3.
Так як мы плануем выкарыстоўваць бясплатнае некамерцыйнае ПА oVirt, то для разгортвання хастоў абрана АС CentOS 7.7, хоць на хасты для oVirt'а магчымая ўсталёўка і іншых АС:
- спецыяльнага білда на аснове RHEL, т.зв. ;
- OS Oracle Linux, улетку 2019 г. аб падтрымцы працы oVirt на ёй.
Перад усталёўкай АС рэкамендуецца:
- наладзіць сеткавы інтэрфейс iDRAC на абодвух хастах;
- абнавіць прашыўкі для BIOS і iDRAC да апошніх версій;
- наладзіць System Profile сервера пажадана ў рэжыме Performance;
- наладзіць RAID з лакальных дыскаў (рэкамендуецца RAID1), для ўстаноўкі АС на сервер.
Затым усталёўваны АС на створаны раней праз iDRAC дыск – працэс усталёўкі звычайны, нейкіх адмысловых момантаў у ім няма. Доступ да кансолі сервера для пачатку ўсталёўкі АС таксама можна атрымаць праз iDRAC, хоць нішто не мяшае падлучыць манітор, клавіятуру і мыш напроста да сервера і ўсталяваць АС з "флэшкі".
Пасля ўстаноўкі АС, выконваем яе пачатковыя наладкі:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Усталеўваны базавы набор ПЗ
Для пачатковай налады АС, трэба наладзіць любы сеткавы інтэрфейс на серверы, каб можна было б атрымаць доступ у Інтэрнэт, для абнаўлення АС і ўсталёўкі неабходных пакетаў ПЗ. Гэта можна зрабіць як падчас усталёўкі АС, так і пасля яго.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Усе вышэйпаказаныя налады і набор ПЗ - гэта справа асабістых пераваг, і дадзены набор носіць усяго толькі рэкамендацыйны характар.
Так як наш хост будзе гуляць ролю гіпервізара, то ўключым патрэбны профіль прадукцыйнасці:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Падрабязней аб профілі прадукцыйнасці можна пачытаць тут: ««.
Пасля ўсталёўкі АС, пераходзім да наступнай часткі – наладзе сеткавых інтэрфейсаў на хастах, і стэка камутатараў Cisco 2960X.
Настройка стэка камутатараў Cisco 2960X
У нашым праекце будуць выкарыстоўвацца наступныя нумары VLAN'аў - або шырокавяшчальных даменаў, ізаляваных сябар ад сябра, з мэтай падзелу розных выглядаў трафіку:
VLAN 10 - Інтэрнэт
VLAN 17 - Management (iDRAC, СХД, switches management)
VLAN 32 - VM production network
VLAN 33 – interconnection network (to external contractors)
VLAN 34 - VM test network
VLAN 35 - VM developer network
VLAN 40 - Monitoring network
Перад пачаткам прац, прывядзем схему на ўзроўні L2, да якой мы ў выніку павінны прыйсці:
Для сеткавага ўзаемадзеяння хастоў oVirt і віртуальных машын паміж сабой, а таксама для кіравання нашай СХД, неабходна налада стэка камутатараў Cisco 2960X.
У хастоў Dell маюцца ўбудаваныя 4-х партовыя сеткавыя карты, такім чынам, арганізаваць іх падлучэнне да Cisco 2960X мэтазгодна з дапамогай адмоваўстойлівага сеткавага падлучэння, выкарыстаючы для гэтага групоўку фізічных сеткавых партоў у лагічны інтэрфейс, і пратакол LACP (802.3ad):
- першыя два порта на хасце наладжваюцца ў рэжыме бандынгу і падлучаюцца да камутатара 2960X - на гэтым лагічным інтэрфейсе будзе наладжаны мост з адрасам для кіравання хастом, маніторынгу, сувязі з іншымі хастамі ў кластары oVirt, таксама ён будзе выкарыстоўвацца для Live migration віртуальных машын;
- другія два порта на хасце таксама наладжваюцца ў рэжыме бандынгу і падлучаюцца да 2960X - на гэтым лагічным інтэрфейсе з дапамогай oVirt, у далейшым будуць створаны bridge'і (у адпаведных VLAN'ах) да якіх будуць падлучацца віртуальныя машыны.
- абодва сеткавых порта, у рамках аднаго лагічнага інтэрфейсу, будуць актыўнымі, г.зн. трафік па іх можа перадавацца адначасова, у рэжыме балансавання.
- сеткавыя налады на вузлах кластара павінны быць абсалютна АДНАКОВЫЯ, за выключэннем IP адрасоў.
Базавая настройка стэка камутатараў 2960X і яго партоў
Папярэдне нашы камутатары павінны быць:
- змантаваны ў стойку;
- злучаныя пасродкам двух адмысловых кабеляў патрэбнай даўжыні, напрыклад, CAB-STK-E-1M;
- падключаны да электрасілкавання;
- падлучаныя да працоўнай станцыі адміністратара праз кансольны порт, для іх пачатковага канфігуравання.
Неабходнае кіраўніцтва для гэтага маецца на вытворцы.
Пасля выканання вышэйпаказаных дзеянняў, выконваем наладу камутатараў.
Што азначае кожная каманда, расшыфроўваць у рамках дадзенага артыкула не мяркуецца, пры неабходнасці ўсю інфармацыю можна знайсці самастойна.
Наша мэта - максімальна хутка наладзіць стэк камутатараў і падлучыць да яго хасты і кіравальныя інтэрфейсы СХД.
1) Падлучаемся да вядучага камутатара, пераходзім у прывілеяваны рэжым, далей заходзім у рэжым канфігуравання і вырабляем асноўныя налады.
Базавы канфіг камутатара:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Захоўваем канфіг камандай «wr mem» і перазагружаем стэк камутатараў камандай «перазагружаць» на кіроўным камутатары switch 1.
2) Наладжваем сеткавыя парты камутатара ў рэжыме доступу (access) у VLAN 17, для падлучэння кіраўнікоў інтэрфейсаў СХД і iDRAC сервераў.
Настройка партоў кіравання:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Пасля перазагрузкі стэка, правяраем, каб ён працаваў карэктна:
Праверка функцыянавання стэка:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Настройка SSH доступу да стэка 2960X
Для выдаленага кіравання стэкам праз SSH, будзем выкарыстоўваць IP 172.20.1.10, наладжаны на SVI (switch virtual interface) VLAN17.
Хоць для мэт кіравання пажадана выкарыстоўваць спецыяльны выдзелены порт на камутатары, але гэта справа асабістых пераваг і магчымасцяў.
Настройка SSH доступу да стэка камутатараў:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordНаладжваем пароль для ўваходу ў прывілеяваны рэжым:
enable secret *myenablepassword*
service password-encryptionНаладжваем NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Наладжваем лагічныя інтэрфейсы Etherchannel і фізічныя парты, якія падключаюцца да хастаў. Для прастаты канфігурацыі, усе наяўныя VLAN'ы будуць дазволеныя на ўсіх лагічных інтэрфейсах, але звычайна рэкамендуецца наладжваць толькі тое, што трэба:
Настройка інтэрфейсаў Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeПершасная настройка сеткавых інтэрфейсаў для віртуальных машын, на хастах Госць1 и Госць2
Правяраем наяўнасць неабходных для працы бандынгу модуляў у сістэме, усталёўваны модуль для кіравання брыджамі:
modinfo bonding
modinfo 8021q
yum install bridge-utilsНастройка на хастах лагічнага інтэрфейсу BOND1 для віртуальных машын, і яго фізічных інтэрфейсаў:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Пасля завяршэння налад на стэку 2960H і хастах, рэстартуем сетку на хастах, і правяраем працаздольнасць лагічнага інтэрфейсу.
- на хасце:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- на стэку камутатараў 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Першасная настройка сеткавых інтэрфейсаў для кіравання рэсурсамі кластара, на хастах Госць1 и Госць2
Настройка на хастах лагічнага інтэрфейсу BOND1 для кіравання, і яго фізічных інтэрфейсаў:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Пасля завяршэння налад на стэку 2960H і хастах, рэстартуем сетку на хастах, і правяраем працаздольнасць лагічнага інтэрфейсу.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryНаладжваем кіраўнік сеткавы інтэрфейс на кожным хасце ў VLAN 17, і прывязваем яго да лагічнага інтэрфейсу BOND1:
Настройка VLAN17 на Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicНастройка VLAN17 на Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicЯкі робіцца рэстарт сеткі на хастах і правяраем іх бачнасць паміж сабой.
На гэтым налада стэка камутатараў Cisco 2960X скончана, і калі ўсё было зроблена правільна, то зараз мы маем сеткавую злучанасць усіх элементаў інфраструктуры паміж сабой на ўзроўні L2.
Настройка СХД Dell MD3820f
Перад пачаткам прац па наладзе СХД, яна ўжо павінна быць падлучаная да стэка камутатараў Cisco 2960H кіраўнікамі інтэрфейсамі, а таксама да хастаў Госць1 и Госць2 праз FC.
Агульная схема, як СГД павінна быць падлучаная да стэка камутатараў, прыводзілася ў папярэднім раздзеле.
Схема падлучэння СХД па FC да хастаў, павінна выглядаць так:
Падчас падлучэння, неабходна запісаць WWPN адрасы для FC HBA хастоў, падлучаных да FC партоў на СХД – гэта будзе неабходна для наступнай налады прывязкі хастоў да LUN'ам на СХД.
На працоўную станцыю адміністратара спампоўваем і ўсталёўваны ўтыліту для кіравання СХД Dell MD3820f – PowerVault Modular Disk Storage Manager (МДСМ).
Падлучаемся да яе праз яе IP адрасы па змаўчанні, і затым наладжваем нашы адрасы з VLAN17, для кіравання кантролерамі праз TCP/IP:
Захоўванне1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Пасля налады адрасоў, заходзім у інтэрфейс кіравання СХД і задаём пароль, наладжваем час, абнаўляем прашыўкі для кантролераў і дыскаў, калі гэта неабходна і да т.п.
Як гэта робіцца - апісана ў СГД.
Пасля выканання вышэйпаказаных налад, нам трэба будзе зрабіць усяго некалькі дзеянняў:
- Наладзіць ідэнтыфікатары хостовых FC партоў - Host Port Identifiers.
- Стварыць групу хастоў - Вядучая група і дадаць у яе два нашых хаста Dell.
- Стварыць дыскавую групу і ў ёй віртуальныя дыскі (ці LUN'ы), якія будуць прэзентаваны хастам.
- Наладзіць прэзентацыю віртуальных дыскаў (або LUN'аў) для хастоў.
Даданне новых хастоў і прывязка да іх ідэнтыфікатараў хостовых FC партоў, робіцца праз меню - Host Mappings -> вызначаць -> Hosts…
WWPN адрасы FC HBA хастоў можна знайсці, напрыклад, у iDRAC сервера.
У выніку ў нас павінна атрымацца прыкладна такая карцінка:
Даданне новай групы хастоў і прывязка да яе хастоў, робіцца праз меню - Host Mappings -> вызначаць -> Host Group…
Для хастоў выбіраемы тып АС – Linux (DM-MP).
Пасля стварэння групы хастоў, праз укладку Storage & Copy Services, ствараем дыскавую групу – Група дыскаў, з тыпам якія залежаць ад патрабаванняў да адмоваўстойлівасці, напрыклад, RAID10, а ў ёй віртуальныя дыскі патрэбнага памеру:
І нарэшце, фінальны этап – прэзентацыя віртуальных дыскаў (або LUN'аў) для хастоў.
Для гэтага праз меню - Host Mappings -> Lun mapping -> Дадаць ... які робіцца прывязку віртуальных дыскаў да хастаў, прызначаючы ім нумара.
Усё павінна атрымацца так, як на гэтым скрыншоце:
На гэтым з наладай СГД мы заканчваем, і калі ўсё зроблена было правільна, то хасты павінны ўбачыць прэзентаваныя ім LUN'ы праз свае FC HBA.
Прымусім сістэму абнавіць інфармацыю аб падлучаных дысках:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanПаглядзім, якія прылады бачныя на нашых серверах:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -На хастах таксама дадаткова можна наладзіць шматразовы, і хоць пры ўсталёўцы oVirt ён можа зрабіць гэта і сам, але лепш праверыць карэктнасць працы MP загадзя самім.
Устаноўка і настройка DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Усталеўваны сэрвіс MP у аўтастарт і запускаем яго:
systemctl enable multipathd && systemctl restart multipathdПраверка інфармацыі аб загружаных модулях для працы MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Праглядаем зводную інфармацыю аб існуючай канфігурацыі multipath:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningПасля дадання новага LUN на СХД і прэзентацыі яго хасту, на ім трэба выканаць сканаванне падлучаных да хаста HBA.
systemctl reload multipathd
multipath -v2Ну і нарэшце, правяраем, ці ўсе LUN'ы былі прэзентаваныя на СГД для хастоў, і ці да ўсіх вядуць два шляхі.
Праверка працы MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningЯк бачна, усе тры віртуальныя дыскі на СГД бачныя па двух шляхах. Такім чынам усе падрыхтоўчыя працы выкананы, а значыць можна пераходзіць да выканання асноўнай часткі - наладзе кластара oVirt, што будзе разгледжана ў наступным артыкуле.
Крыніца: habr.com