ProHoster > блог > Администрација > Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

Читателите се поканети да се запознаат со принципите на изградба на инфраструктура толерантна за грешки за мало претпријатие во рамките на еден центар за податоци, што ќе биде детално разгледано во кратка серија написи.

Вовед

Под На Центарот за податоци (Центар за обработка на податоци) може да се разбере како:

  • сопствена решетка во сопствената „сервер соба“ во просториите на претпријатието, која ги исполнува минималните барања за обезбедување напојување и ладење на опремата, а исто така има пристап до Интернет преку два независни провајдери;
  • изнајмена решетка со сопствена опрема, сместена во вистински центар за податоци - т.н. колокација, која е во согласност со стандардот Tier III или IV, и која гарантира доверливо напојување, ладење и пристап до Интернет толерантен за грешки;
  • целосно изнајмена опрема во центарот за податоци од Ниво III или IV.

Која опција за сместување да се избере е индивидуална во секој случај и обично зависи од неколку главни фактори:

  • Зошто на претпријатието му е потребна сопствена ИТ инфраструктура?
  • што точно сака претпријатието од ИТ инфраструктурата (сигурност, приспособливост, управливост итн.);
  • обемот на почетните инвестиции во ИТ инфраструктурата, како и каков тип на трошоци за неа - капитални (што значи дека купувате сопствена опрема), или оперативни (опремата обично се изнајмува);
  • хоризонт на планирање на самото претпријатие.

Може да се пишува многу за факторите кои влијаат на одлуката на претпријатието да ја создаде и користи својата ИТ инфраструктура, но нашата цел е да покажеме во пракса како да ја создадеме токму оваа инфраструктура за да биде и толерантна за грешки и да заштеди пари. – намали трошоците за купување на комерцијален софтвер или целосно избегнувајте ги.

Како што покажува долгорочната практика, не вреди да се заштеди на хардвер, бидејќи скржавиот плаќа двапати, па дури и многу повеќе. Но, повторно, добриот хардвер е само препорака, а на крајот што точно да се купи и за колку зависи од можностите на претпријатието и „алчноста“ на неговото управување. Згора на тоа, зборот „алчност“ треба да се разбере во добра смисла на зборот, бидејќи е подобро да се инвестира во хардвер во почетната фаза, за да нема сериозни проблеми со неговата понатамошна поддршка и скалирање, бидејќи првично неправилно планирање и прекумерните заштеди може да доведат до повисоки трошоци отколку при започнување на проектот.

Значи, првичните податоци за проектот:

  • постои претпријатие кое одлучи да создаде сопствен веб-портал и да ги пренесе своите активности на Интернет;
  • компанијата одлучи да изнајми багажник за да ја постави својата опрема во добар центар за податоци сертифициран според стандардот Tier III;
  • компанијата одлучи да не штеди многу на хардвер и затоа ја купи следната опрема со продолжени гаранции и поддршка:

Список на опрема

  • два физички сервери на Dell PowerEdge R640 како што следува:
  • два процесори Intel Xeon Gold 5120
  • 512 GB RAM меморија
  • два SAS дискови во RAID1, за инсталација на ОС
  • вградена мрежна картичка со 4 порти 1G
  • две мрежни картички со 2 порти 10G
  • еден FC HBA 2G со 16 порти.
  • Систем за складирање со 2 контролери Dell MD3820f, поврзан преку FC 16G директно со домаќините на Dell;
  • два прекинувачи од второ ниво - наредени Cisco WS-C2960RX-48FPS-L;
  • два прекинувачи од трето ниво - Cisco WS-C3850-24T-E, наредени;
  • Рак, UPS, PDU, сервери за конзоли се обезбедени од центарот за податоци.

Како што гледаме, постоечката опрема има добри изгледи за хоризонтално и вертикално скалирање, доколку претпријатието може да се натпреварува со други компании од сличен профил на Интернет и почне да заработува профит, што може да се инвестира во проширување на ресурсите за понатамошна конкуренција и раст на профитот.

Каква опрема можеме да додадеме ако претпријатието одлучи да ги зголеми перформансите на нашиот компјутерски кластер:

  • имаме голема резерва во бројот на порти на прекинувачите 2960X, што значи дека можеме да додадеме повеќе хардверски сервери;
  • купете два дополнителни FC прекинувачи за поврзување на системи за складирање и дополнителни сервери со нив;
  • постојните сервери може да се надградат - додадете меморија, заменете ги процесорите со помоќни, поврзете се на 10G мрежа користејќи постојни мрежни адаптери;
  • Можете да додадете дополнителни полици за диск на системот за складирање со потребниот тип на диск - SAS, SATA или SSD, во зависност од планираното оптоварување;
  • по додавањето FC прекинувачи, можете да купите друг систем за складирање за да додадете уште поголем капацитет на дискот и ако купите специјална опција Remote Replication на него, можете да поставите репликација на податоци помеѓу системи за складирање и во истиот центар за податоци и помеѓу центрите за податоци ( но ова е веќе надвор од опсегот на статијата);
  • Исто така, постојат прекинувачи од трето ниво - Cisco 3850, кој може да се користи како мрежно јадро толерантно за грешки за насочување со голема брзина помеѓу внатрешните мрежи. Ова ќе биде многу корисно во иднина, бидејќи внатрешната инфраструктура ќе расте. 3850 има и порти за 10G, кои може да се користат подоцна при надградба на вашата мрежна опрема до брзини од 10G.

Бидејќи сега нема никаде без виртуелизација, секако дека ќе бидеме во тренд, особено затоа што ова е одличен начин да се намалат трошоците за купување скапи сервери за поединечни инфраструктурни елементи (веб сервери, бази на податоци итн.), кои не се секогаш оптималните се користат во случај на мало оптоварување, а токму тоа ќе се случи на почетокот на лансирањето на проектот.

Дополнително, виртуелизацијата има многу други предности кои можат да ни бидат многу корисни: толеранција на грешки на VM против дефект на хардверскиот сервер, Миграција во живо помеѓу хардверските јазли за нивно одржување, рачна или автоматска дистрибуција на оптоварување помеѓу јазлите на кластерот итн.

За хардверот купен од претпријатието, се предлага распоредувањето на високо достапен кластер VMware vSphere, но бидејќи секој софтвер од VMware е познат по своите ознаки за „коњи“, ќе користиме апсолутно бесплатен софтвер за управување со виртуелизација - о Вирт, врз основа на кој се создава добро познат, но веќе комерцијален производ - rhev.

Софтвер о Вирт неопходно е да се комбинираат сите инфраструктурни елементи во една целина за да може удобно да се работи со високо достапни виртуелни машини - тоа се бази на податоци, веб-апликации, прокси-сервери, балансери, сервери за собирање дневници и аналитика, итн., односно што веб порталот на нашето претпријатие се состои од.

За да го сумираме овој вовед, можеме да ги очекуваме следните написи, кои во пракса ќе покажат точно како да се распореди целата хардверска и софтверска инфраструктура на претпријатието:

Список на статии

  • Дел 1. Се подготвува за распоредување на кластерот oVirt 4.3.
  • Дел 2. Инсталирање и конфигурирање на кластерот oVirt 4.3.
  • Дел 3. Поставување кластер VyOS, организирање надворешно рутирање толерантно на грешки.
  • Дел 4. Поставување стек Cisco 3850, организирање на рутирање на интранет.

Дел 1. Подготовка за распоредување на кластерот oVirt 4.3

Основно поставување на домаќинот

Инсталирањето и конфигурирањето на ОС е најлесниот чекор. Има многу статии за тоа како правилно да го инсталирате и конфигурирате оперативниот систем, така што нема смисла да се обидувате да дадете нешто ексклузивно за ова.

Значи, имаме два домаќини на Dell PowerEdge R640 на кои треба да го инсталираме оперативниот систем и да извршиме прелиминарни поставки за да ги користиме како хипервизори за водење виртуелни машини во кластерот oVirt 4.3.

Бидејќи планираме да го користиме бесплатниот некомерцијален софтвер oVirt, оперативниот систем беше избран за распоредување хостови CentOS 7.7, иако други ОС може да се инсталираат на хостови за oVirt:

  • специјална градба врз основа на RHEL, т.н. oVirt јазол;
  • ОС Oracle Linux, лето 2019 година беше објавено за поддршка на работата на oVirt на неа.

Пред да го инсталирате оперативниот систем, се препорачува:

  • конфигурирајте го мрежниот интерфејс iDRAC на двата домаќини;
  • ажурирајте го фирмверот на BIOS-от и iDRAC до најновите верзии;
  • конфигурирајте го Системскиот профил на серверот, по можност во режим на изведба;
  • конфигурирајте RAID од локални дискови (се препорачува RAID1) за да го инсталирате ОС на серверот.

Потоа го инсталираме ОС на дискот создаден порано преку iDRAC - процесот на инсталација е нормален, нема посебни моменти во него. Пристап до серверската конзола за започнување на инсталацијата на ОС може да се добие и преку iDRAC, иако ништо не ве спречува да поврзете монитор, тастатура и глушец директно на серверот и да го инсталирате ОС од флеш-уред.

По инсталирањето на ОС, ги извршуваме неговите првични поставки:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Инсталирање на основен сет на софтвер

За првично да го конфигурирате ОС, треба да го конфигурирате кој било мрежен интерфејс на серверот за да можете да пристапите на Интернет за да го ажурирате ОС и да ги инсталирате потребните софтверски пакети. Ова може да се направи и за време на процесот на инсталација на ОС и по него.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Сите горенаведени поставки и софтверски сет се прашање на лични преференци и овој сет е само препорака.

Бидејќи нашиот домаќин ќе ја игра улогата на хипервизор, ќе го овозможиме потребниот профил на изведба:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Можете да прочитате повеќе за профилот на изведбата овде:Поглавје 4. дотерани и дотерани-адм".

По инсталирањето на оперативниот систем, преминуваме на следниот дел - поставување мрежни интерфејси на хостовите и куп Cisco 2960X прекинувачи.

Конфигурирање на Cisco 2960X Switch Stack

Нашиот проект ќе ги користи следниве броеви на VLAN - или емитувани домени, изолирани едни од други, со цел да се одделат различни видови сообраќај:

VLAN 10 - Интернет
VLAN 17 – Управување (iDRAC, систем за складирање, управување со прекинувачи)
VLAN 32 – Мрежа за производство на VM
VLAN 33 – мрежа за интерконекција (на надворешни изведувачи)
VLAN 34 – Мрежа за тестирање на VM
VLAN 35 – Мрежа на развивачи на VM
VLAN 40 – Мрежа за следење

Пред да започнеме со работа, еве дијаграм на ниво L2 до кој на крајот треба да дојдеме:

Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

За мрежна интеракција на oVirt-домаќините и виртуелните машини едни со други, како и за управување со нашиот систем за складирање, неопходно е да се конфигурира куп Cisco 2960X прекинувачи.

Домаќините на Dell имаат вградени мрежни картички со 4 порти, затоа, препорачливо е да се организира нивната врска со Cisco 2960X користејќи мрежна врска толерантна за грешки, користејќи групирање на физички мрежни порти во логичен интерфејс и протоколот LACP ( 802.3 ad):

  • првите две порти на домаќинот се конфигурирани во режим на поврзување и поврзани со прекинувачот 2960X - овој логичен интерфејс ќе биде конфигуриран мост со адреса за управување со хост, следење, комуникација со други хостови во кластерот oVirt, ќе се користи и за миграција во живо на виртуелни машини;
  • вторите две порти на хостот исто така се конфигурирани во режим на поврзување и се поврзани со 2960X - на овој логичен интерфејс со помош на oVirt, во иднина ќе се создаваат мостови (во соодветните VLAN) на кои ќе се поврзат виртуелните машини.
  • двете мрежни порти, во рамките на истиот логички интерфејс, ќе бидат активни, т.е. сообраќајот над нив може да се пренесува истовремено, во режим на балансирање.
  • мрежните поставки на јазлите на кластерот мора да бидат апсолутно ИСТИ, со исклучок на IP адресите.

Основно поставување на стек на прекинувачи 2960X и нејзините пристаништа

Нашите прекинувачи прво мора да бидат:

  • монтиран на решетката;
  • поврзан преку два специјални кабли со потребната должина, на пример, CAB-STK-E-1M;
  • поврзан со напојување;
  • поврзани со работната станица на администраторот преку пристаништето на конзолата за нивна почетна конфигурација.

Потребните упатства за ова се достапни на официјална страница производителот.

По завршувањето на горенаведените чекори, ги конфигурираме прекинувачите.
Што значи секоја команда не е наменето да се дешифрира во рамките на овој член; доколку е потребно, сите информации може да се најдат независно.
Нашата цел е да го конфигурираме стекот на прекинувачи што е можно побрзо и да ги поврземе домаќините и интерфејсите за управување со складирање со него.

1) Поврзете се со главниот прекинувач, одете во привилегиран режим, потоа одете во режим на конфигурација и направете основни поставки.

Основна конфигурација на прекинувачот:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Конфигурацијата ја зачувуваме со командата „wr мем„и рестартирајте го купот прекинувач со командата“Вчитај» на главниот прекинувач 1.

2) Ги конфигурираме мрежните порти на прекинувачот во режим на пристап во VLAN 17, за поврзување на интерфејсите за управување на системите за складирање и iDRAC серверите.

Поставување порти за управување:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Откако повторно ќе го вчитате стекот, проверете дали работи правилно:

Проверка на функционалноста на оџакот:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Поставување SSH пристап до оџакот 2960X

За далечинско управување со стекот преку SSH, ќе користиме IP 172.20.1.10 конфигурирана за SVI (префрли виртуелен интерфејс) VLAN17.

Иако е препорачливо да се користи посветена наменска порта на прекинувачот за цели на управување, ова е прашање на лични преференци и можности.

Конфигурирање на SSH пристап до куп прекинувачи:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Поставете лозинка за да влезете во привилегиран режим:

enable secret *myenablepassword*
service password-encryption

Поставување NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Конфигурирајте ги логичките интерфејси на Etherchannel и физичките порти поврзани со хостовите. За полесно конфигурирање, сите достапни VLAN ќе бидат овозможени на сите логички интерфејси, но генерално се препорачува да се конфигурира само она што е потребно:

Конфигурирање на интерфејси на Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Почетна конфигурација на мрежни интерфејси за виртуелни машини на хостовите Домаќин 1 и Домаќин 2

Ние го проверуваме присуството на модули неопходни за поврзување за работа во системот, инсталираме модул за контролирање на мостовите:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Конфигурирање на логичкиот интерфејс BOND1 за виртуелни машини и неговите физички интерфејси на домаќините:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

По завршувањето на поставките на магацинот 2960 ч и хостови, ја рестартираме мрежата на хостовите и ја проверуваме функционалноста на логичкиот интерфејс.

  • на домаќинот:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • на стек со прекинувачи 2960 ч:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Почетна конфигурација на мрежните интерфејси за управување со ресурсите на кластерот на хостовите Домаќин 1 и Домаќин 2

Конфигурирање на логичкиот интерфејс BOND1 за управување и неговите физички интерфејси на домаќините:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

По завршувањето на поставките на магацинот 2960 ч и хостови, ја рестартираме мрежата на хостовите и ја проверуваме функционалноста на логичкиот интерфејс.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Ние го конфигурираме контролниот мрежен интерфејс на секој домаќин внатре VLAN 17, и поврзете го со логичкиот интерфејс BOND1:

Конфигурирање на VLAN17 на Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Конфигурирање на VLAN17 на Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Ја рестартираме мрежата на домаќините и ја проверуваме нивната видливост еден на друг.

Ова ја комплетира конфигурацијата на купот на Cisco 2960X прекинувачи, и ако сè е направено правилно, тогаш сега имаме мрежно поврзување на сите инфраструктурни елементи едни со други на ниво L2.

Поставување на системот за складирање Dell MD3820f

Пред да започнете со работа за поставување на системот за складирање, тој веќе мора да биде поврзан со куп Cisco прекинувачи 2960 ч контролни интерфејси, како и на домаќините Домаќин 1 и Домаќин 2 преку ФК.

Општиот дијаграм за тоа како системите за складирање треба да се поврзат со куп прекинувачи беше даден во претходното поглавје.

Дијаграмот за поврзување на системот за складирање преку FC со домаќините треба да изгледа вака:

Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

За време на поврзувањето, треба да ги запишете WWPN-адресите за FC HBA-домаќините поврзани со FC-портите на системот за складирање - ова ќе биде неопходно за подоцнежно поставување на врзувањето на хостовите за LUN на системот за складирање.

На работната станица на администраторот, преземете ја и инсталирајте ја алатката за управување со системот за складирање Dell MD3820f - PowerVault Modular Disk Storage Manager (МДСМ).
Ние се поврзуваме со него преку неговите стандардни IP адреси, а потоа ги конфигурираме нашите адреси од VLAN17, за управување со контролори преку TCP/IP:

Складирање1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Откако ќе ги поставите адресите, одете до интерфејсот за управување со складирање и поставете лозинка, поставете го времето, ажурирајте го фирмверот за контролери и дискови, доколку е потребно, итн.
Како се прави ова е опишано во водич за администрација Систем за складирање

По завршувањето на горенаведените поставки, ќе треба да направиме само неколку чекори:

  1. Конфигурирајте ги идентификаторите на портите на домаќинот FC - Идентификатори на портата на домаќинот.
  2. Создадете група домаќин - Група домаќин и додадете ги нашите два домаќини на Dell на него.
  3. Направете група на дискови и виртуелни дискови (или LUN) во неа кои ќе бидат претставени на домаќините.
  4. Конфигурирајте ја презентацијата на виртуелни дискови (или LUN) за домаќините.

Додавањето нови хостови и врзувањето на идентификаторите на портата на FC на домаќинот за нив се врши преку менито - Мапирања на домаќини -> Дефинирај -> Домаќините…
WWPN адресите на FC HBA хостовите може да се најдат, на пример, во серверите iDRAC.

Како резултат на тоа, треба да добиеме нешто како ова:

Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

Додавањето нова група на хостови и врзувањето на хостовите за неа се врши преку менито - Мапирања на домаќини -> Дефинирај -> Група домаќин…
За домаќините, изберете го типот ОС - Linux (DM-MP).

По креирањето на група домаќин, преку табот Услуги за складирање и копирање, креирајте група на дискови - Група на дискови, со тип во зависност од барањата за толеранција на грешки, на пример, RAID10 и во него виртуелни дискови со потребната големина:

Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

И, конечно, последната фаза е презентација на виртуелни дискови (или LUN) на домаќините.
За да го направите ова, преку менито - Мапирања на домаќини -> Мапирање на месечината -> Додај Ние ги поврзуваме виртуелните дискови со домаќините со доделување броеви на нив.

Сè треба да изгледа како оваа слика од екранот:

Создавање на ИТ инфраструктура толерантна за грешки. Дел 1 - подготовка за распоредување на кластерот oVirt 4.3

Тука го завршуваме поставувањето на системот за складирање, и ако сè е направено правилно, тогаш домаќините треба да ги видат LUN-ите што им се претставени преку нивниот FC HBA.
Да го принудиме системот да ги ажурира информациите за поврзаните дискови:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Ајде да видиме кои уреди се видливи на нашите сервери:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

На хостовите исто така можете дополнително да конфигурирате мултипат, и иако при инсталирање на oVirt може да го направи тоа сам, подобро е самите да ја проверите правилната работа на MP однапред.

Инсталација и конфигурација на DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Поставете ја услугата MP на автоматско стартување и стартувајте ја:

systemctl enable multipathd && systemctl restart multipathd

Проверка на информации за вчитаните модули за работа со MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Ајде да ги погледнеме збирните информации за постоечката конфигурација на повеќе патеки:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Откако ќе додадете нов LUN на системот за складирање и ќе го претставите на домаќинот, треба да ги скенирате HBA поврзаните со домаќинот на него. 

systemctl reload multipathd
multipath -v2

И, конечно, проверуваме дали сите LUN ​​се претставени на системот за складирање на домаќините и дали има две патеки до сите нив.

Проверка на работата на MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Како што можете да видите, сите три виртуелни дискови на системот за складирање се видливи по две патеки. Така, целата подготвителна работа е завршена, што значи дека можете да продолжите до главниот дел - поставување на кластерот oVirt, за кој ќе се дискутира во следната статија.

Извор: www.habr.com

Додадете коментар