Ақауларға төзімді АТ-инфрақұрылымын құру. 1-бөлім – oVirt 4.3 кластерін орналастыруға дайындық

Оқырмандарға мақалалардың қысқа топтамасында егжей-тегжейлі талқыланатын бірыңғай деректер орталығы аясында шағын кәсіпорынның ақауларға төзімді инфрақұрылымын құру қағидаларымен танысуға шақырылады.

Кіріспе

By Деректер орталығы (Деректерді өңдеу орталығы) деп түсінуге болады:

  • электрмен жабдықтау және жабдықты салқындату үшін ең төменгі талаптарға жауап беретін, сондай-ақ екі тәуелсіз провайдер арқылы Интернетке қол жетімділігі бар кәсіпорынның үй-жайындағы жеке «сервер бөлмесіндегі» жеке сөре;
  • нақты деректер орталығында орналасқан өз жабдығы бар жалға алынған тірек - деп аталатын. ІІІ немесе IV деңгейлі стандартқа сәйкес келетін және сенімді электрмен жабдықтауға, салқындатуға және ақауларға төзімді Интернетке қол жеткізуге кепілдік беретін коллокация;
  • III немесе IV деңгейлі деректер орталығында толығымен жалға алынған жабдық.

Қандай орналастыру нұсқасын таңдау әр жағдайда жеке болып табылады және әдетте бірнеше негізгі факторларға байланысты:

  • Неліктен кәсіпорынға өзінің IT-инфрақұрылымы қажет?
  • кәсіпорын АТ-инфрақұрылымынан нақты нені қалайды (сенімділік, ауқымдылық, басқарушылық және т.б.);
  • АТ-инфрақұрылымына бастапқы инвестициялардың көлемі, сондай-ақ ол үшін қандай шығындар түрі – капитал (бұл сіз өзіңіздің жабдықты сатып аласыз) немесе операциялық (әдетте жабдық жалға беріледі);
  • кәсіпорынның өзін жоспарлау көкжиегі.

Кәсіпорынның АТ-инфрақұрылымын құру және пайдалану шешіміне әсер ететін факторлар туралы көп жазуға болады, бірақ біздің мақсатымыз – бұл инфрақұрылымды қатеге төзімді және ақшаны үнемдей алатындай етіп құруды іс жүзінде көрсету. коммерциялық бағдарламалық құралды сатып алу құны немесе олардан мүлдем аулақ болыңыз.

Ұзақ мерзімді тәжірибе көрсеткендей, жабдықты үнемдеудің қажеті жоқ, өйткені сараң екі рет төлейді, тіпті одан да көп. Бірақ тағы да, жақсы жабдық - бұл тек ұсыныс, ал соңында нені сатып алу керек және қаншаға кәсіпорынның мүмкіндіктеріне және оны басқарудың «ашкөздігіне» байланысты. Сонымен қатар, «ашкөздік» сөзін сөздің жақсы мағынасында түсіну керек, өйткені бастапқы кезеңде оны одан әрі қолдау және масштабтауда елеулі проблемалар туындамас үшін аппараттық құралдарға инвестиция салған дұрыс, өйткені бастапқыда дұрыс емес жоспарлау және шамадан тыс үнемдеу жобаны бастағанға қарағанда жоғары шығындарға әкелуі мүмкін.

Сонымен, жобаның бастапқы деректері:

  • өз веб-порталын құруға және өз қызметін Интернетке шығаруға шешім қабылдаған кәсіпорын бар;
  • компания өз жабдығын Tier III стандартына сәйкес сертификатталған жақсы деректер орталығына орналастыру үшін тірек жалдау туралы шешім қабылдады;
  • компания аппараттық құралдарды көп үнемдемеу туралы шешім қабылдады, сондықтан кеңейтілген кепілдіктері мен қолдауы бар келесі жабдықты сатып алды:

Жабдықтардың тізімі

  • төмендегідей екі физикалық Dell PowerEdge R640 сервері:
  • екі Intel Xeon Gold 5120 процессоры
  • 512 Гб жедел жады
  • ОЖ орнатуға арналған RAID1 жүйесіндегі екі SAS дискісі
  • кірістірілген 4 портты 1G желілік картасы
  • екі 2 портты 10G желі картасы
  • бір 2 портты FC HBA 16G.
  • FC 2G арқылы тікелей Dell хосттарына қосылған Dell MD3820f 16 контроллерлі сақтау жүйесі;
  • екі екінші деңгейлі қосқыштар - Cisco WS-C2960RX-48FPS-L жинақталған;
  • екі үшінші деңгейлі қосқыштар - Cisco WS-C3850-24T-E, жинақталған;
  • Rack, UPS, PDU, консоль серверлерін деректер орталығы қамтамасыз етеді.

Көріп отырғанымыздай, егер кәсіпорын Интернетте ұқсас профильдегі басқа компаниялармен бәсекеге түссе және одан әрі бәсекелестік үшін ресурстарды кеңейтуге инвестициялауға болатын пайда ала бастаса, қолданыстағы жабдықтың көлденең және тік масштабтаудың жақсы болашағы бар. және пайданың өсуі.

Кәсіпорын біздің есептеу кластерінің өнімділігін арттыруды шешсе, біз қандай жабдықты қоса аламыз:

  • бізде 2960X қосқыштарындағы порттар санында үлкен резерв бар, яғни біз көбірек аппараттық серверлерді қоса аламыз;
  • сақтау жүйелерін және оларға қосымша серверлерді қосу үшін екі қосымша FC қосқышын сатып алу;
  • бар серверлерді жаңартуға болады - жадты қосу, процессорларды неғұрлым қуаттылармен ауыстыру, бар желілік адаптерлер арқылы 10G желісіне қосылу;
  • Жоспарланған жүктемеге байланысты қажетті диск түрі - SAS, SATA немесе SSD бар сақтау жүйесіне қосымша диск сөрелерін қосуға болады;
  • FC қосқыштарын қосқаннан кейін, одан да көп диск сыйымдылығын қосу үшін басқа сақтау жүйесін сатып алуға болады және оған арнайы Қашықтан репликация опциясын сатып алсаңыз, бір деректер орталығында да, деректер орталықтары арасында да сақтау жүйелері арасында деректер репликациясын орнатуға болады ( бірақ бұл мақаланың шеңберінен шығып кетті);
  • Сондай-ақ үшінші деңгейлі коммутаторлар бар - Cisco 3850, олар ішкі желілер арасында жоғары жылдамдықты маршруттау үшін ақауларға төзімді желі ядросы ретінде пайдаланылуы мүмкін. Бұл ішкі инфрақұрылымның ұлғаюына байланысты болашақта өте пайдалы болады. 3850-де 10G порттары бар, оларды кейінірек желілік жабдықты 10G жылдамдығына дейін жаңарту кезінде пайдалануға болады.

Виртуализациясыз еш жерде болмағандықтан, біз әрине трендте боламыз, әсіресе бұл жеке инфрақұрылым элементтері (веб-серверлер, дерекқорлар және т.б.) үшін қымбат серверлерді сатып алу құнын төмендетудің тамаша тәсілі, олар әрқашан бола бермейді. оңтайлы жүктеме аз болған жағдайда қолданылады және бұл жобаны іске қосудың басында дәл солай болады.

Сонымен қатар, виртуализацияның біз үшін өте пайдалы болуы мүмкін басқа да көптеген артықшылықтары бар: аппараттық сервердің істен шығуына қарсы VM ақауларына төзімділік, оларға техникалық қызмет көрсету үшін аппараттық кластер түйіндері арасында тікелей тасымалдау, кластер түйіндері арасында жүктемені қолмен немесе автоматты түрде бөлу және т.б.

Кәсіпорын сатып алған аппараттық құрал үшін жоғары қолжетімді VMware vSphere кластерін орналастыру өзін болжайды, бірақ VMware кез келген бағдарламалық жасақтамасы өзінің «ат» баға белгілерімен танымал болғандықтан, біз виртуализацияны басқару үшін мүлдем тегін бағдарламалық құралды қолданамыз - oVirt, оның негізінде белгілі, бірақ қазірдің өзінде коммерциялық өнім жасалады - РЕВ.

Бағдарламалық жасақтама oVirt Қолжетімділігі жоғары виртуалды машиналармен ыңғайлы жұмыс істеу үшін барлық инфрақұрылым элементтерін бір бүтінге біріктіру қажет - бұл дерекқорлар, веб-қосымшалар, прокси-серверлер, балансерлер, журналдар мен талдауларды жинауға арналған серверлер және т.б., яғни біздің кәсіпорынның веб-порталы тұрады.

Осы кіріспені қорытындылау үшін біз кәсіпорынның барлық аппараттық және бағдарламалық инфрақұрылымын қалай орналастыру керектігін нақты көрсететін келесі мақалаларды күтуге болады:

Мақалалар тізімі

  • 1 бөлімі. oVirt 4.3 кластерін орналастыруға дайындалуда.
  • 2 бөлімі. oVirt 4.3 кластерін орнату және теңшеу.
  • 3 бөлімі. VyOS кластерін орнату, ақауларға төзімді сыртқы маршруттауды ұйымдастыру.
  • 4 бөлімі. Cisco 3850 стекін орнату, интранет маршрутизациясын ұйымдастыру.

1-бөлім. oVirt 4.3 кластерін орналастыруға дайындық

Негізгі хост орнату

ОЖ орнату және конфигурациялау - ең оңай қадам. ОЖ-ны қалай дұрыс орнату және конфигурациялау туралы көптеген мақалалар бар, сондықтан бұл туралы эксклюзивті нәрсе беруге тырысудың қажеті жоқ.

Сонымен, бізде екі Dell PowerEdge R640 хосты бар, оларға операциялық жүйені орнату және оларды oVirt 4.3 кластерінде виртуалды машиналарды іске қосу үшін гипервизорлар ретінде пайдалану үшін алдын ала параметрлерді орындау қажет.

Біз тегін коммерциялық емес oVirt бағдарламалық құралын пайдалануды жоспарлағандықтан, хосттарды орналастыру үшін ОЖ таңдалды. CentOS 7.7, дегенмен басқа ОЖ-ларды oVirt хосттарында орнатуға болады:

  • RHEL негізіндегі арнайы құрастыру, деп аталатын. oVirt түйіні;
  • Oracle Linux операциялық жүйесі, 2019 жылдың жазы деп жарияланды ондағы oVirt жұмысын қолдау туралы.

Операциялық жүйені орнатпас бұрын ұсынылады:

  • екі хостта iDRAC желі интерфейсін теңшеу;
  • BIOS және iDRAC микробағдарламасын соңғы нұсқаларға жаңарту;
  • сервердің Жүйе профилін теңшеу, жақсырақ өнімділік режимінде;
  • серверде операциялық жүйені орнату үшін жергілікті дискілерден RAID конфигурациялаңыз (RAID1 ұсынылады).

Содан кейін біз iDRAC арқылы бұрын жасалған дискіге ОЖ орнатамыз - орнату процесі қалыпты, онда ерекше сәттер жоқ. ОЖ орнатуды бастау үшін сервер консоліне кіруді iDRAC арқылы да алуға болады, дегенмен мониторды, пернетақтаны және тінтуірді серверге тікелей қосуға және ОЖ-ны флэш-дискіден орнатуға ештеңе кедергі жасамайды.

ОЖ орнатқаннан кейін оның бастапқы параметрлерін орындаймыз:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Бағдарламалық құралдың негізгі жинағын орнату

ОЖ-ны бастапқы конфигурациялау үшін сервердегі кез келген желілік интерфейсті конфигурациялау қажет, сонда ОЖ-ны жаңарту және қажетті бағдарламалық пакеттерді орнату үшін Интернетке қол жеткізуге болады. Мұны ОЖ орнату процесі кезінде де, одан кейін де жасауға болады.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 

Жоғарыда аталған барлық параметрлер мен бағдарламалық құрал жиынтығы жеке қалау мәселесі болып табылады және бұл жиын тек ұсыныс болып табылады.

Біздің хост гипервизор рөлін атқаратындықтан, біз қажетті өнімділік профилін қосамыз:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host 

Өнімділік профилі туралы толығырақ мына жерден оқи аласыз: «4-тарау. бапталған және бапталған-adm«.

ОЖ орнатқаннан кейін біз келесі бөлікке көшеміз - хосттарда желілік интерфейстерді орнату және Cisco 2960X коммутаторларының стектері.

Cisco 2960X коммутатор стекін конфигурациялау

Біздің жобамыз трафиктің әртүрлі түрлерін бөлу үшін бір-бірінен оқшауланған VLAN желілерінің немесе таратылатын домендердің келесі сандарын пайдаланады:

VLAN 10 - Ғаламтор
VLAN 17 – Басқару (iDRAC, сақтау жүйесі, коммутаторларды басқару)
VLAN 32 – VM өндірістік желісі
VLAN 33 – интерконнект желісі (сыртқы мердігерлерге)
VLAN 34 – VM сынақ желісі
VLAN 35 – VM әзірлеушілер желісі
VLAN 40 – Мониторинг желісі

Жұмысты бастамас бұрын, L2 деңгейіндегі диаграмма, біз соңында жетуіміз керек:

Ақауларға төзімді АТ-инфрақұрылымын құру. 1-бөлім – oVirt 4.3 кластерін орналастыруға дайындық

oVirt хосттары мен виртуалды машиналарының бір-бірімен желілік өзара әрекеттесуі үшін, сондай-ақ біздің сақтау жүйемізді басқару үшін Cisco 2960X коммутаторларының дестесін конфигурациялау қажет.

Dell хосттарында кіріктірілген 4 портты желі карталары бар, сондықтан олардың Cisco 2960X-ке қосылуын қатеге төзімді желі қосылымын пайдаланып, физикалық желі порттарын логикалық интерфейске топтастыруды және LACP протоколын пайдалана отырып ұйымдастырған жөн. 802.3ad):

  • хосттағы алғашқы екі порт байланыс режимінде конфигурацияланған және 2960X қосқышына қосылған - бұл логикалық интерфейс конфигурацияланады көпір oVirt кластеріндегі хостты басқару, бақылау, басқа хосттармен байланысу мекенжайы бар ол виртуалды машиналарды Live көшіру үшін де пайдаланылады;
  • хосттағы екінші екі порт та байланыстыру режимінде конфигурацияланған және 2960X-ге қосылған - oVirt көмегімен осы логикалық интерфейсте виртуалды машиналар қосылатын болашақта көпірлер (тиісті VLAN-да) жасалады.
  • бір логикалық интерфейстегі екі желі порттары да белсенді болады, яғни. олардың үстінен трафик теңгерімдеу режимінде бір уақытта берілуі мүмкін.
  • IP мекенжайларын қоспағанда, кластер түйіндеріндегі желі параметрлері мүлде БІРІНШЕ болуы керек.

Негізгі коммутатор стегін орнату 2960X және оның порттары

Біздің қосқыштар алдымен болуы керек:

  • тірекке орнатылған;
  • қажетті ұзындықтағы екі арнайы кабель арқылы қосылған, мысалы, CAB-STK-E-1M;
  • қуат көзіне қосылған;
  • бастапқы конфигурациялау үшін консоль порты арқылы әкімшінің жұмыс станциясына қосылған.

Бұл үшін қажетті нұсқаулық мына жерден қолжетімді ресми бет өндіруші.

Жоғарыдағы қадамдарды орындағаннан кейін біз қосқыштарды конфигурациялаймыз.
Әрбір пәрменнің мағынасын осы мақаланың аясында шешуге арналмаған, қажет болған жағдайда барлық ақпаратты дербес табуға болады.
Біздің мақсатымыз - коммутатор стекін мүмкіндігінше тез конфигурациялау және оған хосттар мен сақтауды басқару интерфейстерін қосу.

1) Негізгі қосқышқа қосылыңыз, артықшылықты режимге өтіңіз, содан кейін конфигурация режиміне өтіп, негізгі параметрлерді орнатыңыз.

Негізгі қосқыш конфигурациясы:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit 

Біз конфигурацияны « пәрменімен сақтаймызwr mem«және» пәрменімен коммутатор стекін қайта жүктеңіз.қайта жүктеу» басты қосқышта 1.

2) Сақтау жүйелері мен iDRAC серверлерінің басқару интерфейстерін қосу үшін VLAN 17 жүйесінде кіру режимінде коммутатордың желілік порттарын конфигурациялаймыз.

Басқару порттарын орнату:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Стекті қайта жүктегеннен кейін оның дұрыс жұмыс істейтінін тексеріңіз:

Стектің функционалдығын тексеру:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) 2960X стекіне SSH қатынасын орнату

SSH арқылы стекті қашықтан басқару үшін SVI (виртуалды интерфейсті ауыстыру) үшін конфигурацияланған IP 172.20.1.10 пайдаланамыз. VLAN17.

Басқару мақсатында коммутаторда арнайы бөлінген портты пайдаланған жөн болса да, бұл жеке қалау мен мүмкіндіктер мәселесі.

Коммутаторлар дестесіне SSH қатынасын конфигурациялау:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Артықшылықты режимге кіру үшін құпия сөзді орнатыңыз:

enable secret *myenablepassword*
service password-encryption

NTP орнату:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Логикалық Etherchannel интерфейстерін және хосттарға қосылған физикалық порттарды конфигурациялаңыз. Конфигурациялауды жеңілдету үшін барлық қол жетімді VLAN желілері барлық логикалық интерфейстерде қосылады, бірақ әдетте тек қажет нәрсені конфигурациялау ұсынылады:

Etherchannel интерфейстерін конфигурациялау:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Хосттардағы виртуалды машиналар үшін желілік интерфейстердің бастапқы конфигурациясы 1-жүргізуші и 2-жүргізуші

Жүйеде жұмыс істеу үшін байланыстыру үшін қажетті модульдердің болуын тексереміз, көпірлерді басқару модулін орнатамыз:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Виртуалды машиналар үшін BOND1 логикалық интерфейсін және оның хосттардағы физикалық интерфейстерін конфигурациялау:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

Стектегі параметрлерді аяқтағаннан кейін 2960 сағ және хосттар, біз хосттарда желіні қайта іске қосамыз және логикалық интерфейстің функционалдығын тексереміз.

  • хостта:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • коммутатор стекінде 2960 сағ:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Хосттардағы кластерлік ресурстарды басқаруға арналған желілік интерфейстердің бастапқы конфигурациясы 1-жүргізуші и 2-жүргізуші

Басқару үшін BOND1 логикалық интерфейсін және оның хосттардағы физикалық интерфейстерін конфигурациялау:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

Стектегі параметрлерді аяқтағаннан кейін 2960 сағ және хосттар, біз хосттарда желіні қайта іске қосамыз және логикалық интерфейстің функционалдығын тексереміз.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Біз әрбір хосттағы басқару желісінің интерфейсін конфигурациялаймыз VLAN 17, және оны BOND1 логикалық интерфейсімен байланыстырыңыз:

Host17 жүйесінде VLAN1 конфигурациялау:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Host17 жүйесінде VLAN2 конфигурациялау:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Біз хосттарда желіні қайта іске қосып, олардың бір-біріне көрінуін тексереміз.

Бұл Cisco 2960X коммутаторларының стек конфигурациясын аяқтайды және егер бәрі дұрыс орындалса, енді бізде L2 деңгейінде барлық инфрақұрылым элементтерінің бір-бірімен желілік байланысы бар.

Dell MD3820f сақтау жүйесін орнату

Сақтау жүйесін орнату бойынша жұмысты бастамас бұрын, ол Cisco коммутаторларының дестесіне қосылған болуы керек 2960 сағ басқару интерфейстері, сондай-ақ хосттарға 1-жүргізуші и 2-жүргізуші FC арқылы.

Сақтау жүйелерін ажыратқыштар дестесіне қалай қосу керектігінің жалпы диаграммасы алдыңғы тарауда келтірілген.

Сақтау жүйесін FC арқылы хосттарға қосу диаграммасы келесідей болуы керек:

Ақауларға төзімді АТ-инфрақұрылымын құру. 1-бөлім – oVirt 4.3 кластерін орналастыруға дайындық

Қосылу кезінде жад жүйесіндегі FC порттарына қосылған FC HBA хосттары үшін WWPN мекенжайларын жазып алу керек – бұл кейінірек сақтау жүйесіндегі LUN құрылғыларына хосттарды байланыстыруды орнату үшін қажет болады.

Әкімшінің жұмыс станциясында Dell MD3820f сақтау жүйесін басқаруға арналған қызметтік бағдарламаны жүктеп алыңыз және орнатыңыз – PowerVault модульдік дискіні сақтау менеджері (MDSM).
Біз оған әдепкі IP мекенжайлары арқылы қосыламыз, содан кейін мекенжайларымызды конфигурациялаймыз VLAN17, TCP/IP арқылы контроллерлерді басқару үшін:

Сақтау1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Мекенжайларды орнатқаннан кейін сақтауды басқару интерфейсіне өтіңіз және құпия сөзді орнатыңыз, уақытты орнатыңыз, қажет болса контроллерлер мен дискілер үшін микробағдарламаны жаңартыңыз және т.б.
Бұл қалай жасалатыны мақалада сипатталған әкімшілік нұсқаулық Сақтау жүйесі

Жоғарыдағы параметрлерді орындағаннан кейін бізге тек бірнеше қадамды орындау қажет:

  1. Хост FC портының идентификаторларын конфигурациялау – Хост портының идентификаторлары.
  2. Хост тобын құру – Хост тобы және оған біздің екі Dell хостын қосыңыз.
  3. Хосттарға ұсынылатын диск тобын және виртуалды дискілерді (немесе LUN ​​дискілерін) жасаңыз.
  4. Хосттар үшін виртуалды дискілердің (немесе LUN ​​дискілерінің) көрсетілімін конфигурациялаңыз.

Жаңа хосттарды қосу және оларға хост FC портының идентификаторларын байланыстыру мәзір арқылы жүзеге асырылады - Хост салыстырулары -> Анықтаңыз -> Хосттар…
FC HBA хосттарының WWPN мекенжайларын, мысалы, iDRAC серверлерінен табуға болады.

Нәтижесінде біз келесідей нәрсені алуымыз керек:

Ақауларға төзімді АТ-инфрақұрылымын құру. 1-бөлім – oVirt 4.3 кластерін орналастыруға дайындық

Хосттардың жаңа тобын қосу және оған хосттарды байланыстыру мәзір арқылы жүзеге асырылады - Хост салыстырулары -> Анықтаңыз -> Хост тобы…
Хосттар үшін ОЖ түрін таңдаңыз – Linux (DM-MP).

Хост тобын жасағаннан кейін қойынды арқылы Сақтау және көшіру қызметтері, диск тобын жасау – Диск тобы, ақауларға төзімділік талаптарына байланысты түрі бар, мысалы, RAID10 және ондағы қажетті өлшемдегі виртуалды дискілер:

Ақауларға төзімді АТ-инфрақұрылымын құру. 1-бөлім – oVirt 4.3 кластерін орналастыруға дайындық

Ақырында, соңғы кезең - хосттарға виртуалды дискілерді (немесе LUNs) ұсыну.
Мұны істеу үшін мәзір арқылы - Хост салыстырулары -> Айды картаға түсіру -> Қосу ... Біз виртуалды дискілерді хосттарға нөмірлер беру арқылы байланыстырамыз.

Барлығы мына скриншот сияқты болуы керек:

Ақауларға төзімді АТ-инфрақұрылымын құру. 1-бөлім – oVirt 4.3 кластерін орналастыруға дайындық

Міне, біз сақтау жүйесін орнатуды аяқтаймыз және егер бәрі дұрыс орындалса, хосттар FC HBA арқылы оларға ұсынылған LUNs көруі керек.
Жүйені қосылған дискілер туралы ақпаратты жаңартуға мәжбүр етейік:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Серверлерімізде қандай құрылғылар көрінетінін көрейік:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Хосттарда қосымша конфигурациялауға болады көп жол, және oVirt-ті орнатқан кезде ол мұны өзі жасай алады, бірақ МП дұрыс жұмысын алдын ала өзіңіз тексерген дұрыс.

DM Multipath орнату және конфигурациялау

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

MP қызметін автоқосу және оны іске қосу үшін орнатыңыз:

systemctl enable multipathd && systemctl restart multipathd

MP жұмысы үшін жүктелген модульдер туралы ақпаратты тексеру:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Бар көп жолды конфигурация туралы жиынтық ақпаратты қарастырайық:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Сақтау жүйесіне жаңа LUN қосып, оны хостқа ұсынғаннан кейін ондағы хостқа қосылған HBA файлдарын сканерлеу керек.

systemctl reload multipathd
multipath -v2

Соңында, біз барлық LUN хосттар сақтау жүйесінде ұсынылғанын және олардың барлығына екі жолдың бар-жоғын тексереміз.

MP жұмысын тексеру:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Көріп отырғаныңыздай, сақтау жүйесіндегі барлық үш виртуалды диск екі жол бойымен көрінеді. Осылайша, барлық дайындық жұмыстары аяқталды, яғни сіз негізгі бөлікке өтуге болады - oVirt кластерін орнату, ол келесі мақалада талқыланады.

Ақпарат көзі: www.habr.com

пікір қалдыру