Ընթերցողների ուշադրությանը ներկայացվում են ոչ թե դիմացկուն ենթակառուցվածքի կառուցման սկզբունքները փոքր ձեռնարկության համար մեկ տվյալ կենտրոնի շրջանակներում, որոնք մանրամասն կքննարկվեն ժամանակ առ ժամանակ հոդվածների փոքր ցիկլում:
Ներածական բաժին
Կողմանոց Տվյալ Կենտրոնը (Տվյալների մշակման կենտրոն) կարող է հասկանալ,
- սեփական հետազոտություն ` սեփական «սերվերի սենյակում» ձեռնարկության տարածքում, որը բավարարում է նվազագույն պահանջներին, ապահովելով սարքավորումների էլեկտրակայան և հովացում, ինչպես նաև ունի դուրս գալու հնարավորություն առցանց երկու անկախ ծառայուցողների միջոցով;
- համատեղ аренда` սեփական սարքավորումների հետ, որը գտնվում է ներկայիս Կենտրոնում՝ հայտնի `collocation, որը համապատասխանում է Tier III կամ IV ստանդարտին, և որտեղ ապահովվում է վստահելի էլեկտրակայան, հովացում և ապահովվում է դիմացկուն դուրս գալու հնարավորություն ինտերնետում;
- սպասարկման լրիվ аренда մի Tier III կամ IV կենտրոնում:
Որ տարբերակն ընտրել` յուրաքանչյուր դեպքում ամեն ինչ անհատական է, և սովորաբար կախված է մի քանի հիմնական գործոններից:
- ինչի համար հանձնարարի IT ենթակառուցվածքը בכלל;
- ինչ է ուզում նախատեսողը IT ենթակառուցվածքից (դիմացկություն, մշակել, կառավարել և այլն);
- IT ենթակառուցվածքի սկզբնական ներդրումը, ինչպես նաև որի տեսքով ծախսեր են` կապիտալ (դա նշանակում է` ձեռք է բերվում սեփական սարքավորումը), կամ օպերացիոն (սարքավորումը սովորաբար վարձակալվում է);
- ձեռնարկության ծրագրի տեսանկյունից.
Կայքերի հիմքեր և գործոններ, որոնք ազդեցություն ունեն ձեռնարկության որոշման վրա IT ենթակառուցվածքի ստեղծման և օգտագործման մասով, հաղորդելու մասին կարելի է շատ գրել, սակայն մեր նպատակը է ցույց տալ, թե ինչպես պետք է ստեղծել այս ենթակառուցվածքը, որպեսզի այն լինի և դիմացկուն, և միաժամանակ հնարավոր լինի նվազեցնել ծախսերը՝ նվազեցնելով կոմերցիոն ծրագրային ապահովման ձեռքբերման ծախսերը կամ ընդհանրապես ազատվել դրանցից:
Ինչպես ցույց է տալիս երկար ժամանակակի վարքաբանություն, սարքավորումների վրա տնտեսելը արժանի չէ, քանի որ թափածը երկու անգամ վճարում է, և փնջը շատ ավելի բարձր: Բայց կրկին` լավ սարքավորումն ընդամենը առաջարկություն է, և վերջնականապես, ինչ գնել և որքանու, կախված է ձեռնարկության հնարավորություններից և նրա ղեկավարության «խնայողականությունից»: Причём слово «жадность» следует понимать в хорошем смысле этого слова, так как лучше вложиться в железо на начальном этапе, чтобы потом не иметь серьёзных проблем по его дальнейшей поддержке и масштабированию, так как изначально неправильное планирование и чрезмерная экономия, могут привести в будущем к большим затратам, чем при запуске проекта.
Ուրեմն, նախագծի սկզբնական տվյալները.
- ընդունված ձեռնարկություն, որը որոշել է ստեղծել սեփական վեբ պորտալ և դուրս գալ իր գործունեությունը ինտերնետ:
- Ընկերությունը որոշել է վարձել սանդուղք իր սարքավորումները տեղադրելու համար լավ տվյալ կենտրոնում, որը կարողություն ունի Tier III չափանիշին համապատասխան լինելու;
- Ընկերությունը որոշել է էներգիայի վրա շատ չխնայել, ուստի ձեռք է բերել հետևյալ սարքավորումները ընդլայնված երաշխիքներով և աջակցությամբ՝
Սարքավորումների ցուցակը
- երկու ֆիզիկական սերվեր Dell PowerEdge R640 այս կազմով՝
- երկու պրոցեսոր Intel Xeon Gold 5120
- 512 ԳԲ RAM
- երկու SAS սկավառակ RAID1-ում, ՕՍ տեղադրելու համար
- ամենագծային 4-պորտային ցանցային քարտ 1G
- երկու 2-պորտային ցանցային քարտ 10G
- մեկ 2-պորտային FC HBA 16G:
- 2-կարգավորիչային СХД Dell MD3820f, որը միացված է FC 16G-ով ուղղակիորեն Dell-host-ներին;
- երկու երկրորդ մակարդակի անսարքացուցիչներ՝ Cisco WS-C2960RX-48FPS-L, միացված խումբով;
- երկու երրորդ մակարդակի անսարքացուցիչներ՝ Cisco WS-C3850-24T-E, միացված խումբով;
- Սանդուղքը, UPS-ը, PDU-ն, կոնսոլային սերվերները՝ տրամադրվում են տվյալ կենտրոնով:
Ինչպես տեսնում ենք, արդեն իսկ առկա սարքավորումներն ունեն լավ հեռանկարներ հորիզոնական և ուղղաձիգ ծավալվելու համար, եթե ընկերությունը կարողանա մրցակցել այլ նմանատիպ ընկերությունների հետ ինտերնետում և սկսի վաստակել շահույթ, որը կարելի կլինի ներդնել ռեսուրսների ընդլայնման մեջ հետագայում մրցակցության և շահույթի աճի համար:
Ինչպիսի սարքավորում կարող ենք ավելացնել, եթե ընկերությունը որոշի բարձրացնել մեր հաշվողական խմբակի արտադրողականությունը՝
- մեր մոտ կա մեծ պահեստ 2960X անսարքացուցիչների պորտերի քանակի մեջ, նշանակում է, որ կարելի է ավելացնել ավելի շատ տեխնիկական սերվերներ;
- գնագոյին երկու FC անսարքացուցիչներ, որպեսզի միավորենք դրանց СХД-ն եւ լրացուցիչ սերվերները;
- առաջիկա սերվերները կարելի է բարելավել՝ ավելացնել հիշողություն, փոխել պրոցեսորները ավելի արտադրողականներին, միացնել 10G ցանց հետ已有 сетевыми адаптерами;
- СХД-ի համար կարելի է ավելացնել լրացուցիչ սկավառակներ անհրաժեշտ սկավառակների տեսակով՝ SAS, SATA կամ SSD, կախված նախատեսվող բեռի խնամքից;
- FC անսարքացուցիչների ավելացումից հետո կարելի է գնարկել ևս մեկ СХД, որպեսզի ավելացնել ավելի շատ սկավառակի ծավալ, և եթե դրա համար գնաճվի Remote Replication opsionը, ապա կարող է կարգավորվել տվյալների վերականգնումը СХД-ների միջև գետնի շրջանակում, ինչպես նաև տվյալ կենտրոնների միջև (բայց սա արդեն դուրս է հոդվածի շրջանակից);
- այսպես են երրորդ մակարդակի անսարքացուցիչները՝ Cisco 3850, որոնք կարելի է օգտագործել որպես դիվանանի կայանի ճկուն միիչ համար, բարձր արագությամբ маршрутизация для внутренних сетей. এটা շատ կօգնի հետագայում, այն դեպքում, որ ներսում ենթակառուցվածքը աճել է: Ենթադրությունները 3850-ի վերաբերյալ ևս կան 10G պորտեր, որոնք կարելի է օգտագործել ավելի ուշ, ցանցային տեխնիկան մինչև 10G-ի արագությանը փոփոխելու ժամանակ։
Աերբ այն դեպքում, երբ վիրտուալացումից դժվար է խուսափելը, մենք, իհարկե, նաև կլինենք տենդենցի կենտրոնում, առավել ևս, որ դա հրաշալի միջոց է ծախսերի նվազեցման համար թանկ սերվերների ձեռքբերման շուրջ՝ անհատ բաղադրիչների ենթակառուցվածքների (վեբ սերվերներ, տվյալների բազաներ և այլն), որոնք միշտ չէ, որ բազմակիօգտագործված են ցածր բեռների դեպքում, իսկ հենց այդպես էլ կլինի նախագծի մեկնարկի սկզբնամասում։
Բացի այդ, վիրտուալացումը ունի բազմաթիվ այլ առավելություններ, որոնք մեզ շատ կարող են օգտակար լինել, օրինակ՝ ֆիրմային սերվերի խափանումներից պաշտպանվող վիրտուալ մեքենաներ, կենդանի տեղաշարժի առաջուչ սարքերի միջև կլաստերում սպասարկման համար, ծանրաբեռնման ձեռնարկի ձեռքով կամ ավտոմատ փոխանցում գծերի միջև սարքերի, և այլն։
Բիզնեսի կողմից ձեռք բերված սարքավորման համար, տեղակայման բավական երկարատև ժամանակ է պահանջվում՝ VMware vSphere-ի բարձրերի հասանելիության կլաստեր տեղակայման, բայց քանի որ VMware-ի ցանկացած ծրագրակազմ հայտնի է իր «գդալների» սակագներով, մենք կօգտագործենք ամբողջովին անվճար ծրագրակազմ վիրտուալացման կառավարման համար՝ , որի հիման վրա ստեղծվում է համբավավոր, սակայն արդեն կոմերցիոն արտադրանք՝ .
Ծրագրային ապահովում oVirt պետք է կապում է ենթակառուցվածքի բոլոր բաղադրիչները մեկ լիակատար, որպեսզի ստանանք բարձրերի հասանելի վիրտուալ մեքենաների հարմարավետ աշխատանք՝ տվյալների բազաներ, վեբ-թողարկումներ, պրոքսի սերվերներ, քաշող ծրագրեր, լոգերի և վերլուծության հավաքման սերվերներ և այլն, այսինքն, այն, ինչը կազմում է մեր ձեռնարկության վեբ-պորտալը։
Այս բանակցության վերջում, մենք սպասում ենք հետևյալ հոդվածներին, որոնք գործնականում ցուցադրելու են, թե ինչպես պետք է տեղադրել ամբողջ սարքավորումների և ծրագրային համակարգերը ընկերությունում՝
Հոդվածների ցուցակը
- Հոդված 1: oVirt 4.3 կլաստերի տեղադրման նախապատրաստումը:
- Հոդված 2: oVirt 4.3 կլաստերի տեղադրում և կարգավորում:
- Հոդված 3: VyOS կլաստերի կարգավորումը, արտաքին ուղղահայաց маршруտավորման կազմակերպումը:
- Հոդված 4: Cisco 3850 սերտիֆիկացման կարգավորումը, ներքին ցանցային маршруտավորման կազմակերպումը:
Հոդված 1: oVirt 4.3 կլաստերի տեղադրման նախապատրաստումը
Հոստերի հիմնական կարգավորումը
Օպերացիոն համակարգի տեղադրումն ու կարգավորումը` ամենահեշտ փուլը: Ապահովված է բազմաթիվ հոդվածներ, թե ինչպես պետք է ճիշտ տեղադրել ու կարգավորել օպերացիոն համակարգ, այնպես որ՝ իմաստ չկա ջանքեր գործադրելու չհաճախակի մեթոդի արտադրության համար։
Այսպես, մենք ունենք երկու Dell PowerEdge R640 հոստեր, որոնց վրա պետք է տեղադրել օպերացիոն համակարգ և կատարել նախնական կարգավորումներ, որպեսզի դրանք օգտագործվեն որպես հիպերվիզորներ oVirt 4.3-ում վիրտուալ մեքենաների գործարկման համար:
Քանի որ մենք ծրագրում ենք օգտագործել անվճար չմասնավոր ծրագրաշար oVirt, ապա հոստերի տեղադրելու համար ընտրված է օպերացիոն համակարգը CentOS 7.7, սակայն oVirt-ի հոստերի վրա հնարավոր է տեղադրել նաև այլ օպերացիոն համակարգեր՝
- RHEL-ի հիման վրա հատուկ կառուցվածք, որը կոչվում է ;
- ՕՍ Oracle Linux, ամռանը 2019 թվականին oVirt-ի վրա նրան աջակցելու շահագրգռվածություն է հայտարարվել։
Օպերացիոն համակարգի տեղադրումից առաջ խորհուրդ է տրվում:
- կարգավորել iDRAC ցանցային ինտերֆեյսը, երկու հոստերի վրա;
- BIOS և iDRAC-ի firmware-ները թարմացնել վերջին տարբերակներին;
- Ձեռնարկել համակարգի profili ռեժիմը բարելավման համար;
- Ստեղծել RAID տեղական սկավառակներից (հարմար RAID1), որպեսզի օպերացիոն համակարգը տեղադրվի սերվերի վրա:
Վերջապես տեղադրեք օպերացիոն համակարգը iDRAC-ով ստեղծված սկավառակի վրա՝ տեղադրման գործընթացը սովորական է, որտեղ ոչ մի հատուկ պահ չկա: Օպերացիոն համակարգի տեղադրելու համար սերվերին մուտք գործելու համար նույնպես կարելի է հասնել iDRAC-ի միջոցով, հhowever ոչ ոք չի խանգարում միացնել մոնիտոր, ստեղնաշար և մկնիկ անմիջապես սերվերին և տեղադրել օպերացիոն համակարգը ‘ֆլեշի’ միջոցով:
Օպերացիոն համակարգը տեղադրելուց հետո կատարեք դրա սկզբնական կարգավորումները:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Ներբեռնում են բազային ծրագրային ապահովումը:
Օպերացիոն համակարգի սկզբնական կարգավորման համար պետք է կարգավորել սերվերի ցանկացած ցանցային դիֆերեց, որպեսզի հնարավոր լինի մուտք գործել ինտերնետ, օպերացիոն համակարգը թարմացնելու և անհրաժեշտ ծրագրային փաթեթները տեղադրելու նպատակով: Սա կարելի է անել ինչպես օպերացիոն համակարգի տեղադրման ընթացքում, այնպես էլ դրանից հետո:
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Ավելի վերոնշյալ կարգավորումները և ծրագրային ապահովման հավաքածուն՝ անձնական նախասիրությունների գործը է, և այս հավաքականը միայն խորհուրդ է:
Քանի որ մեր հոստը լինելու է հիպեռվիզոր, ապա կարող ենք բացվել անհրաժեշտ արտադրողականության պրոֆիլը:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Ավելին արտադրողականության պրոֆիլի մասին կարող եք կարդալ այստեղ: ««.
Օպերացիոն համակարգը տեղադրելուց հետո անցնում ենք հաջորդ հատվածին՝ ցանցային դիֆերենցների կարգավորումը հյուսիսային սարքերում, և Cisco 2960X կոմպլեքսների բեռնափոխանակում:
Cisco 2960X կոմպլեքսների կարգավորում
Մեր նախագծում օգտագործվելու են հետևյալ VLAN-ների հաշվանշումները՝ կամ զանգման ոլորտներ, միմյանցից մեկուսացված, տարբեր տրաֆիկի տեսակների բաժանման նպատակով:
VLAN 10 – Ինտերնետ
VLAN 17 – Վարоупահատումը (iDRAC, СХД, switches management)
VLAN 32 – VM արտադրական ցանց
VLAN 33 – արտաքին աշխատակիցների (interconnection network)
VLAN 34 – VM փորձնական ցանց
VLAN 35 – VM մշակողի ցանց
VLAN 40 – Հսկողության ցանց
Աշխատանքների սկսելուց առաջ, ներկայացնում ենք L2 մակարդակի շարք, որը մենք պետք է հասնենք:
oVirt կայանումի և վիրտուալ մեքենաների միջև սինկրոնիզացիայի և մեր ЦХД-ի կառավարումը ներառում է Cisco 2960X կոմպլեքսների կարգավորում:
Dell-ի հոստերն ունեն ներմուծված 4-պորտային ցանցային քարտեր, հետևաբար, նպատակահարմար է կազմակերպել նրանց կապը Cisco 2960X-ի հետ՝ օգտագործելով վթարային ցանցային կապ, դա իրականացնելու համար ֆիզիկական ցանցային պորտերը խմբավորելով՝ տրամադրված ապրանքի նվազման 802.3ad միջավայրի ներքո:
- առաջին երկու պորտերը հոստում կարգավորվում են բոնդինգի ռեժիմում և միանում 2960X switching սարքին՝ այս տրամաբանական ինտերֆեյսի վրա կհայտնվի կարգավորում bridge հոստի կառավարման հասցեն, մոնիտորինգը, կապը այլ հոստերի հետ oVirt կլաստերում, այն նաև կօգտագործվի տարբերակման միջոցով՝ վիրտուալ մեքենաների համար;
- երկրորդ երկու պորտերը հոստում նույնպես կարգավորվում են բոնդինգի ռեժիմում և միանում 2960X սարքին՝ այս տրամաբանական ինտերֆեյսի միջոցով oVirt-ի օգնությամբ, հետագայում կստեղծվեն bridge-ներ (արժեքային VLAN-ներում), որտեղ կհամապատասխանեն վիրտուալ մեքենաները:
- երկու ցանցային պորտերը, մեկ տրամաբանական ինտերֆեյսի շրջանակներում, կլինեն ակտիվ, այսինքն՝ միջոցով նրանց տրաֆիկը կարող է փոխանցվել միաժամանակ, բալանսավորման ռեժիմում:
- կլաստերների узловերի ցանցային կարգավորումները պետք է լինեն գրեթե ՀՈՒՆՏ՝ բացառությամբ IP հասցեների:
Սվիչների հիմունքների կարգավորում 2960X և նրա պորտերը
Մեր սվիչները նախ պետք է լինեն:
- սալի մեջ տեղադրված;
- երկու հատուկ կաբելների միջոցով միացված, որոնք պահանջում են երկարություն, օրինակ, CAB-STK-E-1M;
- Միացված էլեկտրահոսությանը;
- Միացված ադմինիստրատորի աշխատանքային կայքին՝ կոնսոլային պորտի միջոցով, նրանց սկիզբը կարգավորելու համար:
Այս մասին անհրաժեշտ ձեռնարկը կա արտադրողի:
Հիշեցնելով վերոգրյալ գործողությունները, կատարում ենք սվիչների կարգավորումը:
Յուրաքանչյուր հրաման, որի նշանակությունն է, գրանցել այս հոդվածում չի նախատեսվում, անհրաժեշտության դեպքում ամբողջ տեղեկությունը կարելի է գտնել ինքնուրույն:
Մեր նպատակը՝ որքան հնարավոր է արագ կարգավորել սվիչների զրույցի կույտը և միացնել նրան հոստերը և կառավարման ինտերֆեյսներ ՍԽԴ:
1) Միանալիորեն են գալիս հիմնական սվիչը, անցնել պատիվ համակարգ, հետո մտնել կարգավորիչ ռեժիմ և կատարել հիմնական կարգավորումները:
Սվիչի հիմնային կոնֆիգուրացիա:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Ձեր կոնֆիգը պահպանեք «wr mem» հրամանով և վերագործարկեք սվիչների կույտը «reload» հրամանով հիմնական սվիչ 1-ին:
2) Սվիչի ցանցային պորտերը կարգավորեք մուտքային ռեժիմով (access) VLAN 17-ում, կառավարման ինտերֆեյսների ՍԽԴ և iDRAC սերվերի համար:
Կառավարման պորտերի կարգավորումը:
интерфейс GigabitEthernet1/0/5
описание iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
интерфейс GigabitEthernet1/0/6
описание Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
интерфейс GigabitEthernet2/0/5
описание iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
интерфейс GigabitEthernet2/0/6
описание Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
выход3) После перезагрузки стека проверяем, чтобы он работал корректно:
Проверка функционирования стека:
2960X#show switch stack-ring speed
Скорость кольца стека : 20G
Конфигурация кольца стека: Полная
Протокол кольца стека : FlexStack
2960X#show switch stack-ports
Переключатель # Порт 1 Порт 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Переключатель # Порт 1 Порт 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
MAC-адрес переключателя/стека : 0cd0.f8e4.ХХХХ
Время ожидания постоянства MAC: Бессрочно
H/W Текущий
Переключатель# Роль MAC-адрес Приоритет Версия Состояние
----------------------------------------------------------
*1 Мастер 0cd0.f8e4.ХХХХ 15 4 Готов
2 Член 0029.c251.ХХХХ 14 4 Готов
Статус портов стека Соседи
Переключатель# Порт 1 Порт 2 Порт 1 Порт 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Настройка SSH доступа к стеку 2960X
Для удаленного управления стеком через SSH будем использовать IP 172.20.1.10, настроенный на SVI (виртуальный интерфейс коммутатора) VLAN17.
Хотя для целей управления желательно использовать специальный выделенный порт на коммутаторе, но это дело личных предпочтений и возможностей.
Настройка SSH доступа к стеку коммутаторов:
ip default-gateway 172.20.1.2
интерфейс vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordНастраиваем пароль для входа в привилегированный режим:
enable secret *myenablepassword*
service password-encryptionНастраиваем NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Настраиваем логические интерфейсы Etherchannel и физические порты, подключаемые к хостам. Для простоты конфигурации все имеющиеся VLAN’ы будут разрешены на всех логических интерфейсах, но обычно рекомендуется настраивать только то, что нужно:
Настройка интерфейсов Etherchannel:
интерфейс Port-channel1
описание EtherChannel с Host1-управление
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
spanning-tree portfast edge trunk
интерфейс Port-channel2
описание EtherChannel с Host2-управление
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
spanning-tree portfast edge trunk
интерфейс Port-channel3
описание EtherChannel с Host1-VM
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
spanning-tree portfast edge trunk
интерфейс Port-channel4
описание EtherChannel с Host2-VM
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
spanning-tree portfast edge trunk
интерфейс GigabitEthernet1/0/1
описание Host1-управление
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 1 режим активный
интерфейс GigabitEthernet1/0/2
описание Host2-управление
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 2 режим активный
интерфейс GigabitEthernet1/0/3
описание Host1-VM
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 3 режим активный
интерфейс GigabitEthernet1/0/4
описание Host2-VM
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 4 режим активный
интерфейс GigabitEthernet2/0/1
описание Host1-управление
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 1 режим активный
интерфейс GigabitEthernet2/0/2
описание Host2-управление
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 2 режим активный
интерфейс GigabitEthernet2/0/3
описание Host1-VM
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 3 режим активный
интерфейс GigabitEthernet2/0/4
описание Host2-VM
switchport trunk разрешенные vlan 10,17,30-40
switchport режим trunk
channel-protocol lacp
channel-group 4 режим активныйПервичная настройка сетевых интерфейсов для виртуальных машин на хостах Host1 և Host2
Проверяем наличие необходимых для работы бондинга модулей в системе, устанавливаем модуль для управления мостами:
modinfo bonding
modinfo 8021q
yum install bridge-utilsНастройка на хостах логического интерфейса BOND1 для виртуальных машин и его физических интерфейсов:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - управление
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - управление
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - управление
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no После завершения настроек на стеке 2960Х и хостах, перезапускаем сеть на хостах и проверяем работоспособность логического интерфейса.
- на хосте:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (27 апреля 2011)
Режим бондинга: IEEE 802.3ad Динамическая агрегация ссылок
Политика хэширования передачи: layer2+3 (2)
Статус MII: up
Интервал опроса MII (мс): 100
Задержка при подключении (мс): 0
Задержка при отключении (мс): 0
...
информация 802.3ad
Скорость LACP: быстрая
Минимальные связи: 0
Политика выбора агрегатора (ad_select): стабильная
Приоритет системы: 65535
...
Интерфейс Slave: em2
Статус MII: up
Скорость: 1000 Мбит/с
Дуплекс: полный
...
Интерфейс Slave: em3
Статус MII: up
Скорость: 1000 Мбит/с
Дуплекс: полный- на стеке коммутаторов 2960Х:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Ամսագրային интерфեյսների բնօրինակ կարգավորումը կանխատեսման հ resource-ների համար, հոստերին Host1 և Host2
Քաղվածքների կարգավորումը հոստերում BOND1 տրամակա վարչական, և դրա ֆիզիկական интерфեյսների:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no После завершения настроек на стеке 2960Х и хостах, перезапускаем сеть на хостах и проверяем работоспособность логического интерфейса.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryԿարգավորում ենք կառավարման сетевый интерфейс на каждом хосте в VLAN 17, и связываем его с логическим интерфейсом BOND1:
Настройка VLAN17 на Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicНастройка VLAN17 на Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicԿատարում ենք ցանցի վերագործարկում հոստերում և ստուգում մենք միմյանց տեսանելիությունը:
Այսպիսով, Cisco 2960X չվերթերի կարգավորումը ավարտվեց, և եթե ամեն բան ճիշտ արվել է, ապա հիմա մենք ունենք L2 մակարդակի բոլոր տեսակներից ընկերություններ միջև ցանցային կապ:
Դելլ MD3820f սրբելու կարգավորում
ՍԽԱԼՎԵՆԱԿԱ-ների կարգավորումից առաջ, այն արդեն պետք է կապված լինի Cisco swich-եր հետ 2960Х կառավարման ինտերֆեյսներով, ինչպես նաև դեպի հոստեր Host1 և Host2 FCl-ով:
Ընդհանուր սխեմա, ինչպես SХД պետք է կապակցվի Cisco switches, տրվեց նախորդ գլուխում:
SХД-ների FC կապի սխեման, պետք է դիտվի այսպիսին:
Միացնողի ժամանակ, անհրաժեշտ է գրում WWPN հասցեները FC HBA հոստերում, կապված FC նահանգարմունքների վրա SХԴ-ում՝ դա անհրաժեշտ կլինի հաջորդ կարգավորումների համար կապված LUN-երն SХԴ-ում:
Նշված աշխատանքային կայաններին ներբեռնում և տեղադրում ենք Dell MD3820f SAN-ի կառավարման շտեմարանը՝ PowerVault Modular Disk Storage Manager (MDSM).
Միացնում ենք այն դրա ըստ ծածկագրի IP հասցեից, ապա կարգավորում ենք մեր հասցեները VLAN17, կառույցների կառավարումը TCP/IP-ի միջոցով:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Քանդված հասցեները կարգավորելուց հետո, մտնում ենք SAN կառավարման վահանակ և սահմանում մուտքի բանալին, կարգավորում ենք ժամանակն, թարմացնում ենք ծրագրակազմը կառույցների և սկավառակների համար, եթե դա անհրաժեշտ է և այլն:
Ինչպես սա անել՝ նկարագրված է ՍԽԴ:
Վերոնշյալ կարգավորումներն ավարտելուց հետո, մեզ պետք է կատարել ընդամենը մի քանի գործողություն՝
- Գնացուի FC նավահանգիստների տարանցիկները կարգավորել՝ Host Port Identifiers.
- Ստեղծել հոստերի խումբ՝ Host group և ավելացնել մեր երկու Dell հոստերը:
- Ստեղծեք սկավառակի խումբ և մեջը վիրտուալ սկավառակներ (կամ LUNներ), որոնք կհարցվեն հոստերին:
- Կարգավորեք վիրտուալ սկավառակների (կամ LUNների) ներկայացումը հոստերին:
Առավելության նոր հոստեր ավելացնել եւ նրանց համար FC նավահանգիստների տարանցիկները կապել, осуществляется через меню — Host Mappings -> Պահպանել -> Հոստեր…
WWPN հասցեների FC HBA հոստերի կարելի է գտնել, օրինակ, iDRAC սերվերի մեջ:
Նրա արդյունքում մեր վիճակը պետք է լինի մոտավորապես նման տեսքով:
Նոր հոստերի խմբի ավելացումը և դրանց հոստերին կապելն осуществляется через меню — Host Mappings -> Պահպանել -> Host Group…
Հոստերի համար ընտրեք ОС տիպը՝ Linux (DM-MP).
Հոստերի խմբի ստեղծումից հետո, "Storage & Copy Services" вкладке, ստեղծում ենք սկավառակի խումբ՝ Disk Group,՝ պահանջներից կախված՝ օրինակ, RAID10, իսկ մեջը տեղադրեք անհրաժեշտ չափի վիրտուալ սկավառակներ: Եվ վերջապես, վերջնական փուլը՝ վիրտուալ սկավառակի (կամ LUNների) հայտարարում տալ հոստերին:Այս նպատակով менюի միջոցով՝
Lun mapping
Ավելացնել… Host Mappings -> կինետ կատարում ենք վիրտուալ սկավառակների կապումը հոստերի հետ, նշանակելով նրանց համարերի: -> Ամբողջ գործընթացը պետք է ստացվի այդ նկարի նման՝ Այսպես, SAN-ի կարգաբերման հետ մենք ավարտում ենք, և եթե ամեն բան ճիշտ է կատարվում, ապա հոստերը պետք է տեսնեն իրենց հյուր եղած LUNները իրենց FC HBA-ներում:
Թարգմանենք համակարգին, որ թարմացվի միացված սկավառակների ինֆորմացիան՝
ls -la /sys/class/scsi_host/ echo "- - -" > /sys/class/scsi_host/host[0-9]/scan
Տեսնենք, որ սարքերը տեսանելի են մեր սերվերներում:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanПосмотрим, какие устройства видны на наших серверах:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Հոսթերում նաև կարելի է լրացուցիչ կարգավորումներ կատարել multipath, և չնայած oVirt-ի տեղադրման ժամանակ դա կարող է ինքնուրույն անել, ավելի լավ է beforehand ստուգել MP-ի գործառնականությունը:
DM Multipath-ի տեղադրություն և կարգավորում
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Տեղադրում ենք MP ծառայությունը ավտո-սկիզբ և запускаем նրան:
systemctl enable multipathd && systemctl restart multipathdMP-ի աշխատանքային մոդուլների մասին տեղեկության ստուգում:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Եզրակաց անալիզ multipath-ի առկա конфигурации:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningՆոր LUN-ի ավելացումից հետո, որը առաձգային է HBA-ին, անհրաժեշտ է իր վրա կատարել հոսթավորված սարքերի սկանավորում:
systemctl reload multipathd
multipath -v2Վերջապես, ստուգեք, թե արդյոք բոլոր LUN-ները ներկայացված են SАD-ում հոստերի համար և արդյոք բոլորին բերում են երկու ուղիներ։
MP-ի գործունեության ստուգում։
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningԻնչպես տեսնում եք, բոլոր երեք վիրտուալ սկավառակները SАD-ում տեսանելի են երկու ուղիներով։ Թվով աշխատանքներն արդեն ավարտվել են, ուստի կարող ենք անցնել հիմնական մասի կատարմանը՝ oVirt կլաստերի կարգավորումանը, որը դիտարկվելու է հաջորդ հոդվածում։
Ընտանիք: habr.com
