Ընթերցողներին առաջարկվում է ծանոթանալ տվյալների միասնական կենտրոնի շրջանակներում փոքր ձեռնարկությունների համար սխալ հանդուրժող ենթակառուցվածք կառուցելու սկզբունքներին, որոնք մանրամասն կքննարկվեն կարճ հոդվածների շարքում:
Նախաբան
Under տվյալների կենտրոն (Տվյալների մշակման կենտրոն) կարելի է հասկանալ հետևյալ կերպ.
- ձեռնարկության տարածքում սեփական «սերվերի սենյակում» սեփական դարակ, որը համապատասխանում է էներգիայի և հովացման սարքավորումների ապահովման նվազագույն պահանջներին, ինչպես նաև ունի ինտերնետ հասանելիություն երկու անկախ պրովայդերների միջոցով.
- վարձակալված դարակ՝ սեփական սարքավորումներով, որը գտնվում է իրական տվյալների կենտրոնում՝ այսպես կոչված. III կամ IV մակարդակի տեղակայում, որը երաշխավորում է հուսալի էներգիա, սառեցում և անհաջող ինտերնետ հասանելիություն.
- ամբողջությամբ վարձակալված սարքավորումներ III կամ IV մակարդակի տվյալների կենտրոնում:
Տեղավորման ո՞ր տարբերակն ընտրել. յուրաքանչյուր դեպքում ամեն ինչ անհատական է և սովորաբար կախված է մի քանի հիմնական գործոններից.
- ինչու է ձեռնարկությանը ընդհանրապես անհրաժեշտ սեփական ՏՏ ենթակառուցվածքը.
- կոնկրետ ինչ է ուզում ձեռնարկությունը ՏՏ ենթակառուցվածքից (հուսալիություն, մասշտաբայնություն, կառավարելիություն և այլն);
- ՏՏ ենթակառուցվածքում նախնական ներդրումների չափը, ինչպես նաև դրա համար ծախսերի տեսակը՝ կապիտալ (ինչը նշանակում է գնել ձեր սեփական սարքավորումը), թե գործառնական (սարքավորումները սովորաբար վարձակալվում են).
- ձեռնարկության պլանավորման հորիզոնը:
Դուք կարող եք շատ բան գրել ձեռնարկության՝ իր ՏՏ ենթակառուցվածքը ստեղծելու և օգտագործելու որոշման վրա ազդող գործոնների մասին, բայց մեր նպատակն է գործնականում ցույց տալ, թե ինչպես ստեղծել հենց այս ենթակառուցվածքը, որպեսզի այն լինի և՛ սխալ հանդուրժող, և՛ դուք դեռ կարող եք խնայել. նվազեցնել կոմերցիոն ծրագրեր ձեռք բերելու ծախսերը կամ ընդհանրապես խուսափել դրանցից:
Ինչպես ցույց է տալիս երկար պրակտիկան, չարժե խնայել սարքավորումների վրա, քանի որ ժլատը վճարում է երկու անգամ, և նույնիսկ շատ ավելին: Բայց նորից լավ սարքավորում, սա ընդամենը առաջարկություն է, և ի վերջո ինչ գնել և ինչքանով է կախված ձեռնարկության հնարավորություններից և նրա ղեկավարության «ագահությունից»: Ավելին, «ագահություն» բառը պետք է հասկանալ բառի լավ իմաստով, քանի որ ավելի լավ է սկզբնական փուլում ներդնել սարքաշար, որպեսզի հետագայում լուրջ խնդիրներ չունենաք դրա հետագա աջակցության և մասշտաբի հետ կապված, քանի որ ի սկզբանե սխալ է: պլանավորումը և չափից ավելի խնայողությունները կարող են հանգեցնել ավելի մեծ ծախսերի, քան նախագիծը սկսելիս:
Այսպիսով, նախագծի նախնական տվյալները.
- կա մի ձեռնարկություն, որը որոշել է ստեղծել իր սեփական վեբ պորտալը և իր գործունեությունը հասցնել ինտերնետ.
- ընկերությունը որոշել է դարակ վարձել՝ իր սարքավորումները տեղավորելու լավ տվյալների կենտրոնում, որը հավաստագրված է Tier III ստանդարտի համաձայն.
- ընկերությունը որոշեց շատ չխնայել ապարատային սարքավորումների վրա, և, հետևաբար, գնել է հետևյալ սարքավորումները երկարաձգված երաշխիքներով և աջակցությամբ.
Սարքավորումների ցանկ
- երկու ֆիզիկական Dell PowerEdge R640 սերվերներ հետևյալ կերպ.
- երկու Intel Xeon Gold 5120 պրոցեսոր
- 512 Գբ օպերատիվ հիշողություն
- երկու SAS սկավառակ RAID1-ում, ՕՀ-ի տեղադրման համար
- ներկառուցված 4-port 1G ցանցային քարտ
- երկու 2-port 10G ցանցային քարտեր
- մեկ 2-port FC HBA 16G.
- Dell MD2f 3820 կարգավորիչի պահեստը միացված է FC 16G-ի միջոցով անմիջապես Dell-ի հոսթներին;
- երկրորդ մակարդակի երկու անջատիչ - Cisco WS-C2960RX-48FPS-L կուտակված;
- երրորդ մակարդակի երկու անջատիչ - Cisco WS-C3850-24T-E, համակցված կույտի մեջ;
- Դարակ, UPS, PDU, կոնսոլային սերվերներ - տրամադրվում է տվյալների կենտրոնի կողմից:
Ինչպես տեսնում ենք, գոյություն ունեցող սարքավորումները լավ հեռանկարներ ունեն հորիզոնական և ուղղահայաց մասշտաբավորման համար, եթե ձեռնարկությունը կարողանա մրցակցել համացանցում նմանատիպ պրոֆիլի այլ ընկերությունների հետ և սկսի շահույթ ստանալ, որը կարող է ներդրվել հետագա մրցակցության համար ռեսուրսների ընդլայնման և ընդլայնման համար: շահույթի աճ:
Ի՞նչ սարքավորումներ կարող ենք ավելացնել, եթե ձեռնարկությունը որոշի բարձրացնել մեր հաշվողական կլաստերի աշխատանքը.
- մենք ունենք մեծ պահուստ 2960X անջատիչների վրա պորտերի քանակի առումով, ինչը նշանակում է, որ մենք կարող ենք ավելացնել ավելի շատ ապարատային սերվերներ;
- գնել երկու FC անջատիչներ՝ պահեստավորման համակարգերը և լրացուցիչ սերվերները դրանց միացնելու համար.
- առկա սերվերները կարող են արդիականացվել. ավելացնել հիշողություն, փոխարինել պրոցեսորները ավելի արդյունավետներով, միանալ 10G ցանցին առկա ցանցային ադապտերներով;
- Դուք կարող եք լրացուցիչ սկավառակի դարակներ ավելացնել պահեստավորման համակարգին անհրաժեշտ տեսակի սկավառակներով՝ SAS, SATA կամ SSD՝ կախված պլանավորված բեռից.
- FC անջատիչներ ավելացնելուց հետո դուք կարող եք գնել մեկ այլ պահեստային համակարգ՝ սկավառակի ավելի մեծ հզորություն ավելացնելու համար, և եթե դրանում գնեք հատուկ Remote Replication տարբերակ, կարող եք կարգավորել տվյալների կրկնօրինակումը պահեստավորման համակարգերի միջև ինչպես մեկ տվյալների կենտրոնի, այնպես էլ տվյալների կենտրոնների միջև: (բայց սա արդեն դուրս է հոդվածի շրջանակներից);
- Կան նաև երրորդ մակարդակի անջատիչներ՝ Cisco 3850, որը կարող է օգտագործվել որպես անսարքության հանդուրժող ցանցի միջուկ՝ ներքին ցանցերի միջև բարձր արագությամբ երթուղիների համար: Սա ապագայում շատ կօգնի, քանի որ ներքին ենթակառուցվածքները մեծանում են։ 3850-ն ունի նաև 10G նավահանգիստներ, որոնք կարող են օգտագործվել ավելի ուշ, երբ ցանցային սարքավորումները արդիականացնեն մինչև 10G արագություն:
Քանի որ հիմա առանց վիրտուալացման ոչ մի տեղ չկա, մենք, անշուշտ, կլինենք տենդենցի մեջ, մանավանդ որ սա հիանալի միջոց է ենթակառուցվածքի առանձին տարրերի (վեբ սերվերներ, տվյալների բազաներ և այլն) թանկարժեք սերվերների ձեռքբերման ծախսերը նվազեցնելու համար, որոնք միշտ չէ, որ օպտիմալ են։ օգտագործվում են ցածր ծանրաբեռնվածության դեպքում, և դա հենց այն է, ինչ կլինի ծրագրի մեկնարկի սկզբում:
Բացի այդ, վիրտուալացումն ունի շատ այլ առավելություններ, որոնք կարող են շատ օգտակար լինել մեզ համար. VM-ի անսարքության հանդուրժողականություն ապարատային սերվերի խափանումից, կենդանի միգրացիա կլաստերային ապարատային հանգույցների միջև դրանց պահպանման համար, բեռների ձեռքով կամ ավտոմատ բաշխում կլաստերային հանգույցների միջև և այլն:
Ձեռնարկության կողմից գնված սարքաշարի համար իրեն առաջարկում է շատ մատչելի VMware vSphere կլաստերի տեղակայումը, բայց քանի որ VMware-ի ցանկացած ծրագրակազմ հայտնի է իր «ձիու» գնային պիտակներով, մենք կօգտագործենք բացարձակապես անվճար վիրտուալացման կառավարման ծրագիր. , որի հիման վրա ստեղծվում է հայտնի, բայց արդեն կոմերցիոն արտադրանք. .
Программное обеспечение o Վիրտուալ անհրաժեշտ է միավորել ենթակառուցվածքի բոլոր տարրերը մեկ ամբողջության մեջ, որպեսզի կարողանանք հարմարավետ աշխատել բարձր հասանելի վիրտուալ մեքենաների հետ. սրանք տվյալների բազաներ, վեբ հավելվածներ, պրոքսի սերվերներ, հավասարակշռողներ, տեղեկամատյանների և վերլուծությունների հավաքման սերվերներ և այլն, այսինքն. , ինչից է բաղկացած մեր ձեռնարկության վեբ պորտալը։
Ամփոփելով այս ներածությունը՝ մեզ սպասում են հետևյալ հոդվածները, որոնք գործնականում ցույց կտան, թե ինչպես կարելի է տեղակայել ձեռնարկության ողջ ապարատային և ծրագրային ենթակառուցվածքը.
Հոդվածների ցանկ
- Part 1. oVirt կլաստերի տեղակայման նախապատրաստում 4.3.
- Part 2. oVirt կլաստերի տեղադրում և կարգավորում 4.3.
- Part 3. VyOS կլաստերի ստեղծում, անսարքությունների հանդուրժող արտաքին երթուղի կազմակերպում:
- Part 4. Cisco 3850 փաթեթի կարգավորում, ներցանցային երթուղի կազմակերպում:
Մաս 1. oVirt 4.3 կլաստերի տեղակայման նախապատրաստում
Հիմնական հոսթինգի կարգավորում
ՕՀ-ի տեղադրումն ու կարգավորումը ամենահեշտ քայլն է: Կան բազմաթիվ հոդվածներ այն մասին, թե ինչպես ճիշտ տեղադրել և կարգավորել ՕՀ-ն, ուստի անիմաստ է փորձել այս մասին բացառիկ բան տալ:
Այսպիսով, մենք ունենք երկու Dell PowerEdge R640 հոսթ, որոնց վրա մենք պետք է տեղադրենք ՕՀ-ն և կատարենք նախնական կարգավորումները, որպեսզի դրանք օգտագործենք որպես հիպերվիզոր՝ oVirt 4.3 կլաստերում վիրտուալ մեքենաներ գործարկելու համար:
Քանի որ մենք նախատեսում ենք օգտագործել oVirt անվճար ոչ առևտրային ծրագրաշարը, մենք ընտրեցինք OS-ն՝ հոսթինգների տեղակայման համար: CentOS 7.7- ը, թեև oVirt-ի համար հոսթների վրա հնարավոր է տեղադրել այլ օպերացիոն համակարգեր.
- հատուկ կառուցում, որը հիմնված է RHEL-ի վրա, այսպես կոչված: ;
- OS Oracle Linux Ամառ 2019 oVirt-ի վրա աշխատեցնելու մասին:
Նախքան ՕՀ-ն տեղադրելը, խորհուրդ է տրվում.
- կարգավորել iDRAC ցանցի ինտերֆեյսը երկու հոսթների վրա.
- թարմացնել BIOS-ի և iDRAC-ի որոնվածը մինչև վերջին տարբերակները.
- կարգավորել սերվերի համակարգի պրոֆիլը, նախընտրելի է Performance ռեժիմում;
- կարգավորեք RAID-ը տեղական սկավառակներից (խորհուրդ է տրվում RAID1-ը)՝ OS-ն սերվերի վրա տեղադրելու համար:
Այնուհետև մենք OS-ն տեղադրում ենք iDRAC-ի միջոցով ավելի վաղ ստեղծված սկավառակի վրա՝ տեղադրման գործընթացը նորմալ է, դրա մեջ առանձնահատուկ պահեր չկան։ Դուք կարող եք նաև մուտք գործել սերվերի վահանակ՝ OS-ի տեղադրումը սկսելու համար iDRAC-ի միջոցով, թեև ոչինչ չի խանգարում ձեզ միացնել մոնիտորը, ստեղնաշարը և մկնիկը անմիջապես սերվերին և տեղադրել ՕՀ-ը ֆլեշ կրիչից:
ՕՀ-ն տեղադրելուց հետո մենք կատարում ենք դրա սկզբնական կարգավորումները.
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Ծրագրաշարի հիմնական փաթեթի տեղադրում
ՕՀ-ի սկզբնական տեղադրման համար դուք պետք է կարգավորեք ցանկացած ցանցային ինտերֆեյս սերվերի վրա, որպեսզի կարողանաք մուտք գործել ինտերնետ՝ ՕՀ-ն թարմացնելու և անհրաժեշտ ծրագրային փաթեթները տեղադրելու համար: Դա կարելի է անել ինչպես ՕՀ-ի տեղադրման գործընթացում, այնպես էլ դրանից հետո:
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Վերոնշյալ բոլոր կարգավորումները և ծրագրաշարի հավաքածուն անձնական նախապատվության հարց է, և այս հավաքածուն միայն առաջարկություն է:
Քանի որ մեր հյուրընկալողը կխաղա հիպերվիզորի դերը, մենք միացնենք ցանկալի կատարողական պրոֆիլը.
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Կատարման պրոֆիլի մասին ավելին կարող եք կարդալ այստեղ՝»:
ՕՀ-ն տեղադրելուց հետո մենք անցնում ենք հաջորդ մասին՝ կարգավորելով ցանցային ինտերֆեյսները հոսթների վրա և Cisco 2960X անջատիչների մի փաթեթ:
Cisco 2960X Switch Stack-ի կարգավորում
Մեր նախագծում կօգտագործվեն հետևյալ VLAN համարները՝ կամ միմյանցից մեկուսացված հեռարձակման տիրույթները՝ տարբեր տեսակի տրաֆիկի առանձնացման համար.
VLAN 10 - Համացանց
VLAN 17 - Կառավարում (iDRAC, պահեստավորում, անջատիչների կառավարում)
VLAN 32 – VM արտադրության ցանց
VLAN 33 - փոխկապակցման ցանց (արտաքին կապալառուների համար)
VLAN 34 - VM փորձարկման ցանց
VLAN 35 – VM մշակողների ցանց
VLAN 40 - Մոնիտորինգի ցանց
Նախքան աշխատանքը սկսելը, եկեք L2 մակարդակի դիագրամ տանք, որին ի վերջո պետք է հասնենք.
oVirt հոստերի և վիրտուալ մեքենաների միմյանց հետ ցանցային փոխազդեցության, ինչպես նաև մեր պահեստավորման համակարգը կառավարելու համար անհրաժեշտ է կարգավորել Cisco 2960X անջատիչների փաթեթը:
Dell-ի հոսթներն ունեն ներկառուցված 4-պորտ ցանցային քարտեր, հետևաբար, խորհուրդ է տրվում կազմակերպել իրենց կապը Cisco 2960X-ի հետ՝ օգտագործելով սխալ հանդուրժող ցանցային միացում, օգտագործելով ֆիզիկական ցանցի նավահանգիստների խմբավորումը տրամաբանական ինտերֆեյսի մեջ և LACP (802.3): ադ) արձանագրություն:
- Հոսթի առաջին երկու պորտերը կազմաձևված են կապի ռեժիմում և միացված են 2960X անջատիչին. այս տրամաբանական ինտերֆեյսը կկարգավորվի կամուրջ oVirt կլաստերի հոսթինգի կառավարման, մոնիտորինգի, այլ հոսթների հետ շփման հասցեով, այն կօգտագործվի նաև վիրտուալ մեքենաների Live միգրացիայի համար.
- Հոսթի երկրորդ երկու նավահանգիստները նույնպես կազմաձևված են կապի ռեժիմում և միացված են 2960X-ին. oVirt-ի միջոցով այս տրամաբանական ինտերֆեյսի վրա կամուրջներ կստեղծվեն ավելի ուշ (համապատասխան VLAN-ներում), որոնց միանալու են վիրտուալ մեքենաները:
- երկու ցանցային նավահանգիստները նույն տրամաբանական ինտերֆեյսի ներսում ակտիվ կլինեն, այսինքն. դրանց վրա երթևեկությունը կարող է փոխանցվել միաժամանակ՝ հավասարակշռման ռեժիմում։
- Ցանցային կարգավորումները կլաստերային հանգույցներում պետք է լինեն նույնը, բացառությամբ IP հասցեների:
Անջատիչի կույտի հիմնական կարգավորում 2960X և նրա նավահանգիստները
Նախկինում մեր անջատիչները պետք է լինեն.
- դարակ տեղադրված;
- միացված է պահանջվող երկարության երկու հատուկ մալուխներով, օրինակ՝ CAB-STK-E-1M;
- միացված է էլեկտրամատակարարմանը;
- միացված է ադմինիստրատորի աշխատակայանին կոնսոլային պորտի միջոցով՝ դրանց սկզբնական կազմաձևման համար:
Դրա համար անհրաժեշտ ուղեցույցը հասանելի է արտադրող
Վերոնշյալ քայլերը կատարելուց հետո մենք կարգավորում ենք անջատիչները:
Թե ինչ է նշանակում յուրաքանչյուր հրաման, չի կարելի վերծանել այս հոդվածի շրջանակներում, անհրաժեշտության դեպքում ամբողջ տեղեկատվությունը կարելի է գտնել ինքնուրույն:
Մեր նպատակն է արագ կարգավորել անջատիչի կույտը և դրան միացնել հյուրընկալողներն ու պահեստավորման կառավարման միջերեսները:
1) Մենք միանում ենք գլխավոր անջատիչին, անցնում արտոնյալ ռեժիմին, այնուհետև անցնում ենք կազմաձևման ռեժիմին և կատարում ենք հիմնական պարամետրերը:
Անջատիչի հիմնական կազմաձևը.
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Պահպանեք կազմաձևը հրամանով «wr mem«և վերագործարկեք անջատիչի կույտը հրամանով»վերբեռնեք» գլխավոր անջատիչի վրա 1.
2) Մենք կարգավորում ենք անջատիչի ցանցային պորտերը VLAN 17-ում մուտքի ռեժիմում (մուտքի)՝ պահեստավորման համակարգերի և iDRAC սերվերների կառավարման միջերեսները միացնելու համար:
Կառավարման նավահանգիստների կարգավորում.
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Դույսը վերաբեռնելուց հետո ստուգեք, որ այն ճիշտ է աշխատում.
Ստուգում է կույտի աշխատանքը.
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) SSH մուտքի կարգավորում 2960X կույտին
SSH-ի միջոցով կույտը հեռակա կառավարելու համար մենք կօգտագործենք SVI-ի վրա կազմաձևված IP 172.20.1.10 (փոխարկել վիրտուալ ինտերֆեյսը) VLAN17.
Թեև կառավարման նպատակների համար ցանկալի է օգտագործել հատուկ հատուկ պորտ անջատիչի վրա, սա անձնական նախապատվության և հնարավորության խնդիր է:
SSH մուտքի կարգավորում դեպի անջատիչ կույտ.
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordՍահմանեք գաղտնաբառ՝ արտոնյալ ռեժիմ մուտք գործելու համար.
enable secret *myenablepassword*
service password-encryptionԿարգավորեք NTP.
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Ստեղծեք Etherchannel-ի տրամաբանական միջերեսներ և հոսթներին միացված ֆիզիկական պորտեր: Կազմաձևման հեշտության համար բոլոր հասանելի VLAN-ները թույլատրվելու են բոլոր տրամաբանական ինտերֆեյսներում, բայց ընդհանուր առմամբ խորհուրդ է տրվում կարգավորել միայն այն, ինչ անհրաժեշտ է.
Etherchannel միջերեսների կարգավորում.
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeՎիրտուալ մեքենաների համար ցանցային ինտերֆեյսերի նախնական կազմաձևում, հոսթինգների վրա Հոսթ 1 и Հոսթ 2
Մենք ստուգում ենք համակարգում կապի գործարկման համար անհրաժեշտ մոդուլների առկայությունը, տեղադրում ենք կամուրջների կառավարման մոդուլը.
modinfo bonding
modinfo 8021q
yum install bridge-utilsBOND1 տրամաբանական ինտերֆեյսի կազմաձևումը վիրտուալ մեքենաների և դրա ֆիզիկական ինտերֆեյսների համար հոսթերների վրա.
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Կույտի կարգավորումներն ավարտելուց հետո 2960X և հոսթինգները, վերագործարկեք ցանցը հոսթների վրա և ստուգեք տրամաբանական ինտերֆեյսի գործունակությունը:
- հյուրընկալողի վրա՝
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- անջատիչի վրա 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Ցանցային ինտերֆեյսերի նախնական կազմաձևում՝ կլաստերային ռեսուրսների կառավարման համար, հոսթինգների վրա Հոսթ 1 и Հոսթ 2
BOND1 տրամաբանական ինտերֆեյսի կազմաձևումը հոսթների և դրա ֆիզիկական ինտերֆեյսի կառավարման համար.
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Կույտի կարգավորումներն ավարտելուց հետո 2960X և հոսթինգները, վերագործարկեք ցանցը հոսթների վրա և ստուգեք տրամաբանական ինտերֆեյսի գործունակությունը:
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryՍտեղծեք կառավարման ցանցային ինտերֆեյս յուրաքանչյուր հյուրընկալողի վրա VLAN 17և կապեք այն տրամաբանական ինտերֆեյսին BOND1:
VLAN17-ի կարգավորում Host1-ում.
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicVLAN17-ի կարգավորում Host2-ում.
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicՄենք վերագործարկում ենք ցանցը հոսթների վրա և ստուգում նրանց տեսանելիությունը միմյանց նկատմամբ:
Սա ավարտում է Cisco 2960X switch stack-ի կազմաձևումը, և եթե ամեն ինչ ճիշտ է արվել, այժմ մենք ունենք ցանցային կապ բոլոր ենթակառուցվածքային տարրերի միմյանց հետ L2 մակարդակում:
Dell MD3820f պահեստավորման կարգավորում
Նախքան պահեստավորման համակարգի կազմաձևման աշխատանքները սկսելը, այն պետք է արդեն միացված լինի Cisco անջատիչ փաթեթին 2960X կառավարման ինտերֆեյսներ, ինչպես նաև հյուրընկալողներ Հոսթ 1 и Հոսթ 2 FC-ի միջոցով:
Ընդհանուր սխեման, թե ինչպես պետք է պահեստավորման համակարգը միացվի անջատիչի կույտին, տրված է նախորդ գլխում:
FC-ի միջոցով պահեստը հյուրընկալողներին միացնելու սխեման պետք է այսպիսին լինի.
Միացման ընթացքում անհրաժեշտ է գրել WWPN հասցեները FC HBA հոսթերների համար, որոնք միացված են պահեստավորման համակարգի FC նավահանգիստներին. դա անհրաժեշտ կլինի պահեստավորման համակարգի LUN-ներին կապող հյուրընկալողի հետագա կազմաձևման համար:
Ներբեռնեք և տեղադրեք Dell MD3820f պահեստավորման կառավարման կոմունալ ծրագիրը ադմինիստրատորի աշխատանքային կայանում. PowerVault մոդուլային սկավառակի պահպանման կառավարիչ (MDSM).
Մենք կապվում ենք նրա հետ նրա լռելյայն IP հասցեների միջոցով, այնուհետև կարգավորում ենք մեր հասցեները VLAN17, վերահսկիչները TCP/IP-ի միջոցով կառավարելու համար.
Պահեստավորված 1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Հասցեները կարգավորելուց հետո մենք գնում ենք պահեստավորման կառավարման ինտերֆեյս և սահմանում գաղտնաբառ, սահմանում ենք ժամանակը, թարմացնում ենք կարգավորիչների և սկավառակների որոնվածը, անհրաժեշտության դեպքում և այլն:
Ինչպես է դա արվում, նկարագրված է պահեստավորում.
Վերոնշյալ կարգավորումները կատարելուց հետո մեզ միայն պետք է մի քանի բան անել.
- Կարգավորել հյուրընկալող FC նավահանգիստների ID-ները - Հյուրընկալող պորտի նույնացուցիչներ.
- Ստեղծեք հյուրընկալող խումբ - ընդունող խումբ և դրան ավելացրե՛ք մեր երկու Dell հոստերը:
- Ստեղծեք սկավառակի խումբ և դրա մեջ վիրտուալ սկավառակներ (կամ LUN), որոնք կներկայացվեն հոսթներին։
- Կազմաձևեք վիրտուալ սկավառակների (կամ LUN-ների) ներկայացումը հյուրընկալողների համար:
Նոր հոստերերի ավելացումը և հյուրընկալող FC նավահանգիստների պարտադիր նույնացուցիչների ավելացումը կատարվում է մենյուի միջոցով. Հյուրընկալող քարտեզագրումներ -> Սահմանել -> Հաղորդավարներ…
FC HBA հոսթերների WWPN հասցեները կարելի է գտնել, օրինակ, սերվերի iDRAC-ում:
Արդյունքում, մենք պետք է ստանանք այս նկարի նման մի բան.
Նոր հյուրընկալող խումբ ավելացնելը և հոսթինգները դրան կապելը կատարվում է մենյուի միջոցով. Հյուրընկալող քարտեզագրումներ -> Սահմանել -> Հյուրընկալող խումբ…
Հյուրերի համար ընտրեք ՕՀ-ի տեսակը. Linux (DM-MP).
Հյուրընկալող խումբ ստեղծելուց հետո՝ ներդիրի միջոցով Պահպանման և պատճենահանման ծառայություններ, ստեղծել սկավառակի խումբ - Սկավառակի խումբ, մի տեսակ, որը կախված է սխալների հանդուրժողականության պահանջներից, օրինակ, RAID10, և դրա մեջ պահանջվող չափի վիրտուալ սկավառակներ.
Եվ վերջապես, վերջնական փուլը վիրտուալ սկավառակների (կամ LUN-ների) ներկայացումն է հոսթների համար։
Դա անելու համար մենյուի միջոցով - Հյուրընկալող քարտեզագրումներ -> Lun քարտեզագրում -> Ավելացնել ... մենք վիրտուալ սկավառակները կապում ենք հոսթներին՝ թվեր վերագրելով նրանց:
Ամեն ինչ պետք է նմանվի այս սքրինշոթին.
Այստեղ մենք ավարտում ենք պահեստավորման կարգավորումը, և եթե ամեն ինչ ճիշտ է արվել, ապա տանտերերը պետք է տեսնեն իրենց ներկայացված LUN-ները իրենց FC HBA-ների միջոցով:
Եկեք ստիպենք համակարգին թարմացնել միացված կրիչների մասին տեղեկությունները.
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanՏեսնենք, թե ինչ սարքեր են տեսանելի մեր սերվերների վրա.
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Հոսթերի վրա կարող եք նաև լրացուցիչ կարգավորել բազմապատիկ, և չնայած այն կարող է ինքնուրույն անել oVirt-ը տեղադրելիս, բայց ավելի լավ է նախօրոք ստուգել MP-ի ճիշտությունը։
DM Multipath-ի տեղադրում և կարգավորում
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Սահմանեք MP ծառայությունը ավտոմատ մեկնարկի և գործարկեք այն.
systemctl enable multipathd && systemctl restart multipathdMP-ի շահագործման համար բեռնված մոդուլների մասին տեղեկատվության ստուգում.
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Դիտելով գոյություն ունեցող բազմուղիների կազմաձևման ամփոփագիրը.
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningՊահպանման համակարգին նոր LUN ավելացնելուց և այն հոսթին ներկայացնելուց հետո դուք պետք է սկանավորեք դրա վրա գտնվող հոսթին միացված HBA-ները:
systemctl reload multipathd
multipath -v2Եվ վերջապես, մենք ստուգում ենք, թե արդյոք բոլոր LUN-ները ներկայացվել են հոսթների պահեստավորման համակարգում, և արդյոք կա երկու ճանապարհ դեպի բոլորը:
Պատգամավորի շահագործման ստուգում.
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningԻնչպես տեսնում եք, պահեստավորման համակարգի բոլոր երեք վիրտուալ սկավառակները տեսանելի են երկու ձևով: Այսպիսով, բոլոր նախապատրաստական աշխատանքներն ավարտված են, ինչը նշանակում է, որ կարող եք անցնել հիմնական մասին՝ oVirt կլաստերի տեղադրմանը, որը կքննարկվի հաջորդ հոդվածում:
Source: www.habr.com