Oxucular bir sıra məqalələrdə ətraflı müzakirə olunacaq vahid məlumat mərkəzi daxilində kiçik müəssisə üçün nasazlığa dözümlü infrastrukturun qurulması prinsipləri ilə tanış olmağa dəvət olunur.
Prolog
Altında məlumat mərkəzi (Məlumatların Emalı Mərkəzi) aşağıdakı kimi başa düşülə bilər:
- müəssisənin ərazisində enerji və soyutma avadanlığının təmin edilməsi üçün minimum tələblərə cavab verən, həmçinin iki müstəqil provayder vasitəsilə İnternetə çıxışı olan öz “server otağında” şəxsi rəf;
- real məlumat mərkəzində yerləşən öz avadanlığı ilə icarəyə götürülmüş raf - sözdə. Etibarlı enerji, soyutma və əvəzsiz İnternetə çıxışı təmin edən III və ya IV səviyyəli birləşmə;
- III və ya IV səviyyəli məlumat mərkəzində tam icarəyə verilmiş avadanlıq.
Hansı yaşayış variantını seçmək - hər bir halda hər şey fərdi və adətən bir neçə əsas amildən asılıdır:
- nə üçün müəssisənin ümumiyyətlə öz İT infrastrukturuna ehtiyacı var;
- müəssisə İT infrastrukturundan dəqiq nə istəyir (etibarlılıq, miqyaslılıq, idarəolunma qabiliyyəti və s.);
- İT infrastrukturuna ilkin sərmayənin məbləği, eləcə də bunun üçün hansı növ xərclər - kapital (bu, öz avadanlığının alınması deməkdir) və ya əməliyyat (avadanlıq adətən icarəyə verilir);
- müəssisənin özünün planlaşdırma üfüqü.
Müəssisənin İT infrastrukturunu yaratmaq və istifadə etmək qərarına təsir edən amillər haqqında çox yaza bilərsiniz, lakin bizim məqsədimiz praktikada bu infrastrukturun necə yaradılmasını göstərməkdir ki, o, həm səhvlərə dözümlü olsun, həm də siz hələ də qənaət edə biləsiniz - kommersiya proqram təminatının alınması xərclərini azaldın və ya onlardan tamamilə qaçın.
Uzun təcrübə göstərir ki, dəmirə qənaət etməyə dəyməz, çünki xəsis iki dəfə ödəyir, hətta daha çox. Ancaq yenə də - yaxşı aparat, bu sadəcə bir tövsiyədir və sonda tam olaraq nə almaq və nə qədər müəssisənin imkanlarından və onun rəhbərliyinin "xəsisliyindən" asılıdır. Üstəlik, "xəsislik" sözü sözün yaxşı mənasında başa düşülməlidir, çünki ilkin mərhələdə aparata sərmayə qoymaq daha yaxşıdır ki, sonradan onun sonrakı dəstəyi və miqyası ilə ciddi problem yaşamayasınız, çünki əvvəlcə səhv idi. planlaşdırma və həddindən artıq qənaət layihəyə başladıqda daha yüksək xərclərə səbəb ola bilər.
Beləliklə, layihə üçün ilkin məlumatlar:
- öz veb portalını yaratmaq və fəaliyyətini İnternetə gətirmək qərarına gələn müəssisə var;
- şirkət öz avadanlığını Tier III standartına uyğun olaraq sertifikatlaşdırılmış yaxşı məlumat mərkəzində yerləşdirmək üçün rəf icarəyə götürmək qərarına gəldi;
- şirkət avadanlıqlara çox qənaət etməmək qərarına gəldi və buna görə də uzadılmış zəmanət və dəstək ilə aşağıdakı avadanlıqları aldı:
Avadanlıqların siyahısı
- aşağıdakı kimi iki fiziki Dell PowerEdge R640 serveri:
- iki Intel Xeon Gold 5120 prosessoru
- 512 GB RAM
- ƏS quraşdırılması üçün RAID1-də iki SAS diski
- quraşdırılmış 4 portlu 1G şəbəkə kartı
- iki 2 portlu 10G şəbəkə kartı
- bir 2 portlu FC HBA 16G.
- FC 2G vasitəsilə birbaşa Dell hostlarına qoşulmuş Dell MD3820f 16 nəzarətçi yaddaşı;
- ikinci səviyyəli iki açar - Cisco WS-C2960RX-48FPS-L yığılmışdır;
- üçüncü səviyyəli iki açar - bir yığına birləşdirilmiş Cisco WS-C3850-24T-E;
- Rack, UPS, PDU, konsol serverləri - məlumat mərkəzi tərəfindən təmin edilir.
Gördüyümüz kimi, müəssisə İnternetdə oxşar profilli digər şirkətlərlə rəqabət apara bilsə və gələcək rəqabət üçün resursların genişləndirilməsinə investisiya edilə bilən mənfəət əldə etməyə başlasa, mövcud avadanlıq üfüqi və şaquli miqyas üçün yaxşı perspektivlərə malikdir. və mənfəət artımı.
Müəssisə hesablama klasterimizin məhsuldarlığını artırmaq qərarına gələrsə, hansı avadanlıqları əlavə edə bilərik:
- 2960X açarlarında portların sayı baxımından böyük ehtiyatımız var, yəni daha çox hardware serverləri əlavə edə bilərik;
- saxlama sistemlərini və onlara əlavə serverləri birləşdirmək üçün iki FC açarı alın;
- mövcud serverlər təkmilləşdirilə bilər - yaddaş əlavə edin, prosessorları daha səmərəli olanlarla əvəz edin, mövcud şəbəkə adapterləri ilə 10G şəbəkəsinə qoşulun;
- planlaşdırılmış yükdən asılı olaraq tələb olunan tipli disklər - SAS, SATA və ya SSD ilə yaddaş sisteminə əlavə disk rəfləri əlavə edə bilərsiniz;
- FC açarlarını əlavə etdikdən sonra daha çox disk tutumu əlavə etmək üçün başqa bir yaddaş sistemi satın ala bilərsiniz və ona xüsusi Uzaqdan Replikasiya seçimini satın alsanız, həm bir məlumat mərkəzinin hüdudları daxilində, həm də məlumat mərkəzləri arasında saxlama sistemləri arasında məlumat replikasiyasını konfiqurasiya edə bilərsiniz. (lakin bu artıq məqalənin əhatə dairəsindən kənardadır);
- üçüncü səviyyəli açarlar da var - daxili şəbəkələr arasında yüksək sürətli marşrutlaşdırma üçün nasazlığa davamlı şəbəkə nüvəsi kimi istifadə edilə bilən Cisco 3850. Bu, gələcəkdə daxili infrastruktur inkişaf etdikcə çox kömək edəcək. 3850-də həmçinin 10G portları var ki, onları sonradan şəbəkə avadanlıqlarını 10G sürətinə təkmilləşdirərkən istifadə etmək olar.
İndi virtualizasiya olmadan heç bir yer olmadığından, biz əlbəttə ki, trenddə olacağıq, xüsusən də bu, həmişə optimal olmayan fərdi infrastruktur elementləri (veb serverlər, verilənlər bazası və s.) üçün bahalı serverlərin alınması xərclərini azaltmaq üçün əla bir yoldur. az yük vəziyyətində istifadə olunur və layihənin başlanğıcında məhz bu olacaq.
Bundan əlavə, virtuallaşdırma bizim üçün çox faydalı ola biləcək bir çox başqa üstünlüklərə malikdir: hardware server nasazlığından VM xətasına dözümlülük, onlara texniki qulluq üçün klaster aparat qovşaqları arasında canlı miqrasiya, klaster qovşaqları arasında yükün əl ilə və ya avtomatik paylanması və s.
Müəssisə tərəfindən satın alınan avadanlıq üçün yüksək əlçatan VMware vSphere klasterinin yerləşdirilməsi özünü göstərir, lakin VMware-dən hər hansı bir proqram “at” qiymət etiketləri ilə tanındığından, biz tamamilə pulsuz virtuallaşdırma idarəetmə proqramından istifadə edəcəyik - , bunun əsasında tanınmış, lakin artıq kommersiya məhsulu yaradılır - .
Software oVirt yüksək əlçatan virtual maşınlarla rahat işləyə bilmək üçün infrastrukturun bütün elementlərini bir bütövlükdə birləşdirmək lazımdır - bunlar verilənlər bazası, veb proqramlar, proxy serverlər, balanslaşdırıcılar, jurnallar və analitiklərin toplanması üçün serverlər və s., yəni. , müəssisəmizin veb portalı nələrdən ibarətdir.
Bu girişi yekunlaşdıraraq, müəssisənin bütün aparat və proqram təminatı infrastrukturunun necə yerləşdiriləcəyini praktikada göstərəcək aşağıdakı məqalələr bizi gözləyir:
Məqalələrin siyahısı
- Part 1. oVirt Klasterini Yerləşdirməyə Hazırlıq 4.3.
- Part 2. oVirt klasterinin quraşdırılması və konfiqurasiyası 4.3.
- Part 3. VyOS klasterinin qurulması, xətaya dözümlü xarici marşrutlaşdırmanın təşkili.
- Part 4. Cisco 3850 yığınının qurulması, intranet marşrutlaşdırmasının təşkili.
Hissə 1. oVirt 4.3 Klasterini Yerləşdirməyə Hazırlıq
Əsas host quraşdırması
ƏS-nin quraşdırılması və konfiqurasiyası ən asan addımdır. ƏS-ni necə düzgün quraşdırmaq və konfiqurasiya etmək barədə bir çox məqalə var, buna görə də bu barədə eksklüziv bir şey verməyə çalışmağın mənası yoxdur.
Beləliklə, bizim iki Dell PowerEdge R640 hostumuz var ki, onların üzərində OS quraşdırmalı və oVirt 4.3 klasterində virtual maşınları idarə etmək üçün hipervizor kimi istifadə etmək üçün ilkin parametrləri yerinə yetirməliyik.
Pulsuz qeyri-kommersiya oVirt proqram təminatından istifadə etməyi planlaşdırdığımız üçün hostları yerləşdirmək üçün əməliyyat sistemi seçdik. CentOS 7.7, baxmayaraq ki, oVirt üçün hostlarda digər əməliyyat sistemləri quraşdırmaq mümkündür:
- RHEL-ə əsaslanan xüsusi bir quruluş, sözdə. ;
- ƏS Oracle Linux Yay 2019 oVirt-in üzərində işləməsini saxlamaq haqqında.
ƏS-ni quraşdırmadan əvvəl tövsiyə olunur:
- hər iki hostda iDRAC şəbəkə interfeysini konfiqurasiya edin;
- BIOS və iDRAC üçün proqram təminatını ən son versiyalara yeniləmək;
- serverin Sistem Profilini konfiqurasiya edin, tercihen Performans rejimində;
- OS-ni serverə quraşdırmaq üçün yerli disklərdən RAID-i konfiqurasiya edin (RAID1 tövsiyə olunur).
Sonra əməliyyat sistemini iDRAC vasitəsilə əvvəllər yaradılmış diskə quraşdırırıq - quraşdırma prosesi normaldır, orada xüsusi məqamlar yoxdur. Siz həmçinin iDRAC vasitəsilə ƏS-nin quraşdırılmasına başlamaq üçün server konsoluna daxil ola bilərsiniz, baxmayaraq ki, monitoru, klaviaturanı və siçanı birbaşa serverə qoşmağa və OS-ni fləş diskdən quraşdırmağa heç nə mane olmur.
ƏS-ni quraşdırdıqdan sonra onun ilkin parametrlərini yerinə yetiririk:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Əsas proqram dəstinin quraşdırılması
ƏS-nin ilkin quraşdırılması üçün siz serverdə istənilən şəbəkə interfeysini konfiqurasiya etməlisiniz ki, ƏS-ni yeniləmək və lazımi proqram paketlərini quraşdırmaq üçün İnternetə daxil ola biləsiniz. Bu, həm OS quraşdırma prosesində, həm də ondan sonra edilə bilər.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Yuxarıda göstərilən bütün parametrlər və proqram təminatı dəsti şəxsi seçim məsələsidir və bu dəst yalnız tövsiyə xarakteri daşıyır.
Ev sahibimiz hipervizor rolunu oynayacağı üçün biz istədiyiniz performans profilini aktiv edəcəyik:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Performans profili haqqında daha ətraflı burada oxuya bilərsiniz:".
ƏS-ni quraşdırdıqdan sonra biz növbəti hissəyə keçirik - hostlarda şəbəkə interfeyslərinin konfiqurasiyası və Cisco 2960X keçidlərinin yığını.
Cisco 2960X Switch Stack konfiqurasiyası
Layihəmizdə müxtəlif trafik növlərini ayırmaq üçün aşağıdakı VLAN nömrələrindən istifadə olunacaq və ya bir-birindən təcrid olunmuş domenləri yayımlayacaq:
VLAN 10 - İnternet
VLAN 17 – İdarəetmə (iDRAC, yaddaş, açarların idarə edilməsi)
VLAN 32 – VM istehsal şəbəkəsi
VLAN 33 – qarşılıqlı əlaqə şəbəkəsi (xarici podratçılara)
VLAN 34 – VM test şəbəkəsi
VLAN 35 – VM developer şəbəkəsi
VLAN 40 - monitorinq şəbəkəsi
İşə başlamazdan əvvəl L2 səviyyəsində bir diaqram verək ki, nəticədə ona çatmalıyıq:
oVirt hostları və virtual maşınların bir-biri ilə şəbəkə qarşılıqlı əlaqəsi, həmçinin yaddaş sistemimizi idarə etmək üçün Cisco 2960X açarlarının yığınını konfiqurasiya etmək lazımdır.
Dell hostlarında quraşdırılmış 4 portlu şəbəkə kartları var, buna görə də fiziki şəbəkə portlarının məntiqi interfeysdə qruplaşdırılmasından və LACP (2960) istifadə edərək, nasazlığa davamlı şəbəkə bağlantısından istifadə etməklə onların Cisco 802.3X ilə əlaqəsini təşkil etmək məsləhətdir. ad) protokol:
- hostun ilk iki portu birləşdirmə rejimində konfiqurasiya edilir və 2960X keçidinə qoşulur - bu məntiqi interfeys konfiqurasiya ediləcək körpü oVirt klasterində host idarəetməsi, monitorinqi, digər hostlarla əlaqə ünvanı ilə o, virtual maşınların Canlı miqrasiyası üçün də istifadə olunacaq;
- hostdakı ikinci iki port da bonding rejimində konfiqurasiya edilir və 2960X-ə qoşulur - oVirt-dən istifadə edən bu məntiqi interfeysdə virtual maşınların qoşulacağı körpülər daha sonra yaradılacaq (müvafiq VLAN-larda).
- eyni məntiqi interfeys daxilində hər iki şəbəkə portu aktiv olacaq, yəni. onlara trafik eyni vaxtda, balanslaşdırma rejimində ötürülə bilər.
- klaster qovşaqlarında şəbəkə parametrləri IP ünvanları istisna olmaqla, tam olaraq eyni olmalıdır.
Əsas keçid yığınının qurulması 2960X və onun limanları
Əvvəllər açarlarımız belə olmalıdır:
- rafa quraşdırılmışdır;
- tələb olunan uzunluqda iki xüsusi kabel ilə birləşdirilir, məsələn, CAB-STK-E-1M;
- enerji təchizatı ilə bağlıdır;
- onların ilkin konfiqurasiyası üçün konsol portu vasitəsilə administrator iş stansiyasına qoşulur.
Bunun üçün lazımi təlimat burada mövcuddur istehsalçı.
Yuxarıdakı addımları tamamladıqdan sonra açarları konfiqurasiya edirik.
Hər bir əmrin nə demək olduğunu bu məqalə çərçivəsində deşifrə etmək lazım deyil, lazım gələrsə, bütün məlumatları müstəqil olaraq tapmaq olar.
Məqsədimiz tez bir keçid yığını qurmaq və ona hostları və yaddaş idarəetmə interfeyslərini qoşmaqdır.
1) Biz master keçidinə qoşuluruq, imtiyazlı rejimə keçirik, sonra konfiqurasiya rejiminə keçirik və əsas parametrləri edirik.
Əsas keçid konfiqurasiyası:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Konfiqurasiyanı əmrlə qeyd edin "wr meme"və keçid yığınını yenidən başladın" əmri iləyenidən yükləyin» əsas açarda 1.
2) Biz saxlama sistemlərinin və iDRAC serverlərinin idarəetmə interfeyslərini birləşdirmək üçün keçidin şəbəkə portlarını VLAN 17-də giriş rejimində (giriş) konfiqurasiya edirik.
İdarəetmə Portlarının Konfiqurasiyası:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Yığını yenidən yüklədikdən sonra onun düzgün işlədiyini yoxlayın:
Stackin işləməsinin yoxlanılması:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) 2960X yığınına SSH girişinin qurulması
SSH vasitəsilə uzaqdan yığını idarə etmək üçün biz SVI-da konfiqurasiya edilmiş IP 172.20.1.10-dan istifadə edəcəyik (virtual interfeysə keçid) VLAN17.
İdarəetmə məqsədləri üçün keçiddə xüsusi ayrılmış portdan istifadə etmək məqsədəuyğun olsa da, bu, şəxsi üstünlük və imkan məsələsidir.
Switch yığınına SSH girişinin qurulması:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordİmtiyazlı rejimə daxil olmaq üçün parol təyin edin:
enable secret *myenablepassword*
service password-encryptionNTP qurun:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Hostlara qoşulmuş məntiqi Etherchannel interfeysləri və fiziki portları qurun. Konfiqurasiya asanlığı üçün bütün mövcud VLAN-lara bütün məntiqi interfeyslərdə icazə veriləcək, lakin ümumiyyətlə yalnız lazım olanı konfiqurasiya etmək tövsiyə olunur:
Etherchannel interfeyslərinin konfiqurasiyası:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeHostlarda virtual maşınlar üçün şəbəkə interfeyslərinin ilkin konfiqurasiyası Qonaq1 и Qonaq2
Sistemdə birləşmənin işləməsi üçün lazım olan modulların mövcudluğunu yoxlayırıq, körpüləri idarə etmək üçün modul quraşdırırıq:
modinfo bonding
modinfo 8021q
yum install bridge-utilsVirtual maşınlar üçün BOND1 məntiqi interfeysinin və onun hostlarda fiziki interfeyslərinin konfiqurasiyası:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Yığındakı parametrləri tamamladıqdan sonra 2960X və hostlar, hostlarda şəbəkəni yenidən başladın və məntiqi interfeysin işləmə qabiliyyətini yoxlayın.
- hostda:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- keçid yığınında 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Hostlarda klaster resurslarını idarə etmək üçün şəbəkə interfeyslərinin ilkin konfiqurasiyası Qonaq1 и Qonaq2
Hostlarda və onun fiziki interfeyslərində idarəetmə üçün BOND1 məntiqi interfeysinin konfiqurasiyası:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Yığındakı parametrləri tamamladıqdan sonra 2960X və hostlar, hostlarda şəbəkəni yenidən başladın və məntiqi interfeysin işləmə qabiliyyətini yoxlayın.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryHər bir hostda idarəetmə şəbəkəsi interfeysi qurun VLAN 17, və onu BOND1 məntiqi interfeysinə bağlayın:
Host17-də VLAN1 konfiqurasiyası:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicHost17-də VLAN2 konfiqurasiyası:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicŞəbəkəni hostlarda yenidən işə salırıq və onların bir-birinə görünməsini yoxlayırıq.
Bu, Cisco 2960X keçid yığınının konfiqurasiyasını tamamlayır və əgər hər şey düzgün aparılıbsa, indi biz L2 səviyyəsində bütün infrastruktur elementlərinin bir-biri ilə şəbəkə bağlantısına malikik.
Dell MD3820f yaddaş quraşdırması
Saxlama sisteminin konfiqurasiyası üzrə işə başlamazdan əvvəl o, artıq Cisco keçid yığınına qoşulmalıdır 2960X idarəetmə interfeysləri, eləcə də hostlara Qonaq1 и Qonaq2 FC vasitəsilə.
Saxlama sisteminin keçid yığınına necə qoşulmasının ümumi sxemi əvvəlki fəsildə verilmişdir.
Yaddaşın FC vasitəsilə hostlara qoşulması sxemi belə görünməlidir:
Qoşulma zamanı yaddaş sistemindəki FC portlarına qoşulmuş FC HBA hostları üçün WWPN ünvanlarını yazmaq lazımdır - bu, saxlama sistemindəki LUN-lara hostun bağlanmasının sonrakı konfiqurasiyası üçün lazım olacaq.
Dell MD3820f yaddaş idarəetmə yardım proqramını idarəçi iş stansiyasına endirin və quraşdırın - PowerVault Modul Disk Saxlama Meneceri (MDSM).
Biz ona standart IP ünvanları vasitəsilə qoşuluruq və sonra ünvanlarımızı konfiqurasiya edirik VLAN17, TCP/IP vasitəsilə nəzarətçiləri idarə etmək üçün:
Saxlama1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Ünvanları təyin etdikdən sonra saxlama idarəetmə interfeysinə gedirik və parol təyin edirik, vaxtı təyin edirik, lazım olduqda kontrollerlər və disklər üçün proqram təminatını yeniləyirik və s.
Bunun necə edildiyi məqalədə təsvir edilmişdir saxlama.
Yuxarıdakı parametrləri etdikdən sonra yalnız bir neçə şeyi etməliyik:
- Host FC port ID-lərini konfiqurasiya edin - Host Port İdentifikatorları.
- Ev sahibi qrupu yaradın - ev sahibi qrupu və ona iki Dell hostumuzu əlavə edin.
- Disk qrupu və orada hostlara təqdim olunacaq virtual disklər (və ya LUN-lar) yaradın.
- Hostlar üçün virtual disklərin (və ya LUN-ların) təqdimatını konfiqurasiya edin.
Yeni hostların əlavə edilməsi və host FC portlarının identifikatorlarının bağlanması menyu vasitəsilə həyata keçirilir - Host Xəritəçəkmələri -> Müəyyənləşdirmək -> Ev sahibləri…
FC HBA hostlarının WWPN ünvanları, məsələn, serverin iDRAC-də tapıla bilər.
Nəticədə bu şəkil kimi bir şey almalıyıq:
Yeni host qrupu əlavə etmək və ona hostları bağlamaq menyu vasitəsilə həyata keçirilir - Host Xəritəçəkmələri -> Müəyyənləşdirmək -> Host Qrupu…
Hostlar üçün OS növünü seçin - Linux (DM-MP).
Ev sahibi qrupu yaratdıqdan sonra tab vasitəsilə Saxlama və Kopyalama Xidmətləri, disk qrupu yaradın - Disk Qrupu, nasazlığa dözümlülük tələblərindən asılı olaraq bir növü ilə, məsələn, RAID10 və içərisində tələb olunan ölçülü virtual disklər:
Və nəhayət, son mərhələ hostlar üçün virtual disklərin (və ya LUN-ların) təqdimatıdır.
Bunu etmək üçün menyu vasitəsilə - Host Xəritəçəkmələri -> Lun xəritəsi -> Əlavə et ... virtual diskləri hostlara nömrələr təyin etməklə bağlayırıq.
Hər şey bu ekran görüntüsü kimi görünməlidir:
Saxlama quraşdırmasını burada bitiririk və hər şey düzgün aparılıbsa, ev sahibləri FC HBA-ları vasitəsilə onlara təqdim olunan LUN-ları görməlidirlər.
Sistemi qoşulmuş sürücülər haqqında məlumatı yeniləməyə məcbur edək:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanGəlin serverlərimizdə hansı cihazların göründüyünə baxaq:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Hostlarda siz əlavə olaraq konfiqurasiya edə bilərsiniz çox yol, və oVirt-i quraşdırarkən bunu özü edə bilsə də, MP-nin düzgünlüyünü əvvəlcədən yoxlamaq daha yaxşıdır.
DM Multipath-in quraşdırılması və konfiqurasiyası
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}MP xidmətini avtomatik işə salın və işə salın:
systemctl enable multipathd && systemctl restart multipathdMP işləməsi üçün yüklənmiş modullar haqqında məlumatın yoxlanılması:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Mövcud çoxyollu konfiqurasiyanın xülasəsinə baxmaq:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningYaddaş sisteminə yeni LUN əlavə etdikdən və onu hosta təqdim etdikdən sonra onun üzərindəki hosta qoşulmuş HBA-ları skan etməlisiniz.
systemctl reload multipathd
multipath -v2Və nəhayət, bütün LUN-ların hostlar üçün saxlama sistemində təqdim edilib-edilmədiyini və hamıya iki yolun olub olmadığını yoxlayırıq.
MP əməliyyat yoxlaması:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningGördüyünüz kimi, saxlama sistemindəki hər üç virtual disk iki şəkildə görünür. Beləliklə, bütün hazırlıq işləri tamamlandı, yəni siz əsas hissəyə - növbəti məqalədə müzakirə ediləcək oVirt klasterinin qurulmasına keçə bilərsiniz.
Mənbə: www.habr.com