Oxuculara bir məlumat mərkəzinin çərçivəsində kiçik müəssisənin etibarlı infrastrukturunun qurulma prinsipləri ilə tanış olmaları tövsiyə edilir ki, bunlar bir neçə yazı dövründə ətraflı müzakirə olunacaq.
Giriş hissəsi
Altında Məlumat Mərkəzi (Data Processing Center) aşağıdakılarla başa düşülə bilər:
- müəssisənin ərazisində olan və avadanlığın enerji təminatı və soyutma ilə bağlı minimal tələblərini ödəyən "server otağında" öz qəbuledici kabineti;
- real məlumat mərkəzində yerləşən, müvafiq olaraq Tier III və ya IV standartına uyğun olan öz avadanlıqları olan icarəyə verilən kabinet – yəni collocation, burada etibarlı enerji təminatı, soyutma və etibarlı internet çıxışı təmin edilir;
- Tier III və ya IV məlumat mərkəzində tam icarəyə verilən avadanlıq.
Hansı yerləşdirmə variantını seçmək lazımdır – hər bir halda hər şey fərdidir, və adətən bir neçə əsas amildən asılıdır:
- müəssisəyə özünün İT infrastrukturunun nə üçün lazım olması;
- müəssisənin İT infrastrukturundan nəyi istəyir (etibarlılıq, miqyaslandırma, idarəetmə və s.);
- İT infrastrukturuna qoyulan ilkin investisiya həcmi, və həmçinin bununla bağlı xərclərin növü – kapital (yəni öz avadanlıqlarının alınması) və ya əməliyyat (avadanlıq adətən icarəyə götürülür);
- müəssisənin planlaşdırma perspektivi.
Müəssisənin İT infrastrukturunun yaradılması və istifadəsinə təsir edən amillər haqqında çox şey yazmaq olar, lakin bizim məqsədimiz praktikada bu infrastrukturun necə yaradılacağını göstərməkdir ki, bu, həm etibarlı olsun, həm də eyni zamanda xərcləri azaltmaq – kommersiya proqram təminatına investisiyaları azaltmaq və ya tamamilə qarşısını almaq.
Uzun illərin təcrübəsi göstərir ki, avadanlıq üzrə qənaət etmək olmaz, çünki qənaət edən iki dəfə ödəyir, bəzən daha çox. Lakin, buna baxmayaraq, yaxşı avadanlıq yalnız bir tövsiyədir və nəyi alacağınız və nə qədər ödəyəcəyiniz müəssisənin imkanları və rəhbərliyin "xəsisliyi" ilə bağlıdır. "Xəsislik" sözünü bu sözün yaxşı mənasında başa düşmək lazımdır, çünki layihənin ilkin mərhələsində yaxşı avadanlığa investisiya etmək daha məqsədəuyğundur ki, sonra onun dəstəklənməsi və miqyaslandırılması ilə bağlı ciddi problemlərlə üzləşməyin; çünki ilkin yanlış planlaşdırma və həddindən artıq qənaət gələcəkdə daha yüksək xərclərə gətirib çıxara bilər.
Beləliklə, layihə üçün ilkin məlumatlar:
- var bir müəssisə ki, öz veb-portfelini yaratmaq və fəaliyyətini internetə çıxarmaq qərarına gəlib;
- şirkət öz avadanlığını yaxşı bir data mərkəzində yerləşdirmək üçün rəf icarəyə götürməyi qərara aldı, bu data mərkəzi Tier III standartına uyğun sertifikatlaşdırılıb;
- şirkət avadanlıqlara qənaət etməməyi qərara aldı və buna görə geniş zəmanət və dəstəyə malik aşağıdakı avadanlığı satın aldı:
Avadanlıq siyahısı
- belə tərkibdə iki fiziki server Dell PowerEdge R640:
- iki Intel Xeon Gold 5120 prosessoru
- 512 Gb RAM
- RAID1 ilə quraşdırma üçün iki SAS disk
- daxili 4-portlu 1G şəbəkə kartı
- iki 2-portlu 10G şəbəkə kartı
- bir 2-portlu 16G FC HBA.
- Dell MD3820f, Dell hostlarına birbaşa FC 16G ilə qoşulmuş iki nəzarətçi ilə birləşdirilmiş saxlama cihazı;
- iki səviyyəli switch — Cisco WS-C2960RX-48FPS-L birləşdirilmiş stek;
- iki səviyyəli switch — Cisco WS-C3850-24T-E, birləşdirilmiş stek;
- Rəf, UPS, PDU, konsol serverləri – data mərkəzi tərəfindən təmin edilir.
Gördüyümüz kimi, mövcud avadanlığın horizontal və vertical miqyaslanma üçün yaxşı perspektivləri var, əgər şirkət rəqib şirkətlərlə onlayn mübarizə apara bilsə, qazanc əldə etməyə başlayarsa, o zaman resursları genişləndirmək üçün sərmayə qoyma imkanı olacaq.
Əgər şirkət hesablama klasterinin istehsalını artırmağı qərara alarsa, hansı avadanlığı əlavə edə bilərik:
- switchlər 2960X-də port sayında böyük ehtiyatımız var, yəni daha çox fiziki server əlavə edə bilərik;
- saxlama cihazını və əlavə serverləri qoşmaq üçün iki FC switch alaraq;
- mövcud serverlərə, əlavə RAM əlavə edərək, daha güclü prosessorlarla əvəz edərək, artıq mövcud şəbəkə adapterləri ilə 10G şəbəkəyə qoşula bilərik;
- saxlama cihazına tələb olunan disk tipləri ilə əlavə disk kabinetləri əlavə oluna bilər – SAS, SATA və ya SSD, planlaşdırılan yükə əsasən;
- FC switchlər əlavə etdikdən sonra daha bir saxlanma cihazı almaq mümkündür ki, daha çox disk tutumunu əlavə edə biləsiniz, və əgər ona Remote Replication xüsusi variantı əlavə etsək, o zaman məlumatların replikasiyasını eyni Data Mərkəzində və ya Data Mərkəzləri arasında qurmaq olar (amma bu artıq məqalənin xaricindədir);
- həmçinin üçüncü səviyyəli switchlər – Cisco 3850 də var, onları şəbəkənin etibarlı mərkəzi kimi istifadə etmək olar, daxili şəbəkələr arasında yüksək sürətli marşrutlaşdırma üçün. Bu, daxili infrastruktur böyüdükcə, daha sonra çox kömək edəcək. Həmçinin 3850-də 10G portları var ki, bu da şəbəkə avadanlığının 10G sürətinə yüksəldilməsi zamanı daha sonra istifadə oluna bilər.
Virtualizasiya olmadan indi heç yerdə olmaq mümkün deyil, buna görə də biz də trendlərə uyğun olacağıq, xüsusən də bu, xüsusi infrastruktur elementləri (veb serverləri, verilənlər bazası və s.) üçün bahalı serverlərin alınma xərclərini azaltmağın əla bir yoludur ki, bu elementlər aşağı yük şəraitində optimal istifadə olunmur, layihənin başlanğıcında tam olaraq belə olacaq.
Bundan əlavə, virtualizasiyanın çoxsaylı digər üstünlükləri var ki, bunlar bizə çox kömək edə bilər: avadanlığın nasazlığından VM-nin dayanıqlığı, klasterin avadanlıqları arasında Live migrasiya, klasterin nodları arasında yükün əl ilə və ya avtomatik paylanması və s.
Təşkilat tərəfindən alınmış avadanlıqlar üçün VMware vSphere yüksək əlçatan klasterinin yerləşdirilməsi təklif olunur, amma VMware-in hər bir proqram təminatı 'at qiymətləri' ilə tanınması səbəbindən, biz virtualizasiya idarəetməsi üçün tamamilə pulsuz proqram təminatından istifadə edəcəyik – , əsasında tanınmış, amma artıq ticarət məhsulu olan — .
Proqram təminatı oVirt bütün infrastruktur elementlərini bir yerə birləşdirmək üçün lazımlıdır, bu da yüksək əlçatan virtual maşınlarla rahat işləməyə imkan verir – verilənlər bazaları, veb tətbiqləri, proksi serverlər, balanslaşdırıcılar, loq və analitika toplama serverləri və s., yəni bunu bizim müəssisəmizin veb portalını təşkil edən elementlərdir.
Bu girişin yekunu olaraq, bizləri gözləyən növbəti məqalələr praktik olaraq bütün avadanlıq-proqram infrastrukturunu necə yerləşdirmək olduğunu göstərəcək:
Məqalələr siyahısı
- Hissə 1. oVirt 4.3 klasterinin yerləşdirilməsinə hazırlıq.
- Hissə 2. oVirt 4.3 klasterinin quraşdırılması və tənzimlənməsi.
- Hissə 3. VyOS klasterinin tənzimlənməsi, dayanıqlı xarici marşrutlaşdırmanın təşkili.
- Hissə 4. Cisco 3850 stekini tənzimləyin, daxili marşrutlaşdırmanın təşkili.
Hissə 1. oVirt 4.3 klasterinin yerləşdirilməsinə hazırlıq
Hostların əsas tənzimlənməsi
ƏS quraşdırılması və tənzimlənməsi – ən sadə mərhələdir. ƏS-i necə düzgün quraşdırmaq və tənzimləmək barədə çox sayda məqalə var, buna görə də bununla bağlı eksklüziv bir şey təqdim etməyə çalışmaq mənasızdır.
Beləliklə, bizdə iki ədəd Dell PowerEdge R640 hostu var, bunlara ƏS quraşdırılmalı və ilkin tənzimləmələr edilməlidir ki, onlar oVirt 4.3 klasterində virtual maşınları işə salmaq üçün hipervizorlar kimi istifadə oluna bilsin.
Pulsuz qeyri-kommersiya proqram təminatı oVirt-dən istifadə edəcəyimizi nəzərə alaraq, hostların yerləşdirilməsi üçün CentOS 7.7pulsuz olan digər ƏS-lərin oVirt üçün quraşdırılması mümkündür:
- RHEL əsaslı xüsusi bir bulud, yəni ;
- Oracle Linux-da, 2019-cu ilin yayında ƏS-in quraşdırılmasından əvvəl tövsiyə olunur:
Перед установкой ОС рекомендуется:
- iDRAC şəbəkə interfeysini hər iki hostda konfiqurasiya edin;
- BIOS və iDRAC üçün firmware-ları ən son versiyalara yeniləyin;
- Serverin System Profile-inin Performance rejimində konfiqurasiya edilməsi tövsiyə olunur;
- Serverdə əməliyyat sistemini quraşdırmaq üçün yerli disklərdən RAID konfiqurasiya edin (RAID1 tövsiyə edilir).
Sonra, əvvəlcə iDRAC vasitəsilə yaradılmış diskə əməliyyat sistemini quraşdıracağıq - quraşdırma prosesi standartdır, ona xas heç bir xüsusi məqam yoxdur. O.S. quraşdırmağa başlamaq üçün serverin konsoluna iDRAC vasitəsilə də daxil olmaq mümkündür, lakin birbaşa serverə monitor, klaviatura və siçan qoşaraq USB flash-diskdən O.S. quraşdırmağı da unutmayın.
Əməliyyat sistemi quraşdırıldıqdan sonra ilkin parametrləri yerinə yetirin:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Əsas proqram təminatını quraşdırırıq
Əməliyyat sisteminin ilkin parametrlərini təyin etmək üçün serverdə internetə daxil olmaq üçün hər hansı bir şəbəkə interfeysini konfiqurasiya etmək lazımdır, OS-ni yeniləmək və lazım olan proqram paketlərini qurmaq üçün. Bunu həm OS-nin quraşdırılması zamanı, həm də sonra etmək olar.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Yuxarıda sadalanan bütün parametrlər və proqram paketi dəstləri şəxsi seçim məsələsidir və yalnız tövsiyə xarakteri daşıyır.
Bizim hostumuz hipervizor rolunu oynayacağı üçün lazım olan performans profilini aktivləşdirək:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Performans profili haqqında daha ətraflı bu səhifədə oxuya bilərsiniz: ««.
Əməliyyat sistemi quraşdırıldıqdan sonra növbəti mərhələyə - hostların şəbəkə interfeyslərinin konfiqurasiyasına və Cisco 2960X switch yığınını yönəldirik.
Cisco 2960X switch yığınını konfiqurasiya
Bizim layihəmizdə aşağıdakı VLAN nömrələri - bir-birindən ayrılmış yayım domenləri istifadə ediləcək, müxtəlif tip trafiklərin bölünməsi məqsədilə:
VLAN 10 – İnternet
VLAN 17 – İdarəetmə (iDRAC, Storage, switches idarəetməsi)
VLAN 32 – VM istehsal şəbəkəsi
VLAN 33 – interconnection şəbəkəsi (xarici podratçılar üçün)
VLAN 34 – VM test şəbəkəsi
VLAN 35 – VM inkişaf etdirici şəbəkəsi
VLAN 40 – Monitorinq şəbəkəsi
İşlərə başlamazdan əvvəl, sonunda çatmalı olduğumuz L2 səviyyəsində sxemi təqdim edək:
oVirt hostları ilə virtual maşınlar arasında şəbəkə qarşılıqlı əlaqəsi üçün, həmçinin Storage-in idarə olunması üçün Cisco 2960X switch yığınının konfiqurasiyası tələb olunur.
Dell host-larında inteqrasiya olunmuş 4-portlu şəbəkə kartları var, buna görə də onların Cisco 2960X-dən istifadəsi üçün, fiziki şəbəkə portlarını məntiqi interfeysdə birləşdirərək və LACP (802.3ad) protokolundan istifadə edərək etibarlı şəbəkə bağlantısı yaratmaq məqsəd olunur.
- Hostdakı ilk iki port bərəkət rejimində konfiqurasiya edilir və 2960X switch-ə qoşulur - bu məntiqi interfeys üzərində bir ünvan konfiqurasiya ediləcək. bridge Hostu idarə etmək, monitorinq, oVirt klasterindəki digər hostlarla əlaqə üçün, həmçinin virtual maşınların Live migration-u üçün istifadə ediləcək.
- Hostdakı ikinci iki port da bərəkət rejimində konfiqurasiya edilir və 2960X-ə qoşulur - bu məntiqi interfeys üzərində oVirt ilə birlikdə, müvafiq VLAN-lara bricjlər yaradılacaq ki, bunlara virtual maşınlar qoşulacaq.
- Məntiqi interfeys daxilindəki hər iki şəbəkə portu aktiv olacaq, yəni trafiq eyni anda hər ikisi vasitəsilə ötürülə bilər.
- Klasterdəki düyünlərin şəbəkə konfiqurasiyaları mütləq EYNİ OLMALIDIR, IP ünvanları istisna olmaqla.
Switch-lərin əsas konfiqurasiyası 2960X və onun portları
Əvvəlcə bizim switch-lər aşağıdakıları təmin etməlidir:
- rəf içində quraşdırılmalıdır;
- məsələn, CAB-STK-E-1M uzunluğuna uyğun iki xüsusi kabellə birləşdirilməlidir;
- elektrik enerjisinə qoşulmalıdır;
- başlanğıc konfiqurlama üçün administrator iş stansiyasına konsol portu ilə qoşulmalıdır.
Bunun üçün lazım olan rəhbərlik istehsalçının.
Yuxarıda göstərilən addımlar tamamlandıqdan sonra switch-ləri konfiqurasiya edirik.
Hər bir komanda nə deməkdir, bu məqalədə açılmayacaq, zərurət olduqda bütün məlumatları özünüz tapa bilərsiniz.
Bizim məqsədimiz, switch-lərin strukturunu maksimum dərəcədə tez qurmaq və onlara hostları və YDD-nin idarəetmə interfeyslərini qoşmaqdır.
1) İrəliləyən switch-ə qoşuluruq, imtiyazlı rejimə keçirik, sonra konfiqurasiya rejiminə daxil olub əsas parametrləri həyata keçiririk.
Switch-in əsas konfiqurasiyası:
aktivləşdirin
konfiqurasiya terminalı açın
hostname 2960X
xidmət pad-yı söndürün
xidmət tarix anları debug datetime msec
xidmət tarix anları log datetime localtime show-timezone msec
xidmət password-encryption söndürün
xidmət sıra-nömrələr
switch 1 prioritet 15
switch 2 prioritet 14
stack-mac davamlı timer 0
saat zonasını MSK 3 təyin edin
vtp rejimi şəffaf
ip subnet-zero
vlan 17
ad quraşdırma
vlan 32
ad PROD
vlan 33
ad Interconnect
vlan 34
ad Test
vlan 35
ad Dev
vlan 40
ad Monitoring
spanning-tree rejimi rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 kök prioriteti
spanning-tree loopguard default
vlan daxili ayırma siyasəti artan
port-channel yük-balans src-dst-ip
errdisable bərpa səbəbi loopback
errdisable bərpa səbəbi bpduguard
errdisable bərpa intervalı 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Konfigurasiyanı «wr mem» əmri ilə saxlayırıq və lider switch 1-də «reload» əmri ilə yığıncıqları yenidən başladırıq.
2) Kommutatorun şəbəkə portlarını access rejimində VLAN 17-yə konfiqurasiya edirik, sistemlər və iDRAC serverlərinin idarəetmə interfeyslərinin qoşulması üçün.
İdarəetmə portlarının konfiqurasiyası:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Yığını yenidən başladıqdan sonra onun düzgün işlədiyindən əmin oluruq:
Yığının işləmə vəziyyəti:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.XXXX
Mac persistency wait time: Sonsuz
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.XXXX 15 4 Ready
2 Member 0029.c251.XXXX 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) 2960X yığınına SSH girişi konfiqurasiyası
Yığını uzaqdan SSH vasitəsilə idarə etmək üçün, VLAN17-də SVI (switch virtual interface) üzərində konfiqurasiya edilmiş 172.20.1.10 IP istifadə ediləcək. VLAN17.
İdarəetmə məqsədləri üçün xüsusi bir portun istifadə edilməsi daha arzuolunandır, lakin bu şəxsi üstünlüklərdən və imkanlardan asılıdır.
Yığın kommutatorlarına SSH girişini konfiqurasiya etmək:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordGiriş üçün parolu tənzimləyirik:
enable secret *myenablepassword*
service password-encryptionNTP-ni tənzimləyirik:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Etherchannel loji interfeyslərini və ev sahibinə qoşulu fiziki portları tənzimləyirik. Konfiqurasiyanı asanlaşdırmaq üçün, mövcud VLAN-ların hamısı bütün loji interfeyslərdə aktiv olacaq, lakin adətən yalnız lazım olanları tənzimləmək tövsiyə olunur:
Etherchannel interfeyslərinin tənzimlənməsi:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeVirtual maşınlar üçün ev sahiblərində şəbəkə interfeyslərinin ilkin tənzimlənməsi Host1 və Host2
Bonding üçün işləmək üçün lazım olan modulların sistemdə olub-olmadığını yoxlayırıq, körpü idarəetməsi üçün modulu quraşdırırıq:
modinfo bonding
modinfo 8021q
yum install bridge-utilsEv sahiblərində virtual maşınlar üçün BOND1 loji interfeysinin və onun fiziki interfeyslərinin tənzimlənməsi:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Quraşdırmalar tamamlandıqdan sonra 2960Х və ev sahiblərində, şəbəkəni yenidən başlatırıq və loji interfeysin işləkliyini yoxlayırıq.
- ev sahibində:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- switch stackında 2960Х:
2960X#show lacp internal
Flags: S - Cihaz Yavaş LACPDUs talep ediyor
F - Cihaz Hızlı LACPDUs talep ediyor
A - Cihaz Aktif modda P - Cihaz Pasif modda
Kanal grubu 1
LACP port Yönetim Oper Port Port
Port Flaglar Durum Öncelik Anahtar Anahtar Numara Durum
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - kapalı P - port-channel içinde bağlanmış
I - bağımsız s - askıya alınmış
H - Sıcak yedek (sadece LACP)
R - Layer3 S - Layer2
U - kullanımda N - kullanımda değil, minimum bağlantılar karşılanmadı
f - toplayıcı tahsis edilemedi
M - kullanımda değil, minimum bağlantılar karşılanmadı
m - kullanımda değil, bağlantı minimum bağlantılar nedeniyle birleştirilmedi
u - birleştirmek için uygun değil
w - birleştirilmek için bekliyor
d - varsayılan port
A - Otomatik LAG tarafından oluşturuldu
Kullanımda olan kanal grubu sayısı: 11
Toplayıcı sayısı: 11
Grup Port-channel Protokol Portlar
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Küme kaynaklarını yönetmek için ağ arayüzlerinin başlangıç ayarı, hostlarda Host1 və Host2
Yönetim için hostlarda BOND1 mantıksal arayüzü ve fiziksel arayüzlerin yapılandırılması:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#AÇIKLAMA - yönetim
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#AÇIKLAMA - yönetim
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#AÇIKLAMA - yönetim
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Quraşdırmalar tamamlandıqdan sonra 2960Х və ev sahiblərində, şəbəkəni yenidən başlatırıq və loji interfeysin işləkliyini yoxlayırıq.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryHer hostta yönetim ağ arayüzünü ayarlıyoruz VLAN 17, ve bunu BOND1 mantıksal arayüzüne bağlıyoruz:
Host1'de VLAN17 ayarı:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicHost2'de VLAN17 ayarı:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicHostlarda ağı yeniden başlatıyoruz ve aralarındaki görünürlüğünü kontrol ediyoruz.
Bununla birlikte, Cisco 2960X anahtarının ayarları tamamlandı ve her şey doğru yapıldıysa, artık altyapının tüm öğeleri arasında L2 düzeyinde ağ bağlantısı elde ediyoruz.
Dell MD3820f SAN ayarı
SAN ayarına başlamadan önce, bu Cisco anahtarları yığınına bağlı olmalıdır 2960Х yönetim arayüzleri ve ayrıca hostlara Host1 və Host2 FC üzerinden.
SAN'ın anahtar yığınına nasıl bağlanması gerektiği, önceki bölümde verilmiştir.
FC vasitəsilə hostlara bağlanma sxemi aşağıdakı kimi görünməlidir:
Bağlantı zamanı, FC portlarına qoşulmuş FC HBA hostlarının WWPN ünvanlarını qeyd etmək lazımdır – bu, hostları LUN-lara bağlamaq üçün lazım olacaq.
İdarəçi iş stansiyasına Dell MD3820f saxlanma sistemini idarə etmək üçün utiliti yükləyib quraşdırırıq – PowerVault Modular Disk Storage Manager (MDSM).
Onun standart IP ünvanı vasitəsilə qoşuluruq və sonra aşağıdakılardan ünvanlarımızı tənzimləyirik VLAN17, TCP/IP vasitəsilə idarə etmək üçün:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Ünvanlar tənzimləndikdən sonra, saxlanma sisteminin idarəetmə interfeysinə daxil olub şifrə təyin edirik, vaxtı tənzimləyir, lazım gəldikdə idarəedicilər və disklər üçün firmware-ləri yeniləyirik və s.
Bunun necə edildiyi – SXD.
Yuxarıda göstərilən tənzimləmələr tamamlandıqdan sonra, yalnız bir neçə əməliyyat aparmalıyıq:
- Host FC portlarının identifikatorlarını tənzimləmək – Host Port Identifiers.
- Host qrupunu yaratmaq – Host group və iki Dell hostumuzu ora əlavə etmək.
- Disk qrupu yaratmaq və onun içində təqdim ediləcək virtual diskler (və ya LUN-lar).
- Hostlar üçün virtual disklerin (və ya LUN-ların) təqdimatını tənzimləmək.
Yeni hostların əlavə olunması və onlara host FC port identifikatorlarının bağlanması menyu vasitəsilə edilir – Host Mappings -> Define -> Hosts…
FC HBA hostlarının WWPN ünvanlarını, məsələn, serverin iDRAC-ında tapa bilərsiniz.
Nəticədə, bizdə belə bir görüntü olmalıdır:
Yeni host qrupunun əlavə olunması və ona hostların bağlanması menyu vasitəsilə edilir – Host Mappings -> Define -> Host Group…
Hostlar üçün əməliyyat sisteminin növünü seçirik – Linux (DM-MP).
Host qrupunu yaratdıqdan sonra, Storage & Copy Services, disk qrupunu – Disk Group, etibarlılıq tələblərinə əsasən, məsələn, RAID10 ilə yaratmaq və içində lazım olan ölçüdə virtual diskleri əlavə etmək:
Və nəhayət, son mərhələ — hostlar üçün virtual disklerin (və ya LUN-ların) təqdimatı.
Bunun üçün menyu vasitəsilə – Host Mappings -> Lun mapping -> Add… virtual diskleri hostlara bağlayıb, onlara nömrələr təyin edirik.
Hər şey bu ekran görüntüsündəki kimi olmalıdır:
Beləliklə, saxlanma sisteminin tənzimlənməsi ilə işimizi başa vururuq, və əgər hər şey düzgün edilibsə, hostlar öz FC HBA vasitəsilə verilmiş LUN-ları görə biləcək.
Bağlı disklərlə bağlı məlumatları yeniləmək üçün sistemi işə salırıq:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanServerlərimizdə hansı qurğuların görünəcəyinə baxaq:
cat /proc/scsi/scsi
Bağlı cihazlar:
Host: scsi0 Kanal: 02 İd: 00 Lun: 00
Üretici: DELL Model: PERC H330 Mini Rev: 4.29
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi15 Kanal: 00 İd: 00 Lun: 00
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi15 Kanal: 00 İd: 00 Lun: 01
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi15 Kanal: 00 İd: 00 Lun: 04
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi15 Kanal: 00 İd: 00 Lun: 11
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi15 Kanal: 00 İd: 00 Lun: 31
Üretici: DELL Model: Universal Xport Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi18 Kanal: 00 İd: 00 Lun: 00
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi18 Kanal: 00 İd: 00 Lun: 01
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi18 Kanal: 00 İd: 00 Lun: 04
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi18 Kanal: 00 İd: 00 Lun: 11
Üretici: DELL Model: MD38xxf Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
Host: scsi18 Kanal: 00 İd: 00 Lun: 31
Üretici: DELL Model: Universal Xport Rev: 0825
Tür: Doğrudan Erişim ANSI SCSI revizyonu: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Hostlarda əlavə olaraq multipath, və oVirt quraşdırıldıqda bunu özü edə bilsə də, MP-nin işləməsinin düzgünlüyünü əvvəlcədən yoxlamaq daha yaxşıdır.
DM Multipath quraşdırılması və ayarlanması
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}MP xidmətini avtomatik işlətməyə alın və işə salın:
systemctl enable multipathd && systemctl restart multipathdMP üçün yüklənmiş modulların məlumatını yoxlamaq:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Mövcud multipath konfiqurasiyası haqqında xülasə məlumat ilə tanış olaq:
mpathconf
multipath aktivdir
find_multipaths aktiv deyil
user_friendly_names aktiv deyil
dm_multipath modulu yüklənib
multipathd işləyirYeni LUN əlavə edildikdən sonra, onu ev sahibi cihazda skan etmək lazımdır.
systemctl reload multipathd
multipath -v2Nəhayət, bütün LUN'ların hostlar üçün SXY'də təqdim olunduğunu və hər birinə iki yolun aparıldığını yoxlayırıq.
MP-nin işini yoxlama:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
ölçü=2.0T xüsusiyyətlər='3 sıra_yoxsa_yol pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- siyasət='xidmət vaxtı 0' prio=14 status=aktiv
| `- 15:0:0:1 sdb 8:16 aktiv hazır işləyir
`-+- siyasət='xidmət vaxtı 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 aktiv hazır işləyir
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
ölçü=10T xüsusiyyətlər='3 sıra_yoxsa_yol pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- siyasət='xidmət vaxtı 0' prio=14 status=aktiv
| `- 18:0:0:11 sdk 8:160 aktiv hazır işləyir
`-+- siyasət='xidmət vaxtı 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 aktiv hazır işləyir
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
ölçü=150G xüsusiyyətlər='3 sıra_yoxsa_yol pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- siyasət='xidmət vaxtı 0' prio=14 status=aktiv
| `- 15:0:0:4 sdc 8:32 aktiv hazır işləyir
`-+- siyasət='xidmət vaxtı 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 aktiv hazır işləyirGördüyünüz kimi, üç virtual disk SXY-də iki yolun üzərindən görünür. Beləliklə, bütün hazırlıq işləri tamamlandı və əsas hissəyə - oVirt klasterini konfiqurasiya etməyə keçmək olar, bu da növbəti məqalədə nəzərdən keçiriləcək.
Mənbə: habr.com
