Pembaca dijemput untuk membiasakan diri dengan prinsip membina infrastruktur toleran kesalahan untuk perusahaan kecil dalam satu pusat data, yang akan dibincangkan secara terperinci dalam siri artikel pendek.
Pengenalan
Di bawah Pusat data (Pusat Pemprosesan Data) boleh difahami sebagai:
- rak anda sendiri di "bilik pelayan" anda sendiri di premis perusahaan, yang memenuhi keperluan minimum untuk menyediakan bekalan kuasa dan penyejukan peralatan, dan juga mempunyai akses Internet melalui dua pembekal bebas;
- rak yang disewa dengan peralatannya sendiri, terletak di pusat data sebenar - yang dipanggil. kolokasi, yang mematuhi piawaian Tahap III atau IV, dan yang menjamin bekalan kuasa yang boleh dipercayai, penyejukan dan akses Internet yang tahan terhadap kerosakan;
- peralatan yang disewa sepenuhnya di pusat data Tahap III atau IV.
Pilihan penginapan yang mana untuk dipilih adalah individu dalam setiap kes, dan biasanya bergantung pada beberapa faktor utama:
- Mengapakah perusahaan memerlukan infrastruktur ITnya sendiri?
- apakah sebenarnya yang diinginkan oleh perusahaan daripada infrastruktur IT (kebolehpercayaan, skalabiliti, kebolehurusan, dll.);
- jumlah pelaburan awal dalam infrastruktur IT, serta jenis kos untuknya - modal (yang bermaksud anda membeli peralatan anda sendiri), atau operasi (peralatan biasanya disewa);
- perancangan ufuk perusahaan itu sendiri.
Banyak yang boleh ditulis tentang faktor-faktor yang mempengaruhi keputusan perusahaan untuk mencipta dan menggunakan infrastruktur ITnya, tetapi matlamat kami adalah untuk menunjukkan secara praktikal cara mencipta infrastruktur ini supaya kedua-duanya tahan terhadap kesalahan dan juga boleh menjimatkan wang. – mengurangkan kos pembelian perisian komersial, atau elakkan sama sekali.
Seperti yang ditunjukkan oleh amalan jangka panjang, ia tidak berbaloi untuk menjimatkan perkakasan, kerana kedekut membayar dua kali, dan lebih banyak lagi. Tetapi sekali lagi, perkakasan yang baik hanyalah cadangan, dan pada akhirnya apa sebenarnya yang perlu dibeli dan berapa banyak bergantung pada keupayaan perusahaan dan "ketamakan" pengurusannya. Lebih-lebih lagi, perkataan "ketamakan" harus difahami dalam erti kata yang baik, kerana adalah lebih baik untuk melabur dalam perkakasan pada peringkat awal, supaya tidak menghadapi masalah serius dengan sokongan dan penskalaan selanjutnya, kerana pada mulanya perancangan yang salah dan penjimatan yang berlebihan boleh menyebabkan kos yang lebih tinggi berbanding semasa memulakan projek.
Jadi, data awal untuk projek itu:
- terdapat sebuah perusahaan yang telah memutuskan untuk mencipta portal webnya sendiri dan membawa aktivitinya ke Internet;
- syarikat memutuskan untuk menyewa rak untuk meletakkan peralatannya di pusat data yang baik yang diperakui mengikut piawaian Tahap III;
- syarikat memutuskan untuk tidak menjimatkan banyak perkakasan, dan oleh itu membeli peralatan berikut dengan jaminan dan sokongan lanjutan:
Senarai peralatan
- dua pelayan Dell PowerEdge R640 fizikal seperti berikut:
- dua pemproses Intel Xeon Gold 5120
- 512 Gb RAM
- dua cakera SAS dalam RAID1, untuk pemasangan OS
- kad rangkaian 4G 1-port terbina dalam
- dua kad rangkaian 2G 10 port
- satu 2-port FC HBA 16G.
- Sistem storan 2-pengawal Dell MD3820f, disambungkan melalui FC 16G terus ke hos Dell;
- dua suis peringkat kedua - Cisco WS-C2960RX-48FPS-L disusun;
- dua suis peringkat ketiga - Cisco WS-C3850-24T-E, disusun;
- Rak, UPS, PDU, pelayan konsol disediakan oleh pusat data.
Seperti yang kita lihat, peralatan sedia ada mempunyai prospek yang baik untuk penskalaan mendatar dan menegak, jika perusahaan itu dapat bersaing dengan syarikat lain yang mempunyai profil serupa di Internet, dan mula memperoleh keuntungan, yang boleh dilaburkan dalam mengembangkan sumber untuk persaingan selanjutnya dan pertumbuhan keuntungan.
Apakah peralatan yang boleh kami tambah jika perusahaan memutuskan untuk meningkatkan prestasi kelompok pengkomputeran kami:
- kami mempunyai rizab yang besar dalam bilangan port pada suis 2960X, yang bermaksud kami boleh menambah lebih banyak pelayan perkakasan;
- membeli dua suis FC tambahan untuk menyambungkan sistem storan dan pelayan tambahan kepada mereka;
- pelayan sedia ada boleh dinaik taraf - tambah memori, gantikan pemproses dengan yang lebih berkuasa, sambung ke rangkaian 10G menggunakan penyesuai rangkaian sedia ada;
- Anda boleh menambah rak cakera tambahan pada sistem storan dengan jenis cakera yang diperlukan - SAS, SATA atau SSD, bergantung pada beban yang dirancang;
- selepas menambah suis FC, anda boleh membeli sistem storan lain untuk menambah lebih banyak kapasiti cakera, dan jika anda membeli pilihan Replikasi Jauh khas padanya, anda boleh menyediakan replikasi data antara sistem storan dalam pusat data yang sama dan antara pusat data ( tetapi ini sudah di luar skop artikel);
- Terdapat juga suis peringkat ketiga - Cisco 3850, yang boleh digunakan sebagai teras rangkaian tahan kerosakan untuk penghalaan berkelajuan tinggi antara rangkaian dalaman. Ini akan sangat membantu pada masa hadapan apabila infrastruktur dalaman berkembang. 3850 juga mempunyai port 10G, yang boleh digunakan kemudian apabila menaik taraf peralatan rangkaian anda kepada kelajuan 10G.
Memandangkan kini tiada tempat tanpa virtualisasi, kami sudah tentu akan berada dalam trend, terutamanya kerana ini adalah cara terbaik untuk mengurangkan kos pembelian pelayan mahal untuk elemen infrastruktur individu (pelayan web, pangkalan data, dll.), yang tidak selalunya optimum digunakan dalam kes beban rendah, dan inilah yang akan berlaku pada permulaan pelancaran projek.
Di samping itu, virtualisasi mempunyai banyak kelebihan lain yang boleh menjadi sangat berguna kepada kami: Toleransi kesalahan VM terhadap kegagalan pelayan perkakasan, Penghijrahan langsung antara nod kluster perkakasan untuk penyelenggaraannya, pengagihan beban manual atau automatik antara nod kluster, dsb.
Untuk perkakasan yang dibeli oleh perusahaan, penggunaan gugusan VMware vSphere yang sangat tersedia menunjukkan dirinya sendiri, tetapi memandangkan mana-mana perisian daripada VMware terkenal dengan tanda harga "kuda", kami akan menggunakan perisian percuma sepenuhnya untuk mengurus virtualisasi - , berdasarkan produk yang terkenal tetapi sudah komersil dicipta - .
Perisian oVirt diperlukan untuk menggabungkan semua elemen infrastruktur menjadi satu keseluruhan agar dapat berfungsi dengan mudah dengan mesin maya yang sangat tersedia - ini adalah pangkalan data, aplikasi web, pelayan proksi, pengimbang, pelayan untuk mengumpul log dan analisis, dsb., iaitu, apa yang portal web perusahaan kami terdiri daripada.
Untuk meringkaskan pengenalan ini, kami boleh menantikan artikel berikut, yang akan menunjukkan dalam amalan dengan tepat cara menggunakan keseluruhan infrastruktur perkakasan dan perisian sesebuah perusahaan:
Senarai artikel
- Bahagian 1. Bersedia untuk menggunakan kluster oVirt 4.3.
- Bahagian 2. Memasang dan mengkonfigurasi kelompok oVirt 4.3.
- Bahagian 3. Menyediakan kluster VyOS, mengatur penghalaan luaran toleran kesalahan.
- Bahagian 4. Menyediakan tindanan Cisco 3850, mengatur penghalaan intranet.
Bahagian 1. Bersedia untuk menggunakan kluster oVirt 4.3
Persediaan hos asas
Memasang dan mengkonfigurasi OS adalah langkah paling mudah. Terdapat banyak artikel tentang cara memasang dan mengkonfigurasi OS dengan betul, jadi tidak ada gunanya cuba memberikan sesuatu yang eksklusif tentang perkara ini.
Jadi, kami mempunyai dua hos Dell PowerEdge R640 yang kami perlukan untuk memasang OS dan melaksanakan tetapan awal untuk menggunakannya sebagai hipervisor untuk menjalankan mesin maya dalam kelompok oVirt 4.3.
Memandangkan kami merancang untuk menggunakan perisian oVirt bukan komersial percuma, OS telah dipilih untuk menggunakan hos CentOS 7.7, walaupun OS lain boleh dipasang pada hos untuk oVirt:
- binaan khas berdasarkan RHEL, yang dipanggil. ;
- OS Oracle Linux, musim panas 2019 tentang menyokong kerja oVirt mengenainya.
Sebelum memasang OS adalah disyorkan:
- konfigurasikan antara muka rangkaian iDRAC pada kedua-dua hos;
- kemas kini perisian tegar BIOS dan iDRAC kepada versi terkini;
- konfigurasikan Profil Sistem pelayan, sebaik-baiknya dalam mod Prestasi;
- konfigurasikan RAID daripada cakera tempatan (RAID1 disyorkan) untuk memasang OS pada pelayan.
Kemudian kami memasang OS pada cakera yang dibuat lebih awal melalui iDRAC - proses pemasangan adalah normal, tidak ada momen istimewa di dalamnya. Akses kepada konsol pelayan untuk memulakan pemasangan OS juga boleh diperoleh melalui iDRAC, walaupun tiada apa yang menghalang anda daripada menyambungkan monitor, papan kekunci dan tetikus terus ke pelayan dan memasang OS daripada pemacu kilat.
Selepas memasang OS, kami melakukan tetapan awalnya:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Memasang set perisian asas
Untuk mengkonfigurasi OS pada mulanya, anda perlu mengkonfigurasi mana-mana antara muka rangkaian pada pelayan supaya anda boleh mengakses Internet untuk mengemas kini OS dan memasang pakej perisian yang diperlukan. Ini boleh dilakukan semasa proses pemasangan OS dan selepas itu.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Semua tetapan dan set perisian di atas adalah soal keutamaan peribadi, dan set ini hanyalah cadangan.
Memandangkan hos kami akan memainkan peranan sebagai hypervisor, kami akan mendayakan profil prestasi yang diperlukan:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Anda boleh membaca lebih lanjut mengenai profil prestasi di sini: “".
Selepas memasang OS, kami beralih ke bahagian seterusnya - menyediakan antara muka rangkaian pada hos dan timbunan suis Cisco 2960X.
Mengkonfigurasi Tindanan Suis Cisco 2960X
Projek kami akan menggunakan bilangan VLAN berikut - atau domain siaran, diasingkan antara satu sama lain, untuk memisahkan jenis trafik yang berbeza:
VLAN 10 - Internet
VLAN 17 – Pengurusan (iDRAC, sistem storan, pengurusan suis)
VLAN 32 – Rangkaian pengeluaran VM
VLAN 33 – rangkaian sambungan (kepada kontraktor luar)
VLAN 34 – Rangkaian ujian VM
VLAN 35 – Rangkaian pembangun VM
VLAN 40 – Rangkaian pemantauan
Sebelum memulakan kerja, berikut ialah gambar rajah pada tahap L2 yang akhirnya harus kita sampaikan:
Untuk interaksi rangkaian hos oVirt dan mesin maya antara satu sama lain, serta untuk menguruskan sistem storan kami, adalah perlu untuk mengkonfigurasi timbunan suis Cisco 2960X.
Hos Dell mempunyai kad rangkaian 4-port terbina dalam, oleh itu, adalah dinasihatkan untuk mengatur sambungan mereka ke Cisco 2960X menggunakan sambungan rangkaian toleran kesalahan, menggunakan kumpulan port rangkaian fizikal ke dalam antara muka logik, dan protokol LACP ( 802.3ad):
- dua port pertama pada hos dikonfigurasikan dalam mod ikatan dan disambungkan ke suis 2960X - antara muka logik ini akan dikonfigurasikan jambatan dengan alamat untuk pengurusan hos, pemantauan, komunikasi dengan hos lain dalam kelompok oVirt, ia juga akan digunakan untuk pemindahan Langsung mesin maya;
- dua port kedua pada hos juga dikonfigurasikan dalam mod ikatan dan disambungkan ke 2960X - pada antara muka logik ini menggunakan oVirt, jambatan akan dibuat pada masa hadapan (dalam VLAN yang sepadan) yang mana mesin maya akan disambungkan.
- kedua-dua port rangkaian, dalam antara muka logik yang sama, akan aktif, i.e. lalu lintas di atasnya boleh dihantar serentak, dalam mod pengimbangan.
- tetapan rangkaian pada nod kluster mestilah sama sekali SAMA, kecuali alamat IP.
Persediaan tindanan suis asas 2960X dan pelabuhannya
Suis kami mesti terlebih dahulu:
- rak dipasang;
- disambungkan melalui dua kabel khas dengan panjang yang diperlukan, sebagai contoh, CAB-STK-E-1M;
- disambungkan kepada bekalan kuasa;
- disambungkan ke stesen kerja pentadbir melalui port konsol untuk konfigurasi awal mereka.
Panduan yang diperlukan untuk ini boleh didapati di pengilang.
Selepas melengkapkan langkah di atas, kami mengkonfigurasi suis.
Maksud setiap arahan tidak bertujuan untuk dihuraikan dalam rangka artikel ini; jika perlu, semua maklumat boleh didapati secara bebas.
Matlamat kami adalah untuk mengkonfigurasi tindanan suis secepat mungkin dan menyambungkan hos dan antara muka pengurusan storan kepadanya.
1) Sambungkan ke suis induk, pergi ke mod istimewa, kemudian pergi ke mod konfigurasi dan buat tetapan asas.
Konfigurasi suis asas:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Kami menyimpan konfigurasi dengan arahan "wr mem" dan but semula tindanan suis dengan arahan "menambah nilai» pada suis induk 1.
2) Kami mengkonfigurasi port rangkaian suis dalam mod akses dalam VLAN 17, untuk menyambung antara muka pengurusan sistem storan dan pelayan iDRAC.
Menyediakan port pengurusan:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Selepas memuatkan semula tindanan, semak sama ada ia berfungsi dengan betul:
Menyemak kefungsian timbunan:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Menyediakan akses SSH kepada timbunan 2960X
Untuk menguruskan timbunan dari jauh melalui SSH, kami akan menggunakan IP 172.20.1.10 yang dikonfigurasikan untuk SVI (tukar antara muka maya) VLAN17.
Walaupun dinasihatkan untuk menggunakan port khusus khusus pada suis untuk tujuan pengurusan, ini adalah soal keutamaan dan keupayaan peribadi.
Mengkonfigurasi akses SSH kepada timbunan suis:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordSediakan kata laluan untuk memasuki mod istimewa:
enable secret *myenablepassword*
service password-encryptionMenyediakan NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Konfigurasikan antara muka Etherchannel logik dan port fizikal yang disambungkan kepada hos. Untuk kemudahan konfigurasi, semua VLAN yang tersedia akan didayakan pada semua antara muka logik, tetapi secara amnya disyorkan untuk mengkonfigurasi hanya apa yang diperlukan:
Mengkonfigurasi antara muka Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeKonfigurasi awal antara muka rangkaian untuk mesin maya pada hos hos1 и hos2
Kami menyemak kehadiran modul yang diperlukan untuk ikatan berfungsi dalam sistem, memasang modul untuk mengawal jambatan:
modinfo bonding
modinfo 8021q
yum install bridge-utilsMengkonfigurasi antara muka logik BOND1 untuk mesin maya dan antara muka fizikalnya pada hos:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Selepas melengkapkan tetapan pada timbunan 2960H dan hos, kami memulakan semula rangkaian pada hos dan menyemak kefungsian antara muka logik.
- pada hos:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- pada timbunan suis 2960H:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Konfigurasi awal antara muka rangkaian untuk mengurus sumber kluster pada hos hos1 и hos2
Mengkonfigurasi antara muka logik BOND1 untuk pengurusan dan antara muka fizikalnya pada hos:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Selepas melengkapkan tetapan pada timbunan 2960H dan hos, kami memulakan semula rangkaian pada hos dan menyemak kefungsian antara muka logik.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryKami mengkonfigurasi antara muka rangkaian kawalan pada setiap hos dalam VLAN 17, dan ikatkannya ke antara muka logik BOND1:
Mengkonfigurasi VLAN17 pada Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicMengkonfigurasi VLAN17 pada Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKami memulakan semula rangkaian pada hos dan menyemak keterlihatan mereka antara satu sama lain.
Ini melengkapkan konfigurasi timbunan suis Cisco 2960X, dan jika semuanya dilakukan dengan betul, maka kini kami mempunyai ketersambungan rangkaian semua elemen infrastruktur antara satu sama lain pada tahap L2.
Menyediakan sistem storan Dell MD3820f
Sebelum memulakan kerja untuk menyediakan sistem storan, ia mesti sudah disambungkan ke timbunan suis Cisco 2960H antara muka kawalan, dan juga kepada hos hos1 и hos2 melalui FC.
Gambar rajah umum bagaimana sistem storan harus disambungkan kepada timbunan suis telah diberikan dalam bab sebelumnya.
Gambar rajah untuk menyambungkan sistem storan melalui FC ke hos sepatutnya kelihatan seperti ini:
Semasa sambungan, anda perlu menulis alamat WWPN untuk hos FC HBA yang disambungkan ke port FC pada sistem storan - ini akan diperlukan untuk menetapkan pengikatan hos kepada LUN pada sistem storan kemudian.
Pada stesen kerja pentadbir, muat turun dan pasang utiliti untuk menguruskan sistem storan Dell MD3820f – Pengurus Storan Cakera Modular PowerVault (MDSM).
Kami menyambung kepadanya melalui alamat IP lalainya, dan kemudian mengkonfigurasi alamat kami daripada VLAN17, untuk mengurus pengawal melalui TCP/IP:
Penyimpanan1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Selepas menyediakan alamat, pergi ke antara muka pengurusan storan dan tetapkan kata laluan, tetapkan masa, kemas kini perisian tegar untuk pengawal dan cakera, jika perlu, dsb.
Bagaimana ini dilakukan diterangkan dalam Sistem storan
Selepas melengkapkan tetapan di atas, kami hanya perlu melakukan beberapa langkah:
- Konfigurasikan ID port FC hos – Pengecam Pelabuhan Hos.
- Buat kumpulan hos - Kumpulan hos dan tambahkan dua hos Dell kami kepadanya.
- Buat kumpulan cakera dan cakera maya (atau LUN) di dalamnya yang akan dibentangkan kepada hos.
- Konfigurasikan pembentangan cakera maya (atau LUN) untuk hos.
Menambah hos baharu dan mengikat pengecam port FC hos kepada mereka dilakukan melalui menu - Pemetaan Hos -> Tentukan -> hos…
Alamat WWPN hos FC HBA boleh didapati, contohnya, dalam pelayan iDRAC.
Akibatnya, kita sepatutnya mendapat sesuatu seperti ini:
Menambah kumpulan baru hos dan mengikat hos kepadanya dilakukan melalui menu - Pemetaan Hos -> Tentukan -> Kumpulan Hos…
Untuk hos, pilih jenis OS - Linux (DM-MP).
Selepas membuat kumpulan hos, melalui tab Perkhidmatan Penyimpanan & Salin, buat kumpulan cakera – Kumpulan Cakera, dengan jenis bergantung pada keperluan untuk toleransi kesalahan, contohnya, RAID10, dan di dalamnya cakera maya saiz yang diperlukan:
Dan akhirnya, peringkat terakhir ialah pembentangan cakera maya (atau LUN) kepada hos.
Untuk melakukan ini, melalui menu - Pemetaan Hos -> Pemetaan bulan -> Tambah… Kami mengaitkan cakera maya dengan hos dengan memberikan nombor kepada mereka.
Semuanya sepatutnya kelihatan seperti tangkapan skrin ini:
Di sinilah kami selesai menyediakan sistem storan, dan jika semuanya telah dilakukan dengan betul, maka hos harus melihat LUN dipersembahkan kepada mereka melalui FC HBA mereka.
Mari paksa sistem untuk mengemas kini maklumat tentang cakera yang disambungkan:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanMari lihat peranti yang kelihatan pada pelayan kami:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Pada hos anda juga boleh mengkonfigurasi tambahan berbilang jalur, dan walaupun apabila memasang oVirt ia boleh melakukan ini sendiri, adalah lebih baik untuk menyemak sendiri operasi yang betul MP terlebih dahulu.
Pemasangan dan konfigurasi DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Tetapkan perkhidmatan MP untuk autostart dan lancarkannya:
systemctl enable multipathd && systemctl restart multipathdMenyemak maklumat tentang modul yang dimuatkan untuk operasi MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Mari lihat maklumat ringkasan tentang konfigurasi berbilang laluan sedia ada:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningSelepas menambahkan LUN baharu pada sistem storan dan membentangkannya kepada hos, anda perlu mengimbas HBA yang disambungkan kepada hos padanya.
systemctl reload multipathd
multipath -v2Dan akhirnya, kami menyemak sama ada semua LUN telah dibentangkan pada sistem storan untuk hos, dan sama ada terdapat dua laluan kepada kesemuanya.
Menyemak operasi MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningSeperti yang anda lihat, ketiga-tiga cakera maya pada sistem storan kelihatan di sepanjang dua laluan. Oleh itu, semua kerja persediaan telah selesai, yang bermaksud anda boleh meneruskan ke bahagian utama - menyediakan kluster oVirt, yang akan dibincangkan dalam artikel seterusnya.
Sumber: www.habr.com