請讀者熟悉在單一資料中心內為小型企業建立容錯基礎設施的原則，這將在一系列簡短的文章中詳細討論。
前驅症狀
下 資料中心 （資料處理中心）可以理解為：
- 在企業場所自己的「伺服器機房」中擁有自己的機架，滿足為設備提供供電和冷卻的最低要求，並且還可以透過兩個獨立供應商接入互聯網；
- 租用的機架配有自己的設備，位於真正的資料中心 - 所謂的。 搭配，符合Tier III或IV標準，確保可靠的供電、散熱和容錯上網；
- III 級或 IV 級資料中心的完全租用設備。
選擇哪種住宿選擇視具體情況而定，通常取決於幾個主要因素：
- 企業為什麼需要自己的IT基礎設施？
- 企業到底想從IT基礎設施中得到什麼（可靠性、可擴展性、可管理性等）；
- IT 基礎設施的初始投資量，以及其成本類型 - 資本（這意味著您購買自己的設備）或營運（設備通常是租用的）；
- 企業本身的規劃視野。
關於影響企業創建和使用 IT 基礎設施決策的因素，可以寫很多文章，但我們的目標是在實踐中展示如何創建這種基礎設施，使其既具有容錯能力，又可以節省資金。 – 減少購買商業軟體的成本，或完全避免它們。
長期實踐表明，在硬體上節省開支是不值得的，因為小氣的人付出的代價是兩倍，甚至更多。 但話又說回來，好的硬體只是推薦，最後到底買什麼、買多少錢取決於企業的能力和管理階層的「貪婪」。 此外，「貪婪」這個詞應該從好的意義上理解，因為最好在初始階段投資硬件，以免在其進一步支持和擴展方面出現嚴重問題，因為最初的規劃和部署不正確。過度節省可能會導致比專案啟動時更高的成本。
因此，該項目的初始數據：
- 有一家企業決定創建自己的入口網站並將其活動帶到網路上；
- 該公司決定租用一個機架，將其設備放置在經過Tier III標準認證的良好資料中心內；
- 該公司決定不在硬體上節省太多，因此購買了以下具有延長保固和支援的設備：
設備清單
- 兩台實體 Dell PowerEdge R640 伺服器，如下所示：
- 兩個 Intel Xeon Gold 5120 處理器
- 512 Gb RAM
- RAID1中的兩個SAS磁碟，用於安裝作業系統
- 內建4口1G網路卡
- 兩個2埠10G網路卡
- 2 個 16 埠 FC HBA XNUMXG。
- 2控制器儲存系統Dell MD3820f，透過FC 16G直接連接到Dell主機；
- 兩台二級交換器 - Cisco WS-C2960RX-48FPS-L 堆疊；
- 兩台第三級交換器 - Cisco WS-C3850-24T-E，堆疊；
- 機架、UPS、PDU、控制台伺服器皆由資料中心提供。
我們看到，現有設備具有良好的橫向和縱向擴展前景，如果企業能夠在互聯網上與其他類似的公司競爭，並開始賺取利潤，則可以投資擴大資源以進一步競爭和利潤增長。
如果企業決定提高我們計算集群的效能，我們可以增加哪些設備：
- 我們在2960X交換器上有大量的連接埠數量儲備，這意味著我們可以添加更多的硬體伺服器；
- 購買兩台額外的 FC 交換器以將儲存系統和額外的伺服器連接到它們；
- 現有伺服器可以升級 - 添加記憶體、用更強大的處理器替換處理器、使用現有網路適配器連接到 10G 網路；
- 您可以根據計劃的負載，為具有所需磁碟類型（SAS、SATA 或 SSD）的儲存系統新增額外的磁碟架；
- 新增FC交換器後，您可以購買另一個儲存系統來增加更多的磁碟容量，如果您為其購買特殊的遠端複製選項，您可以在同一資料中心內和資料中心之間的儲存系統之間設定數據複製（但這已經超出了本文的範圍）；
- 還有第三級交換器－Cisco 3850，可以作為容錯網路核心，用於內部網路之間的高速路由。 隨著內部基礎設施的發展，這在未來將非常有幫助。 3850還具有10G端口，可在稍後將網路設備升級到10G速度時使用。
既然現在沒有虛擬化，我們當然會順應這一趨勢，特別是因為這是降低為單一基礎設施元素（Web 伺服器、資料庫等）購買昂貴伺服器的成本的絕佳方法，而這些元素並不總是如此最佳方案是在低負載的情況下使用的，這正是專案啟動之初會發生的情況。
此外，虛擬化還有許多其他對我們非常有用的優勢：針對硬體伺服器故障的虛擬機器容錯、硬體叢集節點之間的即時遷移以進行維護、叢集節點之間的手動或自動負載分配等。
對於企業購買的硬體來說，部署一個高可用的VMware vSphere叢集是不言而喻的，但由於VMware的任何軟體都以「馬」價而聞名，所以我們將使用絕對免費的軟體來管理虛擬化—— ，在此基礎上創建了一個眾所周知但已經商業化的產品 - .
Программноеобеспечение 視覺 有必要將所有基礎設施元素組合成一個整體，以便能夠方便地與高度可用的虛擬機一起工作- 這些是資料庫、Web 應用程式、代理伺服器、平衡器、用於收集日誌和分析的伺服器等，也是說，我們企業的入口網站包括。
總結一下這篇介紹，我們可以期待以下文章，這些文章將在實踐中準確地展示如何部署企業的整個硬體和軟體基礎設施：
文章列表
- 零件1。 準備部署 oVirt 4.3 叢集。
- 零件2。 安裝和設定 oVirt 4.3 叢集。
- 零件3。 設定 VyOS 集群，組織容錯外部路由。
- 零件4。 設定 Cisco 3850 堆疊，組織內部網路路由。
第 1 部分：準備部署 oVirt 4.3 集群
基本主機設定
安裝和設定作業系統是最簡單的步驟。 關於如何正確安裝和配置作業系統的文章有很多，因此沒有必要嘗試給出一些獨家的內容。
因此，我們有兩台 Dell PowerEdge R640 主機，需要在其上安裝作業系統並執行初步設置，以便將它們用作虛擬機管理程式來在 oVirt 4.3 叢集中運行虛擬機器。
由於我們計劃使用免費的非商業oVirt軟體，因此選擇該作業系統來部署主機 CentOS 7.7的，儘管可以在 oVirt 的主機上安裝其他作業系統：
- 所謂的基於 RHEL 的特殊建置。 ;
- 作業系統 Oracle Linux，2019 年夏季 關於支持 oVirt 在其上的工作。
在安裝作業系統之前，建議：
- 在兩台主機上設定 iDRAC 網路介面；
- 將 BIOS 和 iDRAC 韌體更新至最新版本；
- 配置伺服器的系統設定文件，最好在效能模式下；
- 從本機磁碟配置RAID（建議RAID1），在伺服器上安裝作業系統。
然後我們在之前透過 iDRAC 建立的磁碟上安裝作業系統 - 安裝過程很正常，沒有任何特殊時刻。 也可以透過 iDRAC 存取伺服器控制台以開始作業系統安裝，儘管沒有什麼可以阻止您將顯示器、鍵盤和滑鼠直接連接到伺服器並從快閃磁碟機安裝作業系統。
安裝作業系統後，我們執行其初始設定：
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1安裝一組基本軟體
初始配置作業系統時，您需要設定伺服器上的任意網路接口，以便您可以存取網路來更新作業系統並安裝必要的軟體包。 這可以在作業系統安裝過程中和之後完成。
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 以上所有設定和軟體設定均屬於個人喜好，本設定僅是建議。
由於我們的主機將扮演虛擬機器管理程式的角色，因此我們將啟用所需的效能設定檔：
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host 您可以在此處閱讀有關性能概況的更多資訊：““。
安裝作業系統後，我們繼續進行下一部分 - 在主機和 Cisco 2960X 交換器堆疊上設定網路介面。
設定 Cisco 2960X 交換器堆疊
我們的專案將使用以下數量的相互隔離的 VLAN（或廣播域），以分隔不同類型的流量：
虛擬局域網10 - 互聯網
虛擬局域網17 – 管理（iDRAC、儲存系統、交換器管理）
虛擬局域網32 – VM生產網絡
虛擬局域網33 – 互連網路（至外部承包商）
虛擬局域網34 – 虛擬機器測試網絡
虛擬局域網35 – VM 開發者網絡
虛擬局域網40 – 監控網路
在開始工作之前，以下是我們最終應該得到的 L2 等級的圖表：
為了實現 oVirt 主機和虛擬機器之間的網路交互，以及管理我們的儲存系統，有必要配置 Cisco 2960X 交換器堆疊。
Dell 主機內建 4 連接埠網路卡，因此，建議使用容錯網路連接來組織其與 Cisco 2960X 的連接，將實體網路連接埠分組為邏輯接口，並使用 LACP 協定（ 802.3ad）：
- 主機上的前兩個連接埠配置為綁定模式並連接到 2960X 交換器 - 將配置此邏輯接口 橋 具有用於主機管理、監控、與oVirt叢集中其他主機通訊的位址，也將用於虛擬機器的即時遷移；
- 主機上的後兩個連接埠也配置為綁定模式並連接到 2960X - 在此使用 oVirt 的邏輯介面上，將來將建立用於連接虛擬機器的網橋（在對應的 VLAN 中）。
- 同一邏輯介面內的兩個網路連接埠都將處於活動狀態，即它們上的流量可以以平衡模式同時傳輸。
- 群集節點上的網路設定必須完全相同（IP 位址除外）。
基本交換器堆疊設置 2960X 及其港口
我們的開關首先必須是：
- 機架安裝；
- 透過兩條所需長度的特殊電纜連接，例如CAB-STK-E-1M；
- 連接電源；
- 透過控制台連接埠連接到管理員工作站進行初始設定。
必要的指導可在以下網址找到： 製造商。
完成上述步驟後，我們來設定交換器。
每個命令的含義不打算在本文的框架內解釋；如果需要，所有資訊都可以獨立找到。
我們的目標是盡快配置交換器堆疊並將主機和儲存管理介面連接到它。
1) 連接主交換機，進入特權模式，然後進入設定模式並進行基本設定。
基本交換器配置：
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
我們使用命令“保存配置”寫內存“並使用命令重新啟動交換器堆疊”重載» 在主開關 1 上。
2）我們將交換器的網路連接埠配置為存取模式在VLAN 17中，用於連接儲存系統和iDRAC伺服器的管理介面。
設定管理連接埠：
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) 重新載入堆疊後，檢查是否正常運作：
檢查堆疊的功能：
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) 設定對 2960X 堆疊的 SSH 訪問
若要透過 SSH 遠端管理堆疊，我們將使用為 SVI（交換器虛擬介面）配置的 IP 172.20.1.10 VLAN17.
儘管建議在交換器上使用專用連接埠進行管理，但這取決於個人喜好和能力。
配置對交換器堆疊的 SSH 存取：
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_password設定進入特權模式的密碼：
enable secret *myenablepassword*
service password-encryption設定 NTP：
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) 設定與主機連接的邏輯Etherchannel介面和實體連接埠。 為了方便配置，將在所有邏輯介面上啟用所有可用的 VLAN，但通常建議僅配置所需的內容：
配置 Etherchannel 介面：
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active主機上虛擬機器網路介面的初始配置 主機1 и 主機2
我們檢查系統中是否存在綁定工作所需的模組，安裝用於控制橋接的模組：
modinfo bonding
modinfo 8021q
yum install bridge-utils配置虛擬機器的BOND1邏輯介面及其在主機上的實體介面：
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no 完成堆疊上的設定後 2960倍 和主機，我們重新啟動主機上的網路並檢查邏輯介面的功能。
- 在主機上：
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- 在交換器堆疊上 2960倍:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)用於管理主機上叢集資源的網路介面的初始配置 主機1 и 主機2
配置用於管理的 BOND1 邏輯介面及其在主機上的實體介面：
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no 完成堆疊上的設定後 2960倍 和主機，我們重新啟動主機上的網路並檢查邏輯介面的功能。
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summary我們在每台主機上設定控製網路介面 虛擬局域網17，並將其綁定到邏輯介面 BOND1：
在 Host17 上設定 VLAN1：
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public在 Host17 上設定 VLAN2：
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public我們重新啟動主機上的網路並檢查它們之間的可見性。
這就完成了 Cisco 2960X 交換器堆疊的配置，如果一切都正確完成，那麼現在我們可以在 L2 層級實現所有基礎設施元素之間的網路連線。
設定 Dell MD3820f 儲存系統
在開始設定儲存系統之前，它必須已連接到 Cisco 交換器堆疊 2960倍 控制介面以及主機 主機1 и 主機2 通過FC。
上一章給出了儲存系統如何連接到交換器堆疊的一般圖。
透過 FC 將儲存系統連接到主機的圖應如下所示：
在連接過程中，您需要記下連接到儲存系統上的 FC 連接埠的 FC HBA 主機的 WWPN 位址 - 這對於稍後設定主機到儲存系統上的 LUN 的綁定是必需的。
在管理員工作站上，下載並安裝用於管理 Dell MD3820f 儲存系統的實用程式 – PowerVault 模組化磁碟儲存管理器 (MDSM).
我們透過其預設 IP 位址連接到它，然後配置我們的位址 VLAN17，透過 TCP/IP 管理控制器：
儲存1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2設定位址後，進入儲存管理介面並設定密碼、設定時間、更新控制器和磁碟的韌體（如果需要）等。
這是如何完成的描述於 儲存系統
完成上述設定後，我們只需要做以下幾個步驟：
- 配置主機 FC 連接埠 ID – 主機連接埠標識符.
- 建立主機群組 – 主持人組 並將我們的兩台戴爾主機加入其中。
- 建立一個磁碟組以及其中將呈現給主機的虛擬磁碟（或 LUN）。
- 配置主機虛擬磁碟（或 LUN）的呈現。
新增主機並將主機 FC 連接埠識別碼綁定到它們是透過選單完成的 - 主機映射 -> 確定 -> 主辦單位…
例如，可以在 iDRAC 伺服器中找到 FC HBA 主機的 WWPN 位址。
結果，我們應該得到這樣的結果：
新增新的主機群組並將主機綁定到它是透過選單完成的 - 主機映射 -> 確定 -> 主機群組...
對於主機，選擇作業系統類型 - Linux (DM-MP).
建立主機群組後，透過選項卡 儲存和複製服務，建立磁碟組 – 磁盤組，其類型取決於容錯要求，例如 RAID10，以及其中所需大小的虛擬磁碟：
最後，最後階段是將虛擬磁碟（或 LUN）呈現給主機。
為此，請通過菜單 - 主機映射 -> 月亮測繪 -> 新增... 我們透過為虛擬磁碟分配編號來將它們與主機關聯起來。
一切都應該像這樣的螢幕截圖：
這是我們完成儲存系統設定的地方，如果一切都正確完成，那麼主機應該會看到透過其 FC HBA 呈現給它們的 LUN。
讓我們強制系統更新已連接磁碟的資訊：
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan讓我們看看哪些設備在我們的伺服器上可見：
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -在主機上您還可以另外配置 多路徑，雖然在安裝oVirt時它自己可以做到這一點，但最好自己提前檢查MP的正確操作。
DM Multipath 的安裝與配置
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}將 MP 服務設定為自動啟動並啟動它：
systemctl enable multipathd && systemctl restart multipathd檢查有關 MP 操作的已載入模組的資訊：
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256讓我們來看看現有多路徑配置的摘要資訊：
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running儲存系統新增新的LUN並呈現給主機後，需要掃描儲存系統上與主機連接的HBA。
systemctl reload multipathd
multipath -v2最後，我們檢查主機的儲存系統上是否存在所有 LUN，以及是否有兩條路徑到達所有 LUN。
檢查 MP 操作：
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready running正如您所看到的，儲存系統上的所有三個虛擬磁碟沿著兩條路徑都是可見的。 至此，所有的準備工作已經完成，這意味著您可以繼續進行主要部分——設定oVirt集群，這將在下一篇文章中討論。
來源： www.habr.com