请读者熟悉在单个数据中心内为小型企业构建容错基础设施的原则，这将在一系列简短的文章中详细讨论。
前驱症状
下面 数据中心 （数据处理中心）可以理解为：
- 在企业场所自己的“服务器机房”中拥有自己的机架，满足为设备提供供电和冷却的最低要求，并且还可以通过两个独立提供商接入互联网；
- 租用的机架配有自己的设备，位于真正的数据中心 - 所谓的。 搭配，符合Tier III或IV标准，保证可靠的供电、散热和容错上网；
- III 级或 IV 级数据中心的完全租用设备。
选择哪种住宿选择视具体情况而定，通常取决于几个主要因素：
- 企业为什么需要自己的IT基础设施？
- 企业到底想从IT基础设施中得到什么（可靠性、可扩展性、可管理性等）；
- IT 基础设施的初始投资量，以及其成本类型 - 资本（这意味着您购买自己的设备）或运营（设备通常是租用的）；
- 企业本身的规划视野。
关于影响企业创建和使用 IT 基础设施决策的因素，可以写很多文章，但我们的目标是在实践中展示如何创建这种基础设施，使其既具有容错能力，又可以节省资金。 – 减少购买商业软件的成本，或者完全避免它们。
长期实践表明，在硬件上节省开支是不值得的，因为小气的人付出的代价是两倍，甚至更多。 但话又说回来，好的硬件只是一个推荐，最终到底买什么、买多少钱取决于企业的能力和管理层的“贪婪”。 此外，“贪婪”这个词应该从好的意义上理解，因为最好在初始阶段投资硬件，以免在其进一步支持和扩展方面出现严重问题，因为最初的规划和部署不正确。过度节省可能会导致成本高于项目启动时的成本。
因此，该项目的初始数据：
- 有一家企业决定创建自己的门户网站并将其活动带到互联网上；
- 该公司决定租用一个机架，将其设备放置在经过Tier III标准认证的良好数据中心内；
- 该公司决定不在硬件上节省太多，因此购买了以下具有延长保修和支持的设备：
设备清单
- 两台物理 Dell PowerEdge R640 服务器，如下所示：
- 两个 Intel Xeon Gold 5120 处理器
- 512 Gb RAM
- RAID1中的两个SAS磁盘，用于安装操作系统
- 内置4口1G网卡
- 两个2端口10G网卡
- 2 个 16 端口 FC HBA XNUMXG。
- 2控制器存储系统Dell MD3820f，通过FC 16G直接连接到Dell主机；
- 两台二级交换机 - Cisco WS-C2960RX-48FPS-L 堆叠；
- 两台第三级交换机 - Cisco WS-C3850-24T-E，堆叠；
- 机架、UPS、PDU、控制台服务器均由数据中心提供。
我们看到，现有设备具有良好的横向和纵向扩展前景，如果企业能够在互联网上与其他类似的公司竞争，并开始赚取利润，则可以投资扩大资源以进一步竞争和利润增长。
如果企业决定提高我们计算集群的性能，我们可以添加哪些设备：
- 我们在2960X交换机上有大量的端口数量储备，这意味着我们可以添加更多的硬件服务器；
- 购买两台额外的 FC 交换机以将存储系统和额外的服务器连接到它们；
- 现有服务器可以升级 - 添加内存、用更强大的处理器替换处理器、使用现有网络适配器连接到 10G 网络；
- 您可以根据计划的负载，向具有所需磁盘类型（SAS、SATA 或 SSD）的存储系统添加额外的磁盘架；
- 添加FC交换机后，您可以购买另一个存储系统来增加更多的磁盘容量，如果您为其购买特殊的远程复制选项，您可以在同一数据中心内和数据中心之间的存储系统之间设置数据复制（但这已经超出了本文的范围）；
- 还有第三级交换机——Cisco 3850，可以作为容错网络核心，用于内部网络之间的高速路由。 随着内部基础设施的发展，这在未来将非常有帮助。 3850还具有10G端口，可以在稍后将网络设备升级到10G速度时使用。
既然现在没有虚拟化，我们当然会顺应这一趋势，特别是因为这是降低为单个基础设施元素（Web 服务器、数据库等）购买昂贵服务器的成本的绝佳方法，而这些元素并不总是如此最佳方案是在低负载的情况下使用的，这正是项目启动之初会发生的情况。
此外，虚拟化还有许多其他对我们非常有用的优势：针对硬件服务器故障的虚拟机容错、硬件集群节点之间的实时迁移以进行维护、集群节点之间的手动或自动负载分配等。
对于企业购买的硬件来说，部署一个高可用的VMware vSphere集群是不言而喻的，但由于VMware的任何软件都以“马”价而闻名，所以我们将使用绝对免费的软件来管理虚拟化—— ，在此基础上创建了一个众所周知但已经商业化的产品 - .
Программноеобеспечение 视觉 有必要将所有基础设施元素组合成一个整体，以便能够方便地与高度可用的虚拟机一起工作 - 这些是数据库、Web 应用程序、代理服务器、平衡器、用于收集日志和分析的服务器等，也就是说，我们企业的门户网站包括。
总结一下这篇介绍，我们可以期待以下文章，这些文章将在实践中准确地展示如何部署企业的整个硬件和软件基础设施：
文章列表
- 零件1。 准备部署 oVirt 4.3 集群。
- 零件2。 安装和配置 oVirt 4.3 集群。
- 零件3。 设置 VyOS 集群，组织容错外部路由。
- 零件4。 设置 Cisco 3850 堆栈，组织内联网路由。
第 1 部分：准备部署 oVirt 4.3 集群
基本主机设置
安装和配置操作系统是最简单的步骤。 关于如何正确安装和配置操作系统的文章有很多，因此没有必要尝试给出一些独家的内容。
因此，我们有两台 Dell PowerEdge R640 主机，需要在其上安装操作系统并执行初步设置，以便将它们用作虚拟机管理程序来在 oVirt 4.3 集群中运行虚拟机。
由于我们计划使用免费的非商业oVirt软件，因此选择该操作系统来部署主机 CentOS 7.7的，尽管可以在 oVirt 的主机上安装其他操作系统：
- 所谓的基于 RHEL 的特殊构建。 ;
- 操作系统 Oracle Linux，2019 年夏季 关于支持 oVirt 在其上的工作。
在安装操作系统之前，建议：
- 在两台主机上配置 iDRAC 网络接口；
- 将 BIOS 和 iDRAC 固件更新至最新版本；
- 配置服务器的系统配置文件，最好在性能模式下；
- 从本地磁盘配置RAID（推荐RAID1），在服务器上安装操作系统。
然后我们在之前通过 iDRAC 创建的磁盘上安装操作系统 - 安装过程很正常，没有任何特殊时刻。 也可以通过 iDRAC 访问服务器控制台以开始操作系统安装，尽管没有什么可以阻止您将显示器、键盘和鼠标直接连接到服务器并从闪存驱动器安装操作系统。
安装操作系统后，我们执行其初始设置：
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1安装一组基本软件
初始配置操作系统时，您需要配置服务器上的任意网络接口，以便您可以访问Internet来更新操作系统并安装必要的软件包。 这可以在操作系统安装过程中和之后完成。
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 以上所有设置和软件设置均属于个人喜好，本设置仅是推荐。
由于我们的主机将扮演虚拟机管理程序的角色，因此我们将启用所需的性能配置文件：
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host 您可以在此处阅读有关性能概况的更多信息：“«。
安装操作系统后，我们继续进行下一部分 - 在主机和 Cisco 2960X 交换机堆栈上设置网络接口。
配置 Cisco 2960X 交换机堆栈
我们的项目将使用以下数量的相互隔离的 VLAN（或广播域），以分隔不同类型的流量：
VLAN 10 - 互联网
VLAN 17 – 管理（iDRAC、存储系统、交换机管理）
VLAN 32 – VM生产网络
VLAN 33 – 互连网络（至外部承包商）
VLAN 34 – 虚拟机测试网络
VLAN 35 – VM 开发者网络
VLAN 40 – 监控网络
在开始工作之前，下面是我们最终应该得到的 L2 级别的图表：
为了使 oVirt 主机和虚拟机之间进行网络交互，以及管理我们的存储系统，有必要配置 Cisco 2960X 交换机堆栈。
Dell 主机内置 4 端口网卡，因此，建议使用容错网络连接来组织其与 Cisco 2960X 的连接，将物理网络端口分组为逻辑接口，并使用 LACP 协议（ 802.3ad）：
- 主机上的前两个端口配置为绑定模式并连接到 2960X 交换机 - 将配置此逻辑接口 桥 具有用于主机管理、监控、与oVirt集群中其他主机通信的地址，也将用于虚拟机的实时迁移；
- 主机上的后两个端口也配置为绑定模式并连接到 2960X - 在此使用 oVirt 的逻辑接口上，将来将创建用于连接虚拟机的网桥（在相应的 VLAN 中）。
- 同一逻辑接口内的两个网络端口都将处于活动状态，即它们上的流量可以以平衡模式同时传输。
- 群集节点上的网络设置必须完全相同（IP 地址除外）。
基本交换机堆栈设置 2960X 及其港口
我们的开关首先必须是：
- 机架安装；
- 通过两根所需长度的特殊电缆连接，例如CAB-STK-E-1M；
- 连接电源；
- 通过控制台端口连接到管理员工作站进行初始配置。
必要的指导可在以下网址找到： 制造商。
完成上述步骤后，我们来配置交换机。
每个命令的含义不打算在本文的框架内解释；如果需要，所有信息都可以独立找到。
我们的目标是尽快配置交换机堆栈并将主机和存储管理接口连接到它。
1) 连接主交换机，进入特权模式，然后进入配置模式并进行基本设置。
基本交换机配置：
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
我们使用命令“保存配置”写内存“并使用命令重新启动交换机堆栈”重载» 在主开关 1 上。
2）我们将交换机的网络端口配置为访问模式在VLAN 17中，用于连接存储系统和iDRAC服务器的管理接口。
设置管理端口：
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) 重新加载堆栈后，检查其是否正常工作：
检查堆栈的功能：
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) 设置对 2960X 堆栈的 SSH 访问
要通过 SSH 远程管理堆栈，我们将使用为 SVI（交换机虚拟接口）配置的 IP 172.20.1.10 VLAN17.
尽管建议在交换机上使用专用端口进行管理，但这取决于个人喜好和能力。
配置对交换机堆栈的 SSH 访问：
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_password设置进入特权模式的密码：
enable secret *myenablepassword*
service password-encryption设置 NTP：
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) 配置与主机连接的逻辑Etherchannel接口和物理端口。 为了便于配置，将在所有逻辑接口上启用所有可用的 VLAN，但通常建议仅配置需要的内容：
配置 Etherchannel 接口：
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active主机上虚拟机网络接口的初始配置 主机1 и 主机2
我们检查系统中是否存在绑定工作所需的模块，安装用于控制桥接的模块：
modinfo bonding
modinfo 8021q
yum install bridge-utils配置虚拟机的BOND1逻辑接口及其在主机上的物理接口：
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no 完成堆栈上的设置后 2960倍 和主机，我们重新启动主机上的网络并检查逻辑接口的功能。
- 在主机上：
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- 在交换机堆栈上 2960倍:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)用于管理主机上集群资源的网络接口的初始配置 主机1 и 主机2
配置用于管理的 BOND1 逻辑接口及其在主机上的物理接口：
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no 完成堆栈上的设置后 2960倍 和主机，我们重新启动主机上的网络并检查逻辑接口的功能。
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summary我们在每台主机上配置控制网络接口 VLAN 17，并将其绑定到逻辑接口 BOND1：
在 Host17 上配置 VLAN1：
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public在 Host17 上配置 VLAN2：
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public我们重新启动主机上的网络并检查它们之间的可见性。
这就完成了 Cisco 2960X 交换机堆栈的配置，如果一切都正确完成，那么现在我们就可以在 L2 级别实现所有基础设施元素之间的网络连接。
设置 Dell MD3820f 存储系统
在开始设置存储系统之前，它必须已连接到 Cisco 交换机堆栈 2960倍 控制接口以及主机 主机1 и 主机2 通过FC。
上一章给出了存储系统如何连接到交换机堆栈的一般图。
通过 FC 将存储系统连接到主机的图应如下所示：
在连接过程中，您需要记下连接到存储系统上的 FC 端口的 FC HBA 主机的 WWPN 地址 - 这对于稍后设置主机到存储系统上的 LUN 的绑定是必需的。
在管理员工作站上，下载并安装用于管理 Dell MD3820f 存储系统的实用程序 – PowerVault 模块化磁盘存储管理器 (MDSM).
我们通过其默认 IP 地址连接到它，然后配置我们的地址 VLAN17，通过 TCP/IP 管理控制器：
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2设置地址后，进入存储管理界面并设置密码、设置时间、更新控制器和磁盘的固件（如果需要）等。
这是如何完成的描述于 存储系统
完成上述设置后，我们只需要做以下几步：
- 配置主机 FC 端口 ID – 主机端口标识符.
- 创建主机组 – 主持人组 并将我们的两台戴尔主机添加到其中。
- 创建一个磁盘组以及其中将呈现给主机的虚拟磁盘（或 LUN）。
- 配置主机虚拟磁盘（或 LUN）的呈现。
添加新主机并将主机 FC 端口标识符绑定到它们是通过菜单完成的 - 主机映射 -> 确定 -> 主办方…
例如，可以在 iDRAC 服务器中找到 FC HBA 主机的 WWPN 地址。
结果，我们应该得到这样的结果：
添加新的主机组并将主机绑定到它是通过菜单完成的 - 主机映射 -> 确定 -> 主机组...
对于主机，选择操作系统类型 - Linux (DM-MP).
创建主机组后，通过选项卡 存储和复制服务，创建磁盘组 – 磁盘组，其类型取决于容错要求，例如 RAID10，以及其中所需大小的虚拟磁盘：
最后，最后阶段是将虚拟磁盘（或 LUN）呈现给主机。
为此，请通过菜单 - 主机映射 -> 月球测绘 -> 新增... 我们通过给虚拟磁盘分配编号来将它们与主机关联起来。
一切都应该像这样的屏幕截图：
这是我们完成存储系统设置的地方，如果一切都正确完成，那么主机应该会看到通过其 FC HBA 呈现给它们的 LUN。
让我们强制系统更新有关已连接磁盘的信息：
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan让我们看看哪些设备在我们的服务器上可见：
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -在主机上您还可以另外配置 多，虽然在安装oVirt时它自己可以做到这一点，但最好自己提前检查MP的正确操作。
DM Multipath 的安装和配置
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}将 MP 服务设置为自动启动并启动它：
systemctl enable multipathd && systemctl restart multipathd检查有关 MP 操作的已加载模块的信息：
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256我们来看看现有多路径配置的摘要信息：
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running存储系统添加新的LUN并呈现给主机后，需要扫描存储系统上与主机连接的HBA。
systemctl reload multipathd
multipath -v2最后，我们检查主机的存储系统上是否存在所有 LUN，以及是否有两条路径到达所有 LUN。
检查 MP 操作：
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready running正如您所看到的，存储系统上的所有三个虚拟磁盘沿着两条路径都是可见的。 至此，所有的准备工作已经完成，这意味着您可以继续进行主要部分——设置oVirt集群，这将在下一篇文章中讨论。
来源： habr.com