フォールトトレラントな IT インフラストラクチャの構築。 パート 1 - oVirt 4.3 クラスターのデプロイの準備

読者の皆様には、単一のデータ センター内に小規模企業向けのフォールト トレラントなインフラストラクチャを構築する原則をよく理解していただくようお勧めします。これについては、短い一連の記事で詳しく説明します。

はじめに

下に データセンター (データ処理センター) は次のように理解できます。

• 企業の領土内にある独自の「サーバー ルーム」内に独自のラックを設置し、電源および冷却装置を提供するための最小要件を満たし、XNUMX つの独立したプロバイダーを介してインターネット アクセスも備えています。
• 実際のデータセンターにある、独自の機器を備えたレンタルラック、いわゆる。 信頼性の高い電源、冷却、フェイルオーバー インターネット アクセスを保証する Tier III または IV コロケーション。
• Tier III または IV データセンター内の完全にリースされた機器。

どの宿泊施設オプションを選択するか - いずれの場合も、すべてが個別であり、通常はいくつかの主な要因によって決まります。

• そもそもなぜ企業には独自の IT インフラストラクチャが必要なのでしょうか。
• 企業が IT インフラストラクチャに何を求めているのか (信頼性、拡張性、管理性など)。
• IT インフラストラクチャへの初期投資の金額と、それにかかる費用の種類 (資本 (独自の機器を購入することを意味します) または運用 (機器は通常レンタルされます))。
• 企業自体の計画期間。

企業の IT インフラストラクチャの構築と使用の決定に影響を与える要因についてはたくさん書くことができますが、私たちの目標は、まさにこのインフラストラクチャをフォールト トレラントでありながら節約できるように作成する方法を実際に示すことです。商用ソフトウェアの購入コストを削減するか、完全に回避します。

長年の経験からわかるように、けち者はXNUMX倍、あるいはそれ以上のお金を払うので、鉄分を節約する価値はありません。 しかし、繰り返しになりますが、優れたハードウェア、これは単なる推奨事項であり、最終的には、正確に何をどれくらいで購入するかは、企業の能力と経営陣の「貪欲」によって決まります。 さらに、「貪欲」という言葉は、その言葉の良い意味で理解されるべきです。初期段階でハードウェアに投資する方が良いため、最初は間違っていたため、その後のさらなるサポートとスケーリングで深刻な問題が発生することはありません。計画を立てて過剰な節約を行うと、プロジェクト開始時よりもコストが高くなる可能性があります。

したがって、プロジェクトの初期データは次のようになります。

• 独自の Web ポータルを作成し、その活動をインターネットに公開することに決めた企業があります。
• 同社は、Tier III 規格に従って認定された優良なデータセンターに自社の機器を収容するラックをレンタルすることにしました。
• 同社はハードウェアをあまり節約しないことに決めたので、延長保証とサポートが付いた次の機器を購入しました。

装備一覧

• 次の 640 台の物理 Dell PowerEdge RXNUMX サーバー:
• インテル Xeon Gold 5120 プロセッサー XNUMX 基
• 512 Gb RAM
• RAID1 内の XNUMX つの SAS ディスク (OS インストール用)
• 内蔵4ポート1Gネットワ​​ークカード
• 2 ポート 10G ネットワーク カード XNUMX 枚
• 2 ポート FC HBA 16G XNUMX つ。
• FC 2G 経由で Dell ホストに直接接続された Dell MD3820f 16 コントローラー ストレージ。
• 第 2960 レベルの 48 つのスイッチ - Cisco WS-CXNUMXRX-XNUMXFPS-L をスタック。
• 第 3850 レベルの 24 つのスイッチ - Cisco WS-CXNUMX-XNUMXT-E をスタックに結合。
• ラック、UPS、PDU、コンソール サーバー - データ センターによって提供されます。

ご覧のとおり、企業がインターネット上で同様のプロフィールを持つ他の企業と競争でき、さらなる競争のためのリソースの拡大に投資できる利益を上げ始めれば、既存の設備は水平方向および垂直方向に拡張できる見通しが十分にあります。利益の成長。

企業がコンピューティング クラスターのパフォーマンスを向上させることにした場合、どのような機器を追加できますか。

• 2960X スイッチのポート数には大きな余裕があるため、ハードウェア サーバーをさらに追加できることになります。
• ストレージ システムと追加のサーバーを接続するために XNUMX つの FC スイッチを購入します。
• 既存のサーバーをアップグレードできます。メモリを追加し、プロセッサをより効率的なものに交換し、既存のネットワーク アダプタを使用して 10G ネットワークに接続します。
• 計画された負荷に応じて、必要なタイプのディスク (SAS、SATA、または SSD) を備えたストレージ システムに追加のディスク シェルフを追加できます。
• FC スイッチを追加した後、別のストレージ システムを購入してディスク容量をさらに追加できます。また、それに特別なリモート レプリケーション オプションを購入すると、XNUMX つのデータ センターの境界内およびデータ センター間の両方のストレージ システム間でデータ レプリケーションを構成できます。 (ただし、これはすでにこの記事の範囲を超えています)。
• また、第 3850 レベルのスイッチである Cisco 3850 もあり、内部ネットワーク間の高速ルーティングのためのフォールト トレラント ネットワーク コアとして使用できます。 これは、将来的に内部インフラストラクチャが成長するにつれて非常に役立ちます。 10 には 10G ポートもあり、後でネットワーク機器を XNUMXG 速度にアップグレードするときに使用できます。

現在、仮想化のないところは存在しないため、仮想化は確実にその傾向にあります。特に、仮想化は、常に最適であるとは限らない個々のインフラストラクチャ要素 (Web サーバー、データベースなど) に高価なサーバーを購入するコストを削減する優れた方法であるためです。は負荷が低い場合に使用され、これはまさにプロジェクトの立ち上げの開始時に使用されるものです。

さらに、仮想化には、ハードウェア サーバー障害に対する VM フォールト トレランス、メンテナンスのためのクラスター ハードウェア ノード間のライブ マイグレーション、クラスター ノード間の手動または自動の負荷分散など、私たちにとって非常に役立つ利点が他にもたくさんあります。

企業が購入したハードウェアの場合、可用性の高い VMware vSphere クラスターの導入が考えられますが、VMware のソフトウェアはどれも「馬のような」価格で知られているため、完全に無料の仮想化管理ソフトウェアを使用します。 oVirt、これに基づいて、よく知られているがすでに商業的な製品が作成されています - レフ.

ソフトウェア oVirt 高可用性の仮想マシン (データベース、Web アプリケーション、プロキシ サーバー、バランサ、ログ収集と分析用のサーバーなど) を便利に操作できるようにするには、インフラストラクチャのすべての要素を XNUMX つの全体に結合する必要があります。 、当社の Web ポータルは何で構成されているか。

この紹介を要約すると、企業のハードウェアおよびソフトウェア インフラストラクチャ全体を実際に展開する方法を正確に示す次の記事が私たちを待っています。

記事一覧

• パート1。 oVirt クラスターのデプロイの準備 4.3.
• パート2。 oVirt クラスターのインストールと構成 4.3.
• パート3。 VyOS クラスターをセットアップし、フォールトトレラントな外部ルーティングを組織します。
• パート4。 Cisco 3850 スタックをセットアップし、イントラネット ルーティングを整理します。

パート 1. oVirt 4.3 クラスターのデプロイの準備

基本的なホストのセットアップ

OS のインストールと構成が最も簡単な手順です。 OS を適切にインストールして構成する方法に関する記事はたくさんあるので、これに関して特別なものを提供しようとするのは意味がありません。

したがって、640 つの Dell PowerEdge R4.3 ホストがあり、oVirt XNUMX クラスターで仮想マシンを実行するためのハイパーバイザーとして使用するために、OS をインストールし、予備設定を実行する必要があります。

無料の非商用ソフトウェア oVirt を使用する予定なので、ホストを展開するための OS を選択しました。 CentOS 7.7ただし、oVirt のホストに他のオペレーティング システムをインストールすることは可能です。

• RHEL をベースにした特別なビルド、いわゆる。 o仮想ノード;
• OS Oracle Linux 2019年夏 発表されました oVirt を実行し続けることについて。

OS をインストールする前に、次のことをお勧めします。

• 両方のホストで iDRAC ネットワーク インターフェイスを構成します。
• BIOS および iDRAC のファームウェアを最新バージョンに更新します。
• サーバーのシステム プロファイルを、できればパフォーマンス モードで構成します。
• ローカル ディスクから RAID を構成し (RAID1 を推奨)、サーバーに OS をインストールします。

次に、iDRAC を通じて以前に作成したディスクに OS をインストールします。インストール プロセスは通常のものであり、特別な瞬間はありません。 iDRAC 経由でサーバー コンソールにアクセスして OS のインストールを開始することもできますが、モニター、キーボード、マウスをサーバーに直接接続し、フラッシュ ドライブから OS をインストールすることを妨げるものはありません。

OS をインストールした後、初期設定を実行します。

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

ソフトウェアの基本セットのインストール

OS の初期セットアップでは、インターネットにアクセスして OS を更新し、必要なソフトウェア パッケージをインストールできるように、サーバー上のネットワーク インターフェイスを構成する必要があります。 これは、OS のインストール プロセス中とその後の両方で実行できます。

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 

上記の設定とソフトウェアのセットはすべて個人の好みの問題であり、このセットは推奨にすぎません。

ホストはハイパーバイザーの役割を果たすため、必要なパフォーマンス プロファイルを有効にします。

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host 

パフォーマンス プロファイルの詳細については、こちらをご覧ください。第4章tuned とtuned-adm"

OS をインストールしたら、次の部分、ホスト上のネットワーク インターフェイスと Cisco 2960X スイッチのスタックの構成に進みます。

Cisco 2960X スイッチ スタックの構成

私たちのプロジェクトでは、次の VLAN 番号が使用されます。つまり、異なる種類のトラフィックを分離するために、互いに分離されたブロードキャスト ドメインが使用されます。

VLAN 10 - インターネット
VLAN 17 – 管理（iDRAC、ストレージ、スイッチ管理）
VLAN 32 – VM 本番ネットワーク
VLAN 33 – 相互接続ネットワーク（外部契約者へ）
VLAN 34 – VM テスト ネットワーク
VLAN 35 – VM開発者ネットワーク
VLAN 40 – 監視ネットワーク

作業を始める前に、L2 レベルの図を示してみましょう。最終的には次のようになります。

oVirt ホストと仮想マシンのネットワーク相互作用、およびストレージ システムの管理には、Cisco 2960X スイッチのスタックを構成する必要があります。

Dell ホストには 4 ポートのネットワーク カードが組み込まれているため、物理ネットワーク ポートを論理インターフェイスにグループ化し、LACP (2960広告）プロトコル：

• ホスト上の最初の 2960 つのポートはボンディング モードで構成され、XNUMXX スイッチに接続されます。この論理インターフェイスは構成されます。 ブリッジ ホスト管理、監視、oVirt クラスター内の他のホストとの通信用のアドレスを持ち、仮想マシンのライブ マイグレーションにも使用されます。
• ホスト上の 2960 番目の XNUMX つのポートもボンディング モードで構成され、XNUMXX に接続されます。oVirt を使用するこの論理インターフェイスでは、仮想マシンが接続するブリッジが後で (対応する VLAN 内に) 作成されます。
• 同じ論理インターフェイス内の両方のネットワーク ポートがアクティブになります。つまり、 それらのトラフィックは、バランシング モードで同時に送信できます。
• クラスター ノードのネットワーク設定は、IP アドレスを除き、まったく同じである必要があります。

基本的なスイッチスタックのセットアップ 2960X とそのポート

以前は、スイッチは次のようになっている必要がありました。

• ラックマウント。
• 必要な長さの 1 本の特別なケーブル (CAB-STK-E-XNUMXM など) で接続します。
• 電源に接続されている。
• 初期設定のためにコンソール ポート経由で管理者のワークステーションに接続されます。

これに必要なガイダンスは、次の場所で入手できます。 公式ページ メーカー。

上記の手順を完了したら、スイッチを構成します。
各コマンドの意味は、この記事の枠内で解読することは想定されていません。必要に応じて、すべての情報を個別に見つけることができます。
私たちの目標は、スイッチ スタックを迅速にセットアップし、ホストとストレージ管理インターフェイスをスイッチ スタックに接続することです。

1) マスタースイッチに接続し、特権モードに移行し、次に構成モードに移行して基本設定を行います。

基本的なスイッチ構成:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit 

コマンド「」で設定を保存します。うーん、私" そしてコマンド" でスイッチスタックを再起動します。リロード» マスタースイッチ1.

2) スイッチのネットワーク ポートを VLAN 17 のアクセス モード (アクセス) に設定し、ストレージ システムと iDRAC サーバーの制御インターフェイスを接続します。

管理ポートの構成:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) スタックをリロードした後、スタックが正しく動作することを確認します。

スタックの機能を確認します。

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) 2960X スタックへの SSH アクセスのセットアップ

SSH 経由でスタックをリモート管理するには、SVI (スイッチ仮想インターフェイス) で構成された IP 172.20.1.10 を使用します。 VLAN17.

管理目的にはスイッチ上の専用の専用ポートを使用することが望ましいですが、これは個人の好みと機会の問題です。

スイッチ スタックへの SSH アクセスを設定します。

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

特権モードに入るパスワードを設定します。

enable secret *myenablepassword*
service password-encryption

NTP を設定します。

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) 論理 EtherChannel インターフェイスとホストに接続される物理ポートを設定します。 構成を容易にするために、使用可能なすべての VLAN がすべての論理インターフェイスで許可されますが、通常は必要なもののみを構成することをお勧めします。

EtherChannel インターフェイスの構成:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

ホスト上の仮想マシンのネットワーク インターフェイスの初期構成 ホスト1 и ホスト2

システム内のボンディングの操作に必要なモジュールの存在を確認し、ブリッジを管理するためのモジュールをインストールします。

modinfo bonding
modinfo 8021q
yum install bridge-utils

仮想マシンの BOND1 論理インターフェイスとホスト上のその物理インターフェイスの構成:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

スタックの設定が完了したら 2960X およびホストのネットワークを再起動し、論理インターフェースの動作性を確認します。

• ホスト上:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

• スイッチスタック上で 2960X:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

ホスト上のクラスター リソースを管理するためのネットワーク インターフェイスの初期構成 ホスト1 и ホスト2

ホスト上での管理用の BOND1 論理インターフェイスとその物理インターフェイスの構成:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

スタックの設定が完了したら 2960X およびホストのネットワークを再起動し、論理インターフェースの動作性を確認します。

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

各ホストで管理ネットワーク インターフェイスをセットアップします。 VLAN 17を作成し、それを論理インターフェイス BOND1 にバインドします。

Host17 での VLAN1 の構成:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Host17 での VLAN2 の構成:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

ホスト上でネットワークを再起動し、相互の可視性を確認します。

これで Cisco 2960X スイッチ スタックの設定が完了しました。すべてが正しく行われていれば、すべてのインフラストラクチャ要素が L2 レベルで相互にネットワーク接続できるようになります。

Dell MD3820f ストレージのセットアップ

ストレージ システムの構成作業を開始する前に、ストレージ システムが Cisco スイッチ スタックに接続されている必要があります。 2960X 管理インターフェイスおよびホストへ ホスト1 и ホスト2 FC経由で。

ストレージ システムをスイッチ スタックに接続する方法の一般的なスキームは、前の章で説明しました。

FC 経由でストレージをホストに接続するスキームは次のようになります。

接続中に、ストレージ システムの FC ポートに接続されている FC HBA ホストの WWPN アドレスを書き留める必要があります。これは、ストレージ システム上の LUN にバインドするホストのその後の構成に必要になります。

Dell MD3820f ストレージ管理ユーティリティを管理者ワークステーションにダウンロードしてインストールします - PowerVault Modular Disk Storage Manager (MDSM).
彼女のデフォルトの IP アドレスを介して彼女に接続し、次からアドレスを設定します。 VLAN17、TCP/IP 経由でコントローラーを管理するには:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

アドレスを設定した後、ストレージ管理インターフェイスに移動し、パスワードの設定、時刻の設定、必要に応じてコントローラーとディスクのファームウェアの更新などを行います。
これがどのように行われるかについては、 管理ガイド ストレージ。

上記の設定を行った後は、いくつかのことを行うだけです。

1. ホスト FC ポート ID を構成する - ホストポート識別子.
2. ホストグループを作成します- ホストグループ それに XNUMX つの Dell ホストを追加します。
3. ホストに提供されるディスク グループとその中に仮想ディスク (または LUN) を作成します。
4. ホストの仮想ディスク (または LUN) のプレゼンテーションを構成します。

新しいホストの追加とホスト FC ポートの識別子のバインドは、メニューから実行します。 ホストマッピング -> 定義する -> ホスト…
FC HBA ホストの WWPN アドレスは、たとえばサーバーの iDRAC で見つけることができます。

結果として、次の図のようなものが得られるはずです。

新しいホスト グループの追加とホストのバインドは、メニューから実行します。 ホストマッピング -> 定義する -> ホストグループ…
ホストの場合、OS のタイプを選択します - Linux (DM-MP).

ホストグループを作成した後、タブから ストレージ＆コピーサービス、ディスクグループを作成します - ディスクグループ、フォールト トレランスの要件に応じたタイプ (RAID10 など) と、その中に必要なサイズの仮想ディスクが含まれます。

そして最後の最終段階は、ホストに対する仮想ディスク (または LUN) のプレゼンテーションです。
これを行うには、メニューから - ホストマッピング -> Lunマッピング -> 追加... 仮想ディスクに番号を割り当てることで、仮想ディスクをホストにバインドします。

すべては次のスクリーンショットのようになります。

ここでストレージのセットアップは終了します。すべてが正しく行われていれば、ホストは FC HBA を通じて提供された LUN を認識できるはずです。
接続されているドライブに関する情報をシステムに強制的に更新させてみましょう。

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

サーバー上でどのようなデバイスが表示されるかを見てみましょう。

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

ホスト上で追加の設定を行うこともできます マルチパス、oVirtをインストールするときにそれ自体を行うこともできますが、事前にMPが正しいかどうかを確認することをお勧めします。

DM マルチパスのインストールと構成

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

MP サービスを自動起動に設定して開始します。

systemctl enable multipathd && systemctl restart multipathd

MP 動作のためにロードされたモジュールに関する情報を確認します。

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

既存のマルチパス構成の概要を表示します。

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

新しい LUN をストレージ システムに追加してホストに提示した後、その上のホストに接続されている HBA をスキャンする必要があります。

systemctl reload multipathd
multipath -v2

最後に、すべての LUN がホストのストレージ システム上に提示されているかどうか、またすべてへの XNUMX つのパスがあるかどうかを確認します。

MP動作確認：

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

ご覧のとおり、ストレージ システム上の XNUMX つの仮想ディスクはすべて XNUMX つの方法で表示されます。 これで、すべての準備作業が完了しました。つまり、次の記事で説明する、主要部分である oVirt クラスターのセットアップに進むことができます。

出所： habr.com