내결함성 IT 인프라 구축. 1부 - oVirt 4.3 클러스터 배포 준비

독자들은 단일 데이터 센터 내에서 소규모 기업을 위한 내결함성 인프라를 구축하는 원칙에 익숙해지도록 초대되며 이에 대해서는 짧은 기사 시리즈에서 자세히 논의됩니다.

소개

아래의 데이터 센터 (데이터 처리 센터)는 다음과 같이 이해될 수 있습니다.

• 장비의 전원 공급 및 냉각을 제공하기 위한 최소 요구 사항을 충족하고 두 개의 독립 공급자를 통해 인터넷에 액세스할 수 있는 기업 구내 "서버실"에 있는 자체 랙
• 소위 실제 데이터 센터에 위치한 자체 장비를 갖춘 임대 랙입니다. Tier III 또는 IV 표준을 준수하고 안정적인 전원 공급, 냉각 및 내결함성 인터넷 액세스를 보장하는 배치
• Tier III 또는 IV 데이터 센터의 장비를 완전 임대합니다.

선택할 숙박 시설 옵션은 각 경우에 따라 다르며 일반적으로 몇 가지 주요 요인에 따라 달라집니다.

• 기업에 자체 IT 인프라가 필요한 이유는 무엇입니까?
• 기업이 IT 인프라에서 정확히 무엇을 원하는지(신뢰성, 확장성, 관리 효율성 등)
• IT 인프라에 대한 초기 투자 규모 및 비용 유형(자본(자체 장비 구입) 또는 운영(일반적으로 장비 임대))
• 기업 자체의 계획 범위.

IT 인프라를 생성하고 사용하려는 기업의 결정에 영향을 미치는 요소에 대해 많은 내용이 기록될 수 있지만, 우리의 목표는 내결함성이 있고 비용도 절약할 수 있도록 바로 이 인프라를 생성하는 방법을 실제로 보여주는 것입니다. 상용 소프트웨어 구매 비용을 절감하거나 아예 피하세요.

장기적인 실습에서 알 수 있듯이 인색함은 두 배, 훨씬 더 많은 비용을 지불하기 때문에 하드웨어를 절약할 가치가 없습니다. 그러나 좋은 하드웨어는 단지 권장 사항일 뿐이며 결국 정확히 무엇을 구매할지, 얼마에 구입할지는 기업의 역량과 경영진의 "탐욕"에 따라 달라집니다. 또한 "탐욕"이라는 단어는 좋은 의미로 이해되어야 합니다. 초기 단계에서 하드웨어에 투자하는 것이 더 낫기 때문에 처음에는 잘못된 계획과 확장으로 인해 추가 지원 및 확장에 심각한 문제가 발생하지 않기 때문입니다. 과도한 절감은 프로젝트를 시작할 때보다 비용이 더 높아질 수 있습니다.

따라서 프로젝트의 초기 데이터는 다음과 같습니다.

• 자체 웹 포털을 만들고 활동을 인터넷으로 가져오기로 결정한 기업이 있습니다.
• 회사는 Tier III 표준에 따라 인증된 우수한 데이터 센터에 장비를 배치하기 위해 랙을 임대하기로 결정했습니다.
• 회사는 하드웨어 비용을 크게 절약하지 않기로 결정하고 보증 및 지원이 연장된 다음 장비를 구입했습니다.

장비 목록

• 다음과 같은 두 개의 물리적 Dell PowerEdge R640 서버:
• Intel Xeon Gold 5120 프로세서 XNUMX개
• 512 Gb RAM
• OS 설치용 RAID1의 SAS 디스크 XNUMX개
• 내장 4포트 1G 네트워크 카드
• 2포트 10G 네트워크 카드 XNUMX개
• 2포트 FC HBA 16G XNUMX개.
• FC 2G를 통해 Dell 호스트에 직접 연결된 3820컨트롤러 스토리지 시스템 Dell MD16f,
• 2960개의 48차 레벨 스위치 - Cisco WS-CXNUMXRX-XNUMXFPS-L 스택;
• 3850개의 세 번째 레벨 스위치 - Cisco WS-C24-XNUMXT-E, 스택;
• 랙, UPS, PDU, 콘솔 서버는 데이터 센터에서 제공됩니다.

보시다시피, 기업이 인터넷에서 유사한 프로필의 다른 회사와 경쟁할 수 있고 추가 경쟁을 위해 자원 확장에 투자할 수 있는 이익을 얻기 시작하면 기존 장비는 수평 및 수직 확장에 대한 좋은 전망을 가지고 있습니다. 그리고 이익 성장.

기업이 컴퓨팅 클러스터의 성능을 향상하기로 결정한 경우 어떤 장비를 추가할 수 있습니까?

• 2960X 스위치의 포트 수가 넉넉하므로 하드웨어 서버를 더 추가할 수 있습니다.
• 스토리지 시스템과 추가 서버를 연결하려면 XNUMX개의 추가 FC 스위치를 구입하십시오.
• 기존 서버를 업그레이드할 수 있습니다. 메모리를 추가하고, 프로세서를 더 강력한 서버로 교체하고, 기존 네트워크 어댑터를 사용하여 10G 네트워크에 연결합니다.
• 계획된 로드에 따라 필요한 디스크 유형(SAS, SATA 또는 SSD)을 사용하여 스토리지 시스템에 Disk Shelf를 추가할 수 있습니다.
• FC 스위치를 추가한 후 다른 스토리지 시스템을 구입하여 더 많은 디스크 용량을 추가할 수 있으며, 특별한 원격 복제 옵션을 구입하면 동일한 데이터 센터 내 및 데이터 센터 간 스토리지 시스템 간 데이터 복제를 설정할 수 있습니다( 그러나 이는 이미 기사의 범위를 벗어났습니다.)
• 내부 네트워크 간의 고속 라우팅을 위한 내결함성 네트워크 코어로 사용할 수 있는 세 번째 수준 스위치인 Cisco 3850도 있습니다. 이는 향후 내부 인프라가 성장함에 따라 매우 도움이 될 것입니다. 3850에는 나중에 네트워크 장비를 10G 속도로 업그레이드할 때 사용할 수 있는 10G 포트도 있습니다.

이제 가상화 없이는 어디에도 없기 때문에 우리는 물론 추세에 있을 것입니다. 특히 이것이 항상 그렇지 않은 개별 인프라 요소(웹 서버, 데이터베이스 등)에 대해 값비싼 서버를 구입하는 비용을 줄이는 훌륭한 방법이기 때문입니다. 부하가 낮은 경우 최적이 사용되며 이는 정확히 프로젝트 시작 초기에 발생합니다.

또한 가상화에는 하드웨어 서버 오류에 대한 VM 내결함성, 유지 관리를 위한 하드웨어 클러스터 노드 간 실시간 마이그레이션, 클러스터 노드 간 수동 또는 자동 부하 분산 등 우리에게 매우 유용할 수 있는 다른 많은 이점이 있습니다.

기업이 구매한 하드웨어의 경우 고가용성 VMware vSphere 클러스터 배포가 필요하지만 VMware의 모든 소프트웨어는 "말" 가격표로 알려져 있으므로 가상화 관리를 위해 완전 무료 소프트웨어를 사용할 것입니다. ovirt, 잘 알려져 있지만 이미 상용 제품이 만들어지는 기반 - 레브.

소프트웨어 ovirt 고가용성 가상 머신(데이터베이스, 웹 애플리케이션, 프록시 서버, 밸런서, 로그 및 분석 수집용 서버 등)과 편리하게 작업할 수 있도록 모든 인프라 요소를 하나의 전체로 결합하는 데 필요합니다. 우리 기업의 웹 포털은 다음과 같이 구성되어 있습니다.

이 소개를 요약하면 기업의 전체 하드웨어 및 소프트웨어 인프라를 배포하는 방법을 실제로 정확하게 보여주는 다음 기사를 기대할 수 있습니다.

기사 목록

• 1의 일부. oVirt 4.3 클러스터 배포를 준비합니다.
• 2의 일부. oVirt 4.3 클러스터 설치 및 구성.
• 3의 일부. VyOS 클러스터를 설정하고 내결함성 외부 라우팅을 구성합니다.
• 4의 일부. Cisco 3850 스택 설정, 인트라넷 라우팅 구성.

1부. oVirt 4.3 클러스터 배포 준비

기본 호스트 설정

OS를 설치하고 구성하는 것이 가장 쉬운 단계입니다. OS를 올바르게 설치하고 구성하는 방법에 대한 기사가 많이 있으므로 이에 대해 독점적인 내용을 제공하려는 것은 의미가 없습니다.

따라서 oVirt 640 클러스터에서 가상 머신을 실행하기 위한 하이퍼바이저로 사용하기 위해 OS를 설치하고 예비 설정을 수행해야 하는 두 개의 Dell PowerEdge R4.3 호스트가 있습니다.

무료 비상업용 oVirt 소프트웨어를 사용할 계획이므로 호스트 배포용으로 OS가 선택되었습니다. 7.7 CentOS에하지만 oVirt용 호스트에는 다른 OS를 설치할 수 있습니다.

• 소위 RHEL을 기반으로 한 특수 빌드입니다. o가상 노드;
• OS Oracle Linux, 2019년 여름 발표되었다 oVirt의 작업 지원에 대해 설명합니다.

OS를 설치하기 전에 다음을 수행하는 것이 좋습니다.

• 두 호스트 모두에서 iDRAC 네트워크 인터페이스를 구성합니다.
• BIOS 및 iDRAC 펌웨어를 최신 버전으로 업데이트합니다.
• 가급적이면 성능 모드에서 서버의 시스템 프로필을 구성합니다.
• 로컬 디스크(RAID1 권장)에서 RAID를 구성하여 서버에 OS를 설치합니다.

그런 다음 이전에 iDRAC를 통해 생성한 디스크에 OS를 설치합니다. 설치 프로세스는 정상이며 특별한 순간은 없습니다. OS 설치를 시작하기 위한 서버 콘솔에 대한 액세스는 iDRAC를 통해 얻을 수도 있지만 모니터, 키보드 및 마우스를 서버에 직접 연결하고 플래시 드라이브에서 OS를 설치하는 것을 방해하는 것은 없습니다.

OS를 설치한 후 초기 설정을 수행합니다.

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

기본 소프트웨어 세트 설치

OS를 처음 구성하려면 인터넷에 액세스하여 OS를 업데이트하고 필요한 소프트웨어 패키지를 설치할 수 있도록 서버의 네트워크 인터페이스를 구성해야 합니다. 이 작업은 OS 설치 과정 중과 설치 후에 모두 수행할 수 있습니다.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 

위의 모든 설정과 소프트웨어 세트는 개인 취향의 문제이며, 이 세트는 단지 권장 사항일 뿐입니다.

호스트가 하이퍼바이저 역할을 하므로 필요한 성능 프로필을 활성화하겠습니다.

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host 

성능 프로필에 대한 자세한 내용은 여기에서 확인할 수 있습니다. "4장. 조정 및 조정-adm".

OS를 설치한 후 다음 부분인 호스트 및 Cisco 2960X 스위치 스택에 네트워크 인터페이스를 설정하는 단계로 넘어갑니다.

Cisco 2960X 스위치 스택 구성

우리 프로젝트에서는 다양한 유형의 트래픽을 분리하기 위해 서로 격리된 다음 수의 VLAN 또는 브로드캐스트 도메인을 사용합니다.

VLAN 10 – 인터넷
VLAN 17 – 관리(iDRAC, 스토리지 시스템, 스위치 관리)
VLAN 32 – VM 생산 네트워크
VLAN 33 – 상호 연결 네트워크(외부 계약자에 대한)
VLAN 34 – VM 테스트 네트워크
VLAN 35 – VM 개발자 네트워크
VLAN 40 – 모니터링 네트워크

작업을 시작하기 전에 최종적으로 도달해야 하는 L2 수준의 다이어그램은 다음과 같습니다.

oVirt 호스트와 가상 머신의 네트워크 상호 작용과 스토리지 시스템 관리를 위해서는 Cisco 2960X 스위치 스택을 구성해야 합니다.

Dell 호스트에는 4포트 네트워크 카드가 내장되어 있으므로 내결함성 네트워크 연결, 물리적 네트워크 포트를 논리적 인터페이스로 그룹화, LACP 프로토콜( 2960ad):

• 호스트의 처음 두 포트는 본딩 모드로 구성되고 2960X 스위치에 연결됩니다. 이 논리 인터페이스가 구성됩니다. 다리 호스트 관리, 모니터링, oVirt 클러스터의 다른 호스트와의 통신을 위한 주소가 있으면 가상 머신의 실시간 마이그레이션에도 사용됩니다.
• 호스트의 두 번째 두 포트도 본딩 모드로 구성되고 2960X에 연결됩니다. oVirt를 사용하는 이 논리적 인터페이스에서 가상 머신이 연결될 향후(해당 VLAN에서) 브리지가 생성됩니다.
• 동일한 논리 인터페이스 내의 두 네트워크 포트가 모두 활성화됩니다. 이를 통한 트래픽은 균형 모드에서 동시에 전송될 수 있습니다.
• 클러스터 노드의 네트워크 설정은 IP 주소를 제외하고 완전히 동일해야 합니다.

기본 스위치 스택 설정 2960X 그리고 그 항구

스위치는 먼저 다음과 같아야 합니다.

• 랙 장착;
• 필요한 길이의 두 개의 특수 케이블(예: CAB-STK-E-1M)을 통해 연결됩니다.
• 전원 공급 장치에 연결됨;
• 초기 구성을 위해 콘솔 포트를 통해 관리자의 워크스테이션에 연결됩니다.

이에 대한 필요한 지침은 다음에서 확인할 수 있습니다. 공식 페이지 제조업체.

위 단계를 완료한 후 스위치를 구성합니다.
각 명령의 의미는 이 기사의 틀 내에서 해독되지 않으며 필요한 경우 모든 정보를 독립적으로 찾을 수 있습니다.
우리의 목표는 스위치 스택을 최대한 빨리 구성하고 여기에 호스트와 스토리지 관리 인터페이스를 연결하는 것입니다.

1) 마스터 스위치에 연결하고 특권 모드로 이동한 후 구성 모드로 이동하여 기본 설정을 합니다.

기본 스위치 구성:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit 

"라는 명령으로 구성을 저장합니다.wmeme" 명령을 사용하여 스위치 스택을 재부팅합니다. "장전» 마스터 스위치 1에 있습니다.

2) 스토리지 시스템과 iDRAC 서버의 관리 인터페이스를 연결하기 위해 VLAN 17의 액세스 모드에서 스위치의 네트워크 포트를 구성합니다.

관리 포트 설정:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) 스택을 다시 로드한 후 올바르게 작동하는지 확인합니다.

스택 기능 확인:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) 2960X 스택에 대한 SSH 액세스 설정

SSH를 통해 스택을 원격으로 관리하기 위해 SVI(스위치 가상 인터페이스)용으로 구성된 IP 172.20.1.10을 사용합니다. VLAN17.

관리 목적으로 스위치에 전용 전용 포트를 사용하는 것이 좋지만 이는 개인 취향과 능력에 따라 다릅니다.

스위치 스택에 대한 SSH 액세스 구성:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

권한 모드로 들어가기 위한 비밀번호를 설정하세요:

enable secret *myenablepassword*
service password-encryption

NTP 설정:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) 논리적 Etherchannel 인터페이스와 호스트에 연결된 물리적 포트를 구성합니다. 간편한 구성을 위해 사용 가능한 모든 VLAN이 모든 논리적 인터페이스에서 활성화되지만 일반적으로 필요한 것만 구성하는 것이 좋습니다.

Etherchannel 인터페이스 구성:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

호스트의 가상 머신에 대한 네트워크 인터페이스의 초기 구성 Host1 и Host2

시스템에서 본딩이 작동하는 데 필요한 모듈이 있는지 확인하고 브리지 제어용 모듈을 설치합니다.

modinfo bonding
modinfo 8021q
yum install bridge-utils

가상 머신에 대한 BOND1 논리적 인터페이스 및 호스트의 물리적 인터페이스 구성:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

스택에 대한 설정을 완료한 후 2960X 호스트에서 네트워크를 다시 시작하고 논리 인터페이스의 기능을 확인합니다.

• 호스트에서:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

• 스위치 스택에 2960X:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

호스트의 클러스터 리소스를 관리하기 위한 네트워크 인터페이스의 초기 구성 Host1 и Host2

관리를 위한 BOND1 논리적 인터페이스 및 호스트의 물리적 인터페이스 구성:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

스택에 대한 설정을 완료한 후 2960X 호스트에서 네트워크를 다시 시작하고 논리 인터페이스의 기능을 확인합니다.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

우리는 각 호스트에 제어 네트워크 인터페이스를 구성합니다. VLAN 17, 논리 인터페이스 BOND1에 바인딩합니다.

Host17에서 VLAN1 구성:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Host17에서 VLAN2 구성:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

호스트에서 네트워크를 다시 시작하고 서로의 가시성을 확인합니다.

이로써 Cisco 2960X 스위치 스택 구성이 완료되었으며, 모든 작업이 올바르게 완료되었다면 이제 L2 수준에서 모든 인프라 요소가 서로 네트워크로 연결됩니다.

Dell MD3820f 스토리지 시스템 설정

스토리지 시스템 설정 작업을 시작하기 전에 이미 Cisco 스위치 스택에 연결되어 있어야 합니다. 2960X 제어 인터페이스 및 호스트 Host1 и Host2 FC를 통해.

스토리지 시스템을 스위치 스택에 연결하는 방법에 대한 일반적인 다이어그램은 이전 장에서 제공되었습니다.

FC를 통해 스토리지 시스템을 호스트에 연결하는 다이어그램은 다음과 같습니다.

연결하는 동안 스토리지 시스템의 FC 포트에 연결된 FC HBA 호스트의 WWPN 주소를 기록해야 합니다. 이는 나중에 스토리지 시스템의 LUN에 대한 호스트 바인딩을 설정할 때 필요합니다.

관리자 워크스테이션에서 Dell MD3820f 스토리지 시스템 관리용 유틸리티를 다운로드하여 설치합니다. PowerVault 모듈식 디스크 스토리지 관리자 (MDSM).
기본 IP 주소를 통해 연결한 다음 다음에서 주소를 구성합니다. VLAN17, TCP/IP를 통해 컨트롤러를 관리하려면:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

주소를 설정한 후 스토리지 관리 인터페이스로 이동하여 비밀번호를 설정하고, 시간을 설정하고, 필요한 경우 컨트롤러 및 디스크의 펌웨어를 업데이트하세요.
이것이 수행되는 방법은 다음에 설명되어 있습니다. 관리 가이드 스토리지 시스템

위의 설정을 완료한 후 몇 가지 단계만 수행하면 됩니다.

1. 호스트 FC 포트 ID 구성 – 호스트 포트 식별자.
2. 호스트 그룹 생성 – 호스트 그룹 여기에 두 개의 Dell 호스트를 추가합니다.
3. 호스트에 표시될 디스크 그룹과 그 안에 가상 디스크(또는 LUN)를 생성합니다.
4. 호스트에 대한 가상 디스크(또는 LUN) 표시를 구성합니다.

새 호스트를 추가하고 호스트 FC 포트 식별자를 바인딩하는 작업은 메뉴를 통해 수행됩니다. 호스트 매핑 -> 밝히다 -> 호스트…
FC HBA 호스트의 WWPN 주소는 예를 들어 iDRAC 서버에서 찾을 수 있습니다.

결과적으로 우리는 다음과 같은 결과를 얻어야 합니다:

새 호스트 그룹을 추가하고 호스트를 바인딩하는 작업은 메뉴를 통해 수행됩니다. 호스트 매핑 -> 밝히다 -> 호스트 그룹…
호스트의 경우 OS 유형을 선택합니다. 리눅스(DM-MP).

호스트 그룹 생성 후 탭을 통해 보관 및 복사 서비스, 디스크 그룹 생성 – 디스크 그룹, 내결함성 요구 사항에 따른 유형(예: RAID10) 및 필요한 크기의 가상 디스크:

마지막으로 마지막 단계는 가상 디스크(또는 LUN)를 호스트에 표시하는 것입니다.
이렇게 하려면 메뉴를 통해 - 호스트 매핑 -> 달 매핑 -> 추가 ... 가상 디스크에 번호를 할당하여 호스트와 연결합니다.

모든 것이 다음 스크린샷과 같아야 합니다.

여기에서 스토리지 시스템 설정을 완료하고, 모든 작업이 올바르게 완료되면 호스트는 FC HBA를 통해 제공되는 LUN을 볼 수 있습니다.
시스템이 연결된 디스크에 대한 정보를 업데이트하도록 강제해 보겠습니다.

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

우리 서버에 어떤 장치가 표시되는지 살펴보겠습니다.

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

호스트에서는 추가로 구성할 수도 있습니다. 다중 경로, oVirt를 설치할 때 자체적으로 이 작업을 수행할 수 있지만 MP가 올바르게 작동하는지 미리 직접 확인하는 것이 좋습니다.

DM Multipath 설치 및 구성

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

MP 서비스를 자동 시작으로 설정하고 실행합니다.

systemctl enable multipathd && systemctl restart multipathd

MP 작동을 위해 로드된 모듈에 대한 정보 확인:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

기존 다중 경로 구성에 대한 요약 정보를 살펴보겠습니다.

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

스토리지 시스템에 새 LUN을 추가하고 이를 호스트에 표시한 후 호스트에 접속된 HBA를 검색해야 합니다.

systemctl reload multipathd
multipath -v2

마지막으로 호스트의 스토리지 시스템에 모든 LUN이 표시되었는지, 그리고 모든 LUN에 대한 경로가 두 개 있는지 확인합니다.

MP 작동 확인:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

보시다시피 스토리지 시스템에 있는 세 개의 가상 디스크는 모두 두 경로를 따라 표시됩니다. 따라서 모든 준비 작업이 완료되었습니다. 즉, 다음 기사에서 논의할 oVirt 클러스터 설정이라는 주요 부분으로 진행할 수 있습니다.

출처 : habr.com