Czytelników zapraszamy do zapoznania się z zasadami budowy odpornej na awarie infrastruktury dla małego przedsiębiorstwa w ramach jednego centrum danych, które zostaną szczegółowo omówione w krótkim cyklu artykułów.
Część wprowadzająca
pod Centrum danych (Centrum Przetwarzania Danych) można rozumieć jako:
- własny stojak we własnej „serwerowni” na terenie przedsiębiorstwa, który spełnia minimalne wymagania dotyczące zasilania i chłodzenia sprzętu, a także posiada dostęp do Internetu za pośrednictwem dwóch niezależnych dostawców;
- wynajmowana szafa z własnym wyposażeniem, zlokalizowana w rzeczywistym centrum danych – tzw. kolokacja zgodna ze standardem Tier III lub IV, gwarantująca niezawodne zasilanie, chłodzenie i odporny na awarie dostęp do Internetu;
- w pełni wynajęty sprzęt w centrum danych Tier III lub IV.
To, którą opcję zakwaterowania wybrać, jest kwestią indywidualną w każdym przypadku i zwykle zależy od kilku głównych czynników:
- Dlaczego przedsiębiorstwo potrzebuje własnej infrastruktury IT?
- czego dokładnie przedsiębiorstwo oczekuje od infrastruktury IT (niezawodność, skalowalność, łatwość zarządzania itp.);
- wielkość początkowych inwestycji w infrastrukturę IT, a także rodzaj kosztów z tym związanych – kapitałowe (co oznacza, że kupujesz własny sprzęt), czy operacyjne (sprzęt jest zwykle wynajmowany);
- horyzont planowania samego przedsiębiorstwa.
O czynnikach wpływających na decyzję przedsiębiorstwa o stworzeniu i użytkowaniu infrastruktury informatycznej można pisać wiele, jednak naszym celem jest pokazanie w praktyce, jak taką właśnie infrastrukturę stworzyć, aby była ona zarówno odporna na awarie, jak i pozwalała na oszczędność pieniędzy. kosztów zakupu oprogramowania komercyjnego lub całkowicie ich unikać.
Jak pokazuje wieloletnia praktyka, nie warto oszczędzać na sprzęcie, ponieważ skąpy płaci dwa razy, a nawet znacznie więcej. Ale znowu dobry sprzęt to tylko rekomendacja, a ostatecznie to, co dokładnie kupić i za ile, zależy od możliwości przedsiębiorstwa i „chciwości” jego kierownictwa. Co więcej, słowo „chciwość” należy rozumieć w dobrym tego słowa znaczeniu, gdyż lepiej zainwestować w sprzęt już na początkowym etapie, aby nie mieć poważnych problemów z jego dalszym wsparciem i skalowaniem, gdyż początkowo nieprawidłowe planowanie i nadmierne oszczędności mogą prowadzić do wyższych kosztów niż na początku projektu.
Zatem wstępne dane do projektu:
- istnieje przedsiębiorstwo, które zdecydowało się stworzyć własny portal internetowy i przenieść swoją działalność do Internetu;
- firma zdecydowała się na wynajęcie stojaka w celu umieszczenia swojego sprzętu w dobrym centrum danych certyfikowanym według standardu Tier III;
- firma zdecydowała się nie oszczędzać dużo na sprzęcie i dlatego zakupiła następujący sprzęt z rozszerzonymi gwarancjami i wsparciem:
Lista wyposażenia
- dwa fizyczne serwery Dell PowerEdge R640 w następujący sposób:
- dwa procesory Intel Xeon Gold 5120
- 512 Gb RAM
- dwa dyski SAS w konfiguracji RAID1 do instalacji systemu operacyjnego
- wbudowana 4-portowa karta sieciowa 1G
- dwie 2-portowe karty sieciowe 10G
- jedna 2-portowa karta FC HBA 16G.
- System pamięci masowej Dell MD2f z 3820 kontrolerami, podłączony za pośrednictwem FC 16G bezpośrednio do hostów Dell;
- dwa przełączniki drugiego poziomu - Cisco WS-C2960RX-48FPS-L piętrowane;
- dwa przełączniki trzeciego poziomu - Cisco WS-C3850-24T-E, piętrowe;
- Serwery rack, UPS, PDU i konsolowe są dostarczane przez centrum danych.
Jak widzimy, istniejący sprzęt ma dobre perspektywy skalowania poziomego i pionowego, jeśli przedsiębiorstwo będzie w stanie konkurować z innymi firmami o podobnym profilu w Internecie i zacznie osiągać zyski, które będzie można zainwestować w poszerzanie zasobów do dalszej rywalizacji i wzrost zysków.
Jaki sprzęt możemy dodać jeśli przedsiębiorstwo zdecyduje się na zwiększenie wydajności naszego klastra obliczeniowego:
- mamy dużą rezerwę w liczbie portów na przełącznikach 2960X, co oznacza, że możemy dodać więcej serwerów sprzętowych;
- zakup dwóch dodatkowych przełączników FC w celu podłączenia do nich systemów pamięci masowej i dodatkowych serwerów;
- istniejące serwery można zmodernizować – dodać pamięć, wymienić procesory na mocniejsze, połączyć się z siecią 10G za pomocą istniejących kart sieciowych;
- Do systemu przechowywania możesz dodać dodatkowe półki dyskowe z wymaganym typem dysku - SAS, SATA lub SSD, w zależności od planowanego obciążenia;
- po dodaniu przełączników FC możesz dokupić kolejny system pamięci masowej, aby zwiększyć jeszcze pojemność dysku, a jeśli wykupisz do niego specjalną opcję zdalnej replikacji, możesz skonfigurować replikację danych pomiędzy systemami pamięci masowej zarówno w obrębie tego samego centrum danych, jak i pomiędzy centrami danych ( ale to już wykracza poza zakres artykułu);
- Istnieją również przełączniki trzeciego poziomu - Cisco 3850, które można wykorzystać jako odporny na awarie rdzeń sieciowy do szybkiego routingu pomiędzy sieciami wewnętrznymi. Będzie to bardzo pomocne w przyszłości, gdy infrastruktura wewnętrzna będzie się rozrastać. Model 3850 ma również porty 10G, których można później użyć podczas aktualizacji sprzętu sieciowego do prędkości 10G.
Skoro teraz nie ma miejsca bez wirtualizacji, to oczywiście będziemy w trendzie, zwłaszcza, że jest to doskonały sposób na obniżenie kosztów zakupu drogich serwerów dla poszczególnych elementów infrastruktury (serwery WWW, bazy danych itp.), które nie zawsze są optymalne stosowane są w przypadku małego obciążenia i dokładnie tak będzie na początku uruchomienia projektu.
Ponadto wirtualizacja ma wiele innych zalet, które mogą być dla nas bardzo przydatne: odporność na awarie maszyn wirtualnych w przypadku awarii serwera sprzętowego, migracja na żywo pomiędzy węzłami klastra sprzętowego w celu ich konserwacji, ręczna lub automatyczna dystrybucja obciążenia pomiędzy węzłami klastra itp.
W przypadku sprzętu zakupionego przez przedsiębiorstwo samo sugeruje się wdrożenie wysokodostępnego klastra VMware vSphere, ale ponieważ każde oprogramowanie firmy VMware znane jest z „końskich” cen, do zarządzania wirtualizacją wykorzystamy całkowicie bezpłatne oprogramowanie - , na bazie którego powstaje znany, ale już komercyjny produkt - .
Oprogramowanie o Virt konieczne jest połączenie wszystkich elementów infrastruktury w jedną całość, aby móc wygodnie pracować z wysokodostępnymi maszynami wirtualnymi – są to bazy danych, aplikacje webowe, serwery proxy, balansery, serwery do gromadzenia logów i analiz itp., czyli co Portal internetowy naszego przedsiębiorstwa składa się z.
Podsumowując to wprowadzenie, możemy spodziewać się następujących artykułów, które w praktyce pokażą dokładnie, jak wdrożyć całą infrastrukturę sprzętową i programową przedsiębiorstwa:
Lista artykułów
- 1 Part. Przygotowanie do wdrożenia klastra oVirt 4.3.
- 2 Part. Instalacja i konfiguracja klastra oVirt 4.3.
- 3 Part. Konfiguracja klastra VyOS, organizacja routingu zewnętrznego odpornego na błędy.
- 4 Part. Konfiguracja stosu Cisco 3850, organizacja routingu intranetowego.
Część 1. Przygotowanie do wdrożenia klastra oVirt 4.3
Podstawowa konfiguracja hosta
Instalacja i konfiguracja systemu operacyjnego to najłatwiejszy krok. Istnieje wiele artykułów na temat prawidłowej instalacji i konfiguracji systemu operacyjnego, więc nie ma sensu podawać czegoś wyjątkowego na ten temat.
Mamy więc dwa hosty Dell PowerEdge R640, na których musimy zainstalować system operacyjny i dokonać wstępnych ustawień, aby móc używać ich jako hypervisorów do uruchamiania maszyn wirtualnych w klastrze oVirt 4.3.
Ponieważ planujemy korzystać z bezpłatnego, niekomercyjnego oprogramowania oVirt, do wdrożenia hostów wybrano system operacyjny 7.7 CentOS, chociaż na hostach oVirt można zainstalować inne systemy operacyjne:
- specjalna kompilacja oparta na RHEL, tzw. ;
- System operacyjny Oracle Linux, lato 2019 r o wsparciu prac oVirt nad tym.
Przed instalacją systemu operacyjnego zaleca się:
- skonfiguruj interfejs sieciowy iDRAC na obu hostach;
- zaktualizuj BIOS i oprogramowanie sprzętowe iDRAC do najnowszych wersji;
- skonfiguruj profil systemu serwera, najlepiej w trybie wydajności;
- skonfiguruj RAID z dysków lokalnych (zalecany jest RAID1), aby zainstalować system operacyjny na serwerze.
Następnie instalujemy system operacyjny na dysku utworzonym wcześniej za pomocą iDRAC - proces instalacji jest normalny, nie ma w nim żadnych specjalnych momentów. Dostęp do konsoli serwera w celu rozpoczęcia instalacji systemu operacyjnego można uzyskać także poprzez iDRAC, choć nic nie stoi na przeszkodzie, aby podłączyć monitor, klawiaturę i mysz bezpośrednio do serwera i zainstalować system operacyjny z pendrive'a.
Po zainstalowaniu systemu operacyjnego wykonujemy jego ustawienia początkowe:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instalacja podstawowego zestawu oprogramowania
Aby wstępnie skonfigurować system operacyjny, należy skonfigurować dowolny interfejs sieciowy na serwerze, aby można było uzyskać dostęp do Internetu w celu aktualizacji systemu operacyjnego i zainstalowania niezbędnych pakietów oprogramowania. Można to zrobić zarówno podczas procesu instalacji systemu operacyjnego, jak i po nim.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Wszystkie powyższe ustawienia i zestaw oprogramowania są kwestią osobistych preferencji, a ten zestaw stanowi jedynie zalecenie.
Ponieważ nasz host będzie pełnił rolę hypervisora, umożliwimy wymagany profil wydajności:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Więcej o profilu wydajności można przeczytać tutaj: „".
Po zainstalowaniu systemu operacyjnego przechodzimy do kolejnej części - konfiguracji interfejsów sieciowych na hostach i stosu przełączników Cisco 2960X.
Konfigurowanie stosu przełączników Cisco 2960X
Nasz projekt będzie wykorzystywał następującą liczbę sieci VLAN – czyli domen rozgłoszeniowych, odizolowanych od siebie w celu oddzielenia różnych typów ruchu:
Sieć VLAN 10 - Internet
Sieć VLAN 17 – Zarządzanie (iDRAC, system pamięci masowej, zarządzanie przełącznikami)
Sieć VLAN 32 – Sieć produkcyjna maszyn wirtualnych
Sieć VLAN 33 – sieć połączeń międzysystemowych (do wykonawców zewnętrznych)
Sieć VLAN 34 – Sieć testowa maszyn wirtualnych
Sieć VLAN 35 – Sieć programistów maszyn wirtualnych
Sieć VLAN 40 – Sieć monitoringu
Przed rozpoczęciem pracy oto diagram na poziomie L2, do którego ostatecznie powinniśmy dojść:
Do interakcji sieciowej hostów oVirt i maszyn wirtualnych ze sobą, a także do zarządzania naszym systemem pamięci masowej, konieczna jest konfiguracja stosu przełączników Cisco 2960X.
Hosty Dell mają wbudowane 4-portowe karty sieciowe, dlatego zaleca się zorganizowanie ich połączenia z Cisco 2960X przy użyciu połączenia sieciowego odpornego na błędy, wykorzystującego zgrupowanie fizycznych portów sieciowych w logiczny interfejs i protokół LACP ( 802.3ad):
- pierwsze dwa porty hosta są skonfigurowane w trybie łączenia i podłączone do przełącznika 2960X - ten interfejs logiczny zostanie skonfigurowany most z adresem do zarządzania hostami, monitorowania, komunikacji z innymi hostami w klastrze oVirt, będzie również używany do migracji na żywo maszyn wirtualnych;
- drugie dwa porty na hoście są również skonfigurowane w trybie łączenia i podłączone do 2960X - na tym logicznym interfejsie za pomocą oVirt w przyszłości zostaną utworzone mosty (w odpowiednich sieciach VLAN), do których zostaną podłączone maszyny wirtualne.
- oba porty sieciowe, w ramach tego samego interfejsu logicznego, będą aktywne, tj. ruch na nich może być przesyłany jednocześnie, w trybie równoważącym.
- ustawienia sieciowe na węzłach klastra muszą być absolutnie TAKIE SAME, za wyjątkiem adresów IP.
Podstawowa konfiguracja stosu przełączników 2960X i jego porty
Nasze przełączniki muszą najpierw być:
- montowany w stojaku;
- połączone dwoma specjalnymi kablami o wymaganej długości, np. CAB-STK-E-1M;
- podłączony do zasilania;
- podłączone do stacji roboczej administratora poprzez port konsoli w celu wstępnej konfiguracji.
Niezbędne wytyczne w tym zakresie są dostępne pod adresem producent.
Po wykonaniu powyższych kroków konfigurujemy przełączniki.
Znaczenie każdego polecenia nie jest przeznaczone do rozszyfrowania w ramach tego artykułu, w razie potrzeby wszystkie informacje można znaleźć niezależnie.
Naszym celem jest jak najszybsze skonfigurowanie stosu przełączników i podłączenie do niego hostów i interfejsów zarządzania pamięcią masową.
1) Podłącz się do wyłącznika głównego, przejdź do trybu uprzywilejowanego, następnie przejdź do trybu konfiguracji i dokonaj podstawowych ustawień.
Podstawowa konfiguracja przełącznika:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Zapisujemy konfigurację za pomocą polecenia „wr mem" i zrestartuj stos przełączników za pomocą polecenia "przeładować» na wyłączniku głównym 1.
2) Konfigurujemy porty sieciowe przełącznika w trybie dostępu w VLAN 17, aby połączyć interfejsy zarządzania systemami pamięci masowej i serwerami iDRAC.
Konfigurowanie portów zarządzania:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Po ponownym załadowaniu stosu sprawdź, czy działa poprawnie:
Sprawdzanie funkcjonalności stosu:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Konfigurowanie dostępu SSH do stosu 2960X
Do zdalnego zarządzania stosem poprzez SSH użyjemy adresu IP 172.20.1.10 skonfigurowanego dla SVI (wirtualny interfejs przełącznika) VLAN17.
Chociaż do celów zarządzania zaleca się używanie dedykowanego, dedykowanego portu na przełączniku, jest to kwestia osobistych preferencji i możliwości.
Konfigurowanie dostępu SSH do stosu przełączników:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordUstaw hasło, aby wejść do trybu uprzywilejowanego:
enable secret *myenablepassword*
service password-encryptionKonfigurowanie protokołu NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Skonfiguruj logiczne interfejsy Etherchannel i porty fizyczne podłączone do hostów. Aby ułatwić konfigurację, wszystkie dostępne sieci VLAN zostaną włączone na wszystkich interfejsach logicznych, ale ogólnie zaleca się skonfigurowanie tylko tego, co jest potrzebne:
Konfiguracja interfejsów Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeWstępna konfiguracja interfejsów sieciowych dla maszyn wirtualnych na hostach Gospodarz1 и Gospodarz2
Sprawdzamy obecność modułów niezbędnych do pracy klejenia w systemie, instalujemy moduł do sterowania mostami:
modinfo bonding
modinfo 8021q
yum install bridge-utilsKonfiguracja interfejsu logicznego BOND1 dla maszyn wirtualnych i jego interfejsów fizycznych na hostach:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po zakończeniu ustawień na stosie 2960X i hostach, restartujemy sieć na hostach i sprawdzamy funkcjonalność interfejsu logicznego.
- na gospodarzu:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- na stosie przełączników 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Wstępna konfiguracja interfejsów sieciowych do zarządzania zasobami klastra na hostach Gospodarz1 и Gospodarz2
Konfiguracja interfejsu logicznego BOND1 do zarządzania i jego interfejsów fizycznych na hostach:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Po zakończeniu ustawień na stosie 2960X i hostach, restartujemy sieć na hostach i sprawdzamy funkcjonalność interfejsu logicznego.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryKonfigurujemy interfejs sieci sterującej na każdym hoście w Sieć VLAN 17i powiąż go z interfejsem logicznym BOND1:
Konfigurowanie VLAN17 na hoście 1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicKonfigurowanie VLAN17 na hoście 2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicUruchamiamy ponownie sieć na hostach i sprawdzamy ich wzajemną widoczność.
Na tym kończy się konfiguracja stosu przełączników Cisco 2960X i jeśli wszystko zostało wykonane poprawnie, to teraz mamy łączność sieciową wszystkich elementów infrastruktury ze sobą na poziomie L2.
Konfigurowanie systemu pamięci masowej Dell MD3820f
Przed rozpoczęciem prac nad konfiguracją systemu pamięci masowej należy go już podłączyć do stosu przełączników Cisco 2960X interfejsy sterujące, a także do hostów Gospodarz1 и Gospodarz2 za pośrednictwem FC.
Ogólny schemat podłączenia systemów magazynujących do stosu przełączników został podany w poprzednim rozdziale.
Schemat podłączenia systemu pamięci masowej przez FC do hostów powinien wyglądać następująco:
Podczas połączenia należy zapisać adresy WWPN dla hostów FC HBA podłączonych do portów FC w systemie pamięci masowej – będzie to konieczne do późniejszego skonfigurowania powiązania hostów z jednostkami LUN w systemie pamięci masowej.
Na stacji roboczej administratora pobierz i zainstaluj narzędzie do zarządzania systemem pamięci masowej Dell MD3820f – Menedżer pamięci masowej na dyskach modułowych PowerVault (MDSM).
Łączymy się z nim poprzez jego domyślne adresy IP, a następnie konfigurujemy nasze adresy z VLAN17, aby zarządzać kontrolerami poprzez TCP/IP:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Po ustawieniu adresów przejdź do interfejsu zarządzania pamięcią masową i ustaw hasło, ustaw godzinę, w razie potrzeby zaktualizuj oprogramowanie kontrolerów i dysków itp.
Jak to się robi, opisano w Magazyn
Po dokonaniu powyższych ustawień będziemy musieli wykonać tylko kilka kroków:
- Skonfiguruj identyfikatory portów FC hosta – Identyfikatory portów hosta.
- Utwórz grupę hostów – Grupa gospodarzy i dodaj do niego nasze dwa hosty firmy Dell.
- Utwórz grupę dysków i dyski wirtualne (lub jednostki LUN), które będą prezentowane hostom.
- Skonfiguruj prezentację dysków wirtualnych (lub jednostek LUN) dla hostów.
Dodawanie nowych hostów i wiązanie z nimi identyfikatorów portów FC hosta odbywa się poprzez menu - Mapowania hostów -> określić -> Zastępy niebieskie…
Adresy WWPN hostów FC HBA można znaleźć na przykład w serwerach iDRAC.
W rezultacie powinniśmy otrzymać coś takiego:
Dodanie nowej grupy hostów i powiązanie z nią hostów odbywa się poprzez menu - Mapowania hostów -> określić -> Grupa gospodarzy…
W przypadku hostów wybierz typ systemu operacyjnego – Linux (DM-MP).
Po utworzeniu grupy hostów, za pomocą zakładki Usługi przechowywania i kopiowania, utwórz grupę dysków – Grupa dysków, o typie zależnym od wymagań odporności na awarie, np. RAID10, a w nim dyski wirtualne o wymaganej wielkości:
I wreszcie ostatnim etapem jest prezentacja dysków wirtualnych (lub jednostek LUN) hostom.
Aby to zrobić, za pomocą menu - Mapowania hostów -> Mapowanie Księżyca -> Dodaj ... Dyski wirtualne kojarzymy z hostami poprzez przypisanie im numerów.
Wszystko powinno wyglądać jak na tym zrzucie ekranu:
W tym miejscu kończymy konfigurowanie systemu pamięci masowej i jeśli wszystko zostało wykonane poprawnie, hosty powinny zobaczyć jednostki LUN przedstawione im za pośrednictwem karty FC HBA.
Wymuśmy na systemie aktualizację informacji o podłączonych dyskach:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanZobaczmy jakie urządzenia są widoczne na naszych serwerach:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Na hostach możesz także dodatkowo skonfigurować wielościeżkowyi choć instalując oVirt może to zrobić sam, lepiej wcześniej samemu sprawdzić poprawność działania MP.
Instalacja i konfiguracja DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Ustaw usługę MP na autostart i uruchom ją:
systemctl enable multipathd && systemctl restart multipathdSprawdzanie informacji o załadowanych modułach do pracy MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <[email protected]>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Przyjrzyjmy się podsumowującym informacjom na temat istniejącej konfiguracji wielościeżkowej:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningPo dodaniu nowej jednostki LUN do systemu pamięci masowej i przedstawieniu jej hostowi należy przeskanować karty HBA podłączone do hosta.
systemctl reload multipathd
multipath -v2Na koniec sprawdzamy, czy w systemie pamięci masowej hostów pojawiły się wszystkie jednostki LUN i czy istnieją dwie ścieżki do nich wszystkich.
Sprawdzanie działania MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningJak widać, wszystkie trzy dyski wirtualne w systemie pamięci masowej są widoczne na dwóch ścieżkach. Tym samym wszystkie prace przygotowawcze zostały zakończone, co oznacza, że można przystąpić do głównej części - konfiguracji klastra oVirt, o czym będzie mowa w następnym artykule.
Źródło: www.habr.com