Os leitores são convidados a se familiarizarem com os princípios de construção de uma infraestrutura tolerante a falhas para uma pequena empresa dentro de um único data center, que será discutido em detalhes em uma curta série de artigos.
Parte introdutória
Em Centro de dados (Centro de Processamento de Dados) pode ser entendido como:
- rack próprio em “sala de servidores” própria nas dependências do empreendimento, que atenda aos requisitos mínimos para fornecimento de energia e refrigeração dos equipamentos, além de possuir acesso à Internet por meio de dois provedores independentes;
- um rack alugado com equipamentos próprios, localizado em um data center real - o chamado. co-instalação, que atende ao padrão Tier III ou IV, e que garante fornecimento confiável de energia, refrigeração e acesso à Internet tolerante a falhas;
- equipamento totalmente alugado em um data center Tier III ou IV.
A opção de acomodação a ser escolhida é individual em cada caso e geralmente depende de vários fatores principais:
- Por que uma empresa precisa de sua própria infraestrutura de TI?
- o que exatamente a empresa deseja da infraestrutura de TI (confiabilidade, escalabilidade, capacidade de gerenciamento, etc.);
- o volume de investimentos iniciais em infraestrutura de TI, bem como que tipo de custos para isso - capital (o que significa que você compra seu próprio equipamento), ou operacional (o equipamento geralmente é alugado);
- horizonte de planejamento do próprio empreendimento.
Muito pode ser escrito sobre os factores que influenciam a decisão de uma empresa em criar e utilizar a sua infra-estrutura de TI, mas o nosso objectivo é mostrar na prática como criar esta mesma infra-estrutura para que seja ao mesmo tempo tolerante a falhas e também possa poupar dinheiro. o custo de aquisição de software comercial ou evitá-los completamente.
Como mostra a prática de longo prazo, não vale a pena economizar em hardware, pois o mesquinho paga duas vezes, ou até muito mais. Mas, novamente, um bom hardware é apenas uma recomendação e, no final das contas, o que exatamente comprar e por quanto depende das capacidades da empresa e da “ganância” de sua gestão. Além disso, a palavra “ganância” deve ser entendida no bom sentido da palavra, pois é melhor investir em hardware na fase inicial, para não ter sérios problemas com seu posterior suporte e dimensionamento, visto que planejamento inicialmente incorreto e economias excessivas podem levar a custos mais elevados do que no início do projeto.
Então, os dados iniciais do projeto:
- existe uma empresa que decidiu criar o seu próprio portal web e trazer as suas atividades para a Internet;
- a empresa decidiu alugar um rack para colocar seus equipamentos em um bom data center certificado segundo o padrão Tier III;
- a empresa decidiu não economizar muito em hardware e por isso adquiriu os seguintes equipamentos com garantia e suporte estendidos:
Lista de equipamento
- dois servidores físicos Dell PowerEdge R640 da seguinte forma:
- dois processadores Intel Xeon Gold 5120
- 512 Gb RAM
- dois discos SAS em RAID1, para instalação do sistema operacional
- placa de rede 4G integrada de 1 portas
- duas placas de rede 2G de 10 portas
- um FC HBA 2G de 16 portas.
- Sistema de armazenamento de 2 controladores Dell MD3820f, conectado via FC 16G diretamente aos hosts Dell;
- dois switches de segundo nível - Cisco WS-C2960RX-48FPS-L empilhados;
- dois switches de terceiro nível - Cisco WS-C3850-24T-E, empilhados;
- Rack, UPS, PDU e servidores de console são fornecidos pelo data center.
Como vemos, os equipamentos existentes têm boas perspectivas de escalabilidade horizontal e vertical, caso o empreendimento consiga competir com outras empresas de perfil semelhante na Internet, e comece a obter lucros, que podem ser investidos na ampliação de recursos para maior concorrência. e crescimento do lucro.
Que equipamentos podemos adicionar caso a empresa decida aumentar o desempenho do nosso cluster computacional:
- temos uma grande reserva no número de portas nos switches 2960X, o que significa que podemos adicionar mais servidores de hardware;
- adquirir dois switches FC adicionais para conectar sistemas de armazenamento e servidores adicionais a eles;
- os servidores existentes podem ser atualizados - adicionar memória, substituir processadores por outros mais potentes, conectar-se a uma rede 10G usando adaptadores de rede existentes;
- Você pode adicionar prateleiras de disco adicionais ao sistema de armazenamento com o tipo de disco necessário - SAS, SATA ou SSD, dependendo da carga planejada;
- depois de adicionar switches FC, você pode adquirir outro sistema de armazenamento para adicionar ainda mais capacidade de disco e, se adquirir uma opção especial de replicação remota, poderá configurar a replicação de dados entre sistemas de armazenamento dentro do mesmo data center e entre data centers ( mas isso já está além do escopo do artigo);
- Existem também switches de terceiro nível - Cisco 3850, que podem ser usados como núcleo de rede tolerante a falhas para roteamento de alta velocidade entre redes internas. Isto será muito útil no futuro, à medida que a infra-estrutura interna crescer. O 3850 também possui portas 10G, que podem ser usadas posteriormente ao atualizar seu equipamento de rede para velocidades de 10G.
Como agora não há lugar sem virtualização, é claro que estaremos na tendência, especialmente porque esta é uma excelente forma de reduzir o custo de aquisição de servidores caros para elementos individuais da infraestrutura (servidores web, bancos de dados, etc.), que nem sempre são ótimos são utilizados em caso de carga baixa, e é exatamente isso que acontecerá no início do lançamento do projeto.
Além disso, a virtualização tem muitas outras vantagens que podem ser muito úteis para nós: tolerância a falhas de VM contra falhas de servidor de hardware, migração ao vivo entre nós de cluster de hardware para sua manutenção, distribuição de carga manual ou automática entre nós de cluster, etc.
Para o hardware adquirido pela empresa, sugere-se a implantação de um cluster VMware vSphere altamente disponível, mas como qualquer software da VMware é conhecido por seus preços “cavalos”, usaremos software absolutamente gratuito para gerenciar a virtualização - , com base no qual é criado um produto bem conhecido, mas já comercial - .
software o Virt necessário combinar todos os elementos da infraestrutura em um todo para poder trabalhar convenientemente com máquinas virtuais altamente disponíveis - são bancos de dados, aplicativos web, servidores proxy, balanceadores, servidores para coleta de logs e análises, etc., ou seja, o que o portal web da nossa empresa consiste em.
Para resumir esta introdução, podemos aguardar os seguintes artigos, que mostrarão na prática exatamente como implantar toda a infraestrutura de hardware e software de uma empresa:
Lista de artigos
- 1 Part. Preparando-se para implantar um cluster oVirt 4.3.
- 2 Part. Instalando e configurando o cluster oVirt 4.3.
- 3 Part. Configurando um cluster VyOS, organizando roteamento externo tolerante a falhas.
- 4 Part. Configurando uma pilha Cisco 3850, organizando o roteamento da intranet.
Parte 1. Preparando para implantar um cluster oVirt 4.3
Configuração básica de host
Instalar e configurar o sistema operacional é a etapa mais fácil. Existem muitos artigos sobre como instalar e configurar corretamente o sistema operacional, então não faz sentido tentar divulgar algo exclusivo sobre isso.
Portanto, temos dois hosts Dell PowerEdge R640 nos quais precisamos instalar o SO e realizar configurações preliminares para utilizá-los como hipervisores para execução de máquinas virtuais no cluster oVirt 4.3.
Como planejamos usar o software oVirt gratuito e não comercial, o sistema operacional foi escolhido para implantar hosts CentOS 7.7, embora outros sistemas operacionais possam ser instalados em hosts para oVirt:
- uma construção especial baseada no RHEL, a chamada. ;
- OS Oracle Linux, летом 2019 г. sobre apoiar o trabalho do oVirt nisso.
Antes de instalar o SO é recomendado:
- configure a interface de rede do iDRAC em ambos os hosts;
- atualizar o firmware do BIOS e do iDRAC para as versões mais recentes;
- configurar o System Profile do servidor, preferencialmente em modo Performance;
- configure o RAID a partir de discos locais (RAID1 é recomendado) para instalar o sistema operacional no servidor.
Em seguida, instalamos o SO no disco criado anteriormente via iDRAC - o processo de instalação é normal, não há momentos especiais nele. O acesso ao console do servidor para iniciar a instalação do SO também pode ser obtido via iDRAC, embora nada impeça que você conecte um monitor, teclado e mouse diretamente ao servidor e instale o SO a partir de uma unidade flash.
Após instalar o SO, realizamos suas configurações iniciais:
systemctl enable network.service
systemctl start network.service
systemctl status network.servicesystemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManageryum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.servicecat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targetedcat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1Instalando um conjunto básico de software
Para configurar inicialmente o sistema operacional, você precisa configurar qualquer interface de rede no servidor para que possa acessar a Internet para atualizar o sistema operacional e instalar os pacotes de software necessários. Isso pode ser feito durante e após o processo de instalação do sistema operacional.
yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet Todas as configurações e conjunto de software acima são uma questão de preferência pessoal e este conjunto é apenas uma recomendação.
Como nosso host desempenhará o papel de hipervisor, habilitaremos o perfil de desempenho necessário:
systemctl enable tuned
systemctl start tuned
systemctl status tuned tuned-adm profile
tuned-adm profile virtual-host Você pode ler mais sobre o perfil de desempenho aqui: “".
Depois de instalar o sistema operacional, passamos para a próxima parte - configurando interfaces de rede nos hosts e uma pilha de switches Cisco 2960X.
Configurando uma pilha de switches Cisco 2960X
Nosso projeto utilizará os seguintes números de VLANs – ou domínios de broadcast, isolados uns dos outros, para separar diferentes tipos de tráfego:
VLAN 10 - Internet
VLAN 17 – Gerenciamento (iDRAC, sistemas de armazenamento, gerenciamento de switches)
VLAN 32 – Rede de produção VM
VLAN 33 – rede de interligação (para contratantes externos)
VLAN 34 – Rede de teste de VM
VLAN 35 – Rede de desenvolvedores de VM
VLAN 40 – Rede de monitoramento
Antes de começar o trabalho, aqui está um diagrama no nível L2 ao qual devemos chegar:
Para interação de rede de hosts oVirt e máquinas virtuais entre si, bem como para gerenciar nosso sistema de armazenamento, é necessário configurar uma pilha de switches Cisco 2960X.
Os hosts Dell possuem placas de rede de 4 portas integradas, portanto, é aconselhável organizar sua conexão com o Cisco 2960X usando uma conexão de rede tolerante a falhas, usando um agrupamento de portas de rede física em uma interface lógica e o protocolo LACP ( 802.3ad):
- as duas primeiras portas no host estão configuradas no modo bonding e conectadas ao switch 2960X - esta interface lógica será configurada ponte com endereço para gerenciamento de host, monitoramento, comunicação com outros hosts do cluster oVirt, também será utilizado para migração Live de máquinas virtuais;
- as segundas duas portas do host também são configuradas em modo bonding e conectadas ao 2960X - nesta interface lógica usando oVirt, futuramente serão criadas pontes (nas VLANs correspondentes) às quais as máquinas virtuais serão conectadas.
- ambas as portas de rede, dentro da mesma interface lógica, estarão ativas, ou seja, o tráfego sobre eles pode ser transmitido simultaneamente, no modo de balanceamento.
- as configurações de rede nos nós do cluster devem ser absolutamente IGUAIS, com exceção dos endereços IP.
Configuração básica da pilha de switches 2960X e seus portos
Nossos switches devem primeiro ser:
- montado em rack;
- conectado através de dois cabos especiais do comprimento necessário, por exemplo, CAB-STK-E-1M;
- conectado à fonte de alimentação;
- conectados à estação de trabalho do administrador através da porta do console para sua configuração inicial.
As orientações necessárias para isso estão disponíveis em fabricante.
Após concluir as etapas acima, configuramos os switches.
O que cada comando significa não se destina a ser decifrado no âmbito deste artigo, se necessário, todas as informações podem ser encontradas de forma independente.
Nosso objetivo é configurar a pilha de switches o mais rápido possível e conectar hosts e interfaces de gerenciamento de armazenamento a ela.
1) Conecte-se ao switch mestre, vá para o modo privilegiado, depois vá para o modo de configuração e faça as configurações básicas.
Configuração básica do switch:
enable
configure terminal
hostname 2960X
no service pad
service timestamps debug datetime msec
service timestamps log datetime localtime show-timezone msec
no service password-encryption
service sequence-numbers
switch 1 priority 15
switch 2 priority 14
stack-mac persistent timer 0
clock timezone MSK 3
vtp mode transparent
ip subnet-zero
vlan 17
name Management
vlan 32
name PROD
vlan 33
name Interconnect
vlan 34
name Test
vlan 35
name Dev
vlan 40
name Monitoring
spanning-tree mode rapid-pvst
spanning-tree etherchannel guard misconfig
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-40 root primary
spanning-tree loopguard default
vlan internal allocation policy ascending
port-channel load-balance src-dst-ip
errdisable recovery cause loopback
errdisable recovery cause bpduguard
errdisable recovery interval 60
line con 0
session-timeout 60
exec-timeout 60 0
logging synchronous
line vty 5 15
session-timeout 60
exec-timeout 60 0
logging synchronous
ip http server
ip http secure-server
no vstack
interface Vlan1
no ip address
shutdown
exit
Salvamos a configuração com o comando “wr meme" e reinicie a pilha de switches com o comando "recarregar» na chave geral 1.
2) Configuramos as portas de rede do switch em modo de acesso na VLAN 17, para conectar as interfaces de gerenciamento dos sistemas de armazenamento e servidores iDRAC.
Configurando portas de gerenciamento:
interface GigabitEthernet1/0/5
description iDRAC - host1
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet1/0/6
description Storage1 - Cntr0/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/5
description iDRAC - host2
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
interface GigabitEthernet2/0/6
description Storage1 – Cntr1/Eth0
switchport access vlan 17
switchport mode access
spanning-tree portfast edge
exit3) Após recarregar a pilha, verifique se ela funciona corretamente:
Verificando a funcionalidade da pilha:
2960X#show switch stack-ring speed
Stack Ring Speed : 20G
Stack Ring Configuration: Full
Stack Ring Protocol : FlexStack
2960X#show switch stack-ports
Switch # Port 1 Port 2
-------- ------ ------
1 Ok Ok
2 Ok Ok
2960X#show switch neighbors
Switch # Port 1 Port 2
-------- ------ ------
1 2 2
2 1 1
2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 0cd0.f8e4.ХХХХ 15 4 Ready
2 Member 0029.c251.ХХХХ 14 4 Ready
Stack Port Status Neighbors
Switch# Port 1 Port 2 Port 1 Port 2
--------------------------------------------------------
1 Ok Ok 2 2
2 Ok Ok 1 14) Configurando o acesso SSH à pilha 2960X
Para gerenciar remotamente a pilha via SSH, usaremos o IP 172.20.1.10 configurado para SVI (switch virtual interface) VLAN17.
Embora seja aconselhável usar uma porta dedicada no switch para fins de gerenciamento, isso é uma questão de preferência e capacidades pessoais.
Configurando o acesso SSH a uma pilha de switches:
ip default-gateway 172.20.1.2
interface vlan 17
ip address 172.20.1.10 255.255.255.0
hostname 2960X
ip domain-name hw.home-lab.ru
no ip domain-lookup
clock set 12:47:04 06 Dec 2019
crypto key generate rsa
ip ssh version 2
ip ssh time-out 90
line vty 0 4
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
line vty 5 15
session-timeout 60
exec-timeout 60 0
privilege level 15
logging synchronous
transport input ssh
aaa new-model
aaa authentication login default local
username cisco privilege 15 secret my_ssh_passwordConfigure uma senha para entrar no modo privilegiado:
enable secret *myenablepassword*
service password-encryptionConfigurando o NTP:
ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222
show ntp status
show ntp associations
show clock detail5) Configure interfaces lógicas Etherchannel e portas físicas conectadas aos hosts. Para facilitar a configuração, todas as VLANs disponíveis serão habilitadas em todas as interfaces lógicas, mas geralmente é recomendado configurar apenas o que for necessário:
Configurando interfaces Etherchannel:
interface Port-channel1
description EtherChannel with Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel2
description EtherChannel with Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel3
description EtherChannel with Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface Port-channel4
description EtherChannel with Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
spanning-tree portfast edge trunk
interface GigabitEthernet1/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet1/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet1/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet1/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode active
interface GigabitEthernet2/0/1
description Host1-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 1 mode active
interface GigabitEthernet2/0/2
description Host2-management
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 2 mode active
interface GigabitEthernet2/0/3
description Host1-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 3 mode active
interface GigabitEthernet2/0/4
description Host2-VM
switchport trunk allowed vlan 10,17,30-40
switchport mode trunk
channel-protocol lacp
channel-group 4 mode activeConfiguração inicial de interfaces de rede para máquinas virtuais em hosts Anfitrião1 и Anfitrião2
Verificamos a presença dos módulos necessários para a ligação funcionar no sistema, instalamos um módulo para controle de pontes:
modinfo bonding
modinfo 8021q
yum install bridge-utilsConfigurando a interface lógica BOND1 para máquinas virtuais e suas interfaces físicas em hosts:
cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Depois de concluir as configurações na pilha 2960X e hosts, reiniciamos a rede nos hosts e verificamos a funcionalidade da interface lógica.
- no host:
systemctl restart network
cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full- em uma pilha de switches 2960X:
2960X#show lacp internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 1
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D
Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D
2960X#sh etherchannel summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 11
Number of aggregators: 11
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)Configuração inicial de interfaces de rede para gerenciamento de recursos de cluster em hosts Anfitrião1 и Anfitrião2
Configurando a interface lógica BOND1 para gerenciamento e suas interfaces físicas em hosts:
cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'
cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no Depois de concluir as configurações na pilha 2960X e hosts, reiniciamos a rede nos hosts e verificamos a funcionalidade da interface lógica.
systemctl restart network
cat /proc/net/bonding/bond1
2960X#show lacp internal
2960X#sh etherchannel summaryConfiguramos a interface de rede de controle em cada host em VLAN 17e vincule-o à interface lógica BOND1:
Configurando VLAN17 no Host1:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicConfigurando VLAN17 no Host2:
cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
VLAN=yes
MTU=1500
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publicReiniciamos a rede nos hosts e verificamos a visibilidade entre eles.
Isso completa a configuração da pilha de switches Cisco 2960X e, se tudo foi feito corretamente, agora temos conectividade de rede de todos os elementos da infraestrutura entre si no nível L2.
Configurando o sistema de armazenamento Dell MD3820f
Antes de começar a trabalhar na configuração do sistema de armazenamento, ele já deve estar conectado a uma pilha de switches Cisco 2960X interfaces de controle, bem como para hosts Anfitrião1 и Anfitrião2 através do FC.
O diagrama geral de como os sistemas de armazenamento devem ser conectados a uma pilha de switches foi fornecido no capítulo anterior.
O diagrama para conectar o sistema de armazenamento via FC aos hosts deve ser semelhante a este:
Durante a conexão, você precisa anotar os endereços WWPN dos hosts FC HBA conectados às portas FC no sistema de armazenamento - isso será necessário para configurar posteriormente a ligação de hosts aos LUNs no sistema de armazenamento.
Na estação de trabalho do administrador, baixe e instale o utilitário para gerenciar o sistema de armazenamento Dell MD3820f – Gerenciador de armazenamento em disco modular do PowerVault (MDSM).
Nós nos conectamos a ele por meio de seus endereços IP padrão e, em seguida, configuramos nossos endereços de VLAN17, для управления контроллерами через TCP/IP:
Storage1:
ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2Após configurar os endereços, acesse a interface de gerenciamento de armazenamento e defina uma senha, defina a hora, atualize o firmware dos controladores e discos, se necessário, etc.
Como isso é feito está descrito em Sistema de armazenamento
Depois de concluir as configurações acima, precisaremos apenas realizar alguns passos:
- Configurar IDs de porta FC do host – Identificadores de porta host.
- Crie um grupo de hosts – Grupo anfitrião e adicione nossos dois hosts Dell a ele.
- Crie um grupo de discos e discos virtuais (ou LUNs) que serão apresentados aos hosts.
- Configure a apresentação de discos virtuais (ou LUNs) para hosts.
Adicionar novos hosts e vincular identificadores de porta FC do host a eles é feito através do menu - Mapeamentos de host -> Definir -> Anfitriões…
Os endereços WWPN de hosts FC HBA podem ser encontrados, por exemplo, em servidores iDRAC.
Como resultado, devemos obter algo assim:
Adicionar um novo grupo de hosts e vincular hosts a ele é feito através do menu - Mapeamentos de host -> Definir -> Grupo anfitrião…
Para hosts, selecione o tipo de sistema operacional – Linux (DM-MP).
Após criar um grupo de hosts, através da aba Serviços de armazenamento e cópia, crie um grupo de discos – Grupo de Disco, com um tipo dependendo dos requisitos de tolerância a falhas, por exemplo, RAID10, e nele discos virtuais do tamanho necessário:
E por fim, a etapa final é a apresentação dos discos virtuais (ou LUNs) aos hosts.
Para fazer isso, através do menu - Mapeamentos de host -> Mapeamento lunar -> Adicionar ... Associamos discos virtuais a hosts atribuindo números a eles.
Tudo deve ficar parecido com esta captura de tela:
É aqui que terminamos de configurar o sistema de armazenamento e, se tudo foi feito corretamente, os hosts deverão ver os LUNs apresentados a eles através de seu FC HBA.
Vamos forçar o sistema a atualizar as informações sobre os discos conectados:
ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scanVamos ver quais dispositivos estão visíveis em nossos servidores:
cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H330 Mini Rev: 4.29
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
Vendor: DELL Model: MD38xxf Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
Vendor: DELL Model: Universal Xport Rev: 0825
Type: Direct-Access ANSI SCSI revision: 05
lsscsi
[0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda
[15:0:0:0] disk DELL MD38xxf 0825 -
[15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb
[15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc
[15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd
[15:0:0:31] disk DELL Universal Xport 0825 -
[18:0:0:0] disk DELL MD38xxf 0825 -
[18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi
[18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj
[18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk
[18:0:0:31] disk DELL Universal Xport 0825 -Em hosts você também pode configurar adicionalmente multipath, e embora ao instalar o oVirt ele possa fazer isso sozinho, é melhor verificar você mesmo com antecedência o funcionamento correto do MP.
Instalação e configuração do DM Multipath
yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y
cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
}Configure o serviço MP para inicialização automática e inicie-o:
systemctl enable multipathd && systemctl restart multipathdVerificando informações sobre módulos carregados para operação MP:
lsmod | grep dm_multipath
dm_multipath 27792 6 dm_service_time
dm_mod 124407 139 dm_multipath,dm_log,dm_mirror
modinfo dm_multipath
filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license: GPL
author: Sistina Software <dm-devel@redhat.com>
description: device-mapper multipath target
retpoline: Y
rhelversion: 7.6
srcversion: 985A03DCAF053D4910E53EE
depends: dm-mod
intree: Y
vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo: sha256Vejamos as informações resumidas sobre a configuração multipath existente:
mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is runningDepois de adicionar um novo LUN ao sistema de armazenamento e apresentá-lo ao host, você precisa verificar os HBAs conectados ao host nele.
systemctl reload multipathd
multipath -v2E por fim, verificamos se todos os LUNs foram apresentados no sistema de armazenamento dos hosts e se existem dois caminhos para todos eles.
Verificando a operação do MP:
multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:1 sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 15:0:0:11 sdd 8:48 active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
`- 18:0:0:4 sdj 8:144 active ready runningComo você pode ver, todos os três discos virtuais no sistema de armazenamento são visíveis em dois caminhos. Assim, todo o trabalho preparatório foi concluído, o que significa que você pode prosseguir para a parte principal - configuração do cluster oVirt, que será discutida no próximo artigo.
Fonte: habr.com
