Boa tarde, amigos! Hoje continuarei a série dedicada a um artigo sobre o design de redes Enterprise.
Neste artigo, tentarei ser o mais breve possível:
- descrever a abordagem modular para o design da rede Enterprise
- considerar os tipos de construção de um dos módulos mais importantes da rede empresarial — a rede backbone (ip-campus)
- descrever as vantagens e desvantagens das opções de redundância dos nós críticos da rede
- em um exemplo abstrato, projetar/atualizar uma pequena rede Enterprise
- escolher switches Extreme para implementar a rede projetada
- trabalhar com fibras e endereçamento IP
Este artigo será mais interessante para engenheiros de rede e administradores de redes de empresas que estão apenas começando sua jornada como 'networkers', em vez de engenheiros experientes que trabalharam por muitos anos em operadoras de telecomunicações ou em grandes corporações com redes geograficamente distribuídas.
De qualquer forma, os interessados estão convidados a continuar.
Abordagem modular para o design de redes
Começarei meu artigo com uma abordagem modular bastante popular no design de redes, que permite montar um quebra-cabeça de pedaços de rede em uma única imagem coesa.
Primeiro, um pouco de abstração — muitas vezes imagino essa abordagem como um zoom em mapas geográficos, onde na primeira aproximação o país é visível, na segunda os regiões, na terceira as cidades, e assim por diante.
Como exemplo, veremos o seguinte:
- 1ª aproximação — toda a rede da empresa é composta por diferentes níveis:
- rede backbone ou campus
- nível de borda
- nível das operadoras de telecomunicações
- zonas remotas
- 2ª aproximação — cada um desses níveis é detalhado em módulos separados
- a rede backbone ou campus consiste em:
- um módulo de 3 ou 2 níveis, que descreve a rede da empresa e seus níveis — acesso, distribuição e/ou núcleo
- um módulo descrevendo o Data Center — centro de processamento de dados (essencialmente a parte de servidores da infraestrutura)
- o nível de borda consiste, por sua vez, em:
- um módulo de conexão à internet
- um módulo WAN e MAN, que é responsável pela conexão de objetos geograficamente distribuídos da empresa
- um módulo para criação de túneis VPN e acesso remoto
- geralmente, em muitas pequenas empresas, vários desses módulos ou até todos eles acabam sendo combinados em um só
- nível dos provedores:
- Neste nível estão incluídas as conexões "com o mundo exterior" — fibras ópticas escuras (aluguel de fibras com operadores), canais de comunicação (Ethernet, G.703 etc.), acesso à Internet.
- nível remoto:
- maioritariamente, são filiais da empresa distribuídas dentro da cidade, estado, país ou até continentes.
- também, esta zona pode incluir um datacenter de backup, que replica o trabalho do principal.
- e, claro, também há os que têm ganhado popularidade ultimamente — teletrabalhadores (postos de trabalho remotos).
- a rede backbone ou campus consiste em:
- A 3ª aproximação — cada um dos módulos é dividido em módulos ou níveis menores. Por exemplo, em uma rede de campus:
- a rede de 3 níveis é dividida em:
- nível de acesso
- nível de distribuição
- nível central
- Em casos mais complexos, o datacenter pode ser dividido em:
- parte da rede de 2 ou 3 níveis
- parte do servidor
Vou tentar representar tudo o que foi descrito acima na seguinte ilustração simplificada:
Como pode ser visto na ilustração acima — a abordagem modular ajuda a detalhar e estruturar a imagem geral em elementos componentes, com os quais depois é possível trabalhar.Neste artigo, vou me concentrar no nível Campus Enterprise e descrevê-lo com mais detalhes.
Tipos de redes IP-CAMPUS
Durante meu tempo trabalhando em um provedor e especialmente mais tarde — no trabalho de um integrador, encontrei diferentes "níveis de maturidade" das redes dos clientes. Não é à toa que uso o termo maturidade, pois muitas vezes há casos em que a estrutura da rede cresce junto com o crescimento da própria empresa e isso é, de fato, compreensível.
Em uma pequena empresa, localizada dentro de um único edifício, a rede pode consistir apenas de 1 roteador de borda, atuando como firewall, alguns switches de acesso e alguns servidores.
Eu chamo essa rede de "rede de nível único" — nela não há um nível central claro, o nível de distribuição é deslocado para o roteador de borda (com funções de firewall, VPN e possivelmente proxy), enquanto os switches de acesso atendem tanto os computadores dos funcionários quanto os servidores.
Em caso de crescimento da empresa — aumento no número de funcionários, serviços e servidores, muitas vezes é necessário:- aumentar o número de switches na rede e das portas de acesso
- aumentar a capacidade dos servidores
- lutar contra domínios de broadcast — implementar segmentação de rede e roteamento entre segmentos
- combater falhas na rede, que resultam em inatividade dos funcionários, já que isso acarreta custos financeiros adicionais para a administração (o funcionário fica parado, o salário é pago, mas o trabalho não é realizado)
- durante a luta contra falhas, considerar a reserva de nós críticos da rede — roteadores, switches, servidores e serviços
- endurecer a política de segurança, uma vez que riscos comerciais podem surgir e, novamente, para um funcionamento mais estável da rede
Tudo isso leva o engenheiro (administrador de rede) a, mais cedo ou mais tarde, refletir sobre a construção correta da rede e chegar a um modelo de 2 níveis.
Esse modelo já destaca claramente 2 níveis — o nível de acesso e o nível de distribuição, que também é o nível de núcleo (collapsed-core).
O nível combinado de distribuição e núcleo desempenha as seguintes funções:
- agrega links de switches de acesso
- introduz o roteamento dos segmentos da rede — os usuários e dispositivos se tornam tantos que não cabem em uma rede /24; se cabem, tempestades de broadcast causam falhas constantes (especialmente se os usuários ajudam a criá-las formando loops)
- garante a comunicação entre segmentos vizinhos de switches (por links mais rápidos)
- garante a comunicação entre usuários e seus dispositivos e a fazenda de servidores, que também, a essa altura, começa a se destacar como um segmento separado da rede — o Data Center.
- começa a garantir, junto com os switches de acesso, de certa forma, uma política de segurança, que já começa a surgir na empresa nesse momento. A empresa está crescendo, os riscos comerciais também aumentam (aqui me refiro não apenas a disposições sobre segredos comerciais, delimitação de políticas de acesso, etc., mas também a inatividade básica da rede e dos funcionários).
Assim, a rede, mais cedo ou mais tarde, cresce para um modelo de 2 níveis:
Este modelo traz requisitos especiais tanto para switches de acesso, que agregam links de usuários e dispositivos na rede (impressoras, pontos de acesso, dispositivos VoIP, telefones IP, câmeras IP etc.), quanto para switches de distribuição e núcleo.Os switches de acesso devem ser mais inteligentes e funcionais para atender às exigências de desempenho, segurança e flexibilidade da rede, e devem:
- ter diferentes tipos de portas de acesso e portas de backbone — preferencialmente com capacidade de crescimento em relação ao tráfego e ao número de portas
- ter capacidade de comutação e largura de banda suficiente
- ter as funcionalidades de segurança necessárias, que atendam à atual política de segurança (idealmente, também ao crescimento de requisitos futuros)
- ter a capacidade de alimentar dispositivos de rede de difícil acesso com a possibilidade de reinicializá-los remotamente por meio de energia (PoE, PoE+)
- ter a capacidade de reservar sua própria fonte de alimentação, para uso em locais onde isso é necessário
- ter (se possível) potencial adicional de crescimento de funcionalidades — um exemplo comum, onde um switch de acesso se transforma ao longo do tempo em um switch de distribuição
Os switches de distribuição também têm requisitos correspondentes:
- quanto às portas de backbone descendentes em direção aos switches de acesso, bem como para interfaces peer de switches de distribuição vizinhos (e, futuramente, possíveis interfaces uplink em direção ao núcleo)
- quanto às funcionalidades L2 e L3
- quanto às funcionalidades de segurança
- quanto à garantia de resiliência (redundância, clustering e reserva de energia elétrica)
- quanto à garantia de flexibilidade na balanceamento de tráfego
- ter (se possível) potencial adicional de crescimento de funcionalidades (transformação, ao longo do tempo, de dispositivos de agregação em núcleo)
- em alguns casos, pode ser apropriado usar portas PoE, PoE+ em switches de distribuição.
Além disso, com a implementação de uma política de crescimento e desenvolvimento ativo pela administração, a rede continuará a se expandir — a empresa pode começar a alugar prédios vizinhos, construir suas próprias instalações ou absorver concorrentes menores, aumentando assim o número de postos de trabalho para os funcionários. Paralelamente, também ocorre a expansão da rede, que requer:
- garantir postos de trabalho para os funcionários — novos switches de acesso com portas acessíveis são necessários
- a presença de novos switches de distribuição para agregar links dos switches de acesso
- construção de novas linhas de comunicação e modernização das existente
Como consequência, o tráfego aumenta pelas seguintes razões:
- devido ao aumento das portas de acesso e, consequentemente, dos usuários na rede
- devido ao aumento do tráfego de subsistemas adjacentes que escolhem a rede da empresa como seu transporte — telefonia, segurança, sistemas de engenharia, etc.
- devido à implementação de serviços adicionais — com o crescimento do pessoal, surgem novos departamentos que demandam software específico
- aumentam os recursos computacionais do datacenter para atender às exigências da infraestrutura e das aplicações
- crescem as exigências de segurança da rede e da informação — a famosa tríade CIA (Confidencialidade, Integridade e Disponibilidade):
- em decorrência, surgem novas exigências de redundância e reserva para os níveis críticos da rede — distribuição e datacenter
- novamente, há um aumento do tráfego devido à implementação de novos sistemas de segurança — como, por exemplo, sistemas de controle de acesso, etc.
Mais cedo ou mais tarde, o aumento do tráfego, dos serviços e do número de usuários levará à necessidade de implementar um nível adicional de rede — o núcleo, que realizará comutação/routing de pacotes em alta velocidade utilizando links de comunicação rápidos.
Nesse momento, a empresa pode migrar para um modelo de rede de 3 camadas:
Como mostrado na figura acima — em tal rede, existe um nível de núcleo que agrega links de alta velocidade dos switches de distribuição. Assim, os switches de núcleo também têm requisitos para:- largura de banda das interfaces — 1GE, 2.5GE, 10GE, 40GE, 100GE
- capacidade de comutação e desempenho de encaminhamento
- tipos de interfaces — 1000BASE-T, SFP, SFP+, QSFP, QSFP+
- quantidade e conjunto de interfaces
- capacidades de redundância (empilhamento, clustering, redundância de placas de controle, relevante para switches modulares, redundância de fonte de alimentação, etc.)
- funcionalidade
Neste nível de rede, definitivamente é necessário tanto a modificação técnica dela:
- redundância de nós e enlaces no núcleo (muito, muito, muito desejável)
- redundância de nós e links de nível de distribuição (dependendo da criticidade)
- redundância de links entre switches de acesso e nível de distribuição (quando necessário)
- introdução de protocolos de roteamento dinâmico
- balanceamento de tráfego tanto no núcleo quanto nos níveis de distribuição e acesso (se necessário)
- implementação de serviços adicionais — tanto de transporte quanto de segurança (se necessário)
assim como a legal, que determina a política de segurança da rede da empresa, complementando a política geral de segurança em parte:
- exigências para a implementação e configuração de determinadas funções de segurança em switches de acesso e de distribuição
- exigências de acesso, monitoramento e gerenciamento do equipamento de rede (protocolos de acesso remoto, segmentos de rede permitidos para gerenciamento, configurações de log, etc.)
- exigências para redundância
- exigências para a formação do conjunto mínimo necessário de ZIIP
Nesta seção, descrevi brevemente a evolução da rede e da empresa desde alguns switches e algumas dezenas de funcionários até várias dezenas (e talvez até centenas de switches) e várias centenas (ou até milhares) apenas dos funcionários que trabalham diretamente na rede da empresa (sem contar os departamentos de produção e redes de engenharia).
Está claro que, na realidade, esse desenvolvimento "maravilhoso" e rápido da empresa não ocorre.
Costuma levar anos para a empresa e a rede crescerem do seu nível inicial 1 para o nível 3, que estou descrevendo.Por que estou escrevendo todas essas verdades óbvias? Porque quero mencionar aqui um termo chamado ROI — retorno sobre investimento e considerar o lado que diz respeito diretamente à seleção do equipamento de rede.
Ao escolher equipamentos, os engenheiros de rede e seus supervisores frequentemente selecionam os dispositivos com base em dois fatores: o preço atual do equipamento e o mínimo funcional técnico necessário no momento para resolver uma tarefa específica ou várias tarefas (falarei sobre a aquisição de equipamentos para reserva adiante).
Nesse processo, raramente são consideradas as possibilidades de um futuro "crescimento" do equipamento. Quando a situação surge em que o equipamento se esgota em funcionalidade ou desempenho, opta-se pela compra de um dispositivo mais poderoso e funcional, enquanto o antigo é armazenado ou colocado na rede de forma que fique "parado" (isso, aliás, contribui para o surgimento de um grande zoológico de equipamentos e a aquisição de uma infinidade de sistemas de informação que trabalham com eles).
Assim, ao invés de comprar parte de licenças para funcionalidades adicionais e desempenho, que custam muito menos do que um novo equipamento de maior desempenho, acaba-se comprando um novo dispositivo e pagando a mais pelas seguintes razões:
- a rede muitas vezes cresce lentamente e a expansão da funcionalidade ou do desempenho do switch da sua rede pode durar muito tempo.
- Não é segredo que os equipamentos de fornecedores estrangeiros estão atrelados às moedas estrangeiras (dólar ou euro). Para ser honesto, o aumento do dólar ou do euro (ou a periodicidade da mini desvalorização do rublo, depende de como se vê) faz com que o dólar de dez anos atrás e o dólar atual sejam coisas completamente diferentes em termos de rublo.
Resumindo tudo o que foi dito, quero observar que a compra de equipamentos de rede com funcionalidades mais amplas agora pode levar a economias no futuro.
Aqui, os custos de aquisição de equipamentos são considerados no contexto de investimento em sua rede e infraestrutura.Assim, muitos fornecedores (não apenas a Extreme) seguem o princípio pay-as-you-grow, incluindo uma gama de funcionalidades e possibilidades de aumento de desempenho nas interfaces que podem ser ativadas posteriormente pela compra de licenças específicas. Eles também oferecem switches modulares com uma ampla gama de placas de interface e processadores, além da possibilidade de aumentar sequencialmente tanto a quantidade quanto o desempenho.
Reservação de nós críticos
Nesta parte do artigo, gostaria de descrever brevemente os principais princípios de reservação de nós importantes na rede, como switches de núcleo, data centers ou de distribuição. E eu quero começar examinando os tipos gerais de reservação — empilhamento e clusterização.
Cada um dos métodos tem suas vantagens e desvantagens, sobre as quais eu gostaria de falar.
Abaixo está uma tabela resumida comparativa dos 2 métodos:
- gerenciamento — como pode ser visto na tabela, neste aspecto, o empilhamento tem a vantagem, pois do ponto de vista de gerenciamento, um stack de vários switches é apresentado como um único switch com um grande número de portas. Em vez de gerenciar, por exemplo, 8 switches diferentes com a clusterização, você pode gerenciar apenas um com o empilhamento.
- distância — atualmente, estritamente falando, a vantagem da clusterização não é tão clara, uma vez que surgiram tecnologias de empilhamento de switches através de portas de empilhamento ou portas de uso duplo (como SummitStack-V da Extreme, VSS da Cisco, etc.), que também dependem dos tipos de transceptores. Aqui, a vantagem é dada à clusterização com o princípio de que no empilhamento existem opções em que é necessário usar portas de empilhamento comuns, que muitas vezes são conectadas por cabos especiais de comprimento limitado — 0.5, 1, 1.5, 3 ou 5 metros.
- atualização de software — aqui vemos que a clusterização tem vantagem em relação ao empilhamento, e o motivo é o seguinte: ao atualizar a versão do software do equipamento no empilhamento, você atualiza o software no switch mestre, que posteriormente assume o papel de implantar o novo software nos switches standby-member do stack. Por um lado, isso facilita seu trabalho, mas a atualização do software muitas vezes requer uma reinicialização do hardware, o que leva à reinicialização de todo o stack e, assim, a uma interrupção de seu funcionamento e de todos os serviços vinculados a ele durante o tempo = o tempo de reinicialização. Geralmente, isso é muito crítico para o núcleo e para data centers. Na clusterização — você tem 2 dispositivos independentes, nos quais pode atualizar o software em sequência um após o outro. Dessa forma, as interrupções nos serviços podem ser evitadas.
- configuração de parâmetros — aqui, a vantagem está claramente na pilha, uma vez que, no que diz respeito à gestão, você precisa ajustar as configurações apenas para um dispositivo e seu arquivo de configuração. Na clusterização, no entanto, o número de arquivos de configuração será igual ao número de nós do cluster.
- tolerância a falhas — aqui, ambas as tecnologias são aproximadamente equivalentes, mas ainda há uma pequena vantagem na clusterização. A razão está no seguinte — se considerarmos a pilha sob a perspectiva dos processos e protocolos em execução, veremos o seguinte:
- existe um switch master, no qual todos os principais processos e protocolos estão em execução (por exemplo, o protocolo de roteamento dinâmico — OSPF)
- existem os demais switches slave, onde os principais processos necessários para operar na pilha e lidar com o tráfego que passa por eles estão em execução
- quando o switch master falha, o próximo switch slave de maior prioridade detecta a falha do master
- ele se torna mestre e inicia todos os processos que estavam funcionando no mestre (incluindo o protocolo OSPF que estamos observando)
- após algum tempo de iniciação dos processos (geralmente bastante curto), o próprio protocolo OSPF começa a operar
- dessa forma, o OSPF, em caso de falha de um dos nós na clusterização, opera um pouco mais rápido do que na pilha (pelo tempo necessário para iniciar e inicializar os processos e protocolos no switch slave da pilha). Embora deva notar que os protocolos modernos de empilhamento e os switches operam muito rapidamente, muitas vezes a duração da interrupção no tráfego durante a mudança de pilha leva menos de um segundo, mas de qualquer forma, nominalmente, a clusterização vence neste parâmetro.
- complexidade — como pode ser visto na tabela, em termos de complexidade, a pilha ganha. Isso é uma consequência direta dos pontos de "gestão" e "configuração de ajustes". Um único nó leva muito menos tempo para ajustes e gestão. Além disso, na clusterização, frequentemente é necessário configurar protocolos adicionais de roteamento ou protocolos de reserva de gateways — VRRP, HSRP e outros.
- substituição de nós — aqui a stacked configuration tem uma vantagem clara. Frequentemente, para substituir um switch em um stack, é necessário fazer as configurações mínimas do equipamento, por exemplo:
- atualizar o firmware do novo switch para a versão do stack (e isso pode ser feito imediatamente ao receber os switches na ZIP)
- configurar alguns comandos básicos para empilhamento (e para alguns tipos de switches, isso pode até não ser necessário)
- remover o switch defeituoso do stack e conectar um novo
- conectar a alimentação e os cabos de patch
- elasticidade — eu vejo como um dos parâmetros principais. No geral, elasticidade é uma característica complexa que indica a propriedade de algo mudar sob a influência de uma carga e voltar à sua forma original após a sua remoção. Curiosamente, para a clusterização, ela será mais alta mesmo considerando as características com uma relação de 4:3 em favor do empilhamento. Tudo se resume ao fator humano. Sim, não se surpreenda — na força de parâmetros como gerenciamento unificado, configuração de ajustes e complexidade reduzida, está a fraqueza do empilhamento quando o fator humano entra em cena.
Na minha experiência na área de TI, já encontrei muitas vezes situações (e não vamos nos enganar, eu mesmo já cometi os mesmos erros, especialmente no começo) em que, ao configurar um stack, o engenheiro cometeu um erro ao inserir um comando ou ao ativar/desativar uma função específica no equipamento, resultando na falha de todo o stack e em uma reinicialização manual. Vale mencionar os fãs do aplicativo Putty para Windows (ah, a mágica de copiar com o botão direito).
Na verdade, ambas as tecnologias são bastante boas (especialmente comparadas à ausência de redundância) e cada uma tem seus pontos fortes e fracos, mas para o nível de núcleo e para um data center de alta carga, eu ainda preferiria usar a clusterização.
Embora essa seja apenas a minha opinião. Muitos engenheiros profissionais, que há anos trabalham em níveis profissionais com suporte de rede, podem usar ambas as tecnologias com igual facilidade — tudo depende da experiência e competência.
Além das tecnologias de empilhamento e redundância dos nós da rede, existem também princípios gerais de redundância das próprias partes do nó da rede e das conexões entre os nós:
Eu entendo por redundância dentro do nó da rede:
- redundância de fontes de alimentação — a instalação de 2 fontes de alimentação que se duplicam (preferencialmente conectadas à primeira categoria de energia) pode facilitar bastante a sua vida.
- redundância de placas de controle — relaciona-se mais com switches modulares, que têm previsão para a conexão de várias placas de controle redundantes.
- redundância de interfaces de cartões — aplica-se na maioria das vezes a switches modulares.
Entende-se por redundância de conexões/link principalmente a existência de trajetórias de cabos duplicados (ou enlaces de rádio em caso de espaços abertos) com:
- distribuição em diferentes shafts de cabos e canais dentro do edifício
- distribuição geográfica pelo território em nível de 2 ou mais edifícios, cidade, região ou país (os chamados anéis volumétricos)
Ao construir links de redundância, é necessário seguir uma série de recomendações para o equipamento:
- no caso de duplicação de interfaces de cartões em um switch modular, ou na presença de um empilhamento, é necessário distribuir os links entre as unidades — os cartões de interface no caso de switches modulares e switches no caso de um empilhamento.
- é preferível usar protocolos de agregação de links (LACP, MLT, PAgP, etc.) para agrupar os links e balancear a carga entre eles.
- usar roteadores que suportam protocolos ECMP (Equal-Cost-Multi-Path) — quando ao entregar vários pacotes por um único caminho, esses pacotes não passam por um único melhor caminho (e interface), mas são distribuídos entre vários melhores caminhos (e várias interfaces), que são determinados pela igualdade das métricas do protocolo de roteamento, que por sua vez é responsável por preencher a tabela de roteamento final.
Agora, como prometido, vou descrever um caso real da minha prática e o princípio de economia ao reservar nós críticos, que ocorreu há alguns anos:
- em uma empresa, que chamarei de X, havia um modelo padrão em 3 níveis de rede:
- com vários núcleos
- várias dezenas de agregações
- milhares de switches de acesso
- dezenas de milhares de usuários
- a rede foi construída de forma bastante complexa:
- com um monte de protocolos de roteamento dinâmicos e protocolos — OSPF, MP-BGP, MPLS, PIM, IGMP, IPv6, etc.
- um monte de serviços — acesso à internet, L2 e L3 VPN, VoIP, IPTV, linhas dedicadas, etc.
- mas havia um ponto fraco na rede — o roteador de borda, que combinava funções de BGP-border e terminava alguns serviços de usuários
- sim, custou como a asa de um avião (vários milhões de rublos)
- sim, na época, era um dos dispositivos mais avançados da linha do fornecedor de rede mais renomado
- sim, ele deveria ser muito confiável — com um excelente índice de MTBF
- sim, tinha 4 fontes de alimentação, configuradas em 2x2 e conectadas a diferentes UPS e entradas.
Mas tudo isso não alterava o fato de que ele era um único ponto de falha na rede.
E em um dia, longe de ser maravilhoso para mim e meus colegas, esse roteador deu o último suspiro (mais tarde descobrimos que houve uma falha na linha de energia através da UPS, que resultou na queima simultânea de 2 fontes de alimentação, e uma dessas fontes queimou o módulo RP do roteador e o cartão de interface, que estavam conectados ao barramento de dados do dispositivo).
Não tínhamos placas sobressalentes — RP e cartão de interface, mas havia um contrato para substituição de equipamentos ou seus componentes com um dos parceiros sob o esquema NBD.
Infelizmente, os parceiros só tinham o cartão de interface em estoque naquele momento, mas não havia a placa RP, que só chegou alguns dias depois (após 3 dias).
Como resultado, a presença de um único ponto de falha na rede (mesmo com um contrato de suporte e substituição de equipamentos) resultou nos seguintes custos financeiros:
- a parte dos serviços da empresa relacionada ou associada a esse border representava cerca de 60-70%
- como foi calculado posteriormente, o lucro diário era de cerca de 900 mil rublos (aproximadamente) naquela época
- assim, em 3 dias de inatividade, teoricamente houve uma perda de lucro entre 1 milhão 620 mil rublos e 1 milhão 890 mil rublos
Claro que as perdas líquidas foram menores, pois as compensações para a maioria dos usuários foram devolvidas não em dinheiro, mas em serviços, mas elas ainda existiram:
- parte das compensações aos usuários corporativos
- custos aumentados com funcionários da empresa que trabalharam todos esses 3-4 dias em plena força — horas extras, turnos noturnos, aumento de turnos, etc.
- perdas reputacionais, que também não são irrelevantes
- e o mais importante — a tensão, tanto da gerência quanto dos funcionários e dos clientes
Como resultado, a política da empresa foi revisada:
- abandonaram o contrato de substituição sob a condição NBD
- mantiveram o contrato de serviço padrão
- compraram um roteador de backup com um custo de aproximadamente 1 — 1,3 milhões de rublos para garantir 90% da funcionalidade do principal
No futuro, a compra de equipamentos adicionais e a reserva do equipamento principal permitiram equilibrar entre eles a carga das links externos, tráfego e usuários, e garantiram um reserva de segurança para a empresa em futuras emergências.
Exemplo de design de rede empresarial
Nesta parte do artigo, tentarei expor os principais pontos ao calcular a rede de suporte da empresa. Não vou sobrecarregá-lo com toda a metodologia PPDIOO (Preparar-Planejar-Projetar-Implementar-Operar-Otimizar), mas apenas destacarei seus principais pontos:
- Prepare/Preparação — você deve se reunir com a sua gerência sobre os objetivos de modernização da rede que deseja alcançar — aumentar a resiliência, implementar novos serviços ou tecnologias. Vou deixar de fora a definição de limitações — técnicas e organizacionais, pois presumo que você é um funcionário da organização e possui bastante tempo para superá-las. Voltarei ao tema do orçamento abaixo.
- Planning/Planejamento — aqui você deverá construir uma descrição completa da sua rede atual (se ainda não souber), ou seja, descrever a rede como ela está agora:
- quantidade e tipo de equipamentos
- quantidade e tipos de portas
- circuitos e esquemas de cabeamento existentes dentro dos edifícios e entre eles
- esquemas de alimentação elétrica
- endereçamento L2 e L3
- construir mapas de redes Wi-Fi indicando pontos de acesso e controladores
- descrever sua infraestrutura de servidores
- se possível, descrever todos os seus serviços e as conexões entre eles
- se você já implementou de alguma forma, uma política de segurança de rede e controle de acesso, deve levá-la em conta no projeto
- Deixe-me esclarecer que o segundo passo consiste basicamente em um inventário completo da rede, começando pela infraestrutura de cabos e esquemas de alimentação elétrica, e terminando com os serviços (aplicativos e suas portas). Este passo é extremamente trabalhoso e, por vezes, até tedioso. Se você ou seu antecessor não mantiveram documentação ou até mesmo um sistema básico de monitoramento, agora é a hora de pensar nisso. A rede tende a mudar ao longo do tempo a diferentes velocidades, e apenas a manutenção de documentação atualizada ou de um sistema de monitoramento pode ajudá-lo a acompanhar seu estado e facilitar sua administração. Mas isso já se refere ao passo operate.
- Design/Projetando — armado com o conhecimento completo sobre a sua rede, adquirido na etapa anterior, você finalmente se senta e pensa em como modernizar sua rede. Abaixo, tentarei demonstrar um pequeno exemplo de cálculo da rede.
Eu fiz uma pequena lista com os dados iniciais que seguirei ao calcular e projetar a rede de backbone.
Vamos imaginar o passo Prepare como uma lista do que temos disponível e o que está planejado para fazer:
- há uma grande empresa com aproximadamente 700 a 800 estações de trabalho (aqui me refiro aos funcionários que precisam de acesso à rede da empresa)
- existem vários prédios independentes dentro do terreno da empresa:
- Prédios principais:
- número de prédios — 2 unidades
- número de andares no prédio — 7 andares
- número de armários de telecomunicações por andar em um prédio — 3 (total de 21) unidades
- número de funcionários no prédio =~ 250 pessoas
- Prédios adicionais:
- número de prédios — 10 unidades
- número de andares no prédio/oficina — 2 andares
- número de armários de telecomunicações no prédio — 3 unidades
- número de funcionários no prédio =~ 20 pessoas
- O nível atual do núcleo da rede (aliás, um esquema muito comum que já encontrei várias vezes de diferentes formas e com diferentes portas) é apresentado:
- 2 switches L2:
- portas de 1Gb tipo RJ-45 — 24 unidades
- portas de 1Gb SFP — 4 unidades
- 1 switch L2:
- portas de 1Gb SFP — 24 unidades
- topologia do núcleo — anel
- links peer-to-peer entre switches conectados usando fibra óptica
- os switches estão localizados em pequenas salas de servidores com armários
- 2 switches L2:
- O nível atual de distribuição:
- combinado com o nível do núcleo da rede na agregação de links dos switches de acesso
- Endereçamento L3 transferido para o roteador de borda e/ou firewall
- Nível de acesso atual:
- switches L2 com 16 portas de acesso RJ-45 de 100 Mb e 2 portas combo de uplink giga RJ-45/SFP
- os switches estão localizados em armários nos andares
- topologia dos switches de acesso:
- estrela (hub-and-spoke) com o switch de núcleo/distribuição no centro
- o spoke representa um ramo de switches pelos andares – 3 em cadeia
- existem switches de acesso não gerenciados
- switches em 9 gabinetes adicionais conectados através de conversores de mídia (conversores de sinal óptico para elétrico)
- Infraestrutura de cabos atual:
- Sistema de cabos entre os edifícios:
- existe um cabo óptico entre 2 edifícios principais com capacidade de 8 fibras
- existe um cabo óptico entre um dos gabinetes adicionais (onde está instalado o switch de núcleo) e cada uma das construções principais, cada um com capacidade de 8 fibras
- existe um cabo óptico entre os gabinetes adicionais e os gabinetes com switches de núcleo com capacidade de 4 fibras (sua distribuição está mostrada na imagem abaixo)
- tipo de fibra em todos os cabos – monomodo/SMF
- são utilizados transceptores SFP monomodo de 2 fibras
- parte dos cabos termina em cross-connects (ODF) em salas separadas (salas de cross-connect/servidores), enquanto parte dos cabos nas armários de andar
- Sistema de cabos dentro dos edifícios:
- existe uma estrutura de cabos mista entre as salas de servidores e os primeiros armários nos andares:
- cabos de cobre Cat5e – 10 unidades (ou cabos de 100 pares)
- cabo de fibra óptica multimodo/MMF de 4 ou 8 fibras – 1 unidade
- cabo de fibra óptica multimodo/MMF de 4 fibras entre armários de andar
- cabos de cobre Cat5e entre armários de andar e pontos de acesso
- data center atual:
- há vários servidores, por exemplo, 6 unidades
- conectados a portas de 1Gb no switch de núcleo no 1º edifício principal
- todas as aplicações da empresa estão em servidores
- endereçamento L2, L3 e roteamento:
- na rede, existem várias VLANs – 2 ou 3 por edifício
- servidores estão alocados em uma rede separada /24
- para necessidades internas, são utilizadas redes cinzas da classe B, que estão no intervalo – 172.16.0.0/16
- Os endereços L3 são terminados no roteador de borda e/ou no firewall.
- é utilizada a roteação estática.
- informações adicionais:
- telefonia:
- Nos edifícios e em alguns prédios, foi implementada telefonia tradicional com o uso de centrais telefônicas digitais de antiga geração (não IP-PBX).
- é necessário telefonizar os novos prédios, sem custos para a extensão de linhas de cobre caras de capacidade específica e construção de uma rede estruturada duplicada para telefonia dentro dos edifícios.
- Com o tempo, planeja-se implementar telefonia IP em toda a empresa, integrá-la com sistemas CRM e transferir todos os funcionários para ela.
- capacidade das portas:
- é necessário analisar a capacidade atual das portas de backbone e de acesso, e reservar pelo menos 25-30% para necessidades futuras.
- analisar a suficiência da capacidade atual das portas de acesso e dos links de backbone.
- prever a presença de portas de acesso PoE/PoE+ para dispositivos de sistemas adjacentes — videovigilância e telefonia.
- videovigilância:
- planeja-se usar a rede da empresa como meio de transporte para a rede de videovigilância.
- é necessário prever a presença de portas PoE para câmeras de videovigilância.
- sistemas sem fio:
- no futuro, planeja-se implementar uma infraestrutura sem fio para a mobilidade dos funcionários.
- é necessário prever a presença de portas PoE para os pontos de acesso.
- orçamento, prazos e requisitos para o equipamento:
- usar ao máximo o equipamento existente.
- ao projetar a rede, considerar a possibilidade de expandir a capacidade da rede para N anos à frente.
- ao projetar a rede, considerar o suporte a todas as funções de segurança — aqui está a lista de funcionalidades, desde port-security até autenticação e autorização de usuários via 802.1x.
- reservar o máximo possível os nós críticos da rede de importância primária — núcleo e Data Center, e prever a possibilidade de reservar nós de importância secundária — nós de distribuição.
- o orçamento do projeto deve prever o financiamento por etapas.
- o valor do orçamento — aqui cada empresa determina para si, guiando-se por seus indicadores financeiros.
- Os prazos — no melhor dos casos, não haverá prazos definidos, pois este é um projeto interno da empresa, que está sendo executado por seus próprios funcionários, ou serão prazos razoavelmente confortáveis — por exemplo, 1 ano (ou mais). No pior dos casos, pode variar de 3 meses a meio ano.
- resolver problemas atuais na rede:
- perdas de pacotes
- problemas com DHCP em switches de acesso mais ou menos inteligentes, relacionados ao uso da família de protocolos STP para evitar loops nas portas de acesso.
- eliminar a presença da interface do servidor DHCP em cada VLAN dos funcionários
- surge de loops de comutação, relacionados ao conector acidental de switches gerenciados/não gerenciados em escritórios e à conexão de vários dispositivos a eles
- a lista pode continuar e continuar...
Passo de Planejamento — a condição do seu atual estado de rede, como já mencionei, depende da presença de um sistema de monitoramento de qualidade e do grau de documentação. Neste passo, você terá que:
- no mínimo, desenhar a rede existente para análise posterior
- coletar dados dos equipamentos:
- tráfego nas portas principais
- erros nas portas
- carga da CPU e consumo de memória em switches e roteadores
- elaborar esquemas L2-L3 por VLANs e endereços IP
- levantar esquemas de cabeamento:
- esquemas de fibra ótica e de conecção de cross ópticos
- esquemas de distribuição de cabos de cobre entre servidores e andares
- esquemas de distribuição de cabos de cobre entre andares e escritórios
- verificar a presença de cross ópticos e painéis de patch nas salas de servidores e armários
- verificar os esquemas de alimentação elétrica nas salas de servidores e armários de andares
- verificar a presença de UPS e baterias em pontos críticos
- analisar todos os dados
Com base nos dados da etapa de preparação, consegui elaborar um esquema lógico aproximado:
Em seguida, seguindo a abordagem modular, é necessário destacar os níveis e módulos da empresa:
As Fronteiras (Edge) nesta artigo não serão abordadas, mas vou lembrar brevemente os pontos básicos sobre cada um dos módulos do Campus:- Acessibilidade — neste nível deve garantir:
- o número necessário de portas para acesso dos usuários à rede
- a execução de políticas de segurança — filtragem de tráfego e protocolos
- compressão de domínios de broadcast e segmentação da rede com uso de VLAN
- implementação de VLANs separadas para tráfego de voz
- suporte a QoS
- suporte a portas de acesso PoE
- suporte a IP multicast
- alta disponibilidade dos links ascendentes de comunicação juntamente com o nível de distribuição (preferencialmente)
- Distribuição — neste nível deve ser assegurada:
- o número necessário de portas para conectar switches de acesso
- agregação e redundância dos links dos switches de acesso
- Roteamento IP
- filtragem de pacotes
- suporte a QoS
- alta disponibilidade ao nível de links, equipamentos e alimentação elétrica (muito desejável)
- Núcleo — deve garantir:
- alta velocidade de comutação e roteamento de pacotes
- o número necessário de portas para conectar switches de distribuição
- suporte a roteamento IP e protocolos de roteamento dinâmicos com rápida convergência de rede
- suporte a QoS
- funcionalidade de segurança para proteger o acesso ao equipamento e ao plano de controle
- alta disponibilidade ao nível de equipamentos e alimentação elétrica (obrigatório)
- Centro de Dados — o nível de rede deste módulo deve garantir:
- links de alta velocidade
- o número necessário de portas para conectar servidores
- redundância dos links de comunicação tanto entre servidores e switches do centro de dados quanto entre os switches do centro de dados e o núcleo da rede (obrigatório)
- redundância de equipamentos e alimentação elétrica (obrigatório)
- suporte a QoS
Em seguida, precisamos calcular nossas portas e links de comunicação e determinar os requisitos.
Assim, obtivemos os dados de distribuição das portas de acesso pelos edifícios. Agora é necessário analisar os requisitos para o nível de acesso e observações e delinear opções de solução.
A seguir, calcularemos as portas e links de comunicação para os seguintes níveis:
Ao calcular, obtivemos o seguinte:
- nível de acesso — são necessários switches de acesso de 24 e 48 portas, preferencialmente com portas de 1Gb e portas de uplink ópticas SFP com suporte a PoE e ampla funcionalidade:
- no total, eles fornecerão 504 portas de acesso, o que, em princípio, cobrirá os requisitos de portas sobressalentes, se a decisão for usar 2 portas por estação de trabalho — telefone IP e porta de dados.
- é possível o uso de um switch de 48 portas com funcionalidade PoE em cada andar, fornecendo portas de acesso para as exigências:
- de reserva — aproximadamente 102 portas sobressalentes (22%) nos edifícios principais. Para edifícios adicionais, um pouco mais — 25%.
- videovigilância
- rede sem fio
- nível de distribuição — são necessários switches com um conjunto de portas SFP de 12 a 48 portas com pelo menos 2 portas SFP+, com capacidade de empilhamento e funcionalidade avançada, bem como a presença de unidades de fonte de alimentação redundantes.
- nível central — são necessários switches de alta velocidade de 12 a 24 portas SFP/SFP+ com suporte tanto para empilhamento quanto para clusterização com suporte a MC-LAG. Deve-se notar que também é possível o uso de dispositivos de roteamento para balanceamento de tráfego. As últimas gerações de switches e roteadores L3 suportam ECMP com balanceamento de tráfego em 4 ou mais rotas com a mesma métrica.
- nível do Data Center — são necessários switches de 8 a 24 portas SFP/SFP+ com suporte tanto para empilhamento quanto para clusterização com suporte a MC-LAG.
O esquema de rede final resultou
Escolha dos switches Extreme para implementação do projeto
Chegamos ao ponto principal — o momento da escolha dos switches para a implementação do nosso projeto. Para o esquema alvo resultante, são adequados os seguintes switches Extreme:
O nível
Modelo
Portas
Descriçãobaseia-se na versão 4.19 do núcleo Linux, que opera em um ambiente Windows com a ajuda de uma máquina virtual já utilizada no Azure. Os patches específicos do WSL2 aplicados no núcleo incluem otimizações para reduzir o tempo de inicialização do núcleo, diminuir o consumo de memória, retornar à Windows a memória liberada pelos processos do Linux e deixar no núcleo um conjunto mínimo necessário de drivers e subsistemas.
x620-16x-Base *x670-G2-48x-4q-Base*
16 x 10GE SFP+
48x10GE SFP+ e 4×40 GE QSFP+
Para as necessidades principais do núcleo:- links de alta velocidade
- funcionalidade avançada de roteamento e segurança
- redundância de energia com blocos de alimentação adicionais
- suporte a empilhamento e clusterização
Com requisitos mínimos, o switch da série x620 é adequado.
Em caso de requisitos ampliados em relação ao número de portas e funcionalidade mais ampla, deve-se considerar switches da série x670-G2.Data Center
x620-16x-Base*
x590-24x-1q-2c*
x670-G2-48x-4q-Base*
16 x 10GE SFP+
24x10GE SFP, 1xQSFP+, 2xQSFP28
48x10GE SFP+ e 4×40 GE QSFP+Para as necessidades principais do Data Center:
- links de alta velocidade
- redundância de energia com blocos de alimentação adicionais
- suporte a empilhamento e clusterização
Com requisitos mínimos, o switch da série x620 é adequado.
Em caso de requisitos expandidos em relação ao número de portas e funcionalidade mais ampla, deve-se considerar switches das séries x670-G2 e x590-24x-1q-2c.distribuição
X460-G2-24x-10GE4-Base*
X460-G2-48x-10GE4-Base*
24x1GE SFP, 8×1000 RJ-45, 4x10GE SFP+
48x1GE SFP, 4x10GE SFP+Para as necessidades principais de distribuição:
- quantidade necessária de portas ópticas
- redundância de energia com blocos de alimentação adicionais
- suporte a empilhamento e clusterização
- funcionalidade L3 necessária
Os switches da série x460-G2 são ideais. A presença de fontes de alimentação redundantes com a possibilidade de expansão e adição de portas 10G, CX (para empilhamento) e QSFP+ torna-os switches perfeitos para o nível de distribuição com portas de até 1 Gb.
acesso
X440-G2-24p-10GE4*
X440-G2-24t-10GE4*
X440-G2-48t-10GE4*
X440-G2-48p-10GE4*
24x1000BASE-T(4 x SFP combo), 4x10GE SFP+ (orçamento PoE de 380 W)
24x1000BASE-T(4 x SFP combo), 4x10GE SFP+
24x1000BASE-T(4 x SFP combo), 4x10GE SFP+ portas combo
48x1000BASE-T(4 x SFP combo), 4x10GE SFP+ portas combo (orçamento PoE de 740 W)Para necessidades de acesso:
- número necessário de portas de acesso
- suporte PoE/PoE+
- funcionalidade e possibilidade de expansão das portas
- um bônus adicional é o suporte ao empilhamento com portas de 10 Gb "de fábrica"
Recomendo prestar atenção a esta linha devido à sua flexibilidade em termos de portas, desempenho e funcionalidade.
*a especificação dos switches escolhidos pode ser vista no primeiro artigo da série —
Aqui eu poderia encerrar o artigo, mas gostaria de abordar mais 2 aspectos que qualquer engenheiro enfrentará ao desenvolver ou modernizar sua rede:
- trabalho com rotas de cabos — fibras e linhas de cobre
- endereçamento IP
Trabalho com fibras
Acima, forneci o esquema alvo ao qual precisamos chegar. Para isso, são necessários o seguinte número de enlaces para o equipamento:
Como pode ser visto na tabela, o número mínimo de fibras necessárias para garantir a redundância nos níveis de rede (módulo de núcleo, data center e distribuições em 2 edifícios) é de 10 unidades.
Na fase de caracterização da rede, descobrimos que no cabo entre os edifícios existem apenas 8 fibras. O que fazer em tal situação?
Vou apresentar algumas soluções:
- o primeiro passo óbvio é usar as fibras livres no cabo entre o edifício 1 — corpo 1 e corpo 1 — edifício 2 (como pode ser visto na tabela — apenas 2 das 8 fibras em cada cabo estão sendo utilizadas). Para isso, basta instalar cross-connects ópticos entre os cross-connects do corpo 1 e, se necessário, usar módulos SFP com margem de orçamento óptico.
- No segundo passo, é possível considerar o uso da tecnologia CWDM — aglomeração de comprimentos de onda em uma única fibra. Essa tecnologia é muito mais barata que a DWDM e bastante simples de implementar. Basicamente, há requisitos em relação à qualidade das fibras ópticas e aos transceptores SFP/SFP+ de determinados comprimentos e orçamentos. Como mencionei no artigo anterior, a capacidade dos switches de reconhecer transceptores de fabricantes terceirizados pode facilitar muito nossa vida e reduzir os custos de capital para a construção de cabos ópticos adicionais.
- O terceiro passo é considerar a possibilidade de aumentar as fibras através da instalação de cabos ópticos adicionais.
Em seguida, analisamos o número de fibras entre os edifícios com switches de distribuição instalados e gabinetes adicionais 2-10. Aqui, as situações não são tão claras:
- Primeiro, há uma falta de fibras para realizar nosso esquema alvo — 2 fibras para cada switch (como lembramos, temos cabos com 4 fibras ópticas para cada gabinete).
- Em segundo lugar, mesmo que haja fibras suficientes entre os edifícios, dentro dos gabinetes, são usadas fibras MMF, que não nos permitirão simplesmente conectar fibras SMF e MMF (estou falando de distâncias entre edifícios superiores a 300-400 metros).
Nesses casos, podemos considerar as seguintes opções:
- Fornecer a cada switch fibras SMF:
- Se a distância permitir, é possível instalar cabos patch longos adicionais entre os switches. Na época, usávamos patchcords de 30-50 m de comprimento.
- Instalar um cabo óptico SMF de baixa capacidade e relativamente barato entre os armários.
- Como opção extrema, usar diferentes conversores SMF-MMF.
- Para minimizar as fibras utilizadas entre os edifícios, podemos:
- Utilizar a funcionalidade de empilhamento dos switches de acesso x440-G2 — usando 1 fibra SMF para cada switch em cada andar, o que permitirá usar 3 fibras e portas em cada lado ao invés de 6.
- Utilizar 2 fibras para conectar o primeiro switch da linha e o último. Agregar as ligações nos switches de acesso e usar os protocolos STP no anel resultante.
Endereçamento IP
Aqui apresento um cálculo aproximado de endereçamento para nosso esquema.
Atualmente, temos várias redes de Classe B — 172.16.0.0/16. Ao calcular o espaço de endereçamento IP, eu seguirei as seguintes considerações:
- 4 bits do segundo octeto representarão os edifícios — 172.16.0.0/12.
- O terceiro octeto representará o número do andar no edifício.
- O terceiro octeto = 255 será reservado para links ponto-a-ponto de equipamentos e para a rede de gerenciamento.
- Uma VLAN de gerenciamento por andar para administração dos switches.
- Uma VLAN de usuário por switch (em média 24 portas).
- Uma VLAN de Voz por switch (em média 24 portas).
- Uma VLAN para o sistema de vigilância por andar.
- Uma VLAN para dispositivos Wi-Fi por andar.
Eu obtive tabelas aproximadas assim:
Na tabela acima, forneci uma distribuição aproximada das redes entre edifícios e andares de um lado e as redes (usuárias, de gerenciamento e administrativas) do outro.
Na verdade, a escolha da rede privada 172.16.0.0/12 não é a mais otimizada, pois nos limita em termos de número de redes (de 16 a 31) para os edifícios, e ainda há filiais remotas que também precisam de blocos de redes. Uma opção mais otimizada poderia ser o uso da rede 10.0.0.0/8, ou o uso conjunto das redes 172.16.0.0/12 (por exemplo, para necessidades administrativas e servidores) e 10.0.0.0/8 (para redes de usuários).
De maneira geral, a abordagem para a alocação de IPs também é modular, e é desejável seguir as regras de agregação de sub-redes em uma rede summary nos níveis de distribuição, assim como nos roteadores de borda nas filiais remotas. Isso é feito por várias razões:
- para minimizar as tabelas de roteamento nos roteadores
- para minimizar o tráfego de controle dos protocolos de roteamento (em todas as mensagens de atualização, quando sub-redes internas estão indisponíveis)
- para simplificar a administração e melhorar a legibilidade das redes L3
Embora nos dois primeiros pontos, vale notar que a capacidade dos roteadores modernos é muito superior àquela que existia há 15-20 anos, permitindo a manutenção de grandes tabelas de roteamento em sua memória RAM, além de que a relação custo e largura de banda das conexões diminuiu em comparação com os preços da época em que havia um uso generalizado dos canais E1/T1 (G.703).
Conclusão
Amigos, neste artigo, tentei explicar de forma breve os principais princípios do design de redes de campus. Sim, o material ficou extenso, e isso sem abordar temas como:
- organização da fronteira da empresa (e isso é uma história à parte com seus próprios switches, bordas, firewalls, sistemas de IPS/IDS, DMZ, VPN e outras ferramentas)
- organização de redes Wi-Fi
- organização de redes VoIP
- organização de Data Centers
- segurança (que também é um mundo próprio, que em termos de volume e exigências não fica atrás do design da infraestrutura de rede, e às vezes até supera)
- energia
- a lista pode continuar indefinidamente
Na verdade, o design e a construção de uma rede empresarial é uma tarefa bastante meticulosa, que requer muito tempo e recursos.
Mas espero que meu artigo ajude você a avaliar e entender, pelo menos em um nível inicial, como abordar essa tarefa.
Este não é o último artigo sobre , então fique atento às atualizações (, , , )!
- telefonia:
- Sistema de cabos entre os edifícios:
- a rede de 3 níveis é dividida em:
Fonte: habr.com
