🥇3. Projeto de rede empresarial em switches extremos

3. Projeto de rede corporativa em switches Extreme

Boa tarde amigos! Hoje darei continuidade à série dedicada a Interruptores extremos artigo sobre design de rede corporativa.

Neste artigo tentarei ser o mais breve possível:

descrever a abordagem modular para projetar a rede Etnterprise
considere os tipos de construção de um dos módulos mais importantes de uma rede corporativa - a rede principal (ip-campus)
descrever as vantagens e desvantagens das opções de reserva de nós críticos da rede
usando um exemplo abstrato para projetar/atualizar uma pequena rede corporativa
escolha switches Extreme para implementar a rede projetada
trabalhar com fibras e endereçamento IP

Este artigo será de interesse mais para engenheiros de rede e administradores de redes empresariais que estão apenas começando sua jornada como “networker” do que para engenheiros experientes que trabalharam por muitos anos em operadoras de telecomunicações ou em grandes corporações com redes distribuídas geograficamente.

Em qualquer caso, para os interessados, consulte cat.

Abordagem de design de rede modular

Começarei meu artigo com uma abordagem modular bastante popular para projeto de rede, que permite montar um quebra-cabeça a partir de peças da rede em uma imagem completa.

Primeiro, um pouco de abstração - muitas vezes imagino esta abordagem como um zoom em mapas geográficos, quando o país é visível na primeira aproximação, as regiões na segunda, as cidades na terceira, etc.

Como exemplo, considere este exemplo:

1ª aproximação - toda a rede empresarial é um conjunto de diferentes níveis:
- espinha dorsal ou campus
- nível limite
- nível de operadora de telecomunicações
- áreas remotas
2ª aproximação – cada um desses níveis é detalhado em módulos separados
- A rede principal ou campus consiste em:
  - Módulo de 3 ou 2 níveis que descreve a rede corporativa e seus níveis - acesso, distribuição e/ou núcleo
  - módulo que descreve o data center - centro de processamento de dados (essencialmente a parte do servidor da infraestrutura)
- o nível limite, por sua vez, consiste em:
  - Módulo de conexão com a Internet
  - Módulo WAN e MAN, responsável por conectar objetos corporativos distribuídos geograficamente
  - módulo para construção de túneis VPN e acesso de acesso remoto
  - Muitas vezes, muitas pequenas empresas têm vários destes módulos, ou mesmo todos eles, combinados num só.
- nível do provedor:
  - Este nível inclui ligações “ao mundo exterior” - fibras ópticas escuras (aluguel de fibras aos operadores), canais de comunicação (Ethernet, G.703, etc.), acesso à Internet.
- nível remoto:
  - em sua maioria, são filiais de uma empresa distribuídas em uma cidade, região, país ou mesmo continentes.
  - esta zona também pode incluir um data center de backup, que duplica o trabalho do principal
  - e, claro, recentemente ganhando popularidade - teletrabalhadores (trabalhos remotos)
3ª aproximação - cada um dos módulos é dividido em módulos ou níveis menores. Por exemplo, em uma rede de campus:
- A rede de 3 níveis é dividida em:
  - nível de acesso
  - nível de distribuição
  - nível do kernel
- Em casos mais complexos, o data center pode ser dividido em:
  - Parte de rede de 2 ou 3 níveis
  - parte do servidor
Tentarei exibir todos os itens acima na seguinte figura simplificada:

Como pode ser visto na figura acima, a abordagem modular ajuda a detalhar e estruturar o quadro geral em elementos componentes que podem ser trabalhados no futuro.
Para os fins deste artigo, focarei no nível Campus Enterprise e o descreverei com mais detalhes.
Tipos de redes IP-CAMPUS
Quando trabalhava para um fornecedor, e especialmente mais tarde quando trabalhei como integrador, deparei-me com a diferente “maturidade” das redes de clientes. Não utilizo o termo maturidade à toa, pois muitas vezes há casos em que a estrutura da rede cresce com o crescimento da própria empresa, e isso é, em princípio, natural.
Em uma pequena empresa localizada em um prédio, a rede corporativa pode consistir em apenas um roteador de borda atuando como firewall, vários switches de acesso e alguns servidores.
Eu chamo essa rede de rede de “camada única” - não há absolutamente nenhuma camada central de rede explícita, a camada de distribuição é deslocada para o roteador de borda (com firewall, VPN e possivelmente funções de proxy) e os switches de acesso atendem tanto aos computadores dos funcionários quanto aos servidores. servidores.

Quando uma empresa cresce – aumentando o número de funcionários, serviços e servidores – muitas vezes é necessário:
- aumentar o número de switches na rede e portas de acesso
- aumentar a capacidade do servidor
- combater domínios de transmissão - implementar segmentação de rede e roteamento entre segmentos
- lidar com falhas de rede que causam indisponibilidade aos funcionários, pois isso acarreta custos financeiros adicionais para a gestão (o funcionário fica ocioso, os salários são pagos, mas o trabalho não é realizado)
- no processo de lidar com falhas, pense na redundância de nós críticos da rede – roteadores, switches, servidores e serviços
- reforçar a política de segurança, uma vez que podem surgir riscos comerciais e, mais uma vez, para uma operação de rede mais estável
Tudo isso leva ao fato de que o engenheiro (administrador de rede) mais cedo ou mais tarde pensa na correta construção da rede e chega a um modelo de 2 níveis.
Este modelo já distingue claramente 2 níveis - o nível de acesso e o nível de distribuição, que é também o nível central (núcleo colapsado).
As camadas combinadas de distribuição e kernel executam as seguintes funções:
- agrega links de switches de acesso
- introduz o roteamento de segmentos de rede - há tantos usuários e dispositivos que eles não cabem em uma rede /24 e, se couberem, tempestades de transmissão causam falhas constantes (especialmente se os usuários os ajudarem criando loops)
- fornece comunicação entre segmentos de switch adjacentes (através de links mais rápidos)
- fornece comunicação entre os usuários e seus dispositivos e o farm de servidores, que a essa altura também começa a ser separado em um segmento de rede separado - o data center.
- passa a fornecer, junto com os switches de acesso, de uma forma ou de outra, a política de segurança que a empresa passa a ter neste momento. A empresa está a crescer, os riscos comerciais também estão a crescer (aqui refiro-me não apenas às disposições sobre segredos comerciais, diferenciação de políticas de acesso, etc., mas também ao tempo de inatividade básico da rede e dos funcionários).
Assim, a rede, mais cedo ou mais tarde, cresce para um modelo de 2 níveis:

Este modelo introduz requisitos especiais tanto para switches de nível de acesso, que agregam links de usuários e dispositivos de rede (impressoras, pontos de acesso, dispositivos VoIP, telefones IP, câmeras IP, etc.) quanto para switches e kernels de nível de distribuição.
Os switches de acesso devem ser mais inteligentes e capazes de atender aos requisitos de desempenho, segurança e flexibilidade da rede e devem:
- possuir diferentes tipos de portas de acesso e portas troncais - preferencialmente com possibilidade de reserva para crescimento do tráfego e do número de portas
- ter capacidade de comutação e rendimento suficientes
- ter a funcionalidade de segurança necessária que satisfaça a política de segurança atual (e, idealmente, o crescimento de seus requisitos adicionais)
- têm a capacidade de alimentar dispositivos de rede de difícil acesso com a capacidade de reinicializá-los remotamente usando energia (PoE, PoE+)
- ser capaz de reservar sua própria fonte de alimentação para usá-la em locais onde for necessária
- têm (se possível) potencial adicional para crescimento em funcionalidade - um exemplo frequente quando um switch de acesso eventualmente se transforma em um switch de distribuição
As chaves de distribuição, por sua vez, também estão sujeitas aos seguintes requisitos:
- tanto em termos de portas de downlink de tronco para switches de acesso, quanto para interfaces peer de switches de distribuição vizinhos (e no futuro, possíveis interfaces de uplink para o kernel)
- em termos de funcionalidade L2 e L3
- em termos de funcionalidade de segurança
- em termos de garantia de tolerância a falhas (redundância, clustering e redundância de energia)
- em termos de fornecer flexibilidade ao equilibrar o tráfego
- têm (se possível) potencial adicional de crescimento em funcionalidade (transformação do dispositivo de agregação no núcleo ao longo do tempo)
- em alguns casos, pode ser apropriado usar portas PoE, PoE+ em switches de distribuição.
Além disso - mais: se a gestão prosseguir uma política de crescimento e desenvolvimento activo da empresa, a rede também continuará a desenvolver-se no futuro - a empresa pode começar a alugar edifícios vizinhos, construir os seus próprios edifícios ou absorver concorrentes mais pequenos, aumentando assim o número de empregos para os funcionários. Ao mesmo tempo, a rede também cresce, o que exige:
- fornecer locais de trabalho aos funcionários - são necessários novos switches de acesso com portas de acesso
- disponibilidade de novos switches de distribuição para agregar links de switches de acesso
- construção de novas, bem como modernização de linhas de comunicação existentes
Como resultado, o tráfego aumenta pelos seguintes motivos:
- devido ao aumento das portas de acesso e, consequentemente, dos usuários da rede
- devido ao aumento do tráfego de subsistemas adjacentes que escolhem a rede corporativa como transporte - telefonia, segurança, sistemas de engenharia, etc.
- devido à introdução de serviços adicionais - com o crescimento do quadro de pessoal, surgem novos departamentos que requerem determinados softwares
- o poder de computação do data center está aumentando para atender aos requisitos de infraestrutura e aplicativos
- os requisitos de segurança para a rede e a informação estão crescendo – a famosa tríade (brincadeira) da CIA, mas falando sério, a CIA – Confidencialidade, Integridade e Disponibilidade:
  - Neste sentido, surgem requisitos adicionais de tolerância a falhas e redundância para os níveis críticos da rede - distribuição e data centers.
  - novamente, há um aumento no tráfego devido à introdução de novos sistemas de segurança - por exemplo, RKVI, etc.
Mais cedo ou mais tarde, o crescimento do tráfego, dos serviços e do número de usuários levará à necessidade de introdução de uma camada de rede adicional - o núcleo, que realizará comutação/roteamento de pacotes em alta velocidade usando links de comunicação de alta velocidade.
Neste ponto, a empresa pode migrar para um modelo de rede de 3 níveis:

Como você pode ver na figura acima, em tal rede existe um nível de núcleo, que agrega links de alta velocidade provenientes de switches de distribuição. Assim, os switches do kernel também enfrentam requisitos para:
- largura de banda da interface - 1GE, 2.5GE, 10GE, 40GE, 100GE
- desempenho do switch (capacidade de comutação e desempenho de encaminhamento)
- tipos de interface - 1000BASE-T, SFP, SFP+, QSFP, QSFP+
- número e conjunto de interfaces
- capacidades de redundância (empilhamento, clustering, redundância de placas de controle (relevante para switches modulares), redundância de energia, etc.)
- funcionalidade
Neste nível da rede, é definitivamente necessária uma modificação técnica:
- redundância de nós e links do kernel (muito, muito, muito desejável)
- redundância de nós e links de nível de distribuição (dependendo da criticidade)
- redundância de links de comunicação entre switches de acesso e o nível de distribuição (se necessário)
- introdução de protocolos de roteamento dinâmico
- balanceamento de tráfego tanto no núcleo quanto nos níveis de distribuição e acesso (se necessário)
- implementação de serviços adicionais - serviços de transporte e segurança (se necessário)
e legal, definindo a política de segurança de rede da empresa, que complementa a política geral de segurança em termos de:
- requisitos para a implementação e configuração de determinadas funções de segurança em switches de acesso e distribuição
- requisitos para acesso, monitoramento e gerenciamento de equipamentos de rede (protocolos de acesso remoto, segmentos de rede permitidos para gerenciamento, configurações de registro, etc.)
- requisitos de reserva
- requisitos para a formação do kit de peças de reposição mínimo necessário
Nesta seção, descrevi brevemente a evolução da rede e da empresa, de alguns switches e algumas dezenas de funcionários para várias dezenas (e talvez centenas de switches) e várias centenas (ou mesmo milhares) apenas dos funcionários que trabalham diretamente. na rede empresarial (e afinal também existem departamentos de produção e redes de engenharia).
É claro que na realidade esse desenvolvimento “milagroso” e rápido do empreendimento não acontece.
Geralmente, leva anos para uma empresa e uma rede crescerem do primeiro nível inicial para o terceiro nível que estou descrevendo.
Por que estou escrevendo todos esses truísmos? Então, quero mencionar aqui um termo como ROI - retorno sobre o investimento (retorno/retorno sobre o investimento) e considerar aquele lado que diz respeito diretamente à escolha do equipamento de rede.
Ao escolher o equipamento, os engenheiros de rede e seus gerentes geralmente escolhem o equipamento com base em 2 fatores - o preço atual do equipamento e a funcionalidade técnica mínima que é atualmente necessária para resolver uma tarefa ou tarefas específicas (falarei sobre a compra de equipamentos para redundância mais tarde ).
Ao mesmo tempo, as possibilidades de maior “crescimento” do equipamento raramente são consideradas. Se surgir uma situação em que o equipamento se esgotou em termos de funcionalidade ou desempenho, no futuro serão adquiridos equipamentos mais potentes e funcionais, e o antigo será entregue a um armazém ou a algum local da rede com base no princípio de “para stand” (isso, aliás, também provoca o surgimento de um grande zoológico de equipamentos e a compra de um monte de sistemas de informação que funcionam com eles).
Assim, em vez de adquirir parte das licenças adicionais. funcionalidade e desempenho, que são muito mais baratos do que equipamentos novos e de maior desempenho, você terá que comprar novo hardware e pagar a mais pelos seguintes motivos:
- a rede geralmente cresce lentamente e a expansão da funcionalidade ou do desempenho do switch em sua rede pode ser suficiente por muito tempo
- Não é segredo que os equipamentos de fornecedores estrangeiros estão vinculados à moeda estrangeira (dólar ou euro). Para ser honesto, o crescimento do dólar ou do euro (ou a mini-desvalorização periódica do rublo, dependendo de como se olha para isso) leva ao facto de o dólar de há 10 anos e o dólar de agora serem coisas completamente diferentes do ponto de vista do rublo
Resumindo tudo o que foi dito acima, gostaria de observar que a compra de equipamentos de rede com funcionalidades mais amplas agora pode levar a economias no futuro.
Aqui considero o custo de aquisição de equipamentos no contexto do investimento na minha rede e infraestrutura.
Assim, muitos fornecedores (não apenas a Extreme) aderem ao princípio pague conforme crescer, agregando muitas funcionalidades ao equipamento e oportunidades para aumentar o desempenho da interface, que são posteriormente ativadas através da compra de licenças separadas. Eles também oferecem switches modulares com uma ampla variedade de placas de interface e processador, e a capacidade de aumentar consistentemente seu número e desempenho.
Redundância de nós críticos
Nesta parte do artigo, gostaria de descrever brevemente os princípios básicos de redundância de nós de rede importantes, como núcleo, data center ou switches de distribuição. E quero começar examinando tipos comuns de reservas – empilhamento e clustering.
Cada método tem seus prós e contras, sobre os quais gostaria de falar.
Abaixo está uma tabela de resumo geral comparando os 2 métodos:
- gestão — como pode ser visto na tabela, nesse sentido, o empilhamento tem uma vantagem, pois do ponto de vista do gerenciamento, uma pilha de vários switches aparece como um switch com um grande número de portas. Em vez de gerenciar, digamos, 8 switches diferentes com clustering, você só pode gerenciar um com empilhamento.
- distância - no momento, a rigor, a vantagem do clustering não é tão óbvia, uma vez que surgiram tecnologias para empilhamento de switches por meio de portas de empilhamento ou portas de dupla finalidade (por exemplo, SummitStack-V para Extreme, VSS para Cisco, etc.), que também dependem dos tipos de transceptores. Aqui, a vantagem é dada ao clustering com base no princípio de que, ao empilhar, existem opções nas quais é necessário usar portas de empilhamento regulares, que muitas vezes são conectadas com cabos especiais de comprimento limitado - 0.5, 1, 1.5, 3 ou 5 metros.
- Atualização de software - aqui vemos que o clustering tem uma vantagem sobre o empilhamento e a questão é a seguinte - ao atualizar a versão de software do equipamento durante o empilhamento, você atualiza o software no switch mestre, que posteriormente assume a função de colocar novo software no switches membros em espera da pilha. Por um lado, isso facilita o seu trabalho, mas a atualização do software muitas vezes requer uma reinicialização do hardware do equipamento, o que leva à reinicialização de toda a pilha e, portanto, à interrupção de sua operação e de todos os serviços a ela associados por um período. de tempo = o tempo de reinicialização. Isso geralmente é muito crítico para o núcleo e o data center. Com o clustering, você tem 2 dispositivos independentes um do outro, nos quais pode atualizar o software sequencialmente, um após o outro. Neste caso, as interrupções nos serviços podem ser evitadas.
- configuração de configurações — aqui, claro, o empilhamento tem a vantagem, pois no caso do gerenciamento, basta editar as configurações de um dispositivo e seu arquivo de configuração. Com clustering, o número de arquivos de configuração será igual ao número de nós do cluster.
- tolerância ao erro — aqui ambas as tecnologias são aproximadamente iguais, mas o agrupamento ainda tem uma ligeira vantagem. A razão aqui é a seguinte: se considerarmos a pilha do ponto de vista da execução de processos e protocolos, veremos o seguinte:
  - existe um switch mestre no qual todos os principais processos e protocolos estão em execução (por exemplo, o protocolo de roteamento dinâmico - OSPF)
  - existem outros switches de switch escravo nos quais os principais processos necessários para trabalhar na pilha e atender o tráfego que passa por eles estão em execução
  - Quando um switch mestre falha, o próximo switch escravo de prioridade detecta uma falha mestre
  - ele se inicia como mestre e inicia todos os processos que estavam rodando no mestre (incluindo o protocolo OSPF que observamos)
  - depois de algum tempo para os processos iniciarem (geralmente bastante curto), o próprio protocolo OSPF começa a funcionar
  - Assim, se um dos nós falhar, o OSPF funcionará um pouco mais rápido durante o clustering do que durante o empilhamento (pelo tempo necessário para iniciar e inicializar processos e protocolos no switch escravo da pilha). Embora eu deva observar que os protocolos e switches de empilhamento modernos funcionam muito rapidamente, muitas vezes a duração da interrupção do tráfego ao alternar uma pilha leva menos de um segundo, mas ainda assim o clustering nominal vence neste parâmetro.
- complexidade — como pode ser visto na tabela, o empilhamento vence em termos de complexidade. Isso é consequência direta dos itens “controle” e “configuração dos ajustes”. Um único nó leva muito menos tempo para configurar e gerenciar. Além disso, ao agrupar, muitas vezes é necessário configurar protocolos de roteamento adicionais ou protocolos de reserva de gateway - VRRP, HSRP e outros.
- substituição de unidades – o empilhamento tem uma clara vantagem aqui. Muitas vezes, para substituir um switch em uma pilha, é necessário realizar as configurações mínimas de hardware necessárias, por exemplo:
  - atualizar o software do novo switch para a versão do software da pilha (e isso pode ser feito imediatamente quando os switches chegarem no pacote de peças sobressalentes)
  - configure alguns comandos básicos para empilhamento (e para alguns tipos de switches, mesmo isso pode não ser necessário)
  - remova o switch de pilha com falha e conecte um novo
  - conecte a fonte de alimentação e os patch cords
- elasticidade — Considero para mim um dos principais parâmetros. Em geral, a elasticidade é uma característica complexa, o que significa a propriedade de algo mudar sob a influência de uma carga e retornar à sua forma original após o seu desaparecimento. Curiosamente, para agrupamento será maior mesmo levando em consideração a pontuação 4:3 em termos de características a favor do empilhamento. É tudo uma questão do fator humano. Sim, sim, não se surpreenda - a força de parâmetros de empilhamento como controle unificado, configuração de configurações e complexidade leve também reside na fraqueza do empilhamento quando o fator humano entra em jogo.
No meu trabalho em TI, deparei-me com muitas situações (e, francamente, até eu mesmo já cometi o mesmo erro, principalmente no início da carreira) em que, ao configurar um sistema, um engenheiro cometia um erro ao inserir um comando ou habilitar/desabilitar um recurso no equipamento, resultando na falha de todo o sistema e na necessidade de reinicialização manual. Vale a pena mencionar os fãs do aplicativo PuTTY para... Windows (Ah, essa história de copiar clicando com o botão direito).
Na verdade, ambas as tecnologias são muito boas (especialmente em comparação com a ausência de redundância) e cada uma tem seus próprios pontos fortes e fracos, mas para o nível central e para um data center de alta carga, eu ainda preferiria usar clustering.
Embora esta seja apenas minha opinião. Muitos engenheiros profissionais que estão envolvidos no suporte de rede há muitos anos em nível profissional podem usar ambas as tecnologias igualmente - tudo depende da experiência e das qualificações.
Além das tecnologias para empilhar e reservar nós de rede, também existem princípios gerais para reservar partes do próprio nó da rede e conexões entre nós:
Por reserva dentro de um nó da rede quero dizer:
- redundância de fontes de alimentação - instalar 2 fontes de alimentação que se dupliquem (e de preferência conectadas à 1ª categoria de fonte de alimentação) pode facilitar muito sua vida.
- redundância de cartões de controle - aplica-se em maior medida aos interruptores modulares, que permitem a conexão de vários cartões de controle que se duplicam.
- redundância de placas de interface - também se aplica principalmente a switches modulares.
A reserva de conexões/links significa basicamente a presença de rotas de cabos sobrepostas (ou links de rádio no caso de espaços abertos) com:
- distribuição em diferentes eixos de cabos e canais dentro do edifício
- distribuição geográfica no território ao nível de 2 ou mais edifícios, cidade, região ou país (os chamados anéis volumétricos)
Ao mesmo tempo, ao construir links de comunicação de backup, é necessário seguir uma série de recomendações para equipamentos:
- no caso de duplicação de placas de interface de um switch modular, ou na presença de uma pilha, é necessário distribuir links entre as unidades - placas de interface no caso de switches modulares e switches no caso de uma pilha.
- É aconselhável utilizar protocolos de agregação de comunicação (LACP, MLT, PAgP, etc.) para combinar links em grupos e equilibrar a carga entre eles.
- use roteadores que suportam protocolos ECMP (Equal-Cost-Multi-Path) - quando, quando vários pacotes são entregues ao longo de uma rota, esses pacotes não passam por um melhor caminho (e interface), mas são distribuídos por vários melhores caminhos (e diversas interfaces), que são determinadas pela igualdade das métricas do protocolo de roteamento, que por sua vez é responsável pelo preenchimento da tabela de roteamento final.
E agora, como prometido, descreverei um caso real da minha prática e do princípio de economia na reserva de nós críticos, que aconteceu há vários anos:
- Uma empresa, que chamarei de X, tinha um modelo de rede padrão de 3 camadas:
  - com vários núcleos
  - várias dezenas de agregações
  - vários milhares de switches de acesso
  - várias dezenas de milhares de usuários
- a rede foi construída de forma bastante complexa:
  - com vários protocolos e protocolos de roteamento dinâmico - OSPF, MP-BGP, MPLS, PIM, IGMP, IPv6, etc.
  - um conjunto de serviços - acesso à Internet, VPN L2 e L3, VoIP, IPTV, linhas alugadas, etc.
- mas havia um gargalo na rede - um roteador de borda que combinava as funções de um borderer BGP e encerrava alguns serviços de usuário
- sim, custou tanto quanto uma asa de avião (vários milhões de rublos)
- sim, naquela época era um dos principais dispositivos da linha do fornecedor de rede mais famoso
- sim, tinha que ser muito confiável - com uma excelente classificação MTBF
- sim, possuía 4 fontes de alimentação, montadas em esquema 2x2 e conectadas a diferentes UEPS e entradas.
Mas tudo isso não mudou o fato de que se tratava de um ponto único de falha na rede.
E um dia, longe de ser maravilhoso para mim e meus colegas, esse roteador morreu há muito tempo (depois descobrimos que houve algum tipo de falha na linha de energia através do UEPS, que levou à saída de 2 fontes de alimentação em ao mesmo tempo e quando Neste caso, um dos blocos queimou o módulo roteador RP e a placa de interface, que estavam conectados ao barramento de dados comum do dispositivo).
Não tínhamos placas backup - RP e placa de interface, mas existia um contrato de substituição de equipamentos ou seus componentes com um dos parceiros no âmbito do esquema NBD.
Infelizmente, naquela época os parceiros só tinham uma placa de interface em estoque, mas nenhuma placa RP; ela chegou apenas alguns dias depois (após 3 dias).
Como resultado, a presença de um único ponto de falha na rede (mesmo com contrato de suporte e substituição de equipamentos) resultou nos seguintes custos financeiros:
- a parcela dos serviços da empresa atribuíveis ou relacionados a esta fronteira foi de cerca de 60-70%
- como foi calculado posteriormente, o lucro diário era de cerca de 900 mil rublos (aproximadamente) naquela época
- Assim, em 3 dias de inatividade, teoricamente, o lucro foi perdido no valor de 1 milhão 620 mil rublos a 1 milhão 890 mil rublos
É claro que as perdas líquidas foram menores, já que a compensação para a maioria dos usuários não foi devolvida na forma de dinheiro, mas na forma de serviços, mas eles ainda estavam lá:
- parte da remuneração para usuários corporativos
- aumento de custos para os funcionários da empresa que trabalharam todos esses 3-4 dias com força total - horas extras, turnos noturnos, aumento de turnos, etc.
- perdas de reputação, o que também é importante
- e o mais importante - os nervos da administração, dos funcionários e dos clientes
Como resultado, a política da empresa foi revisada:
- recusou o contrato de substituição sob os termos do NBD
- deixou o contrato de serviço regular
- comprou um roteador de backup no valor de aproximadamente 1 a 1.3 milhão de rublos para reservar 90% da funcionalidade do principal
Posteriormente, a aquisição de equipamentos adicionais e a reserva do principal permitiram equilibrar a carga dos links externos, o tráfego e os usuários entre eles, e proporcionaram uma margem de segurança para a empresa em novos acidentes.
Exemplo de design de rede empresarial
Nesta parte do artigo tentarei delinear os principais pontos no cálculo da rede backbone corporativa. Não vou sobrecarregá-lo com toda a técnica PPDIOO (Preparar-Planejar-Design-Implementar-Operar-Otimizar), mas apenas delinear seus pontos principais:
- Preparar/Preparação - você precisa decidir com sua gestão sobre os objetivos de modernização da rede que deseja alcançar - aumentar a tolerância a falhas, introduzir novos serviços ou tecnologias. Vou pular a definição de restrições - técnicas e organizacionais - aqui, pois presumo que você é um funcionário da organização e tem muito tempo para superá-las. Voltarei ao tópico do orçamento abaixo.
- Planejamento - aqui você terá que construir uma descrição completa da sua rede atual (caso ainda não a conheça), ou seja, descreva a rede como ela é agora:
  - quantidade e tipo de equipamento
  - número e tipos de portas
  - rotas de cabos existentes e esquemas de comutação dentro e entre edifícios
  - circuitos de alimentação
  - Endereçamento L2 e L3
  - construir mapas de redes Wi-Fi indicando pontos de acesso e controladores
  - descreva seu farm de servidores
  - É aconselhável descrever todos os seus serviços e as conexões entre eles
  - se você já implementou uma política de segurança de rede e uma política de controle de acesso à rede de uma forma ou de outra, leve isso em consideração ao projetar
  - Observo imediatamente que a segunda etapa é essencialmente um inventário completo da rede, começando pela infraestrutura de cabos e circuitos de alimentação, e terminando com os serviços (aplicações e suas portas). Esta etapa é muito, muito demorada e às vezes até tediosa. Se você ou seu antecessor não mantinham documentação ou mesmo um sistema básico de monitoramento, então é hora de pensar nisso. A rede tende a mudar ao longo do tempo em taxas variadas, e somente manter a documentação atualizada ou um sistema de monitoramento pode ajudá-lo a acompanhar sua condição e facilitar sua administração. Mas isto já se aplica à etapa de operação.
- Projeto - Munido de todo o conhecimento da sua rede obtido na etapa anterior, você finalmente senta e pensa em como modernizar sua rede. Abaixo tentarei demonstrar um pequeno exemplo de cálculo de rede.
Para mim, compilei uma pequena lista com dados iniciais que me guiarão no cálculo e projeto da rede principal.
Vamos imaginar a etapa Preparar como uma lista do que temos disponível e do que planejamos fazer:
- há uma empresa bastante grande com um número aproximado de empregos, cerca de 700-800 (aqui me refiro aos funcionários que precisam de acesso à rede corporativa)
- Existem vários edifícios separados no território da empresa:
- Edifícios principais:
  - número de edifícios - 2 unidades.
  - número de andares do edifício - 7 unid.
  - número de gabinetes de telecomunicações por andar em um edifício - 3 (total 21) peças
  - número de funcionários no prédio =~ 250 pessoas
- Gabinetes adicionais:
  - número de edifícios - 10 unidades.
  - número de pisos do edifício/oficina - 2 unid.
  - número de gabinetes de telecomunicações no edifício - 3 unidades.
  - número de funcionários no prédio =~ 20 pessoas
- O nível atual do núcleo da rede (aliás, um esquema muito comum que encontrei mais de uma vez de uma forma ou de outra e composição de portas) é apresentado:
  - 2 interruptores L2:
    - Portas RJ-1 de 45 Gb - 24 unid.
    - Portas SFP de 1 Gb - 4 unid.
  - 1ª chave L2:
    - Portas SFP de 1 Gb - 24 unid.
  - topologia principal - anel
  - links ponto a ponto entre switches são habilitados usando fibras ópticas
  - os switches estão localizados em pequenas salas de servidores com gabinetes
- Nível de distribuição atual:
  - combinado com o nível central da rede em termos de agregação de links de switches de acesso
  - O endereçamento L3 é colocado no roteador de fronteira e/ou firewall
- Nível de acesso atual:
  - Switches L2 com 16 portas de acesso RJ-100 de 45 Mb e 2 portas combinadas de uplink Gigabit RJ-45/SFP
  - os interruptores estão localizados em gabinetes no chão
  - topologia do switch de acesso:
    - estrela (hub-and-spoke - hub and spokes) com switch de núcleo/distribuição no meio
    - feixe/raio é um ramo de interruptores por andar - 3 peças em uma corrente
  - existem switches de acesso não gerenciados
  - interruptores em 9 casos adicionais são conectados através de conversores de mídia (conversores de sinal óptico para elétrico)
- Infraestrutura de cabos atual:
  - Sistema de cabos entre edifícios:
    - existe um cabo óptico entre os 2 edifícios principais com capacidade de 8 fibras
    - existe 1 cabo óptico entre um dos edifícios adicionais (onde o switch central está instalado) e cada um dos edifícios principais com capacidade de 8 fibras cada
    - Há 1 cabo óptico entre add. gabinetes e gabinetes com switches centrais instalados com capacidade de 4 fibras (sua distribuição é mostrada na figura abaixo)
    - tipo de fibra em todos os cabos - monomodo/SMF
    - Transceptores SFP de modo único de 2 fibras são usados
    - Alguns dos cabos terminam em conexões cruzadas ópticas (ODF) em salas separadas (salas cruzadas/salas de servidores), e alguns dos cabos terminam em SHTOs no nível do chão
  - Sistema de cabos dentro de edifícios:
    - existe uma estrutura de cabos mista entre as salas de servidores e os primeiros gabinetes nos andares:
    - Cabos de cobre Cat5e - 10 unidades (ou cabos de 100 pares)
    - cabo multimodo/MMF de fibra óptica para 4 ou 8 fibras - 1 unid.
    - cabo de fibra óptica multimodo/MMF para 4 fibras entre gabinetes de piso
    - cabos Cat5e de cobre entre gabinetes de piso e tomadas de acesso
  - data center atual:
    - existem vários servidores, por exemplo 6 peças
    - incluiu portas de 1 Gb no switch principal no primeiro edifício principal
    - todos os aplicativos corporativos são hospedados em servidores
  - Endereçamento e roteamento L2, L3:
    - a rede possui várias VLANs - 2,3 por prédio
    - servidores são alocados em uma rede /24 separada
    - Para necessidades internas são utilizadas redes cinza classe B, incluídas na faixa - 172.16.0.0/16
    - Os endereços L3 terminam no roteador de fronteira e/ou firewall
    - roteamento estático é usado
  - Informações adicionais:
    - telefonia:
      - Em edifícios e em alguns edifícios, a telefonia tradicional é implantada usando PBXs digitais antigos (não IP-PBX)
      - é necessário instalar telefones em novos edifícios, sem o custo de instalar caros cabos de cobre de determinada capacidade e construir uma duplicata do SCS para telefonia no interior dos edifícios
      - Com o tempo, está prevista a introdução da telefonia IP em toda a empresa, combiná-la com sistemas de CRM e transferir todos os funcionários para ela
    - capacidade portuária:
      - é necessário analisar a capacidade atual das portas troncais e de acesso e reservar pelo menos 25-30% para necessidades futuras
      - analisar a suficiência do rendimento atual das portas de acesso e links de tronco
      - fornecer portas de acesso PoE/PoE+ para dispositivos de sistemas relacionados - vigilância por vídeo e telefonia
    - CFTV:
      - está planejado usar a rede corporativa como transporte para uma rede de videovigilância
      - é necessário fornecer portas PoE para câmeras CCTV
    - sistemas sem fio:
      - No futuro, está prevista a introdução de infraestrutura sem fio para mobilidade dos funcionários
      - é necessário fornecer portas PoE para pontos de acesso
    - requisitos de orçamento, prazo e equipamento:
      - aproveitar ao máximo os equipamentos disponíveis
      - ao projetar uma rede, leve em consideração a possibilidade de expandir a capacidade da rede com N anos de antecedência
      - ao projetar uma rede, leve em consideração o suporte para todos os tipos de funções de segurança - aqui está uma lista de funcionalidades, começando pela segurança da porta e terminando com autenticação e autorização de usuários usando 802.1x.
      - reservar o máximo possível de nós críticos da rede de importância primária - o núcleo e o data center, e fornecer a possibilidade de reservar nós de importância secundária - nós de distribuição
      - o orçamento do projeto deve prever um financiamento consistente em várias etapas
      - o valor do orçamento - aqui cada empresa determina por si mesma, orientada pelos seus indicadores financeiros
      - prazos - no caso mais ideal, não haverá prazos óbvios, visto que se trata de um projeto interno da empresa que está a ser implementado pelos seus colaboradores, ou serão relativamente confortáveis - por exemplo, 1 ano (ou mais). Na pior das hipóteses, pode ser de 3 meses a seis meses.
    - resolver problemas atuais de rede:
      - perda de pacotes
      - problemas com DHCP em switches de acesso mais ou menos inteligentes associados ao uso da família de protocolos STP para combater loops nas portas de acesso.
      - livrar-se da presença de uma interface de servidor DHCP em cada VLAN de funcionários
      - a ocorrência de loops de comutação associados à ativação não autorizada de switches gerenciados/não gerenciados em escritórios e à conexão de vários dispositivos a eles
      - A lista continua e continua...
    Etapa Planejamento - a caracterização do estado da sua rede atual, como já escrevi, depende da presença de um sistema de monitoramento de alta qualidade e do grau de sua documentação. Nesta etapa você terá que:
    - no mínimo, esboce a rede existente para análise posterior
    - coletar dados do equipamento:
      - tráfego em portas tronco
      - erros nas portas
      - Carga de CPU e consumo de memória em switches e roteadores
      - descrever esquemas L2-L3 por VLANs e endereços IP
    - levante os diagramas de rota do cabo:
      - circuitos de fibra e diagramas de fiação para conexões cruzadas ópticas
      - diagramas de distribuição de cabos de cobre entre salas de servidores e andares
      - diagramas de distribuição de cabos de cobre entre andares e salas
      - verifique a presença de conexões cruzadas ópticas e painéis de conexão em salas de servidores e gabinetes
    - verifique os circuitos de fonte de alimentação em servidores e gabinetes de chão
    - verifique a presença de um UPS e bateria em nós críticos
    - analisar todos os dados
    Com base nos dados da fase de preparação, elaborei um diagrama lógico aproximado:
    
    A seguir, seguindo a abordagem modular, é necessário destacar os níveis e módulos do empreendimento:
    
    Não vou tocar no Edge neste artigo, mas vou relembrar brevemente as teses básicas de cada um dos módulos do Campus:
    - Acesso – neste nível deve proporcionar:
      - número necessário de portas para acesso do usuário à rede
      - execução de políticas de segurança – filtragem de tráfego e protocolos
      - compactação de domínio de transmissão e segmentação de rede usando VLANs
      - implementação de VLANs separadas para tráfego de voz
      - Suporte QoS
      - suporte para portas de acesso PoE
      - Suporte multicast IP
      - tolerância a falhas de links de comunicação upstream juntamente com o nível de distribuição (desejável)
    - Distribuição – neste nível deverá ser assegurado:
      - número necessário de portas para conectar switches de acesso
      - agregação e redundância de links de switch de acesso
      - Roteamento IP
      - filtragem de pacotes
      - Suporte QoS
      - tolerância a falhas ao nível de links, equipamentos e fonte de alimentação (altamente desejável)
    - O núcleo deve fornecer:
      - comutação de alta velocidade e roteamento de pacotes
      - número necessário de portas para conectar switches de distribuição
      - suporte para roteamento IP e protocolos de roteamento dinâmico com rápida convergência de rede
      - Suporte QoS
      - funcionalidade de segurança para proteger o acesso ao equipamento e plano de controle
      - tolerância a falhas no nível de hardware e fonte de alimentação (obrigatório)
    - Data center - a camada de rede deste módulo deve fornecer:
      - links de comunicação de alta velocidade
      - número necessário de portas para conectar servidores
      - redundância de links de comunicação entre servidores e switches de data center e entre switches de data center e o núcleo da rede (obrigatório)
      - redundância de equipamentos e fonte de alimentação (obrigatório)
      - Suporte QoS
    Em seguida, precisamos contar nossas portas e links de comunicação e determinar os requisitos.
    Nível de acesso - tabela de cálculo de porta
    Assim, obtivemos dados sobre a distribuição das portas de acesso pelos edifícios. Agora você precisa analisar os requisitos e comentários do nível de acesso e delinear as opções de solução.
    Nível de acesso – requisitos e opções de solução
    A seguir contaremos as portas e links de comunicação para os seguintes níveis:
    Nível de distribuição
    Nível do kernel
    Nível do data center
    Ao calcular, obtivemos o seguinte:
    - nível de acesso — São necessários switches de acesso de 24 e 48 portas, preferencialmente com portas de acesso de 1 Gb e portas SFP de uplink óptico com suporte PoE e ampla funcionalidade:
      - no total, fornecerão 504 portas de acesso, o que, em princípio, cobrirá os requisitos de portas sobressalentes caso seja tomada a decisão de utilizar 2 portas por estação de trabalho - um telefone IP e uma porta de dados.
      - É possível utilizar um switch de 48 portas com funcionalidade PoE em cada andar, fornecendo portas de acesso para os requisitos:
        
        reserva - aproximadamente 102 portas sobressalentes (22%) nos edifícios principais. Para edifícios adicionais um pouco mais - 25%.
        
        vigilância por vídeo
        
        rede sem fio
    - nível de distribuição — são necessários switches com um conjunto de portas SFP de 12 a 48 portas com pelo menos 2 portas SFP+, com capacidade de empilhamento e funcionalidade estendida, bem como a presença de fontes de alimentação redundantes.
    - nível do kernel — São necessários switches de alta velocidade de 12 a 24 portas SFP/SFP+ com suporte para empilhamento e clustering com suporte MC-LAG. Devo observar que também é possível usar ferramentas de roteamento para equilibrar o tráfego. As últimas gerações de switches e roteadores L3 suportam ECMP com balanceamento de tráfego em 4 ou mais rotas com a mesma métrica.
    - nível do data center — São necessários switches com 8 a 24 portas SFP/SFP+ com suporte para empilhamento e clustering com suporte MC-LAG.
    O diagrama de rede alvo acabou sendo tal
    Selecionando switches Extreme para implementação de projeto
    Pois bem, agora chegamos ao principal - o momento de escolher os switches para a implementação do nosso projeto. Os seguintes switches Extreme são adequados para o circuito alvo resultante:
    Nível
    modelo
    Portas
    descrição
    núcleo
    x620-16x-Base *
    x670-G2-48x-4q-Base*
    16 x 10GE SFP +
    
    48x10GE SFP+ e 4x40GE QSFP+
    Para necessidades básicas do kernel:
    - links de alta velocidade
    - funcionalidade avançada de roteamento e segurança
    - backup de fonte de alimentação adicional suprimentos de energia
    - suporte para empilhamento e clustering
    Com os requisitos mínimos, um switch da série x620 servirá.
    Se você tiver requisitos expandidos para o número de portas e funcionalidade mais ampla, considere os switches da série x670-G2.
    Centro de dados
    x620-16x-Base*
    x590-24x-1q-2c*
    x670-G2-48x-4q-Base*
    16 x 10GE SFP +
    
    24x10GE SFP, 1xQSFP+, 2xQSFP28
    
    48x10GE SFP+ e 4x40GE QSFP+
    Para necessidades básicas de data center:
    - links de alta velocidade
    - backup de fonte de alimentação adicional suprimentos de energia
    - suporte para empilhamento e clustering
    Com os requisitos mínimos, um switch da série x620 servirá.
    No caso de requisitos expandidos para o número de portas e funcionalidade mais ampla, vale a pena considerar os switches das séries x670-G2 e x590-24x-1q-2c.
    distribuição
    X460-G2-24x-10GE4-Base*
    X460-G2-48x-10GE4-Base*
    24x1GE SFP, 8x1000 RJ-45, 4x10GE SFP+
    
    48x1GE SFP, 4x10GE SFP+
    Para necessidades básicas de distribuição:
    - número necessário de portas ópticas
    - backup de fonte de alimentação adicional suprimentos de energia
    - suporte para empilhamento e clustering
    - funcionalidade L3 necessária
    Os switches da série x460-G2 são ideais. A presença de fontes de alimentação redundantes com capacidade de expansão e adição de portas 10G, CX (para empilhamento) e QSFP+ os torna switches ideais para a camada de distribuição com portas de até 1 Gb.
    acesso
    X440-G2-24p-10GE4*
    X440-G2-24t-10GE4*
    X440-G2-48t-10GE4*
    X440-G2-48p-10GE4*
    24x1000BASE-T (combo 4 x SFP), 4x10GE SFP+ (orçamento PoE 380 W)
    
    24x1000BASE-T (4 x combinação SFP), 4x10GE SFP+
    
    24x1000BASE-T (4 x SFP combo), 4x10GE SFP+ portas combo
    
    48x1000BASE-T (4 x SFP combo),4x10GE SFP+ portas combo (orçamento PoE 740 W)
    Para necessidades de acesso:
    - número necessário de portas de acesso
    - Suporte PoE/PoE+
    - funcionalidade e capacidade de expandir portas
    - bônus adicional na forma de suporte para empilhamento de portas de 10 Gb prontas para uso
    Recomendo prestar atenção a esta linha devido à sua flexibilidade em termos de portas, desempenho e funcionalidade.
    *as especificações dos switches selecionados podem ser encontradas no primeiro artigo da série - revisão de interruptores extremos
    Eu poderia terminar o artigo aqui, mas gostaria de destacar 2 aspectos adicionais que qualquer engenheiro encontrará ao desenvolver ou atualizar sua rede:
    - trabalhar com rotas de cabos - fibras e linhas de cobre
    - Endereçamento IP
    Trabalhando com fibras
    Acima, forneci o esquema de metas que precisa ser alcançado. Para implementá-lo, é necessário o seguinte número de conexões para equipamentos:
    número de links de comunicação
    Como pode ser visto na tabela, o número mínimo de fibras necessárias para garantir a tolerância a falhas dos níveis de rede (módulo central, data centers e distribuições em 2 edifícios) é de 10 peças.
    Na fase de caracterização da rede, constatámos que existem apenas 8 fibras no cabo entre edifícios. O que fazer em tal situação?
    Vou dar algumas soluções:
    - O primeiro passo óbvio é usar as fibras livres no cabo entre Prédio 1 - Prédio 1 e Prédio 1 - Prédio 2 (como você pode ver na tabela - apenas 2 das 8 fibras em cada cabo são usadas). Para isso, basta instalar cross-connects ópticos entre os cross-connects do caso 1 e, se necessário, utilizar módulos SFP com reserva do orçamento óptico.
    - a segunda etapa é o uso da tecnologia CWDM - multiplexação de comprimentos de onda de portadora dentro de uma fibra. Esta tecnologia é muito mais barata que o DWMD e bastante simples de implementar. Basicamente, os requisitos são para a qualidade das fibras ópticas e transceptores SFP/SFP+ de determinado comprimento e orçamento. Como eu disse em um artigo anterior, a capacidade dos switches de reconhecer transceptores de terceiros pode facilitar muito a nossa vida e reduzir os custos de capital para a construção de cabos ópticos adicionais.
    - O terceiro passo é considerar a possibilidade de aumentar as fibras através da colocação de cabos ópticos adicionais.
    A seguir, analisamos o número de fibras entre edifícios com interruptores de distribuição instalados e adicionais. edifícios 2-10. Também aqui nem tudo é tão claro:
    - em primeiro lugar, não há fibras suficientes para implementar o nosso esquema alvo - existem 2 fibras para cada switch (como lembramos, temos cabos com 4 fibras ópticas para cada caso)
    - em segundo lugar, mesmo que haja um número suficiente de fibras entre os edifícios, as fibras MMF são utilizadas no interior dos edifícios, o que não nos permitirá simplesmente ligar fibras SMF e MMF (estou a falar de distâncias entre edifícios superiores a 300-400 metros)
    Nesses casos, as seguintes opções podem ser consideradas:
    - fornecimento de cada switch SMF com fibras:
      - se a distância permitir, você pode esticar patch cords longos adicionais entre os switches. Ao mesmo tempo, usamos patch cords de 30 a 50 m de comprimento.
      - colocar um cabo SMF óptico de baixa capacidade relativamente barato entre gabinetes
      - como último recurso, use vários conversores SMF-MMF
    - Para minimizar a quantidade de fibra usada entre edifícios, você pode:
      - use a funcionalidade de empilhamento dos switches de acesso x440-G2 - enquanto usa 1 fibra SMF para cada switch no chão, o que permitirá que você use 6 fibras e portas em cada lado em vez de 3 fibras e portas
      - use 2 fibras para conectar o primeiro switch do ramal e o último. Agregue links em switches de acesso de borda e use protocolos STP no anel resultante.
    Endereçamento IP
    Aqui darei um cálculo de endereçamento aproximado para nosso circuito.
    No momento temos diversas redes classe B - 172.16.0.0/16. Ao calcular o espaço de endereços IP, serei guiado pelas seguintes considerações:
    - 4 bits do segundo octeto indicarão edifícios - 172.16.0.0/12.
    - Octeto 3 indicará o número do andar do prédio.
    - Octeto 3 = 255 será alocado para links de equipamentos ponto a ponto e rede de controle.
    - uma VLAN de gerenciamento por andar para gerenciar switches.
    - uma VLAN de usuário por switch (média de 24 portas).
    - uma VLAN de voz por switch (média de 24 portas).
    - uma VLAN para o sistema de videovigilância por andar.
    - uma vlan para dispositivos Wi-Fi por andar.
    Acabei com tabelas assim:
    rede 172.16.0.0/14
    rede 172.20.0.0/14
    Na tabela acima, dei uma distribuição aproximada de redes entre edifícios e andares, por um lado, e redes (usuário, gestão e serviço), por outro.
    Na verdade, escolher a rede cinza 172.16.0.0/12 não é o mais ideal, pois nos limita no número de redes (de 16 a 31) para edifícios, e também há escritórios remotos que também precisam cortar blocos de rede , talvez a opção mais ideal seja usar redes 10.0.0.0/8 ou compartilhar redes 172.16.0.0/12 (por exemplo, para necessidades de serviço e servidores) e 10.0.0.0/8 (para redes de usuários).
    Em geral, a abordagem para a alocação de redes IP também é modular e é aconselhável seguir as regras para somar sub-redes em uma rede agregada nos níveis de distribuição, bem como em roteadores de fronteira em filiais remotas. Isso é feito por vários motivos:
    - para minimizar tabelas de roteamento em roteadores
    - para minimizar o tráfego de serviço de protocolos de roteamento (todos os tipos de mensagens de atualização, quando sub-redes aninhadas não estão disponíveis)
    - para simplificar a administração e melhorar a legibilidade das redes L3
    Embora, em relação aos 2 primeiros pontos, seja importante notar que o poder dos roteadores modernos é muito maior do que os de 15-20 anos atrás e permite que eles contenham grandes tabelas de roteamento em sua RAM, e a relação entre preço e capacidade do canal de comunicação diminuiu em comparação com os preços de tempos de uso generalizado de fluxos E1/T1 (G.703).
    Conclusão
    Amigos, neste artigo tentei falar o mais brevemente possível sobre os princípios básicos do projeto de redes de campus. Sim, havia bastante material, e isso apesar de eu não ter tocado em temas como:
    - organização da fronteira corporativa (e esta é uma história diferente com seus switches, fronteiras, firewall, sistemas IPS/IDS, DMZ, VPN e outras coisas)
    - organização de redes Wi-Fi
    - organização de redes VoIP
    - organização de data centers
    - segurança (e este também é o seu próprio mundo separado, que em termos de volume e requisitos não é inferior ao design de uma infraestrutura de rede pura, e às vezes até o supera)
    - engenharia de energia
    - A lista continua e continua
    Na verdade, projetar e construir uma rede empresarial é uma tarefa bastante trabalhosa que requer muito tempo e recursos.
    Mas espero que meu artigo o ajude a avaliar e compreender inicialmente como abordar essa tarefa.
    Este não é o último artigo sobre Extreme Networks, então fique ligado (Telegram, Facebook, VK, Blog da solução TS)!