Hoxe falareivos de como xurdiu e se implantou a idea de crear unha nova rede interna para a nosa empresa. A posición da dirección é que ten que facer o mesmo proxecto completo por si mesmo que para o cliente. Se o facemos ben por nós mesmos, podemos invitar ao cliente e mostrar o ben que funciona e funciona o que lle ofrecemos. Polo tanto, abordamos moi a fondo o desenvolvemento do concepto dunha nova rede para a oficina de Moscova, utilizando o ciclo de produción completo: análise das necesidades departamentais → selección dunha solución técnica → deseño → implementación → probas. Entón, imos comezar.
Selección dunha solución técnica: Mutant Sanctuary
O procedemento para traballar nun sistema automatizado complexo descríbese actualmente mellor en GOST 34.601-90 "Sistemas automatizados. Etapas da Creación”, polo que traballamos segundo ela. E xa nas etapas de formación dos requisitos e desenvolvemento do concepto, atopamos as primeiras dificultades. As organizacións de diversos perfís -bancos, compañías de seguros, desenvolvedores de software, etc.- necesitan para as súas tarefas e estándares determinados tipos de redes, cuxas especificidades sexan claras e estandarizadas. Non obstante, isto non funcionará con nós.
Por que?
Jet Infosystems é unha gran empresa de TI diversificada. Ao mesmo tempo, o noso departamento de soporte interno é pequeno (pero orgulloso), garante a funcionalidade dos servizos e sistemas básicos. A empresa contén moitas divisións que realizan diferentes funcións: son varios poderosos equipos de outsourcing, desenvolvedores internos de sistemas empresariais, seguridade da información e arquitectos de sistemas informáticos, en xeral, sexa quen sexa. En consecuencia, as súas tarefas, sistemas e políticas de seguridade tamén son diferentes. O que, como era de esperar, creou dificultades no proceso de análise e normalización de necesidades.
Aquí, por exemplo, está o departamento de desenvolvemento: os seus empregados escriben e proban código para un gran número de clientes. Moitas veces hai que organizar rapidamente os ambientes de proba e, francamente, non sempre é posible formular requisitos para cada proxecto, solicitar recursos e construír un ambiente de proba separado de acordo con todas as normativas internas. Isto dá lugar a situacións curiosas: un día o teu humilde servidor mirou para a sala de desenvolvedores e atopou debaixo da mesa un clúster Hadoop de 20 escritorios que funcionaba correctamente, que estaba inexplicablemente conectado a unha rede común. Non creo que valga a pena aclarar que o departamento de informática da empresa non coñecía a súa existencia. Esta circunstancia, como moitas outras, foi a responsable de que durante o desenvolvemento do proxecto nacese o termo “reserva mutante”, que describe o estado da longamente sufrida infraestrutura de oficinas.
Ou aquí tes outro exemplo. Periódicamente, se instala un banco de probas dentro dun departamento. Este foi o caso de Jira e Confluence, que foron utilizados de forma limitada polo Centro de Desenvolvemento de Software nalgúns proxectos. Despois dun tempo, outros departamentos coñeceron estes recursos útiles, avaliáronos e, a finais de 2018, Jira e Confluence pasaron do estado de "xoguete de programadores locais" ao estado de "recursos da empresa". Agora débese asignar un propietario a estes sistemas, SLA, políticas de seguridade de acceso/información, políticas de copia de seguridade, seguimento, regras para enrutar solicitudes para solucionar problemas deben estar definidos; en xeral, deben estar presentes todos os atributos dun sistema de información completo. .
Cada unha das nosas divisións é tamén unha incubadora que cultiva os seus propios produtos. Algúns deles morren na fase de desenvolvemento, algúns os empregamos mentres traballamos en proxectos, mentres que outros enraízanse e convértense en solucións replicadas que comezamos a utilizar nós mesmos e vender aos clientes. Para cada un destes sistemas, é desexable ter o seu propio contorno de rede, onde se desenvolverá sen interferir con outros sistemas e nalgún momento poida integrarse na infraestrutura da empresa.
Ademais de desenvolvemento, temos un moi grande con máis de 500 empregados, formados en equipos para cada cliente. Están implicados no mantemento de redes e outros sistemas, monitorización remota, resolución de reclamacións, etc. É dicir, a infraestrutura do SC é, de feito, a infraestrutura do cliente co que traballan actualmente. A peculiaridade de traballar con esta sección da rede é que as súas estacións de traballo para a nosa empresa son en parte externas e en parte internas. Polo tanto, para o SC implementamos o seguinte enfoque: a empresa proporciona ao departamento correspondente rede e outros recursos, considerando as estacións de traballo destes departamentos como conexións externas (por analoxía con sucursais e usuarios remotos).
Deseño de estradas: somos o operador (sorpresa)
Despois de avaliar todas as trampas, decatámonos de que estabamos a conseguir unha rede de operador de telecomunicacións nunha oficina e comezamos a actuar en consecuencia.
Creamos unha rede central coa axuda da cal calquera consumidor interno, e no futuro tamén externo, recibe o servizo necesario: VPN L2, VPN L3 ou enrutamento L3 normal. Algúns departamentos necesitan acceso seguro a Internet, mentres que outros precisan acceso limpo sen firewalls, pero ao mesmo tempo protexendo os nosos recursos corporativos e a rede principal do seu tráfico.
"Concluímos un SLA" informalmente con cada división. De acordo co mesmo, todas as incidencias que se produzan deberán ser eliminadas nun prazo determinado e previamente acordado. Os requisitos da empresa para a súa rede resultaron estritos. O tempo máximo de resposta ante unha incidencia en caso de fallos de teléfono e correo electrónico foi de 5 minutos. O tempo para restaurar a funcionalidade da rede durante os fallos típicos non é superior a un minuto.
Dado que temos unha rede de nivel operador, só podes conectarte a ela de acordo coas regras. As unidades de servizo establecen políticas e ofrecen servizos. Nin sequera precisan de información sobre as conexións de servidores, máquinas virtuais e estacións de traballo específicas. Pero, ao mesmo tempo, son necesarios mecanismos de protección, porque nin unha soa conexión debería desactivar a rede. Se se crea un bucle accidentalmente, outros usuarios non deberían notar isto, é dicir, é necesaria unha resposta adecuada da rede. Calquera operador de telecomunicacións resolve constantemente problemas similares aparentemente complexos dentro da súa rede principal. Ofrece servizo a moitos clientes con diferentes necesidades e tráfico. Ao mesmo tempo, os diferentes subscritores non deberían experimentar molestias polo tráfico doutros.
Na casa, resolvemos este problema do seguinte xeito: construímos unha rede troncal L3 con total redundancia, utilizando o protocolo IS-IS. Construíuse unha rede de superposición sobre o núcleo baseada na tecnoloxía /, utilizando un protocolo de enrutamento . Para acelerar a converxencia dos protocolos de enrutamento utilizouse a tecnoloxía BFD.
Estrutura da rede
Nas probas, este esquema demostrou ser excelente: cando se desconecta calquera canle ou conmutador, o tempo de converxencia non é superior a 0.1-0.2 s, pérdense un mínimo de paquetes (moitas veces ningún), as sesións TCP non se rompen, as conversas telefónicas non se interrompen.
Capa subxacente - Enrutamento
Capa de superposición - Enrutamento
Utilizáronse como conmutadores de distribución Huawei CE6870 con licenzas VXLAN. Este dispositivo ten unha relación calidade/prezo óptima, que lle permite conectar os subscritores a unha velocidade de 10 Gbit/s e conectarse á columna vertebral a velocidades de 40 a 100 Gbit/s, dependendo dos transceptores utilizados.
Interruptores Huawei CE6870
Os interruptores Huawei CE8850 usáronse como interruptores básicos. O obxectivo é transmitir o tráfico de forma rápida e fiable. Non se lles conecta ningún dispositivo agás conmutadores de distribución, non saben nada de VXLAN, polo que se escolleu un modelo con 32 portos 40/100 Gbps, cunha licenza básica que proporciona enrutamento L3 e soporte para IS-IS e MP-BGP. protocolos.
O inferior é o interruptor principal Huawei CE8850
Na fase de deseño, comezou unha discusión dentro do equipo sobre tecnoloxías que se poderían utilizar para implementar unha conexión tolerante a fallos aos nodos da rede central. A nosa oficina de Moscova está situada en tres edificios, temos 7 salas de distribución, en cada unha das cales instaláronse dous interruptores de distribución Huawei CE6870 (só se instalaron interruptores de acceso en varias salas de distribución). Ao desenvolver o concepto de rede, consideráronse dúas opcións de redundancia:
- Consolidación de interruptores de distribución nunha pila tolerante a fallos en cada sala de conexión cruzada. Pros: sinxeleza e facilidade de configuración. Desvantaxes: hai unha maior probabilidade de falla de toda a pila cando se producen erros no firmware dos dispositivos de rede ("fugas de memoria" e similares).
- Aplica as tecnoloxías de pasarela M-LAG e Anycast para conectar dispositivos aos interruptores de distribución.
Ao final, decidimos pola segunda opción. É algo máis difícil de configurar, pero demostrou na práctica o seu rendemento e alta fiabilidade.
Consideremos primeiro conectar os dispositivos finais aos interruptores de distribución:
Cruz
En dous conmutadores de distribución inclúense un conmutador de acceso, servidor ou calquera outro dispositivo que requira unha conexión tolerante a fallos. A tecnoloxía M-LAG proporciona redundancia a nivel de enlace de datos. Suponse que dous interruptores de distribución aparecen no equipo conectado como un único dispositivo. A redundancia e o equilibrio de carga realízanse mediante o protocolo LACP.
A tecnoloxía de pasarela Anycast proporciona redundancia a nivel de rede. Un número bastante grande de VRF está configurado en cada un dos interruptores de distribución (cada VRF está pensado para os seus propios propósitos: por separado para usuarios "regulares", por separado para a telefonía, por separado para varios ambientes de proba e desenvolvemento, etc.), e en cada un. VRF ten varias VLAN configuradas. Na nosa rede, os interruptores de distribución son as pasarelas predeterminadas para todos os dispositivos conectados a eles. Os enderezos IP correspondentes ás interfaces VLAN son os mesmos para ambos os interruptores de distribución. O tráfico envíase polo interruptor máis próximo.
Agora vexamos como conectar os interruptores de distribución ao núcleo:
A tolerancia a fallos ofrécese a nivel de rede mediante o protocolo IS-IS. Ten en conta que hai unha liña de comunicación L3 separada entre os interruptores, a unha velocidade de 100G. Fisicamente, esta liña de comunicación é un cable de acceso directo; pódese ver á dereita na foto dos interruptores Huawei CE6870.
Unha alternativa sería organizar unha topoloxía de estrela dobre totalmente conectada "honesta", pero, como se mencionou anteriormente, temos 7 salas de conexión cruzada en tres edificios. En consecuencia, se escollemos a topoloxía de "estrela dobre", necesitaríamos exactamente o dobre de transceptores 40G de "longo alcance". O aforro aquí é moi significativo.
Hai que dicir algunhas palabras sobre como funcionan conxuntamente as tecnoloxías de pasarela VXLAN e Anycast. VXLAN, sen entrar en detalles, é un túnel para transportar tramas Ethernet dentro de paquetes UDP. As interfaces de loopback dos switches de distribución úsanse como enderezo IP de destino do túnel VXLAN. Cada crossover ten dous switches cos mesmos enderezos de interface de loopback, polo que un paquete pode chegar a calquera deles e pódese extraer un marco Ethernet del.
Se o interruptor coñece o enderezo MAC de destino da trama recuperada, a trama entregarase correctamente ao seu destino. Para garantir que ambos conmutadores de distribución instalados na mesma conexión cruzada teñan información actualizada sobre todos os enderezos MAC que "cheguen" dos conmutadores de acceso, o mecanismo M-LAG encárgase de sincronizar as táboas de enderezos MAC (así como ARP). táboas) nos dous interruptores pares M-LAG.
O equilibrio do tráfico conséguese debido á presenza na rede subxacente de varias rutas ás interfaces de loopback dos interruptores de distribución.
En vez de unha conclusión
Como se mencionou anteriormente, durante as probas e o funcionamento a rede mostrou unha alta fiabilidade (o tempo de recuperación dos fallos típicos non supera os centos de milisegundos) e un bo rendemento: cada conexión cruzada está conectada ao núcleo mediante dúas canles de 40 Gbit/s. Os interruptores de acceso da nosa rede están apilados e conectados aos interruptores de distribución mediante LACP/M-LAG con dúas canles de 10 Gbit/s. Unha pila normalmente contén 5 conmutadores con 48 portos cada un e ata 10 pilas de acceso están conectadas á distribución en cada conexión cruzada. Así, o backbone proporciona uns 30 Mbit/s por usuario mesmo coa carga teórica máxima, o que no momento de escribir é suficiente para todas as nosas aplicacións prácticas.
A rede permítelle organizar perfectamente o emparejamento de calquera dispositivo conectado arbitrariamente a través de L2 e L3, proporcionando un illamento completo do tráfico (que lle gusta ao servizo de seguridade da información) e dos dominios de falla (que lle gusta ao equipo de operacións).
Na seguinte parte contarémosche como migramos á nova rede. Estade atentos!
Máximo Klochkov
Consultor senior do grupo de auditoría de redes e proxectos complexos
Centro de solucións de rede
"Jet Infosystems"
Fonte: www.habr.com