🥇Proyección del conflicto corporativo en la conectividad de red

Proyección del conflicto corporativo sobre la conectividad de red
El conflicto corporativo surgió el 10.06.2019 debido al aumento del coste de envío de SMS a los usuarios de la red Vympelcom por parte de Mail.RU Group. Como medida de respuesta, Mail.RU Group dejó de "servir" los canales IP rusos directos hacia la red Vympelcom.

A continuación, un breve análisis de la situación desde la perspectiva de un ingeniero de red.

mensaje de Update.: 14.06.2019 18:45 — énfasis en las rutas rusas hacia la red Vympelcom, se han corregido las conclusiones y se ha añadido una explicación. Serguei Kubasov (CIO de Vkontakte).
mensaje de Update.: 14.06.2019 19:48 — descripción del método para limitar la propagación de rutas a través del "camino corto" ruso a través de Rostelecom, MTS, RETN.NET.

Introducción:
Vympelcom tiene un sistema autónomo AS3216, todos los demás (8402 — internet doméstico, 16345 — internet móvil) están ubicados detrás del 3216.

Mail.RU Group — sistemas autónomos AS47541, AS47542 y AS47764. El principal generador de contenido es el 47542, conocido como CDN VKONTAKTE (películas, música). Todos los sistemas autónomos son independientes entre sí (desde la perspectiva de un sistema autónomo externo).

Primero, echemos un vistazo a la situación desde el lado de la red Vympelcom. Para ello nos ayudará Looking Glass Vympelcom.

Observamos el primer sistema autónomo — AS47541.

 2914 47541
    79.104.32.251 (métrica 10500) (79.104.32.251)
      Origen IGP, métrica 30, preferencia local 87, válido, interno, mejor, mejor del grupo, candidato a importación, sospechoso de importación
      ID de ruta recibida 0, ID de ruta local 1, versión 2865394342
      Comunidad: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH contiene dos sistemas autónomos — 2914 (NTT) y 47541 (VKONTAKTE-SPB-AS).
La métrica de preferencia local se establece en 87, lo que según la descripción en RIPE DB para el objeto AS3216 corresponde al peer de nivel internacional.

…
observaciones: Las rutas de los pares internacionales obtienen preferencia local en el
observaciones: rango de 81-89.
…

Esta información también es confirmada por las comunidades 3216:3000 y 3216:3103 (fuente — RIPE DB para AS3216):

…
observaciones: 3216:3000 recibido de un uplink o peer internacional, específicamente:
…
observaciones: 3216:3103 AMS-IX
…

Es decir, Vympelcom ve la ruta hacia Vkontakte a través de un punto de conexión europeo.

Veamos otro autónomo de Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Todo es similar.

 2914 47541
    79.104.32.251 (métrica 10500) (79.104.32.251)
      Origen IGP, métrica 30, preferencia local 87, válido, interno, mejor, mejor del grupo, candidato a importación, sospechoso de importación
      ID de ruta recibida 0, ID de ruta local 1, versión 2865394338
      Comunidad: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

¿Y cómo están las cosas con Mail.ru mismo? Veamos AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (métrica 10501) (194.67.0.215)
      Origen IGP, métrica 0, preferencia local 77, válido, interno, mejor, mejor del grupo, candidato a importación
      ID de ruta recibida 0, ID de ruta local 1, versión 2867605667
      Comunidad: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vympelcom ve Mail.ru a través de as3356 (uplink Level3, operador Tier1). Esta información está confirmada y localpref 77:

…
observaciones: Las rutas de Uplink tienen preferencia local en el rango de 71-79.
observaciones: Última actualización: febrero de 2012…

y comunidad (3216:3000 y 3216:3007):

…
observaciones: 3216:3000 recibido de un uplink o peer internacional, específicamente:
…
observaciones: 3216:3007 Level 3 Communications
…

De la información recibida se observa que el tráfico de la red Vympelcom hacia VKontakte y Mail.ru se distribuye a través de puntos de intercambio europeos según las rutas recibidas a través del protocolo BGP. No se detectaron rutas alternativas a través de los puntos de intercambio internos rusos en Looking Glass. No se encontraron medidas de redirección artificial del tráfico a través de rutas intencionadamente peores.

¿Y cómo ve la red Mail.ru Group a Vympelcom?
Hagamos uso de Looking Glass de Mail.ru.

Desde los enrutadores de AS47764 (mailru-as):

  Ruta #6: Recibido por el hablante 0
  Anunciado a pares (en grupos de actualización únicos):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (métrica 100) desde 217.20.147.250 (217.20.147.253)
      Origen IGP, métrica 500, localpref 200, válido, interno, mejor, mejor del grupo
      ID de ruta recibida 0, ID de ruta local 0, versión 1172721494
      Comunidad: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH contiene AS1299 (Telia, operador Tier1, uplink Mail.RU) y as1273 (Vodafone, operador Tier1, uplink Vympelcom).

LocalPreference 200 — estándar para puntos de intercambio externos de Mail.ru (https://net.mail.ru/bgp.html), y MED 500 se corresponde con todo lo que no se recibe de un punto de intercambio directo, ni de IXs, ni de pares.

¿Pero por qué no hay rutas locales a través de operadores de telecomunicaciones rusos?
Sí las hay, ¡pero su prioridad es "no estándar"!
Aquí está la ruta a través de Rostelecom (as12389):

  Ruta #1: Recibido por el hablante 0
  No anunciado a ningún par
  12389 3216
    46.61.178.149 desde 46.61.178.149 (213.59.207.79)
      Origen IGP, métrica 500, localpref 199, válido, externo
      ID de ruta recibida 0, ID de ruta local 0, versión 0
      Comunidad: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Validez de Origen-AS: no encontrado

Aquí a través de MegaFon (as31133):

  Ruta #2: Recibido por el hablante 0
  No anunciado a ningún par
  31133 3216
    78.25.77.41 desde 78.25.77.41 (10.222.253.97)
      Origen IGP, métrica 500, localpref 199, válido, externo
      ID de ruta recibida 0, ID de ruta local 0, versión 0
      Comunidad: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Validez de Origen-AS: no encontrado

Aquí a través de RETN.NET:

  Ruta #3: Recibido por el hablante 0
  No anunciado a ningún par
  9002 9002 3216
    87.245.253.24 desde 87.245.253.24 (87.245.225.1)
      Origen IGP, métrica 500, localpref 199, válido, externo
      ID de ruta recibida 0, ID de ruta local 0, versión 0
      Comunidad: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Validez de Origen-AS: no encontrado

¡E incluso a través de MTS!

  Ruta #5: Recibido por el hablante 0
  No anunciado a ningún par
  8359 3216
    212.188.61.105 desde 212.188.61.105 (195.34.52.77)
      Origen IGP, métrica 500, localpref 199, válido, externo
      ID de ruta recibida 0, ID de ruta local 0, versión 0
      Comunidad: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Validez de Origen-AS: no encontrado

La métrica localpref en estas rutas rusas está subestimada, es decir, las rutas son peores en comparación con las extranjeras.

Además, Desde Mail.Ru Group hay restricciones. de la difusión de sus prefijos en Vimpelcom a través de operadores rusos.

RETN.NET (http://lg.retn.net/):
En los anuncios de Mail.RU Group se encuentra la comunidad 3216:65535.
Salida de LG RETN.NETinet.0: 762737 destinos, 1734826 rutas (762708 activas, 222780 en espera, 277 ocultas)
94.100.176.0/20 (1 entrada, 1 anunciada)
*Preferencia BGP: 170/-201
…
…
Ruta AS: 47764 I
Ruta AS: Registrada
Comunidades: 3216:65535 9002:64667 9002:65530
…

Las rutas marcadas con esta comunidad no son aceptadas por Vimpelcom en su red. Extracto de la base de datos RIPE para AS3216:
... observaciones: Las comunidades internas se asignan únicamente de manera interna. observaciones: Están en el rango 3216:0000-3216:4999 y 3216:6000-3216:65535 observaciones: y siempre se eliminan de las actualizaciones entrantes en la frontera observaciones: en los routers. ...
Hacia Rostelecom (http://lg.ip.rt.ru) Mail.RU Group entrega rutas similares con la comunidad 12389:8350.
Salida de LG Rostelecom94.100.176.0/20 a través de 217.107.65.1 en eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tipo: BGP unicast univ
BGP.origen: IGP
BGP.ruta_as: 47764
BGP.próximo_salto: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.comunidad: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.origen_id: 213.59.207.78
BGP.lista_cluster: 95.167.88.79 95.167.88.49 95.167.88.17

Según los registros en la base de datos RIPE para el objeto as12389, esta comunidad significa "no anunciar en la red as3216":... observaciones: | 12389:835y Al publicitar en GoldenTelecom (AS3216) | ... observaciones: | ...y=0 - no publicitar | ...
De manera similar hacia MTS (http://lg.mtu.ru):Salida de LG MTSEntrada de tabla de enrutamiento BGP para 94.100.176.0/20, versión 161717219
Rutas: (2 disponibles, mejor #1, tabla por defecto)
Multipath: eBGP
Anunciado a grupos de actualización:
6
47764, (recibido y usado)
195.34.52.77 (métrica 16) de 195.34.52.181 (195.34.52.181)
Origen IGP, métrica 0, localpref 140, válido, interno, mejor
Comunidad: 8359:2120 8359:2150 8359:5500 8359:55277
Origen: 195.34.52.77, lista de clúster: 83.59.83.59
47764, (recibido y usado)
195.34.52.77 (métrica 16) de 195.34.52.182 (195.34.52.182)
Origen IGP, métrica 0, localpref 140, válido, interno
Comunidad: 8359:2120 8359:2150 8359:5500 8359:55277
Origen: 195.34.52.77, lista de clúster: 83.59.2.77

La comunidad 8359:2120 significa:... observaciones: 8359:212x al anunciar a Sovam (Beeline) ... observaciones: x=0 - no anunciar ...
No se puede ver los anuncios de Mail.RU Group hacia Megafon ya que este último no tiene Looking Glass.

Veamos AS47541 (VKONTAKTE-SPB-AS).

La salida es demasiado grande.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Último cambio de switch Jue Abr  5 04:25:09 2018: hace 1 año, 10 semanas, 6 horas, 9 minutos

Vie Jun 14 10:34:20.791 MSK
Entrada de la tabla de enrutamiento BGP para 81.211.0.0/17
Versiones:
  Proceso           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Última modificación: May 21 05:20:38.536 para 1y03w
Rutas: (6 disponibles, mejor #4)
  Anunciado a grupos de actualización (con más de un par):
    0.2 
  Anunciado a pares (en grupos de actualización únicos):
    188.93.60.188   
  Ruta #1: Recibido por el speaker 0
  No anunciado a ningún par
  1299 1273 3216 3216
    87.240.191.235 (métrica 31) de 87.240.191.235 (87.240.191.235)
      Origen IGP, métrica 5000, localpref 150, válido, interno
      Recibido ID de ruta 0, ID de ruta local 0, versión 0
      Comunidad: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Ruta #2: Recibido por el speaker 0
  No anunciado a ningún par
  1299 1273 3216 3216
    87.240.191.248 (métrica 31) de 87.240.191.248 (87.240.191.248)
      Origen IGP, métrica 5000, localpref 150, válido, interno
      Recibido ID de ruta 0, ID de ruta local 0, versión 0
      Comunidad: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Ruta #3: Recibido por el speaker 0
  No anunciado a ningún par
  174 6762 3216 3216
    87.240.191.249 (métrica 31) de 87.240.191.249 (87.240.191.249)
      Origen IGP, métrica 5000, localpref 150, válido, interno
      Recibido ID de ruta 0, ID de ruta local 0, versión 0
      Comunidad: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Ruta #4: Recibido por el speaker 0
  Anunciado a grupos de actualización (con más de un par):
    0.2 
  Anunciado a pares (en grupos de actualización únicos):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 de 149.6.169.113 (38.28.1.236)
      Origen IGP, métrica 5000, localpref 150, válido, externo, mejor, mejor grupo
      Recibido ID de ruta 0, ID de ruta local 0, versión 913059757
      Comunidad: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Validez del origen-AS: no encontrado
  Ruta #5: Recibido por el speaker 0
  No anunciado a ningún par
  1273 1273 3216 3216
    195.89.114.197 de 195.89.114.197 (195.2.1.107)
      Origen IGP, métrica 5005, localpref 150, válido, externo
      Recibido ID de ruta 0, ID de ruta local 0, versión 0
      Comunidad: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Validez del origen-AS: no encontrado
  Ruta #6: Recibido por el speaker 0
  No anunciado a ningún par
  3356 3356 3216 3216 3216
    213.242.69.69 de 213.242.69.69 (4.69.177.130)
      Origen IGP, métrica 5000, localpref 150, válido, externo
      Recibido ID de ruta 0, ID de ruta local 0, versión 0
      Comunidad: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Validez del origen-AS: no encontrado

AS-PATH indica AS174 — Cogent (uplink Mail.RU, Tier1), luego AS6762 — Telecom Italia (uplink Vimpelcom). Local Preference es 150 en todos lados, pero así para todos los puntos de conexión externos, independientemente de las políticas escritas.

Veamos AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Comunidades: 
Aceptado Mejor

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Comunidades: 
Aceptado
Razón de inactividad: Interior > Exterior > Exterior a través de Interior

Y desde el segundo enrutador:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Solo rutas por defecto (0.0.0.0/0). Esta situación fue explicada por un empleado de Mail.RU Group codicia, por lo que le agradecemos. En resumen: el segmento de red de Moscú de VKontakte actúa como un servidor de caché (y no generador), cuya tarea es optimizar la velocidad de carga de contenido popular y demandado. Es una preocupación por los usuarios, sí.

Si no hay ruta hacia alguna red, significa que esa red no está atendida por los servidores de caché. Por lo tanto, la optimización de la velocidad de carga no funciona y los usuarios sufren. Pero aquí hay que enfatizar: los usuarios no son solo los propios, sino también los de Vympelcom.

Conclusiones:

Desde el lado de Vympelcom, el tráfico hacia Mail.RU Group se distribuye de manera natural. No se detectaron redirecciones artificiales a través de manipulaciones de Local Preference.
Desde el lado de Mail.RU Group, se observan manipulaciones con los prefijos de Vympelcom. Las prioridades hacia las rutas existentes hacia la red de Vympelcom a través de los operadores rusos están por debajo en comparación con las rutas a través de operadores Tier1 extranjeros.
A las rutas transmitidas a los operadores rusos (MTS, Rostelecom, RETN.NET) se les han añadido comunidades BGP de control desde Mail.RU Group para limitar su propagación hacia Vympelcom.

¿Por qué Mail.RU Group prioriza más las rutas a través de Europa? ¿Por qué Mail.RU Group prohíbe la conectividad interrumpida dentro de Rusia con Vympelcom?

¿Les resulta más barato? ¿Dirigir el tráfico a través de canales extranjeros y pagar a los tiranos en su moneda?
¿O hay un deseo de alejar el tráfico para que no sea tan fácil de recuperar, eh?
Eso no es conocido por el ingeniero de redes...

Fuente: habr.com