🥇 Projeção do conflito corporativo na conectividade de rede

Projeção de um conflito corporativo na conectividade de rede
Um conflito corporativo surgiu em 10.06.2019 devido ao aumento do custo de entrega de SMS para os usuários da rede Вымпелком por parte do Mail.RU Group. Como medidas de resposta, o Mail.RU Group parou de "servir" os canais IP russos diretos em direção à rede Вымпелком.

Abaixo está uma breve análise da situação do ponto de vista de um engenheiro de rede.

Atualizar: 14.06.2019 18:45 — foco nas rotas russas para a rede Вымпелком, conclusões ajustadas, explicação adicionada. Serguei Kubasov (CIO do Вконтакте).
Atualizar: 14.06.2019 19:48 — adicionado descrição do método de limitação da disseminação de rotas pelo caminho russo "curto" através da Rostelecom, MTS, РЕТН.НЕТ.

Introdução:
A Вымпелком possui um sistema autônomo AS3216, todos os outros (8402 — internet fixa, 16345 — internet móvel) estão localizados atrás de 3216.

O Mail.RU Group possui sistemas autônomos AS47541, AS47542 e AS47764. O principal gerador de conteúdo é o 47542, conhecido como CDN VKONTAKTE (filmes, música). Todos os sistemas autônomos são independentes entre si (do ponto de vista de um sistema autônomo externo).

Primeiro, vamos olhar a situação do lado da rede Вымпелком. Para isso, a Looking Glass Вымпелком.

Observamos o primeiro sistema autônomo — AS47541.

 2914 47541
    79.104.32.251 (métrica 10500) (79.104.32.251)
      Origem IGP, métrica 30, localpref 87, válido, interno, melhor, melhor do grupo, candidato a importação, importação suspeita
      ID do Caminho Recebido 0, ID do Caminho Local 1, versão 2865394342
      Comunidade: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH contém dois sistemas autônomos — 2914 (NTT) e 47541 (VKONTAKTE-SPB-AS).
A métrica localpref está definida como 87, o que, de acordo com a descrição no RIPE DB para o objeto AS3216, corresponde ao peering internacional.

…
observações: As rotas dos pares internacionais recebem preferência local na
observações: faixa de 81-89.
…

Essa mesma informação é confirmada pelas comunidades 3216:3000 e 3216:3103 (fonte — RIPE DB para AS3216):

…
observações: 3216:3000 Recebido de um uplink ou par internacional, especificamente:
…
observações: 3216:3103 AMS-IX
…

Ou seja, a rota até o ВКонтакте a Вымпелком vê através do ponto de troca europeu.

Vamos olhar outra autonomia do ВКонтакте — 47542 (VKONTAKTE-MSK-CDN-AS).

Tudo igual.

 2914 47541
    79.104.32.251 (métrica 10500) (79.104.32.251)
      Origem IGP, métrica 30, localpref 87, válido, interno, melhor, melhor do grupo, candidato a importação, importação suspeita
      ID do Caminho Recebido 0, ID do Caminho Local 1, versão 2865394338
      Comunidade: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

E como estão as coisas com o próprio Mail.ru? Vamos olhar o AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (métrica 10501) (194.67.0.215)
      Origem IGP, métrica 0, localpref 77, válido, interno, melhor, melhor do grupo, candidato a importação
      ID do Caminho Recebido 0, ID do Caminho Local 1, versão 2867605667
      Comunidade: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

A Vympelcom vê o Mail.ru através do as3356 (uplink Level3, operador Tier1). Essa informação é confirmada e localpref 77:

…
observações: As rotas do uplink recebem a preferência local na faixa de 71-79.
observações: Última atualização: Fevereiro de 2012…

e comunidade (3216:3000 e 3216:3007):

…
observações: 3216:3000 Recebido de um uplink ou par internacional, especificamente:
…
observações: 3216:3007 Level 3 Communications
…

A partir das informações obtidas, observa-se que o tráfego da rede Vympelcom para o VKontakte e Mail.ru é distribuído através de interconexões europeias conforme os caminhos recebidos pelo protocolo BGP. Não há caminhos alternativos através de interconexões internas russas no Looking Glass. Não foram detectadas medidas de redirecionamento artificial de tráfego através de caminhos deliberadamente piores.

E como o Mail.ru Group vê a rede da Vympelcom?
Vamos utilizar Looking Glass do Mail.ru.

Dos roteadores do AS47764 (mailru-as):

  Caminho #6: Recebido pelo orador 0
  Anunciado para pares (em grupos de atualização exclusivos):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (métrica 100) de 217.20.147.250 (217.20.147.253)
      Origem IGP, métrica 500, localpref 200, válido, interno, melhor, melhor grupo
      ID do caminho recebido 0, ID do caminho local 0, versão 1172721494
      Comunidade: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

O AS-PATH contém AS1299 (Telia, operador Tier1, uplink Mail.RU) e as1273 (Vodafon, operador Tier1, uplink Vympelcom).

O LocalPreference 200 é o padrão para as interconexões externas do Mail.ru (https://net.mail.ru/bgp.html), enquanto o MED 500 corresponde a tudo o que não é recebido através de interconexões diretas, não de IXs, não de peering.

Mas por que não há rotas locais através de operadores de telecomunicações russos???
Existem, mas a prioridade delas é "não padrão"!
Aqui está uma rota através da Rostelecom (as12389):

  Caminho #1: Recebido pelo orador 0
  Não anunciado para nenhum par
  12389 3216
    46.61.178.149 de 46.61.178.149 (213.59.207.79)
      Origem IGP, métrica 500, localpref 199, válido, externo
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Validade do Origin-AS: não encontrado

Aqui está uma rota através da MegaFon (as31133):

  Caminho #2: Recebido pelo orador 0
  Não anunciado para nenhum par
  31133 3216
    78.25.77.41 de 78.25.77.41 (10.222.253.97)
      Origem IGP, métrica 500, localpref 199, válido, externo
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Validade do Origin-AS: não encontrado

Aqui está uma rota através da RETN.NET:

  Caminho #3: Recebido pelo orador 0
  Não anunciado para nenhum par
  9002 9002 3216
    87.245.253.24 de 87.245.253.24 (87.245.225.1)
      Origem IGP, métrica 500, localpref 199, válido, externo
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Validade do Origin-AS: não encontrado

E até mesmo através da MTS!

  Caminho #5: Recebido pelo orador 0
  Não anunciado para nenhum par
  8359 3216
    212.188.61.105 de 212.188.61.105 (195.34.52.77)
      Origem IGP, métrica 500, localpref 199, válido, externo
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Validade do Origin-AS: não encontrado

A métrica localpref para estas rotas russas é subestimada, ou seja, as rotas estão pioradas em comparação com as internacionais!

Além disso, do lado do Mail.Ru Group existem restrições de distribuição de seus prefixos no Vimpelcom através de operadores russos!

RETN.NET (http://lg.retn.net/):
Nos anúncios do Mail.RU Group está a comunidade 3216:65535.
Saída do LG RETN.NETinet.0: 762737 destinos, 1734826 rotas (762708 ativas, 222780 em espera, 277 ocultas)
94.100.176.0/20 (1 entrada, 1 anunciada)
*Preferência BGP: 170/-201
…
…
Caminho AS: 47764 I
Caminho AS: Registrado
Comunidades: 3216:65535 9002:64667 9002:65530
…

As rotas marcadas com essa comunidade não são aceitas pelo Vimpelcom em sua rede. Extrato do RIPE DB para AS3216:
... observações: Comunidades internas são atribuídas apenas internamente. observações: Elas estão na faixa 3216:0000-3216:4999 e 3216:6000-3216:65535 observações: e são sempre excluídas das atualizações recebidas na fronteira observações: roteadores. ...
Em direção ao Rostelecom (http://lg.ip.rt.ru) o Mail.RU Group fornece rotas semelhantes com a comunidade 12389:8350.
Saída do LG Rostelecom94.100.176.0/20 via 217.107.65.1 on eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tipo: BGP unicast univ
BGP.origem: IGP
BGP.caminho_as: 47764
BGP.próximo_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.comunidade: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.id_originador: 213.59.207.78
BGP.lista_cluster: 95.167.88.79 95.167.88.49 95.167.88.17

De acordo com os registros no RIPE DB para o objeto as12389, essa comunidade significa "não anunciar na rede as3216":... observações: | 12389:835y Ao anunciar para a GoldenTelecom (AS3216) | ... observações: | ...y=0 - não anunciar | ...
Analogamente em direção à MTS (http://lg.mtu.ru):Saída do LG MTSEntrada da tabela de roteamento BGP para 94.100.176.0/20, versão 161717219
Caminhos: (2 disponíveis, melhor #1, tabela padrão)
Multipath: eBGP
Anunciado para grupos de atualização:
6
47764, (recebido e usado)
195.34.52.77 (métrica 16) de 195.34.52.181 (195.34.52.181)
Origem IGP, métrica 0, local_pref 140, válido, interno, melhor
Comunidade: 8359:2120 8359:2150 8359:5500 8359:55277
Origem: 195.34.52.77, lista de clusters: 83.59.83.59
47764, (recebido e usado)
195.34.52.77 (métrica 16) de 195.34.52.182 (195.34.52.182)
Origem IGP, métrica 0, local_pref 140, válido, interno
Comunidade: 8359:2120 8359:2150 8359:5500 8359:55277
Origem: 195.34.52.77, lista de clusters: 83.59.2.77

A comunidade 8359:2120 significa:... observações: 8359:212x ao anunciar para Sovam (Beeline) ... observações: x=0 - não anunciar ...
Não é possível visualizar os anúncios do Mail.RU Group em direção ao MegaFon — este último não possui Looking Glass.

Vamos examinar o AS47541 (VKONTAKTE-SPB-AS).

A saída é muito grande.

 Roteador: a9922-e-5
Comando: show ip bgp 81.211.56.202


Última troca na quinta-feira, 5 de abril de 2018, 04:25:09: 1 ano, 10 semanas, 6 horas, 9 minutos atrás

Sexta-feira, 14 de junho, 10:34:20.791 MSK
Entrada da tabela de roteamento BGP para 81.211.0.0/17
Versões:
  Processador         bRIB/RIB  SendTblVer
  Palestrante        913059757   913059757
Última modificação: 21 de maio 05:20:38.536 por 1y03w
Caminhos: (6 disponíveis, melhor #4)
  Anunciado para grupos de atualização (com mais de um peer):
    0.2 
  Anunciado para peers (em grupos de atualização únicos):
    188.93.60.188   
  Caminho #1: Recebido pelo palestrante 0
  Não anunciado para nenhum peer
  1299 1273 3216 3216
    87.240.191.235 (métrica 31) de 87.240.191.235 (87.240.191.235)
      Origem IGP, métrica 5000, preferencia local 150, válido, interno
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Caminho #2: Recebido pelo palestrante 0
  Não anunciado para nenhum peer
  1299 1273 3216 3216
    87.240.191.248 (métrica 31) de 87.240.191.248 (87.240.191.248)
      Origem IGP, métrica 5000, preferencia local 150, válido, interno
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Caminho #3: Recebido pelo palestrante 0
  Não anunciado para nenhum peer
  174 6762 3216 3216
    87.240.191.249 (métrica 31) de 87.240.191.249 (87.240.191.249)
      Origem IGP, métrica 5000, preferencia local 150, válido, interno
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Caminho #4: Recebido pelo palestrante 0
  Anunciado para grupos de atualização (com mais de um peer):
    0.2 
  Anunciado para peers (em grupos de atualização únicos):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 de 149.6.169.113 (38.28.1.236)
      Origem IGP, métrica 5000, preferencia local 150, válido, externo, melhor, melhor do grupo
      ID do caminho recebido 0, ID do caminho local 0, versão 913059757
      Comunidade: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Validade do origin-AS: não encontrado
  Caminho #5: Recebido pelo palestrante 0
  Não anunciado para nenhum peer
  1273 1273 3216 3216
    195.89.114.197 de 195.89.114.197 (195.2.1.107)
      Origem IGP, métrica 5005, preferencia local 150, válido, externo
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Validade do origin-AS: não encontrado
  Caminho #6: Recebido pelo palestrante 0
  Não anunciado para nenhum peer
  3356 3356 3216 3216 3216
    213.242.69.69 de 213.242.69.69 (4.69.177.130)
      Origem IGP, métrica 5000, preferencia local 150, válido, externo
      ID do caminho recebido 0, ID do caminho local 0, versão 0
      Comunidade: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Validade do origin-AS: não encontrado

O AS-PATH indica AS174 — Cogent (uplink Mail.RU, Tier1), em seguida AS6762 — Telecom Italia (uplink Vympelcom). A preferência local é de 150 em todos os pontos de conexão externos, independentemente de políticas escritas.

Vamos examinar AS47542 (VKONTAKTE-MSK-CDN-AS).

 Roteador: mx960-m9-0
Comando: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  Caminho AS: 47541 I
Comunidades: 
Aceito Melhor

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  Caminho AS: 47541 I
Comunidades: 
Aceito
Razão para inatividade: Interior > Exterior > Exterior via Interior

E do segundo roteador:

 Roteador: mx960-m9-1
Comando: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Comunidades: 
Aceito Melhor

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Comunidades: 
Aceito
Razão da inatividade: Interior > Exterior > Exterior via Interior

Apenas rotas padrão (0.0.0.0/0). Essa situação foi explicada por um funcionário do Mail.RU Group ganância, pelo que agradecemos. Resumidamente: o segmento de rede de Moscovo do VKontakte é um cache (e não um gerador), cuja tarefa é otimizar a velocidade de carregamento de conteúdo popular e demandado. Cuidar dos usuários, sim.

Se não há uma rota para alguma rede, significa que essa rede não está sendo atendida pelos servidores de cache. Portanto, a otimização da velocidade de carregamento não funciona, e os usuários sofrem. Mas aqui é preciso destacar — os usuários não são apenas os próprios, mas também os da Vympelcom.

Conclusões:

Da parte da Vympelcom, o tráfego em direção ao Mail.RU Group é distribuído de forma natural. Não foram descobertos redirecionamentos artificiais através de manipulações de Local Preference.
Da parte do Mail.RU Group, observam-se manipulações com os prefixos da Vympelcom.. As prioridades para as rotas existentes em direção à rede da Vympelcom através de operadores russos são inferiorizadas em comparação com as rotas através de operadores Tier1 internacionais.
Para as rotas transmitidas aos operadores russos (MTS, Rostelecom, RETN.NET), foram adicionadas comunidades BGP de controle por parte do Mail.RU Group para limitar sua disseminação em direção à Vympelcom.

Por que o Mail.RU Group prioriza rotas através da Europa? Por que o Mail.RU Group proíbe a conectividade interna curta com a Vympelcom?

É mais barato para eles? Direcionar o tráfego através de canais estrangeiros e pagar em moeda a Tier 1?
Ou há um desejo de enviar o tráfego para longe, para que obtê-lo não seja tão conveniente, certo?
Isso é desconhecido para o engenheiro de rede...

Fonte: habr.com