🥇Projections du conflit corporate sur la connectivité réseau

Projection du conflit d'entreprise sur la connectivité réseau
Un conflit d'entreprise a éclaté le 10.06.2019 en raison de l'augmentation des coûts d'envoi de SMS aux utilisateurs du réseau Vimpelcom par Mail.RU Group. En réponse, Mail.RU Group a cessé de « servir » les canaux IP russes directs vers le réseau Vimpelcom.

Voici une brève analyse de la situation du point de vue d'un ingénieur réseau.

Mise à jour: 14.06.2019 18:45 — accent sur les routes russes vers le réseau Vimpelcom, conclusions révisées, ajout de précisions Sergueï Kubasov (CIO de Vkontakte).
Mise à jour: 14.06.2019 19:48 — ajout d'une description de la méthode de limitation de la propagation des routes par le « chemin » russe « court » via Rostelecom, MTS, RETN.NET..

Introduction :
Vimpelcom dispose d'un système autonome AS3216, tous les autres (8402 — internet résidentiel, 16345 — internet mobile) se situent derrière le 3216.

Mail.RU Group — systèmes autonomes AS47541, AS47542 et AS47764. Le principal générateur de contenu est le 47542, le fameux CDN VKONTAKTE (films, musique). Tous les systèmes autonomes sont indépendants les uns des autres (du point de vue d'un système autonome externe).

Regardons d'abord la situation du côté du réseau Vimpelcom. Pour cela, nous utiliserons Looking Glass Vimpelcom.

Examinons le premier système autonome — AS47541.

 2914 47541
    79.104.32.251 (métrique 10500) (79.104.32.251)
      Origine IGP, métrique 30, localpref 87, valide, interne, meilleur, meilleur de groupe, candidat à l'importation, suspect d'importation
      Chemin reçu ID 0, Chemin local ID 1, version 2865394342
      Communauté : 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH contient deux systèmes autonomes — 2914 (NTT) et 47541 (VKONTAKTE-SPB-AS).
La métrique localpref est fixée à 87, ce qui, selon la description dans la RIPE DB pour l'objet AS3216, correspond au peering international.

…
remarques : Les routes des pairs internationaux obtiennent une préférence locale dans le
remarques : plage de 81-89.
…

Cette même information est confirmée par les communautés 3216:3000 et 3216:3103 (source — RIPE DB pour AS3216):

…
remarques : 3216:3000 reçu d'un uplink ou d'un pair international, spécifiquement :
…
remarques : 3216:3103 AMS-IX
…

Autrement dit, le chemin vers Vkontakte, Vimpelcom le voit via l'interconnexion européenne.

Regardons un autre autonome de Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Tout est similaire.

 2914 47541
    79.104.32.251 (métrique 10500) (79.104.32.251)
      Origine IGP, métrique 30, localpref 87, valide, interne, meilleur, meilleur de groupe, candidat à l'importation, suspect d'importation
      Chemin reçu ID 0, Chemin local ID 1, version 2865394338
      Communauté : 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Et qu'en est-il de Mail.ru lui-même ? Regardons AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (métrique 10501) (194.67.0.215)
      Origine IGP, métrique 0, localpref 77, valide, interne, meilleur, meilleur de groupe, candidat à l'importation
      Chemin reçu ID 0, Chemin local ID 1, version 2867605667
      Communauté : 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom voit Mail.ru via as3356 (uplink Level3, opérateur Tier1). Cette information est confirmée et localpref 77:

…
remarques: Les routes d'Uplink obtiennent une préférence locale dans la plage de 71 à 79.
remarques: Dernière mise à jour : février 2012…

et la communauté (3216:3000 et 3216:3007) :

…
remarques : 3216:3000 reçu d'un uplink ou d'un pair international, spécifiquement :
…
remarques: 3216:3007 Level 3 Communications
…

D'après les informations reçues, il apparaît que le trafic du réseau Vimpelcom vers Vkontakte et Mail.ru passe par des interconnexions européennes, selon les routes obtenues via le protocole BGP. Aucun itinéraire alternatif à travers des interconnexions intra-russe n'est visible dans Looking Glass. Aucune mesure de redirection artificielle du trafic à travers des itinéraires délibérément moins bons n'a été découverte.

Comment Mail.ru Group perçoit-elle les réseaux de Vimpelcom ?
Utilisons Looking Glass de Mail.ru.

Depuis les routeurs d'AS47764 (mailru-as) :

  Chemin #6 : Reçu par l'interlocuteur 0
  Annoncé aux pairs (dans des groupes de mise à jour uniques) :
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (métrique 100) de 217.20.147.250 (217.20.147.253)
      Origine IGP, métrique 500, localpref 200, valide, interne, meilleur, meilleur du groupe
      ID de chemin reçu 0, ID de chemin local 0, version 1172721494
      Communauté : 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH contient AS1299 (Telia, opérateur Tier1, uplink Mail.RU) et as1273 (Vodafon, opérateur Tier1, uplink Vimpelcom).

LocalPreference 200 — standard pour les interconnexions extérieures de Mail.ru (https://net.mail.ru/bgp.html), et MED 500 correspond à tout ce qui n'est pas obtenu sur une interconnexion directe, ni sur des IX, ni en peer-to-peer.

Mais pourquoi n'y a-t-il pas de routes locales à travers les opérateurs de télécommunications russes ???
Si, elles existent, mais leur priorité est «non standard» !
Voici un itinéraire via Rostelecom (as12389) :

  Chemin #1 : Reçu par l'interlocuteur 0
  Non annoncé à aucun pair
  12389 3216
    46.61.178.149 de 46.61.178.149 (213.59.207.79)
      Origine IGP, métrique 500, localpref 199, valide, externe
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Validité de l'origine-AS : non trouvée

Voici via MegaFon (as31133) :

  Chemin #2 : Reçu par l'interlocuteur 0
  Non annoncé à aucun pair
  31133 3216
    78.25.77.41 de 78.25.77.41 (10.222.253.97)
      Origine IGP, métrique 500, localpref 199, valide, externe
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Validité de l'origine-AS : non trouvée

Voici via RETN.NET :

  Chemin #3 : Reçu par l'interlocuteur 0
  Non annoncé à aucun pair
  9002 9002 3216
    87.245.253.24 de 87.245.253.24 (87.245.225.1)
      Origine IGP, métrique 500, localpref 199, valide, externe
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Validité de l'origine-AS : non trouvée

Et même via MTS !

  Chemin #5 : Reçu par l'interlocuteur 0
  Non annoncé à aucun pair
  8359 3216
    212.188.61.105 de 212.188.61.105 (195.34.52.77)
      Origine IGP, métrique 500, localpref 199, valide, externe
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Validité de l'origine-AS : non trouvée

La métrique localpref sur ces itinéraires russes est sous-évaluée, ce qui signifie que les itinéraires sont dégradés par rapport à ceux à l'étranger !

De plus, des interdictions émanent de Mail.Ru Group de la diffusion de ses préfixes dans Vympelcom via des opérateurs russes !

RETN.NET (http://lg.retn.net/):
Dans les annonces de Mail.RU Group, on trouve la communauté 3216:65535.
Sortie de LG RETN.NETinet.0 : 762737 destinations, 1734826 routes (762708 actives, 222780 en attente, 277 cachées)
94.100.176.0/20 (1 entrée, 1 annoncée)
*Préférence BGP : 170/-201
…
…
Chemin AS : 47764 I
Chemin AS : Enregistré
Communautés : 3216:65535 9002:64667 9002:65530
…

Les itinéraires marqués par cette communauté ne sont pas acceptés par Vympelcom sur son réseau. Extrait de la base de données RIPE pour AS3216 :
... remarques : Les communautés internes sont attribuées uniquement en interne. remarques : Elles sont dans la plage 3216:0000-3216:4999 et 3216:6000-3216:65535 remarques : et sont toujours supprimées des mises à jour entrantes à la frontière remarques : routeurs. ...
En direction de Rostelecom (http://lg.ip.rt.ru), Mail.RU Group délivre des itinéraires similaires avec la communauté 12389:8350.
Sortie de LG Rostelecom94.100.176.0/20 via 217.107.65.1 sur eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Type : BGP unicast univ
BGP.origine : IGP
BGP.chemin_as : 47764
BGP.prochain_sauteur : 213.59.207.78
BGP.med : 0
BGP.local_pref : 850
BGP.communauté : (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.identifiant_originateur : 213.59.207.78
BGP.liste_de_cluster : 95.167.88.79 95.167.88.49 95.167.88.17

Selon les enregistrements dans la base de données RIPE pour l'objet as12389, cette communauté signifie « ne pas annoncer dans le réseau as3216 » :... remarques : | 12389:835y Lors de la publicité pour GoldenTelecom (AS3216) | ... remarques : | ...y=0 - ne pas faire de publicité | ...
De même en direction de MTS (http://lg.mtu.ru) :Sortie de LG MTSEntrée de la table de routage BGP pour 94.100.176.0/20, version 161717219
Chemins : (2 disponibles, meilleur #1, table par défaut)
Multipath : eBGP
Annoncé aux groupes de mise à jour :
6
47764, (reçu & utilisé)
195.34.52.77 (métrique 16) de 195.34.52.181 (195.34.52.181)
Origine IGP, métrique 0, localpref 140, valide, interne, meilleur
Communauté : 8359:2120 8359:2150 8359:5500 8359:55277
Originateur : 195.34.52.77, liste de clusters : 83.59.83.59
47764, (reçu & utilisé)
195.34.52.77 (métrique 16) de 195.34.52.182 (195.34.52.182)
Origine IGP, métrique 0, localpref 140, valide, interne
Communauté : 8359:2120 8359:2150 8359:5500 8359:55277
Originateur : 195.34.52.77, liste de clusters : 83.59.2.77

La communauté 8359:2120 signifie :... remarques : 8359:212x lors de l'annonce à Sovam (Beeline) ... remarques : x=0 - ne pas annoncer ...
On ne peut pas voir les annonces de Mail.RU Group en direction de Megafon — ce dernier n'a pas de Looking Glass.

Jetons un coup d'œil à AS47541 (VKONTAKTE-SPB-AS).

La sortie est trop grande.

 Routeur : a9922-e-5
Commande : show ip bgp 81.211.56.202


Dernière commutation Thu Apr  5 04:25:09 2018 : il y a 1 an, 10 semaines, 6 heures, 9 minutes

Fri Jun 14 10:34:20.791 MSK
Entrée de la table de routage BGP pour 81.211.0.0/17
Versions :
  Processus           bRIB/RIB  SendTblVer
  Orateur          913059757   913059757
Dernière modification : May 21 05:20:38.536 pour 1y03w
Chemins : (6 disponibles, meilleur #4)
  Annoncé aux groupes de mise à jour (avec plus d'un pair) :
    0.2 
  Annoncé aux pairs (dans des groupes de mise à jour uniques) :
    188.93.60.188   
  Chemin #1 : Reçu par l'orateur 0
  Non annoncé à aucun pair
  1299 1273 3216 3216
    87.240.191.235 (métrique 31) de 87.240.191.235 (87.240.191.235)
      Origine IGP, métrique 5000, localpref 150, valide, interne
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Chemin #2 : Reçu par l'orateur 0
  Non annoncé à aucun pair
  1299 1273 3216 3216
    87.240.191.248 (métrique 31) de 87.240.191.248 (87.240.191.248)
      Origine IGP, métrique 5000, localpref 150, valide, interne
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Chemin #3 : Reçu par l'orateur 0
  Non annoncé à aucun pair
  174 6762 3216 3216
    87.240.191.249 (métrique 31) de 87.240.191.249 (87.240.191.249)
      Origine IGP, métrique 5000, localpref 150, valide, interne
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Chemin #4 : Reçu par l'orateur 0
  Annoncé aux groupes de mise à jour (avec plus d'un pair) :
    0.2 
  Annoncé aux pairs (dans des groupes de mise à jour uniques) :
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 de 149.6.169.113 (38.28.1.236)
      Origine IGP, métrique 5000, localpref 150, valide, externe, meilleur, meilleur du groupe
      ID de chemin reçu 0, ID de chemin local 0, version 913059757
      Communauté : 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Validité de l'origine-AS : non trouvé
  Chemin #5 : Reçu par l'orateur 0
  Non annoncé à aucun pair
  1273 1273 3216 3216
    195.89.114.197 de 195.89.114.197 (195.2.1.107)
      Origine IGP, métrique 5005, localpref 150, valide, externe
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Validité de l'origine-AS : non trouvé
  Chemin #6 : Reçu par l'orateur 0
  Non annoncé à aucun pair
  3356 3356 3216 3216 3216
    213.242.69.69 de 213.242.69.69 (4.69.177.130)
      Origine IGP, métrique 5000, localpref 150, valide, externe
      ID de chemin reçu 0, ID de chemin local 0, version 0
      Communauté : 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Validité de l'origine-AS : non trouvé

L'AS-PATH indique AS174 — Cogent (uplink Mail.RU, Tier1), puis AS6762 — Telecom Italia (uplink VimpelCom). La préférence locale est de 150 partout, mais cela s'applique à tous les points de connexion externes, indépendamment des politiques écrites.

Regardons AS47542 (VKONTAKTE-MSK-CDN-AS).

 Routeur : mx960-m9-0
Commande : op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  Chemin AS: 47541 I
Communautés : 
Accepté Meilleur

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  Chemin AS: 47541 I
Communautés : 
Accepté
Raison inactif : Intérieur > Extérieur > Extérieur via Intérieur

Et depuis le deuxième routeur :

 Routeur : mx960-m9-1
Commande : op lg-sh-bgp préfixe 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS chemin : 47541 I
Communautés : 
Accepté Meilleur

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS chemin : 47541 I
Communautés : 
Accepté
Raison d'inactivité : Intérieur > Extérieur > Extérieur via Intérieur

Seulement les routes par défaut (0.0.0.0/0). Cette situation a été expliquée par un employé de Mail.RU Group avidité, pour cela nous le remercions. En résumé : le segment de réseau moscovite de VKontakte est un système de mise en cache (et non de génération), dont la tâche est d'optimiser la vitesse de chargement du contenu populaire demandé. C'est une préoccupation pour les utilisateurs, oui.

S'il n'existe pas de route vers un certain réseau, cela signifie que ce réseau n'est pas pris en charge par les serveurs de mise en cache. Donc, l'optimisation de la vitesse de chargement ne fonctionne pas, et les utilisateurs souffrent. Mais il faut souligner ici — les utilisateurs ne sont pas seulement les leurs, mais aussi ceux de Vympelcom.

Conclusions :

Du côté de Vympelcom, le trafic vers Mail.RU Group se répartit naturellement. Aucune redirection artificielle à travers des manipulations de Local Preference n'a été détectée
Du côté de Mail.RU Group, des manipulations avec les préfixes de Vympelcom sont observées. Les priorités des routes existantes vers le réseau de Vympelcom via les opérateurs russes sont abaissées par rapport aux routes via des opérateurs Tier1 étrangers.
Pour les routes transmises aux opérateurs russes (MTS, Rostelecom, RETN.NET), des communautés BGP de gestion ont été ajoutées du côté de Mail.RU Group pour limiter leur diffusion vers Vympelcom

Pourquoi Mail.RU Group privilégie-t-il les routes à travers l'Europe ? Pourquoi Mail.RU Group interdit-il la connectivité interne courte avec Vympelcom ?

Est-ce que c'est moins cher pour eux ? Faire passer le trafic par des canaux étrangers et payer les tierces parties en devises ?
Ou est-ce qu'il y a un désir de déplacer le trafic plus loin, pour le rendre moins pratique à récupérer, hein ?
Cela reste inconnu de l'ingénieur réseau...

Source : habr.com