🥇Projektion des Unternehmenskonflikts auf die Netzwerkverbindung

Projektion eines Unternehmenskonflikts auf die Netzwerkverbindung
Ein Konflikt zwischen Unternehmen entstand am 10.06.2019 aufgrund der gestiegenen Kosten für die Lieferung von SMS an die Nutzer des Netzwerks von Vimpelcom durch die Mail.RU Group. Als Gegenmaßnahme stellte die Mail.RU Group die „Unterstützung“ direkter russischer IP-Kanäle in Richtung des Vimpelcom-Netzwerks ein.

Nachfolgend eine kurze Analyse der Situation aus der Sicht eines Netzwerkingenieurs.

Update: 14.06.2019 18:45 — Fokus auf russische Routen in das Vimpelcom-Netzwerk, Anpassungen der Ausgaben, zusätzliche Erläuterungen hinzugefügt. Sergei Kubasov (CIO von Vkontakte).
Update: 14.06.2019 19:48 — eine Beschreibung des Begrenzungsmechanismus für die Verteilung von Routen über den „kurzen“ russischen Pfad durch Rostelecom, MTS, RETN.NET hinzugefügt.

Eingangs:
Vimpelcom hat das autonome System AS3216, alle anderen (8402 — Festnetz-Internet, 16345 — mobiles Internet) befinden sich hinter 3216.

Mail.RU Group — autonome Systeme AS47541, AS47542 und AS47764. Der Hauptinhaltsersteller ist 47542, das sogenannte CDN VKONTAKTE (Filme, Musik). Alle autonomen Systeme sind unabhängig voneinander (aus der Sicht eines externen autonomen Systems).

Zuerst betrachten wir die Situation aus der Sicht des Netzwerks Vimpelcom. Dies wird uns helfen: Looking Glass Vimpelcom.

Schauen wir uns das erste autonome System — AS47541 an.

 2914 47541
    79.104.32.251 (Metrik 10500) (79.104.32.251)
      Ursprung IGP, Metrik 30, localpref 87, gültig, intern, besten, gruppenbesten, Importkandidat, Import verdächtig
      Empfangenes Pfad-ID 0, lokale Pfad-ID 1, Version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH enthält zwei autonome Systeme — 2914 (NTT) und 47541 (VKONTAKTE-SPB-AS).
Die Metrik localpref ist auf 87 gesetzt, was gemäß der Beschreibung in der RIPE DB für das Objekt AS3216 dem internationalen Peering entspricht.

…
Bemerkungen: Die Routen internationaler Peers erhalten lokale Präferenzen im Bereich von
Bemerkungen: 81-89.
…

Diese Informationen bestätigen auch die Communities 3216:3000 und 3216:3103 (Quelle — RIPE DB für AS3216):

…
Bemerkungen: 3216:3000 Empfangen von einem internationalen Uplink oder Peer, konkret:
…
Bemerkungen: 3216:3103 AMS-IX
…

Das heißt, die Route zu Vkontakte sieht Vimpelcom über den europäischen Knoten.

Schauen wir uns das andere autonome System von Vkontakte an — 47542 (VKONTAKTE-MSK-CDN-AS).

Alles ist ähnlich.

 2914 47541
    79.104.32.251 (Metrik 10500) (79.104.32.251)
      Ursprung IGP, Metrik 30, localpref 87, gültig, intern, besten, gruppenbesten, Importkandidat, Import verdächtig
      Empfangenes Pfad-ID 0, lokale Pfad-ID 1, Version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Wie geht es denn Mail.ru selbst? Schauen wir uns AS47764 (mailru-as) an.

 3356 47764
    194.67.0.215 (Metrik 10501) (194.67.0.215)
      Ursprung IGP, Metrik 0, localpref 77, gültig, intern, besten, gruppenbesten, Importkandidat
      Empfangenes Pfad-ID 0, lokale Pfad-ID 1, Version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom sieht Mail.ru über as3356 (Uplink Level3, Tier1 Betreiber). Diese Information wird auch durch die localpref 77 bestätigt:

…
Bemerkungen: Die Routen des Uplinks erhalten lokale Präferenzen im Bereich von 71-79.
Bemerkungen: Letzte Aktualisierung: Februar 2012…

und die Communities (3216:3000 und 3216:3007):

…
Bemerkungen: 3216:3000 Empfangen von einem internationalen Uplink oder Peer, konkret:
…
Bemerkungen: 3216:3007 Level 3 Communications
…

Aus den erhaltenen Informationen ist ersichtlich, dass der Verkehr von der Vimpelcom-Netzwerk zu Vkontakte und Mail.ru über europäische Knoten entlang der Routen verbreitet wird, die über das BGP-Protokoll erhalten wurden. Es gibt keine alternativen Routen über interne russische Knoten im Looking Glass. Es wurden keine Maßnahmen zur künstlichen Umleitung des Verkehrs über absichtlich schlechtere Routen gefunden.

Wie sieht die Mail.ru Group das Vimpelcom-Netzwerk?
Lassen Sie uns Looking Glass von Mail.ru.

Von den Routern aus AS47764 (mailru-as):

  Pfad #6: Empfangen von Sprecher 0
  An Peers beworben (in einzigartigen Aktualisierungsgruppen):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (Metrik 100) von 217.20.147.250 (217.20.147.253)
      Ursprung IGP, Metrik 500, localpref 200, gültig, intern, besten, gruppenbesten
      Empfangenes Pfad-ID 0, lokale Pfad-ID 0, Version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH enthält AS1299 (Telia, Tier1 Betreiber, Uplink von Mail.RU) und as1273 (Vodafone, Tier1 Betreiber, Uplink von Vimpelcom).

LocalPreference 200 ist der Standard für externe Knoten von Mail.ru (https://net.mail.ru/bgp.html), und MED 500 entspricht allem, was nicht von einem direkten Knoten, IXs oder Peering stammt.

Aber warum gibt es keine lokalen Routen über russische Telekommunikationsunternehmen?
Die gibt es, aber ihre Priorität ist „nicht standardmäßig“!
Hier ist eine Route über Rostelecom (as12389):

  Pfad #1: Empfangen von Sprecher 0
  An keinen Peer beworben
  12389 3216
    46.61.178.149 von 46.61.178.149 (213.59.207.79)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Empfangenes Pfad-ID 0, lokale Pfad-ID 0, Version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden.

Hier ist eine Route über Megafon (as31133):

  Pfad #2: Empfangen von Sprecher 0
  An keinen Peer beworben
  31133 3216
    78.25.77.41 von 78.25.77.41 (10.222.253.97)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Empfangenes Pfad-ID 0, lokale Pfad-ID 0, Version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden.

Hier ist eine Route über RETN.NET:

  Pfad #3: Empfangen von Sprecher 0
  An keinen Peer beworben
  9002 9002 3216
    87.245.253.24 von 87.245.253.24 (87.245.225.1)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Empfangenes Pfad-ID 0, lokale Pfad-ID 0, Version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden.

Und sogar über MTS!

  Pfad #5: Empfangen von Sprecher 0
  An keinen Peer beworben
  8359 3216
    212.188.61.105 von 212.188.61.105 (195.34.52.77)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Empfangenes Pfad-ID 0, lokale Pfad-ID 0, Version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden.

Die localpref-Metrik für diese russischen Routen ist niedrig, das heißt, die Routen sind im Vergleich zu den ausländischen schlechter!

Darüber hinaus, Von der Mail.Ru Group gibt es Einschränkungen bei der Verbreitung ihrer Präfixe in Vimpelcom über russische Anbieter!

RETN.NET (http://lg.retn.net/):
Bei den Ankündigungen von Mail.RU Group steht die Community 3216:65535.
Ausgabe von LG RETN.NETinet.0: 762737 Ziele, 1734826 Routen (762708 aktiv, 222780 in Hold-down, 277 verborgen)
94.100.176.0/20 (1 Eintrag, 1 angekündigt)
*BGP-Präferenz: 170/-201
…
…
AS-Pfad: 47764 I
AS-Pfad: Aufgezeichnet
Communities: 3216:65535 9002:64667 9002:65530
…

Routen, die mit dieser Community markiert sind, werden von Vimpelcom nicht in sein Netz übernommen. Auszug aus der RIPE DB für AS3216:
... Hinweise: Interne Kommunikationen sind nur intern zugewiesen. Hinweise: Sie liegen im Bereich 3216:0000-3216:4999 und 3216:6000-3216:65535 Hinweise: und werden bei eingehenden Aktualisierungen an der Grenze immer gelöscht. Hinweise: Router. ...
In Richtung Rostelecom (http://lg.ip.rt.ru) gibt Mail.RU Group ähnliche Routen mit der Community 12389:8350 weiter.
Ausgabe von LG Rostelecom94.100.176.0/20 über 217.107.65.1 auf eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP Unicast univ
BGP Ursprung: IGP
BGP as_path: 47764
BGP next_hop: 213.59.207.78
BGP med: 0
BGP local_pref: 850
BGP community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP originator_id: 213.59.207.78
BGP cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Laut den Aufzeichnungen in der RIPE DB für das Objekt as12389 bedeutet diese Community „nicht in das Netz as3216 ankündigen“:... Bemerkungen: | 12389:835y Werbung bei GoldenTelecom (AS3216) | ... Bemerkungen: | ...y=0 - keine Werbung schalten | ...
Ähnlich in Richtung MTS (http://lg.mtu.ru):Ausgabe von LG MTSBGP Routing-Tabelle für 94.100.176.0/20, Version 161717219
Pfade: (2 verfügbar, bester #1, Tabelle Standard)
Multipath: eBGP
An Update-Gruppen angezeigt:
6
47764, (empfangen und verwendet)
195.34.52.77 (Metrik 16) von 195.34.52.181 (195.34.52.181)
Ursprung IGP, Metrik 0, localpref 140, gültig, intern, bester
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Ursprung: 195.34.52.77, Cluster-Liste: 83.59.83.59
47764, (empfangen und verwendet)
195.34.52.77 (Metrik 16) von 195.34.52.182 (195.34.52.182)
Ursprung IGP, Metrik 0, localpref 140, gültig, intern
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Ursprung: 195.34.52.77, Cluster-Liste: 83.59.2.77

Die Community 8359:2120 bedeutet:... Bemerkungen: 8359:212x bei der Ankündigung an Sovam (Beeline) ... Bemerkungen: x=0 - nicht ankündigen ...
Man kann die Ankündigungen von Mail.RU Group in Richtung Megafon nicht einsehen – letzterer hat kein Looking Glass.

Schauen wir uns AS47541 (VKONTAKTE-SPB-AS) an.

Die Ausgabe ist zu groß.

 Router: a9922-e-5
Befehl: show ip bgp 81.211.56.202


Letzter Wechsel am Thu Apr  5 04:25:09 2018: vor 1 Jahr, 10 Wochen, 6 Stunden, 9 Minuten

Fri Jun 14 10:34:20.791 MSK
BGP Routing-Eintrag für 81.211.0.0/17
Versionen:
  Prozess           bRIB/RIB  SendTblVer
  Sprecher          913059757   913059757
Zuletzt geändert: 21. Mai 05:20:38.536 für 1y03w
Pfade: (6 verfügbar, bester #4)
  An Update-Gruppen angezeigt (mit mehr als einem Peer):
    0.2 
  An Peers angezeigt (in einzigartigen Update-Gruppen):
    188.93.60.188   
  Pfad #1: Empfangen durch Sprecher 0
  Wurde keinem Peer angeboten
  1299 1273 3216 3216
    87.240.191.235 (Metrik 31) von 87.240.191.235 (87.240.191.235)
      Ursprung IGP, Metrik 5000, localpref 150, gültig, intern
      Erhaltene Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Pfad #2: Empfangen durch Sprecher 0
  Wurde keinem Peer angeboten
  1299 1273 3216 3216
    87.240.191.248 (Metrik 31) von 87.240.191.248 (87.240.191.248)
      Ursprung IGP, Metrik 5000, localpref 150, gültig, intern
      Erhaltene Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Pfad #3: Empfangen durch Sprecher 0
  Wurde keinem Peer angeboten
  174 6762 3216 3216
    87.240.191.249 (Metrik 31) von 87.240.191.249 (87.240.191.249)
      Ursprung IGP, Metrik 5000, localpref 150, gültig, intern
      Erhaltene Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Pfad #4: Empfangen durch Sprecher 0
  An Update-Gruppen angezeigt (mit mehr als einem Peer):
    0.2 
  An Peers angezeigt (in einzigartigen Update-Gruppen):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 von 149.6.169.113 (38.28.1.236)
      Ursprung IGP, Metrik 5000, localpref 150, gültig, extern, bester, gruppenbester
      Erhaltene Pfad-ID 0, Lokale Pfad-ID 0, Version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Herkunft-AS-Gültigkeit: nicht gefunden
  Pfad #5: Empfangen durch Sprecher 0
  Wurde keinem Peer angeboten
  1273 1273 3216 3216
    195.89.114.197 von 195.89.114.197 (195.2.1.107)
      Ursprung IGP, Metrik 5005, localpref 150, gültig, extern
      Erhaltene Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Herkunft-AS-Gültigkeit: nicht gefunden
  Pfad #6: Empfangen durch Sprecher 0
  Wurde keinem Peer angeboten
  3356 3356 3216 3216 3216
    213.242.69.69 von 213.242.69.69 (4.69.177.130)
      Ursprung IGP, Metrik 5000, localpref 150, gültig, extern
      Erhaltene Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Herkunft-AS-Gültigkeit: nicht gefunden

Der AS-PATH zeigt auf AS174 – Cogent (Uplink von Mail.RU, Tier1), dann auf AS6762 – Telecom Italia (Uplink von Vimpelcom). Die lokale Präferenz beträgt überall 150, jedoch sind das für alle externen Schnittstellen, unabhängig von den geschriebenen Richtlinien.

Schauen wir uns AS47542 (VKONTAKTE-MSK-CDN-AS) an.

 Router: mx960-m9-0
Befehl: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS Pfad: 47541 I
Communities: 
Akzeptiert Bester

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS Pfad: 47541 I
Communities: 
Akzeptiert
Inactive-Grund: Innen > Außen > Außen über Innen

Und vom zweiten Router:

 Router: mx960-m9-1
Befehl: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS Pfad: 47541 I
Communities: 
Akzeptiert Bester

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS Pfad: 47541 I
Communities: 
Akzeptiert
Inactive-Grund: Innen > Außen > Außen über Innen

Nur Standardrouten (0.0.0.0/0). Diese Situation wurde von einem Mitarbeiter der Mail.RU Group erläutert Gier, wofür ihm gedankt sei. Kurz gesagt: Der Moskauer Netzwerksegment von VKontakte dient als Cache (nicht als Generator), dessen Aufgabe es ist, die Ladegeschwindigkeit beliebter Inhalte zu optimieren. Es geht um das Wohl der Benutzer.

Wenn es keine Route zu einem bestimmten Netzwerk gibt, bedeutet dies, dass dieses Netzwerk nicht von den Cache-Servern bedient wird. Das heißt, die Optimierung der Ladegeschwindigkeit funktioniert nicht und die Benutzer leiden. Hierbei sollte betont werden – es sind nicht nur die eigenen Benutzer betroffen, sondern auch die von Vimpelcom.

Fazit:

Vonseiten von Вымпелком wird der Traffic in Richtung Mail.RU Group auf natürliche Weise verteilt. Künstliche Umleitungen durch Manipulationen der Local Preference wurden nicht festgestellt.
Vonseiten der Mail.RU Group sind Manipulationen an den Präfixen von Вымпелком zu beobachten.. Die Prioritäten für die bestehenden Routen in Richtung des Вымпелком-Netzwerks über russische Betreiber sind im Vergleich zu den Routen über ausländische Tier1-Betreiber herabgesetzt.
Für die von russischen Betreibern (MTS, Ростелеком, РЕТН.НЕТ) übermittelten Routen hat die Mail.RU Group BGP-Community-Flags hinzugefügt, um deren Verbreitung in Richtung Вымпелком einzuschränken.

Warum gibt die Mail.RU Group den Routen über Europa eine höhere Priorität? Warum verbietet die Mail.RU Group eine kurze interne Verbindung mit Вымпелком?

Ist das günstiger für sie? Traffic über ausländische Kanäle leiten und den Tier1-Betreibern in einer Fremdwährung bezahlen?
Oder gibt es das Bestreben, den Traffic weiter weg zu leiten, um seine Abholung zu erschweren?
Das ist dem Netzwerkingenieur unbekannt…

Quelle: habr.com