🥇Projektion des Unternehmenskonflikts auf die Netzwerkverbindungen

Projektionsübersicht des Unternehmenskonflikts auf die Netzwerkkonnektivität
Der Unternehmenskonflikt entstand am 10.06.2019 aufgrund der gestiegenen Versandkosten für SMS an Nutzer des VimpelCom-Netzes seitens der Mail.RU Group. Als Gegenmaßnahme stellte die Mail.RU Group die 'Betreuung' direkter russischer IP-Kanäle zum VimpelCom-Netz ein.

Im Folgenden ist eine kurze Analyse der Situation aus der Sicht eines Netzwerkingenieurs.

Update: 14.06.2019 18:45 — Fokus auf russischen Routen zum VimpelCom-Netz, angepasste Schlussfolgerungen, zusätzliche Erläuterungen hinzugefügt Sergei Kubasov (CIO von Vkontakte).
Update: 14.06.2019 19:48 — Beschreibung der Methode zur Eindämmung der Streuung von Routen über den 'kurzen' russischen Weg über Rostelecom, MTS, RETN.NET hinzugefügt.

Einführungen:
VimpelCom hat ein autonomes System AS3216, alle anderen (8402 — Heim-Internet, 16345 — Mobil-Internet) liegen hinter 3216.

Mail.RU Group — autonome Systeme AS47541, AS47542 und AS47764. Der Hauptinhaltsgenerator ist 47542, das sogenannte CDN VKONTAKTE (Filme, Musik). Alle autonomen Systeme sind unabhängig voneinander (aus der Sicht eines externen autonomen Systems).

Zuerst betrachten wir die Situation aus der Sicht des VimpelCom-Netzes. Dafür hilft uns Looking Glass VimpelCom.

Wir schauen uns das erste autonome System — AS47541 an.

 2914 47541
    79.104.32.251 (Metrik 10500) (79.104.32.251)
      Ursprung IGP, Metrik 30, localpref 87, gültig, intern, bester, gruppenbester, Importkandidat, Import verdächtig
      Empfangener Pfad-ID 0, Lokale Pfad-ID 1, Version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH enthält zwei autonome Systeme — 2914 (NTT) und 47541 (VKONTAKTE-SPB-AS).
Die Metrik localpref ist auf 87 festgelegt, was gemäß der Beschreibung in der RIPE DB für das Objekt AS3216 dem internationalen Peering entspricht.

…
remarks: Die Routen des internationalen Peers erhalten lokale Präferenzen im
remarks: Bereich von 81-89.
…

Diese Informationen bestätigen auch die Communities 3216:3000 und 3216:3103 (Quelle — RIPE DB für AS3216):

…
remarks: 3216:3000 Received from an international uplink or peer, specifically:
…
remarks: 3216:3103 AMS-IX
…

Das heißt, der VimpelCom sieht die Route zu Vkontakte über den europäischen Knoten.

Schauen wir uns ein weiteres autonomes System von Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS) an.

Alles ist ähnlich.

 2914 47541
    79.104.32.251 (Metrik 10500) (79.104.32.251)
      Ursprung IGP, Metrik 30, localpref 87, gültig, intern, bester, gruppenbester, Importkandidat, Import verdächtig
      Empfangener Pfad-ID 0, Lokale Pfad-ID 1, Version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Wie sieht es mit Mail.ru selbst aus? Schauen wir uns AS47764 (mailru-as) an.

 3356 47764
    194.67.0.215 (Metrik 10501) (194.67.0.215)
      Ursprung IGP, Metrik 0, localpref 77, gültig, intern, bester, gruppenbester, Importkandidat
      Empfangener Pfad-ID 0, Lokale Pfad-ID 1, Version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom sieht Mail.ru über as3356 (Uplink Level3, Tier1 Betreiber). Diese Informationen werden durch localpref 77 bestätigt:

…
Bemerkungen: Die Routen von Uplink erhalten eine lokale Präferenz im Bereich von 71-79.
Bemerkungen: Letzte Aktualisierung: Februar 2012…

und Community (3216:3000 und 3216:3007):

…
remarks: 3216:3000 Received from an international uplink or peer, specifically:
…
Bemerkungen: 3216:3007 Level 3 Communications
…

Aus den erhaltenen Informationen geht hervor, dass der Datenverkehr aus dem Vimpelcom-Netzwerk zu VKontakte und Mail.Ru über europäische Knoten entsprechend den über das BGP-Protokoll erhaltenen Routen verbreitet wird. Es gibt keine alternativen Routen über innerrussische Knoten in Looking Glass. Es wurden keine Maßnahmen zur künstlichen Umleitung des Datenverkehrs über absichtlich schlechtere Routen festgestellt.

Wie sieht Mail.ru Group die Vimpelcom-Netze?
Lassen Sie uns Looking Glass von Mail.ru.

Von Routern aus AS47764 (mailru-as):

  Pfad #6: Empfangen von Sprecher 0
  An Peers beworben (in einzigartigen Aktualisierungsgruppen):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (Metrik 100) von 217.20.147.250 (217.20.147.253)
      Ursprung IGP, Metrik 500, localpref 200, gültig, intern, bester, gruppenbester
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH enthält AS1299 (Telia, Tier1 Betreiber, Uplink Mail.RU) und as1273 (Vodafon, Tier1 Betreiber, Uplink Vimpelcom).

LocalPreference 200 ist der Standard für externe Knoten von Mail.ru (https://net.mail.ru/bg.html), während MED 500 allem entspricht, was nicht über einen direkten Knoten, nicht über IXs und nicht über Peering erhalten wurde.

Aber warum gibt es keine lokalen Routen über russische Telekommunikationsanbieter???
Die gibt es, aber sie haben eine „nicht standardmäßige“ Priorität!
Hier ist der Weg über Rostelekom (as12389):

  Pfad #1: Empfangen von Sprecher 0
  An keinen Peer beworben
  12389 3216
    46.61.178.149 von 46.61.178.149 (213.59.207.79)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden

Hier über Megafon (as31133):

  Pfad #2: Empfangen von Sprecher 0
  An keinen Peer beworben
  31133 3216
    78.25.77.41 von 78.25.77.41 (10.222.253.97)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden

Hier über RETN.NET:

  Pfad #3: Empfangen von Sprecher 0
  An keinen Peer beworben
  9002 9002 3216
    87.245.253.24 von 87.245.253.24 (87.245.225.1)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden

Und sogar über MTS!

  Pfad #5: Empfangen von Sprecher 0
  An keinen Peer beworben
  8359 3216
    212.188.61.105 von 212.188.61.105 (195.34.52.77)
      Ursprung IGP, Metrik 500, localpref 199, gültig, extern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Ursprung-AS-Gültigkeit: nicht gefunden

Der localpref-Metrik für diese russischen Routen ist zu niedrig, das heißt, die Routen sind im Vergleich zu internationalen Routen schlechter!

Außerdem, Von Seiten der Mail.Ru Group gibt es Einschränkungen bei der Verbreitung ihrer Präfixe in VimpelCom über russische Betreiber!

RETN.NET (http://lg.retn.net/):
In den Ankündigungen von Mail.RU Group steht das Community 3216:65535.
Ausgabe von LG RETN.NETinet.0: 762737 Ziele, 1734826 Routen (762708 aktiv, 222780 im Holdown, 277 verborgen)
94.100.176.0/20 (1 Eintrag, 1 angekündigt)
*BGP-Präferenz: 170/-201
…
…
AS-Pfad: 47764 I
AS-Pfad: Aufgezeichnet
Communities: 3216:65535 9002:64667 9002:65530
…

Routen, die mit dieser Community markiert sind, nimmt VimpelCom nicht in sein Netz auf. Auszug aus der RIPE DB für AS3216:
... Hinweise: Interne Communitys sind nur intern zugewiesen. Hinweise: Sie liegen im Bereich 3216:0000-3216:4999 und 3216:6000-3216:65535. Hinweise: und werden immer bei den eingehenden Aktualisierungen an der Grenze gelöscht. Hinweise: Router. ...
In Richtung Rostelecom (http://lg.ip.rt.ru) gibt die Mail.RU Group ähnliche Routen mit der Community 12389:8350 ab.
Ausgabe von LG Rostelecom94.100.176.0/20 über 217.107.65.1 auf eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP Unicast Univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Laut den Einträgen in der RIPE DB für das Objekt as12389 bedeutet diese Community "nicht in das Netzwerk as3216 anzukündigen":... Bemerkungen: | 12389:835y Wenn Sie für GoldenTelecom (AS3216) werben | ... Bemerkungen: | ...y=0 - nicht werben | ...
Ähnlich in Richtung MTS (http://lg.mtu.ru):Ausgabe von LG MTSBGP-Routingtabelleneintrag für 94.100.176.0/20, Version 161717219
Pfade: (2 verfügbar, bester #1, Tabelle Standard)
Multipath: eBGP
Angekündigt an Update-Gruppen:
6
47764, (empfangen & verwendet)
195.34.52.77 (Metrik 16) von 195.34.52.181 (195.34.52.181)
Ursprung IGP, Metrik 0, localpref 140, gültig, intern, beste
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Ursprung: 195.34.52.77, Clusterliste: 83.59.83.59
47764, (empfangen & verwendet)
195.34.52.77 (Metrik 16) von 195.34.52.182 (195.34.52.182)
Ursprung IGP, Metrik 0, localpref 140, gültig, intern
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Ursprung: 195.34.52.77, Clusterliste: 83.59.2.77

Die Community 8359:2120 bedeutet:... Anmerkungen: 8359:212x bei der Ankündigung an Sovam (Beeline) ... Anmerkungen: x=0 - nicht ankündigen ...
Die Ankündigungen der Mail.RU Group in Richtung Megafon sind nicht sichtbar — letzteres hat kein Looking Glass.

Schauen wir uns AS47541 (VKONTAKTE-SPB-AS) an.

Die Ausgabe ist zu groß.

 Router: a9922-e-5
Befehl: show ip bgp 81.211.56.202


Letzter Umschalter Do Apr 5 04:25:09 2018: vor 1 Jahr, 10 Wochen, 6 Stunden, 9 Minuten

Fr Jun 14 10:34:20.791 MSK
BGP-Routingtabelleneintrag für 81.211.0.0/17
Versionen:
  Prozess           bRIB/RIB  SendTblVer
  Sprechstelle      913059757   913059757
Zuletzt geändert: 21. Mai 05:20:38.536 für 1y03w
Pfade: (6 verfügbar, bester #4)
  Verkauft an Update-Gruppen (mit mehr als einem Peer):
    0.2 
  Verkauft an Peers (in einzigartigen Update-Gruppen):
    188.93.60.188   
  Pfad #1: Erhalten von Sprechstelle 0
  Nicht an einen Peer beworben
  1299 1273 3216 3216
    87.240.191.235 (metrisch 31) von 87.240.191.235 (87.240.191.235)
      Ursprung IGP, metrisch 5000, lokale Präferenz 150, gültig, intern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Gemeinschaft: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Pfad #2: Erhalten von Sprechstelle 0
  Nicht an einen Peer beworben
  1299 1273 3216 3216
    87.240.191.248 (metrisch 31) von 87.240.191.248 (87.240.191.248)
      Ursprung IGP, metrisch 5000, lokale Präferenz 150, gültig, intern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Gemeinschaft: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Pfad #3: Erhalten von Sprechstelle 0
  Nicht an einen Peer beworben
  174 6762 3216 3216
    87.240.191.249 (metrisch 31) von 87.240.191.249 (87.240.191.249)
      Ursprung IGP, metrisch 5000, lokale Präferenz 150, gültig, intern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Gemeinschaft: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Pfad #4: Erhalten von Sprechstelle 0
  Verkauft an Update-Gruppen (mit mehr als einem Peer):
    0.2 
  Verkauft an Peers (in einzigartigen Update-Gruppen):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 von 149.6.169.113 (38.28.1.236)
      Ursprung IGP, metrisch 5000, lokale Präferenz 150, gültig, extern, bester, gruppenbester
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 913059757
      Gemeinschaft: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Ursprung-AS Gültigkeit: nicht gefunden
  Pfad #5: Erhalten von Sprechstelle 0
  Nicht an einen Peer beworben
  1273 1273 3216 3216
    195.89.114.197 von 195.89.114.197 (195.2.1.107)
      Ursprung IGP, metrisch 5005, lokale Präferenz 150, gültig, extern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Gemeinschaft: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Ursprung-AS Gültigkeit: nicht gefunden
  Pfad #6: Erhalten von Sprechstelle 0
  Nicht an einen Peer beworben
  3356 3356 3216 3216 3216
    213.242.69.69 von 213.242.69.69 (4.69.177.130)
      Ursprung IGP, metrisch 5000, lokale Präferenz 150, gültig, extern
      Erhaltener Pfad-ID 0, Lokale Pfad-ID 0, Version 0
      Gemeinschaft: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Ursprung-AS Gültigkeit: nicht gefunden

AS-PATH zeigt auf AS174 – Cogent (Uplink Mail.RU, Tier1), dann AS6762 – Telecom Italia (Uplink Wympelkom). Die lokale Präferenz liegt überall bei 150, aber so ist es bei allen externen Verknüpfungen, unabhängig von festgelegten Richtlinien.

Lassen Sie uns AS47542 (VKONTAKTE-MSK-CDN-AS) betrachten.

 Router: mx960-m9-0
Befehl: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS-Pfad: 47541 I
Gemeinschaften: 
Akzeptiert Beste

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS-Pfad: 47541 I
Gemeinschaften: 
Akzeptiert
Inaktivitätsgrund: Innen > Außen > Außen über Innen

Und vom zweiten Router:

 Router: mx960-m9-1
Befehl: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS Pfad: 47541 I
Communities: 
Akzeptiert Beste

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS Pfad: 47541 I
Communities: 
Akzeptiert
Inaktivitätsgrund: Innen > Außen > Außen über Innen

Nur Standardrouten (0.0.0.0/0). Diese Situation wurde vom Mitarbeiter der Mail.RU Group erklärt. Gier, dafür vielen Dank. Kurz gesagt: Der Moskauer Teil des Netzwerks VKontakte fungiert als Cache (nicht als Generierer), dessen Aufgabe die Optimierung der Ladegeschwindigkeit von populären, gefragten Inhalten ist. Sorge um die Nutzer, ja.

Wenn es keine Route zu einem bestimmten Netzwerk gibt, wird dieses Netzwerk von den Cache-Servern nicht bedient. Bedeutet, dass die Optimierung der Ladegeschwindigkeit nicht funktioniert und die Nutzer leiden. Hier sollte man betonen — die Nutzer sind nicht nur die eigenen, sondern auch die von Vympelcom.

Fazit:

Vonseiten Vympelcom verteilt sich der Traffic in Richtung Mail.RU Group ganz natürlich. Künstliche Umleitungen durch Manipulationen des Local Preference wurden nicht festgestellt.
Vonseiten Mail.RU Group gibt es Manipulationen mit den Präfixen von Vympelcom.. Die bestehenden Routen in Richtung Vympelcom über russische Anbieter haben im Vergleich zu den Routen über inländische Tier-1-Anbieter niedrigere Prioritäten.
Den an die russischen Anbieter (MTS, Rostelekom, RETN.NET) übermittelten Routen wurden von Seiten Mail.RU Group verwaltende BGP-Communities hinzugefügt, um deren Verbreitung in Richtung Vympelcom zu begrenzen.

Warum setzt Mail.RU Group die Routen über Europa höher ein? Warum verbietet Mail.RU Group die kurze interne Verbindung mit Vympelcom?

Ist es so günstiger für sie? Den Traffic durch ausländische Kanäle leiten und den Tyrannen in Währung bezahlen?
Oder gibt es das Bedürfnis, den Traffic weiter weg zu leiten, damit es nicht so bequem ist, ihn abzuholen, oder?
Das ist dem Netzwerkingenieur nicht bekannt…

Quelle: habr.com