Projection of corporate conflict on network connectivity

Een zakelijk conflict ontstond op 10.06.2019 door de stijging van de verzendkosten van SMS naar gebruikers van het Vympelcom-netwerk door Mail.RU Group. Als reactie stopte Mail.RU Group met het 'ondersteunen' van directe Russische IP-kanalen naar het Vympelcom-netwerk.

Hieronder volgt een korte analyse van de situatie vanuit het perspectief van een netwerkingenieur.

Bijwerken: 14.06.2019 18:45 — focus op Russische routes naar het Vympelcom-netwerk, conclusies gecorrigeerd, toelichting toegevoegd. Sergei Kubasov (CIO van Vkontakte).
Bijwerken: 14.06.2019 19:48 — beschrijving toegevoegd van de manier om de verspreiding van routes via de 'korte' Russische route door Rostelecom, MTS, RETN.NET te beperken.

Inleidingen:
Vympelcom heeft een autonome systeem AS3216, alle andere (8402 — thuisinternet, 16345 — mobiel internet) bevinden zich achter 3216.

Mail.RU Group — autonome systemen AS47541, AS47542 en AS47764. De belangrijkste contentgenerator is 47542, namelijk de CDN VKONTAKTE (films, muziek). Alle autonome systemen zijn onafhankelijk van elkaar (vanuit het perspectief van een externe autonome systeem).

Laten we eerst kijken naar de situatie vanuit het Vympelcom-netwerk. Hiervoor hebben we hulp van Looking Glass Vympelcom.

Laten we het eerste autonome systeem bekijken — AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, geldig, intern, beste, groepsbeste, importkandidaat, import verdacht
      Ontvangen Pad ID 0, Lokale Pad ID 1, versie 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PAD bevat twee autonome systemen — 2914 (NTT) en 47541 (VKONTAKTE-SPB-AS).
De localpref-metriek is ingesteld op 87, wat volgens de beschrijving in de RIPE DB voor object AS3216 overeenkomt met internationale peering.

…
opmerkingen: Routes van internationale peers krijgen lokale voorkeur in de
opmerkingen: range van 81-89.
…

Deze informatie wordt ook bevestigd door de community 3216:3000 en 3216:3103 (bron — RIPE DB voor AS3216):

…
opmerkingen: 3216:3000 Ontvangen van een internationale uplink of peer, specifiek:
…
opmerkingen: 3216:3103 AMS-IX
…

Dus, het pad naar Vkontakte ziet Vympelcom via een Europese junction.

Laten we een andere autonome systeem van Vkontakte bekijken — 47542 (VKONTAKTE-MSK-CDN-AS).

Alles is hetzelfde.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, geldig, intern, beste, groepsbeste, importkandidaat, import verdacht
      Ontvangen Pad ID 0, Lokale Pad ID 1, versie 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Hoe zit het met Mail.ru zelf? Laten we kijken naar AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, geldig, intern, beste, groepsbeste, importkandidaat
      Ontvangen Pad ID 0, Lokale Pad ID 1, versie 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

Vimpelcom ziet Mail.ru via as3356 (uplink Level3, Tier1 operator). Deze informatie wordt bevestigd met localpref 77:

…
opmerkingen: Uplink's routes krijgen een lokale voorkeur in het bereik van 71-79.
opmerkingen: Laatste update: februari 2012…

en community (3216:3000 en 3216:3007):

…
opmerkingen: 3216:3000 Ontvangen van een internationale uplink of peer, specifiek:
…
opmerkingen: 3216:3007 Level 3 Communications
…

Uit de verkregen informatie blijkt dat het verkeer van Vimpelcom naar Vkontakte en Mail.ru via Europese knooppunten verloopt volgens de routes, ontvangen via het BGP-protocol. Er zijn geen alternatieve routes via binnenlandse knooppunten in Looking Glass. Er zijn geen maatregelen voor kunstmatige traffic redirecting via opzettelijk slechtere routes gevonden.

Maar hoe ziet Mail.ru Group de netwerken van Vimpelcom?
Laten we het gebruiken Looking Glass van Mail.ru.

Van de routers in AS47764 (mailru-as):

  Path #6: Ontvangen door spreker 0
  Aangeboden aan peers (in unieke updategroepen):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) van 217.20.147.250 (217.20.147.253)
      Oorsprong IGP, metric 500, localpref 200, geldig, intern, beste, groepsbeste
      Ontvangen Pad-ID 0, Lokale Pad-ID 0, versie 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH bevat AS1299 (Telia, Tier1 operator, uplink Mail.RU) en as1273 (Vodafone, Tier1 operator, uplink Vimpelcom).

LocalPreference 200 — standaard voor externe knooppunten van Mail.ru (https://net.mail.ru/bgp.html), en MED 500 komt overeen met alles dat niet van een directe verbinding komt, niet van IX's, niet van peering.

Maar waarom zijn er geen lokale routes via Russische telecomoperators???
Die zijn er, maar hun prioriteit is 'niet standaard'!
Hier is een route via Rostelecom (as12389):

  Path #1: Ontvangen door spreker 0
  Niet aangeboden aan enige peer
  12389 3216
    46.61.178.149 van 46.61.178.149 (213.59.207.79)
      Oorsprong IGP, metric 500, localpref 199, geldig, extern
      Ontvangen Pad-ID 0, Lokale Pad-ID 0, versie 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Oorsprong-AS geldigheid: niet-gevonden

Hier door MegaFon (as31133):

  Path #2: Ontvangen door spreker 0
  Niet aangeboden aan enige peer
  31133 3216
    78.25.77.41 van 78.25.77.41 (10.222.253.97)
      Oorsprong IGP, metric 500, localpref 199, geldig, extern
      Ontvangen Pad-ID 0, Lokale Pad-ID 0, versie 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Oorsprong-AS geldigheid: niet-gevonden

Hier door RETN.NET:

  Path #3: Ontvangen door spreker 0
  Niet aangeboden aan enige peer
  9002 9002 3216
    87.245.253.24 van 87.245.253.24 (87.245.225.1)
      Oorsprong IGP, metric 500, localpref 199, geldig, extern
      Ontvangen Pad-ID 0, Lokale Pad-ID 0, versie 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Oorsprong-AS geldigheid: niet-gevonden

En zelfs via MTS!

  Path #5: Ontvangen door spreker 0
  Niet aangeboden aan enige peer
  8359 3216
    212.188.61.105 van 212.188.61.105 (195.34.52.77)
      Oorsprong IGP, metric 500, localpref 199, geldig, extern
      Ontvangen Pad-ID 0, Lokale Pad-ID 0, versie 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Oorsprong-AS geldigheid: niet-gevonden

De localpref-metriek voor deze Russische routes is verlaagd, wat betekent dat de routes slechter zijn dan die naar het buitenland!

Daarnaast Vanuit Mail.Ru Group zijn er verboden voor de verspreiding van hun prefixen in Vympelcom via Russische operators!

RETN.NET (http://lg.retn.net/):
In de aankondigingen van Mail.RU Group staat de community 3216:65535.
Output van LG RETN.NETinet.0: 762737 bestemmingen, 1734826 routes (762708 actief, 222780 in afwachting, 277 verborgen)
94.100.176.0/20 (1 invoer, 1 aangekondigd)
*BGP Voorkeur: 170/-201
…
…
AS pad: 47764 I
AS pad: Vastgelegd
Communities: 3216:65535 9002:64667 9002:65530
…

Routes gemarkeerd met deze community worden niet door Vympelcom geaccepteerd in hun netwerk. Uittreksel uit RIPE DB voor AS3216:
...
opmerkingen: Interne gemeenschappen worden alleen intern toegewezen.
opmerkingen: Ze bevinden zich in het bereik 3216:0000-3216:4999 en 3216:6000-3216:65535
opmerkingen: en worden altijd verwijderd uit binnenkomende updates aan de grens
opmerkingen: routers.
...
In de richting van Rostelecom (http://lg.ip.rt.ru) geeft Mail.RU Group soortgelijke routes met de community 12389:8350.
Output van LG Rostelecom94.100.176.0/20 via 217.107.65.1 op eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Type: BGP unicast univ
BGP.oorsprong: IGP
BGP.as_pad: 47764
BGP.volgende_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_lijst: 95.167.88.79 95.167.88.49 95.167.88.17

Volgens de gegevens in RIPE DB voor object as12389 betekent deze community "niet aankondigen in netwerk as3216":...
opmerkingen: | 12389:835y Wanneer adverteren bij GoldenTelecom (AS3216) |
...
opmerkingen: | ...y=0 - niet adverteren |
...
Op dezelfde manier in de richting van MTS (http://lg.mtu.ru):Output van LG MTSBGP-routingtabelinvoer voor 94.100.176.0/20, versie 161717219
Paden: (2 beschikbaar, beste #1, tabel standaard)
Multipad: eBGP
Aangekondigd aan update-groepen:
6
47764, (ontvangen & gebruikt)
195.34.52.77 (metric 16) van 195.34.52.181 (195.34.52.181)
Oorsprong IGP, metric 0, localpref 140, geldig, intern, beste
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster lijst: 83.59.83.59
47764, (ontvangen & gebruikt)
195.34.52.77 (metric 16) van 195.34.52.182 (195.34.52.182)
Oorsprong IGP, metric 0, localpref 140, geldig, intern
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster lijst: 83.59.2.77

De community 8359:2120 betekent:...
opmerkingen: 8359:212x bij aankondiging aan Sovam (Beeline)
...
opmerkingen: x=0 - niet aankondigen
...
Je kunt niet kijken naar de aankondigingen van Mail.RU Group richting Megafon — de laatste heeft geen Looking Glass.

Laten we AS47541 (VKONTAKTE-SPB-AS) bekijken.

De output is te groot.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Laatste overschakeling op do Apr  5 04:25:09 2018: 1 jaar, 10 weken, 6 uren, 9 minuten geleden

Vrij jun 14 10:34:20.791 MSK
BGP-routeringstabelinvoer voor 81.211.0.0/17
Versies:
  Proces           bRIB/RIB  SendTblVer
  Spreker          913059757   913059757
Laatste gewijzigd: 21 mei 05:20:38.536 voor 1j03w
Paden: (6 beschikbaar, beste #4)
  Geadverteerd aan update-groepen (met meer dan één peer):
    0.2 
  Geadverteerd aan peers (in unieke updategroepen):
    188.93.60.188   
  Pad #1: Ontvangen door spreker 0
  Niet geadverteerd aan een peer
  1299 1273 3216 3216
    87.240.191.235 (metriek 31) van 87.240.191.235 (87.240.191.235)
      Oorsprong IGP, metriek 5000, localpref 150, geldig, intern
      Ontvangen pad-ID 0, lokale pad-ID 0, versie 0
      Gemeenschap: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Pad #2: Ontvangen door spreker 0
  Niet geadverteerd aan een peer
  1299 1273 3216 3216
    87.240.191.248 (metriek 31) van 87.240.191.248 (87.240.191.248)
      Oorsprong IGP, metriek 5000, localpref 150, geldig, intern
      Ontvangen pad-ID 0, lokale pad-ID 0, versie 0
      Gemeenschap: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Pad #3: Ontvangen door spreker 0
  Niet geadverteerd aan een peer
  174 6762 3216 3216
    87.240.191.249 (metriek 31) van 87.240.191.249 (87.240.191.249)
      Oorsprong IGP, metriek 5000, localpref 150, geldig, intern
      Ontvangen pad-ID 0, lokale pad-ID 0, versie 0
      Gemeenschap: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Pad #4: Ontvangen door spreker 0
  Geadverteerd aan update-groepen (met meer dan één peer):
    0.2 
  Geadverteerd aan peers (in unieke updategroepen):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 van 149.6.169.113 (38.28.1.236)
      Oorsprong IGP, metriek 5000, localpref 150, geldig, extern, beste, groepsbeste
      Ontvangen pad-ID 0, lokale pad-ID 0, versie 913059757
      Gemeenschap: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Oorsprong-AS validiteit: niet gevonden
  Pad #5: Ontvangen door spreker 0
  Niet geadverteerd aan een peer
  1273 1273 3216 3216
    195.89.114.197 van 195.89.114.197 (195.2.1.107)
      Oorsprong IGP, metriek 5005, localpref 150, geldig, extern
      Ontvangen pad-ID 0, lokale pad-ID 0, versie 0
      Gemeenschap: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Oorsprong-AS validiteit: niet gevonden
  Pad #6: Ontvangen door spreker 0
  Niet geadverteerd aan een peer
  3356 3356 3216 3216 3216
    213.242.69.69 van 213.242.69.69 (4.69.177.130)
      Oorsprong IGP, metriek 5000, localpref 150, geldig, extern
      Ontvangen pad-ID 0, lokale pad-ID 0, versie 0
      Gemeenschap: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Oorsprong-AS validiteit: niet gevonden

AS-PAD geeft aan AS174 aan — Cogent (uplink Mail.RU, Tier1), dan AS6762 — Telecom Italia (uplink Vimpelcom). Lokale voorkeur overal 150, maar dat geldt voor alle externe verbindingen, ongeacht geschreven beleidsregels.

Laten we AS47542 (VKONTAKTE-MSK-CDN-AS) bekijken.

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS-pad: 47541 I
Gemeenschappen: 
Geaccepteerd Beste

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS-pad: 47541 I
Gemeenschappen: 
Geaccepteerd
Inactief-reden: Intern > Extern > Extern via Intern

En van de tweede router:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS pad: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Alle standaardroutes (0.0.0.0/0). Deze situatie werd toegelicht door een medewerker van Mail.RU Group greediness, waarvoor dank. Samengevat: het Moskou-segment van het netwerk Vkontakte is cache-georiënteerd (en niet genererend), met als doel de laadsnelheid van populaire en gevraagde inhoud te optimaliseren. Zorg voor de gebruikers, inderdaad.

Als er geen route naar een bepaald netwerk is, betekent dit dat dit netwerk niet wordt bediend door de cache-servers. Dat betekent dat de laadsnelheid niet geoptimaliseerd is, en gebruikers lijden hieronder. Maar het is belangrijk om te benadrukken — niet alleen hun gebruikers, maar ook die van Vympelcom.

Conclusies:

1. Vanuit Vympelcom wordt het verkeer naar Mail.RU Group natuurlijk verdeeld. Er zijn geen kunstmatige omleidingen door manipulatie van de Local Preference gevonden.
2. Vanuit Mail.RU Group worden manipulaties met de prefixen van Vympelcom waargenomen.. Voor de bestaande routes naar het netwerk van Vympelcom via Russische operators zijn de prioriteiten verlaagd in vergelijking met de routes via buitenlandse Tier1-operators.
3. Voor de routes die aan Russische operators (MTS, Rostelecom, RETN.NET) worden overgedragen, zijn door Mail.RU Group bestuurs-BGP-gemeenschappen toegevoegd om hun verspreiding richting Vympelcom te beperken.

Waarom stelt Mail.RU Group routes via Europa hoger in prioriteit? Waarom verbiedt Mail.RU Group korte binnenlandse connectiviteit met Vympelcom?

Is het goedkoper voor hen? Verkeer via buitenlandse kanalen sturen en betalingen aan tirannen in valuta doen?
Of is er een wens om verkeer verder weg te duwen, zodat het niet zo gemakkelijk te verkrijgen is?
Dat is aan de netwerkingenieur onbekend...

Bron: habr.com