🥇Proiecția conflictului corporativ asupra conectivității rețelei

Proiecția conflictului corporativ asupra conectivității rețelei
Conflictul corporativ a apărut pe 10.06.2019 din cauza creșterii costului livrării SMS-urilor utilizatorilor rețelei Vympelcom din partea Mail.RU Group. Ca măsură de răspuns, Mail.RU Group a încetat „asistența” canalelor IP directe rusești către rețeaua Vympelcom.

Mai jos este o analiză succintă a situației din perspectiva unui inginer de rețea.

Actualizare: 14.06.2019 18:45 — accent pe rutele rusești către rețeaua Vympelcom, concluziile corectate, adăugat o explicație Sergei Kubasov (CIO Vkontakte).
Actualizare: 14.06.2019 19:48 — adăugat o descriere a modului de limitare a răspândirii rutelor prin „scurtul” drum rusesc prin Rostelecom, MTS, RETN.NET..

Introduceri:
Vympelcom are un sistem autonom AS3216, toate celelalte (8402 — internet acasă, 16345 — internet mobil) se află în spatele lui 3216.

Mail.RU Group — sistemele autonome AS47541, AS47542 și AS47764. Principalul generator de conținut este 47542, cunoscut ca CDN VKONTAKTE (filme, muzică). Toate sistemele autonome sunt independente unele de altele (din perspectiva unei sisteme autonome externe).

Mai întâi, să analizăm situația din perspectiva rețelei Vympelcom. În acest scop, ne va ajuta Looking Glass Vympelcom.

Să ne uităm la primul sistem autonom — AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH conține două sisteme autonome — 2914 (NTT) și 47541 (VKONTAKTE-SPB-AS).
Metrica localpref este setată pe 87, care, conform descrierii din RIPE DB pentru obiectul AS3216, corespunde schimbului internațional.

…
remarks: Rutele peer-ului internațional primesc preferință locală în
remarks: intervalul de 81-89.
…

Aceleași informații sunt confirmate și de comunitățile 3216:3000 și 3216:3103 (sursa — RIPE DB pentru AS3216):

…
remarks: 3216:3000 Receieved from an international uplink or peer, specifically:
…
remarks: 3216:3103 AMS-IX
…

Deci, ruta către Vkontakte este văzută de Vympelcom prin interconexiunea europeană.

Să examinăm altă autonomă Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Totul este similar.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Și cum stau lucrurile cu însuși Mail.ru? Să ne uităm la AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom vede Mail.ru prin as3356 (uplink Level3, operator Tier1). Această informație este confirmată și localpref 77:

…
remarks: Rutele uplink-ului primesc preferință locală în intervalul 71-79.
remarks: Ultima actualizare: februarie 2012…

și comunitatea (3216:3000 și 3216:3007):

…
remarks: 3216:3000 Receieved from an international uplink or peer, specifically:
…
remarks: 3216:3007 Level 3 Communications
…

Din informațiile primite, se poate observa că traficul din rețeaua Vimpelcom către VKontakte și Mail.Ru se răspândește prin interconectările europene conform rutelor obținute prin protocolul BGP. Nu există rute alternative prin interconectările interne rusești în Looking Glass. Nu au fost detectate măsuri de redirecționare artificială a traficului prin rute cunoscut mai puțin favorabile.

Cum vede Mail.ru Group rețelele Vimpelcom?
Vom folosi Looking Glass de la Mail..

De la routerele din AS47764 (mailru-as):

  Path #6: Receput de vorbitor 0
  Publicat către colegi (în grupuri de actualizare unice):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) de la 217.20.147.250 (217.20.147.253)
      Origine IGP, metric 500, localpref 200, valid, intern, cel mai bun, cel mai bun din grup
      Receput Path ID 0, Local Path ID 0, versiune 1172721494
      Comunitate: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH conține AS1299 (Telia, operator Tier1, uplink Mail.RU) și as1273 (Vodafon, operator Tier1, uplink Vimpelcom).

LocalPreference 200 — standard pentru interconectările externe Mail.ru (https://net.mail.ru/bgp.html), iar MED 500 corespunde la tot ce a fost obținut fără direct din interconectare, nu din IX-uri, nu din peering.

Dar de ce nu sunt rute locale prin operatorii de telecomunicații ruși???
Există, dar prioritatea lor este „nestandard”!
Iată o rută prin Rostelecom (as12389):

  Path #1: Receput de vorbitor 0
  Nu este publicat niciunui coleg
  12389 3216
    46.61.178.149 de la 46.61.178.149 (213.59.207.79)
      Origine IGP, metric 500, localpref 199, valid, extern
      Receput Path ID 0, Local Path ID 0, versiune 0
      Comunitate: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Validitatea Origine-AS: not-found

Iată prin MegaFon (as31133):

  Path #2: Receput de vorbitor 0
  Nu este publicat niciunui coleg
  31133 3216
    78.25.77.41 de la 78.25.77.41 (10.222.253.97)
      Origine IGP, metric 500, localpref 199, valid, extern
      Receput Path ID 0, Local Path ID 0, versiune 0
      Comunitate: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Validitatea Origine-AS: not-found

Iată prin RETN.NET:

  Path #3: Receput de vorbitor 0
  Nu este publicat niciunui coleg
  9002 9002 3216
    87.245.253.24 de la 87.245.253.24 (87.245.225.1)
      Origine IGP, metric 500, localpref 199, valid, extern
      Receput Path ID 0, Local Path ID 0, versiune 0
      Comunitate: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Validitatea Origine-AS: not-found

Și chiar și prin MTS!

  Path #5: Receput de vorbitor 0
  Nu este publicat niciunui coleg
  8359 3216
    212.188.61.105 de la 212.188.61.105 (195.34.52.77)
      Origine IGP, metric 500, localpref 199, valid, extern
      Receput Path ID 0, Local Path ID 0, versiune 0
      Comunitate: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Validitatea Origine-AS: not-found

Metric localpref for these Russian routes is lowered, meaning the routes are degraded compared to foreign ones!

În plus, There are restrictions from Mail.Ru Group on the dissemination of its prefixes within VimpelCom through Russian operators!

RETN.NET (http://lg.retn.net/):
In announcements from Mail.RU Group, community 3216:65535 is present.
Output from LG RETN.NETinet.0: 762737 destinations, 1734826 routes (762708 active, 222780 holddown, 277 hidden)
94.100.176.0/20 (1 entry, 1 announced)
*BGP Preference: 170/-201
…
…
AS path: 47764 I
AS path: Recorded
Communities: 3216:65535 9002:64667 9002:65530
…

Routes marked with this community are not accepted by Vimpelcom into their network. Extract from RIPE DB for AS3216:
... observații: Comunitățile interne sunt asignate doar intern. observații: Ele sunt în intervalul 3216:0000-3216:4999 și 3216:6000-3216:65535. observații: și sunt întotdeauna eliminate din actualizările de intrare la frontieră. observații: routere. ...
Towards Rostelecom (http://lg.ip.rt.ru), Mail.RU Group offers similar routes with community 12389:8350.
Output from LG Rostelecom94.100.176.0/20 via 217.107.65.1 on eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Type: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

According to RIPE DB records for object as12389, this community means 'do not announce to network as3216':... observații: | 12389:835y Când faceți publicitate la GoldenTelecom (AS3216) | ... observații: | ...y=0 - nu faceți publicitate | ...
Similarly towards MTS (http://lg.mtu.ru):Output from LG MTSBGP routing table entry for 94.100.176.0/20, version 161717219
Paths: (2 available, best #1, table default)
Multipath: eBGP
Advertised to update-groups:
6
47764, (received & used)
195.34.52.77 (metric 16) from 195.34.52.181 (195.34.52.181)
Origin IGP, metric 0, localpref 140, valid, internal, best
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster list: 83.59.83.59
47764, (received & used)
195.34.52.77 (metric 16) from 195.34.52.182 (195.34.52.182)
Origin IGP, metric 0, localpref 140, valid, internal
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster list: 83.59.2.77

Community 8359:2120 means:... observații: 8359:212x când se anunță către Sovam (Beeline) ... observații: x=0 - nu anunța ...
You cannot view announcements from Mail.RU Group towards MegaFon — the latter has no Looking Glass.

Let's take a look at AS47541 (VKONTAKTE-SPB-AS).

The output is too large.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Ultimul comutator pe 5 Apr 2018 04:25:09: 1 an, 10 săptămâni, 6 ore, 9 minute în urmă

Vin Jun 14 10:34:20.791 MSK
Intrare în tabelul de rutare BGP pentru 81.211.0.0/17
Versiuni:
  Proces           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Ultima modificare: 21 Mai 05:20:38.536 pentru 1y03w
Căi: (6 disponibile, cea mai bună #4)
  Publicat către grupurile de actualizare (cu mai mult de un peer):
    0.2 
  Publicat către peers (în grupuri de actualizare unice):
    188.93.60.188   
  Calea #1: Primită de speaker 0
  Nu a fost publicată către niciun peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) de la 87.240.191.235 (87.240.191.235)
      Origine IGP, metric 5000, localpref 150, valid, intern
      ID Cale Primit: 0, ID Cale Local: 0, versiune 0
      Comunitate: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Calea #2: Primită de speaker 0
  Nu a fost publicată către niciun peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) de la 87.240.191.248 (87.240.191.248)
      Origine IGP, metric 5000, localpref 150, valid, intern
      ID Cale Primit: 0, ID Cale Local: 0, versiune 0
      Comunitate: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Calea #3: Primită de speaker 0
  Nu a fost publicată către niciun peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) de la 87.240.191.249 (87.240.191.249)
      Origine IGP, metric 5000, localpref 150, valid, intern
      ID Cale Primit: 0, ID Cale Local: 0, versiune 0
      Comunitate: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Calea #4: Primită de speaker 0
  Publicat către grupurile de actualizare (cu mai mult de un peer):
    0.2 
  Publicat către peers (în grupuri de actualizare unice):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 de la 149.6.169.113 (38.28.1.236)
      Origine IGP, metric 5000, localpref 150, valid, extern, cea mai bună, grup-cel mai bun
      ID Cale Primit: 0, ID Cale Local: 0, versiune 913059757
      Comunitate: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Valabilitate Origine-AS: not-found
  Calea #5: Primită de speaker 0
  Nu a fost publicată către niciun peer
  1273 1273 3216 3216
    195.89.114.197 de la 195.89.114.197 (195.2.1.107)
      Origine IGP, metric 5005, localpref 150, valid, extern
      ID Cale Primit: 0, ID Cale Local: 0, versiune 0
      Comunitate: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Valabilitate Origine-AS: not-found
  Calea #6: Primită de speaker 0
  Nu a fost publicată către niciun peer
  3356 3356 3216 3216 3216
    213.242.69.69 de la 213.242.69.69 (4.69.177.130)
      Origine IGP, metric 5000, localpref 150, valid, extern
      ID Cale Primit: 0, ID Cale Local: 0, versiune 0
      Comunitate: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Valabilitate Origine-AS: not-found

AS-PATH arată AS174 — Cogent (uplink Mail.RU, Tier1), apoi AS6762 — Telecom Italia (uplink Vympelcom). Local Preference este 150 peste tot, dar la toate punctele externe, indiferent de politicile scrise.

Să ne uităm la AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Comunități: 
Acceptat Cel Mai Bun

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Comunități: 
Acceptat
Motiv inactiv: Interior > Exterior > Exterior prin Interior

Și de la al doilea router:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Numai rutele implicite (0.0.0.0/0). Această situație a fost explicată de un angajat al Mail.RU Group lăcomie, pentru care îi mulțumim. Pe scurt: segmentul de rețea din Moscova al VKontakte este cache-uril (nu generativ), scopul său fiind optimizarea vitezei de încărcare a conținutului popular solicitat. Grija față de utilizatori, da.

Dacă nu există o rută pentru o anumită rețea, înseamnă că această rețea nu este deservită de serverele de cache. Aceasta înseamnă că optimizarea vitezei de încărcare nu funcționează, iar utilizatorii suferă. Dar aici trebuie subliniat — utilizatorii nu sunt doar ai lor, ci și ai Vympelcom.

Concluzii:

Din partea Vympelcom, traficul către Mail.RU Group se distribuie în mod natural. Nu au fost descoperite redirecționări artificiale prin manipularea Local Preference
Din partea Mail.RU Group se observă manipulări cu prefixele Vympelcom. Prioritățile pentru rutele existente către rețeaua Vympelcom prin operatorii ruși sunt mai scăzute comparativ cu rutele prin operatorii internaționali Tier1.
Pentru rutele transmise operatorilor ruși (MTS, Rostelecom, RETN.NET) din partea Mail.RU Group au fost adăugate comunități BGP pentru a restricționa răspândirea lor către Vympelcom

De ce Mail.RU Group prioritizează rutele prin Europa? De ce Mail.RU Group interzice conectivitatea internă scurtă cu Vympelcom?

Le este astfel mai ieftin? Să direcționeze traficul prin canale internaționale și să plătească tirvanilor în valută?
Sau există dorința de a îndepărta traficul, astfel încât să fie mai greu de recuperat, nu?
Aceasta nu este cunoscută inginerului de rețea…

Sursa: habr.com