🥇Proiezione del conflitto aziendale sulla connettività di rete

Proiezione del conflitto aziendale sulla connettività di rete
Il conflitto aziendale è scoppiato il 10.06.2019 a causa dell'aumento dei costi di consegna degli SMS agli utenti della rete Vimpelcom da parte di Mail.RU Group. In risposta, Mail.RU Group ha smesso di "servire" i canali IP russi diretti verso la rete Vimpelcom.

Di seguito un'analisi sintetica della situazione dalla prospettiva di un ingegnere di rete.

Update: 14.06.2019 18:45 — focus sui percorsi russi verso la rete Vimpelcom, conclusioni corrette, aggiunta di chiarimenti Sergej Kubasov (CIO di Vkontakte).
Update: 14.06.2019 19:48 — aggiunta di una descrizione del modo in cui limitare la diffusione dei percorsi attraverso il "breve" percorso russo tramite Rostelecom, MTS, RETN.NET..

Introduzione:
Vimpelcom possiede un sistema autonomo AS3216, mentre tutti gli altri (8402 — internet domestico, 16345 — internet mobile) sono situati al di fuori di 3216.

Mail.RU Group — sistemi autonomi AS47541, AS47542 e AS47764. Il principale generatore di contenuti è 47542, noto come CDN VKONTAKTE (film, musica). Tutti i sistemi autonomi sono indipendenti l'uno dall'altro (dal punto di vista di un sistema autonomo esterno).

Iniziamo a esaminare la situazione dalla prospettiva della rete Vimpelcom. Per questo ci aiuterà Looking Glass Vimpelcom.

Osserviamo il primo sistema autonomo — AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valido, interno, migliore, gruppo-migliore, candidato all'importazione, sospetto di importazione
      Ricevuto Path ID 0, Local Path ID 1, versione 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH include due sistemi autonomi — 2914 (NTT) e 47541 (VKONTAKTE-SPB-AS).
Il valore di localpref è impostato a 87, che, secondo la descrizione nel RIPE DB per il soggetto AS3216, corrisponde al peer international.

…
remarks: Le rotte dei peer internazionali ottengono una preferenza locale nel
remarks: intervallo di 81-89.
…

Queste informazioni sono confermate anche dalle comunità 3216:3000 e 3216:3103 (fonte — RIPE DB per AS3216):

…
remarks: 3216:3000 Ricevuto da un uplink o peer internazionale, specificamente:
…
remarks: 3216:3103 AMS-IX
…

Quindi, Vimpelcom vede il percorso verso Vkontakte attraverso l'interconnessione europea.

Esaminiamo un'altra autonomia di Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Tutto è simile.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valido, interno, migliore, gruppo-migliore, candidato all'importazione
      Ricevuto Path ID 0, Local Path ID 1, versione 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

E come va con Mail.ru? Esaminiamo AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valido, interno, migliore, gruppo-migliore, candidato all'importazione
      Ricevuto Path ID 0, Local Path ID 1, versione 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom vede Mail.ru attraverso as3356 (uplink Level3, operatore Tier1). Queste informazioni sono confermate anche dal localpref 77:

…
osservazioni: Le rotte di Uplink ricevono la preferenza locale nell'intervallo 71-79.
osservazioni: Ultimo aggiornamento: febbraio 2012...

e community (3216:3000 e 3216:3007):

…
remarks: 3216:3000 Ricevuto da un uplink o peer internazionale, specificamente:
…
osservazioni: 3216:3007 Level 3 Communications
…

Dalle informazioni ricevute, si evince che il traffico dalla rete Vimpelcom verso VKontakte e Mail.ru passa attraverso i punti di interconnessione europei secondo i percorsi ottenuti tramite il protocollo BGP. Non ci sono percorsi alternativi tramite i punti di interconnessione russi in Looking Glass. Non sono state rilevate azioni di reindirizzamento artificiale del traffico attraverso percorsi ovviamente peggiori.

E come vede la Mail.ru Group le reti di Vimpelcom?
Utilizziamo Looking Glass di Mail.ru.

Da router AS47764 (mailru-as):

  Percorso #6: Ricevuto dal relatore 0
  Pubblicato ai peer (in gruppi di aggiornamento unici):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metrica 100) da 217.20.147.250 (217.20.147.253)
      Origine IGP, metrica 500, localpref 200, valido, interno, migliore, gruppo-migliore
      Ricevuto Path ID 0, Local Path ID 0, versione 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH contiene AS1299 (Telia, operatore Tier1, uplink Mail.RU) e as1273 (Vodafone, operatore Tier1, uplink Vimpelcom).

LocalPreference 200 è lo standard per gli interconnessioni esterne di Mail.ru (https://net.mail.ru/bgp.html), mentre MED 500 corrisponde a tutto ciò che non è stato ottenuto tramite un'interconnessione diretta, non da IX, né da peer.

Ma perché non ci sono percorsi locali attraverso gli operatori di telecomunicazioni russi???
Ci sono, ma la loro priorità è «non standard»!
Ecco un percorso attraverso Rostelecom (as12389):

  Percorso #1: Ricevuto dal relatore 0
  Non pubblicato a nessun peer
  12389 3216
    46.61.178.149 da 46.61.178.149 (213.59.207.79)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Validità Origin-AS: non trovato

Ecco attraverso MegaFon (as31133):

  Percorso #2: Ricevuto dal relatore 0
  Non pubblicato a nessun peer
  31133 3216
    78.25.77.41 da 78.25.77.41 (10.222.253.97)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Validità Origin-AS: non trovato

Ecco attraverso RETN.NET:

  Percorso #3: Ricevuto dal relatore 0
  Non pubblicato a nessun peer
  9002 9002 3216
    87.245.253.24 da 87.245.253.24 (87.245.225.1)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Validità Origin-AS: non trovato

E persino attraverso MTS!

  Percorso #5: Ricevuto dal relatore 0
  Non pubblicato a nessun peer
  8359 3216
    212.188.61.105 da 212.188.61.105 (195.34.52.77)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Validità Origin-AS: non trovato

La metrica localpref su queste rotte russe è inferiore, il che significa che le rotte sono peggiorate rispetto a quelle estere!

Inoltre, ci sono divieti da parte di Mail.Ru Group di diffondere i propri prefissi in Vimpelcom tramite operatori russi!

RETN.NET (http://lg.retn.net/):
Negli annunci di Mail.RU Group è presente la comunità 3216:65535.
Uscita da LG RETN.NETinet.0: 762737 destinazioni, 1734826 rotte (762708 attive, 222780 in hold, 277 nascoste)
94.100.176.0/20 (1 voce, 1 annunciata)
*Preferenza BGP: 170/-201
…
…
Percorso AS: 47764 I
Percorso AS: Registrato
Comunità: 3216:65535 9002:64667 9002:65530
…

Le rotte contrassegnate da tale comunità non vengono accettate da Vimpelcom. Estratto dal DB RIPE per AS3216:
... note: Le comunità interne sono assegnate solo internamente. note: Sono nel range 3216:0000-3216:4999 e 3216:6000-3216:65535. note: e vengono sempre eliminati dagli aggiornamenti in arrivo al confine. note: router. ...
Verso Rostelecom (http://lg.ip.rt.ru) Mail.RU Group fornisce rotte analoghe con la comunità 12389:8350.
Uscita da LG Rostelecom94.100.176.0/20 via 217.107.65.1 su eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tipo: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Secondo i registri nel DB RIPE per l'oggetto as12389, questa comunità significa "non annunciare nella rete as3216":... note: | 12389:835y Quando si pubblicizza su GoldenTelecom (AS3216) | ... note: | ...y=0 - non pubblicizzare | ...
Analogamente verso MTS (http://lg.mtu.ru):Uscita da LG MTSVoce della tabella di routing BGP per 94.100.176.0/20, versione 161717219
Percorsi: (2 disponibili, migliore #1, tabella predefinita)
Multipath: eBGP
Annunciato ai gruppi di aggiornamento:
6
47764, (ricevuto e utilizzato)
195.34.52.77 (metrica 16) da 195.34.52.181 (195.34.52.181)
Origine IGP, metrica 0, localpref 140, valido, interno, migliore
Comunità: 8359:2120 8359:2150 8359:5500 8359:55277
Originatore: 195.34.52.77, Elenco cluster: 83.59.83.59
47764, (ricevuto e utilizzato)
195.34.52.77 (metrica 16) da 195.34.52.182 (195.34.52.182)
Origine IGP, metrica 0, localpref 140, valido, interno
Comunità: 8359:2120 8359:2150 8359:5500 8359:55277
Originatore: 195.34.52.77, Elenco cluster: 83.59.2.77

La comunità 8359:2120 significa:... osservazioni: 8359:212x durante l'annuncio a Sovam (Beeline) ... osservazioni: x=0 - non annunciare ...
Non è possibile visualizzare gli annunci di Mail.RU Group verso Megafon — quest'ultimo non ha Looking Glass.

Diamo un'occhiata ad AS47541 (VKONTAKTE-SPB-AS).

L'output è troppo grande.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Ultimo switch-over Gio Apr  5 04:25:09 2018: 1 anno, 10 settimane, 6 ore, 9 minuti fa

Ven Jun 14 10:34:20.791 MSK
Voce della tabella di routing BGP per 81.211.0.0/17
Versioni:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Ultima modifica: 21 Mag 05:20:38.536 per 1y03w
Percorsi: (6 disponibili, migliore #4)
  Pubblicato nei gruppi di aggiornamento (con più di un peer):
    0.2 
  Pubblicato ai peer (in gruppi di aggiornamento unici):
    188.93.60.188   
  Percorso #1: Ricevuto da speaker 0
  Non pubblicato a nessun peer
  1299 1273 3216 3216
    87.240.191.235 (metrica 31) da 87.240.191.235 (87.240.191.235)
      Origine IGP, metrica 5000, localpref 150, valido, interno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Percorso #2: Ricevuto da speaker 0
  Non pubblicato a nessun peer
  1299 1273 3216 3216
    87.240.191.248 (metrica 31) da 87.240.191.248 (87.240.191.248)
      Origine IGP, metrica 5000, localpref 150, valido, interno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Percorso #3: Ricevuto da speaker 0
  Non pubblicato a nessun peer
  174 6762 3216 3216
    87.240.191.249 (metrica 31) da 87.240.191.249 (87.240.191.249)
      Origine IGP, metrica 5000, localpref 150, valido, interno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Percorso #4: Ricevuto da speaker 0
  Pubblicato nei gruppi di aggiornamento (con più di un peer):
    0.2 
  Pubblicato ai peer (in gruppi di aggiornamento unici):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 da 149.6.169.113 (38.28.1.236)
      Origine IGP, metrica 5000, localpref 150, valido, esterno, migliore, gruppo-migliore
      ID percorso ricevuto 0, ID percorso locale 0, versione 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Validità dell'Origin-AS: non trovato
  Percorso #5: Ricevuto da speaker 0
  Non pubblicato a nessun peer
  1273 1273 3216 3216
    195.89.114.197 da 195.89.114.197 (195.2.1.107)
      Origine IGP, metrica 5005, localpref 150, valido, esterno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Validità dell'Origin-AS: non trovato
  Percorso #6: Ricevuto da speaker 0
  Non pubblicato a nessun peer
  3356 3356 3216 3216 3216
    213.242.69.69 da 213.242.69.69 (4.69.177.130)
      Origine IGP, metrica 5000, localpref 150, valido, esterno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Validità dell'Origin-AS: non trovato

L'AS-PATH indica AS174 — Cogent (uplink Mail.RU, Tier1), seguito da AS6762 — Telecom Italia (uplink Vimpelcom). La Local Preference è sempre 150, ma così è per tutti i punti di interconnessione esterni, senza eccezioni. politiche scritte.

Guardiamo AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accettato Migliore

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accettato
Motivo inattività: Interno > Esterno > Esterno tramite Interno

E dal secondo router:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interno > Esterno > Esterno tramite Interno

Solo rotte predefinite (0.0.0.0/0). Questa situazione è stata spiegata da un dipendente di Mail.RU Group voracità, per cui lo ringraziamo. In breve: il segmento moscovita della rete VKontakte è cache (e non generatore), la cui funzione è ottimizzare la velocità di caricamento dei contenuti richiesti. Prendersi cura degli utenti, sì.

Se non esiste una rotta verso una certa rete, significa che quella rete non è servita dai server di caching. Significa che l'ottimizzazione della velocità di caricamento non funziona, e gli utenti soffrono. Ma qui bisogna sottolineare: non solo i propri utenti, ma anche quelli di Vimpelcom.

Conclusioni:

Dal lato di Vimpelcom, il traffico verso Mail.RU Group viene distribuito naturalmente. Non sono state rilevate deviazioni artificiali attraverso manipolazioni del Local Preference.
Dal lato di Mail.RU Group si osservano manipolazioni con i prefissi di Vimpelcom. Le priorità delle rotte esistenti verso la rete di Vimpelcom attraverso operatori russi sono inferiori rispetto a quelle attraverso operatori Tier1 esteri.
Sulle rotte trasmesse agli operatori russi (MTS, Rostelecom, RETN.NET) da Mail.RU Group sono state aggiunte comunità BGP per limitare la loro diffusione verso Vimpelcom.

Perché Mail.RU Group considera le rotte attraverso l'Europa più prioritarie? Perché Mail.RU Group vieta la breve interconnessione interna russa con Vimpelcom?

È più economico per loro? Far passare il traffico attraverso canali esteri e pagare i tiratori in valuta?
Oppure c'è la volontà di portare il traffico più lontano, così da renderlo meno accessibile, eh?
Questo non è noto all'ingegnere di rete...

Fonte: habr.com