🥇Proiezione del conflitto aziendale sulla connettività di rete

Proiezione del conflitto aziendale sulla connettività di rete
Un conflitto aziendale è sorto il 10.06.2019 a causa dell'aumento del costo della consegna degli SMS agli utenti della rete Vimpelcom da parte di Mail.RU Group. In risposta, Mail.RU Group ha smesso di "fornire" i canali IP diretti russi verso la rete Vimpelcom.

Di seguito un'analisi sintetica della situazione dal punto di vista di un ingegnere di rete.

Aggiornamento: 14.06.2019 18:45 — focus sulle rotte russe verso la rete Vimpelcom, le conclusioni sono state corrette e sono state aggiunte spiegazioni Sergei Kubasov (CIO di Vkontake).
Aggiornamento: 14.06.2019 19:48 — aggiunta di una descrizione del metodo per limitare la diffusione delle rotte attraverso il "breve" percorso russo tramite Rostelecom, MTS, RETN.NET.

Introduzione:
Vimpelcom ha un sistema autonomo AS3216, mentre tutti gli altri (8402 — internet domestico, 16345 — internet mobile) si trovano dietro il 3216.

Mail.RU Group ha sistemi autonomi AS47541, AS47542 e AS47764. Il principale generatore di contenuti è 47542, noto come CDN VKONTAKTE (film, musica). Tutti i sistemi autonomi sono indipendenti l'uno dall'altro (dal punto di vista di un sistema autonomo esterno).

Iniziamo a esaminare la situazione dal punto di vista della rete Vimpelcom. A questo proposito, ci aiuterà Looking Glass Vimpelcom.

Esaminiamo il primo sistema autonomo — AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origine IGP, metric 30, localpref 87, valido, interno, migliore, migliore del gruppo, candidato all'importazione, sospetto all'importazione
      Ricevuto ID Percorso 0, ID Percorso Locale 1, versione 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH contiene due sistemi autonomi — 2914 (NTT) e 47541 (VKONTAKTE-SPB-AS).
La metrica localpref è impostata su 87, che secondo la descrizione nel RIPE DB per l'oggetto AS3216 corrisponde al peer internazionale.

…
remarks: Le rotte dei peer internazionali ricevono preferenza locale nel
remarks: intervallo di 81-89.
…

Queste informazioni sono confermate anche dalle comunità 3216:3000 e 3216:3103 (fonte — RIPE DB per AS3216):

…
remarks: 3216:3000 ricevuto da un uplink o peer internazionale, specificamente:
…
remarks: 3216:3103 AMS-IX
…

Cioè, Vimpelcom vede il percorso verso VKontakte attraverso il nodo europeo.

Esaminiamo un'altra autonoma di Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Tutto è analogo.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origine IGP, metric 30, localpref 87, valido, interno, migliore, migliore del gruppo, candidato all'importazione, sospetto all'importazione
      Ricevuto ID Percorso 0, ID Percorso Locale 1, versione 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

E come stanno le cose con Mail.ru stesso? Esaminiamo AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origine IGP, metric 0, localpref 77, valido, interno, migliore, migliore del gruppo, candidato all'importazione
      Ricevuto ID Percorso 0, ID Percorso Locale 1, versione 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom vede Mail.ru attraverso as3356 (uplink Level3, operatore Tier1). Questa informazione è confermata e localpref 77:

…
osservazioni: Le rotte di Uplink ottengono una preferenza locale nell'intervallo di 71-79.
osservazioni: Ultimo aggiornamento: febbraio 2012…

e community (3216:3000 e 3216:3007):

…
remarks: 3216:3000 ricevuto da un uplink o peer internazionale, specificamente:
…
osservazioni: 3216:3007 Level 3 Communications
…

Dalle informazioni ricevute si evince che il traffico della rete VimpelCom verso VKontakte e Mail.ru si distribuisce attraverso nodi europei secondo i percorsi ottenuti tramite il protocollo BGP. Non ci sono percorsi alternativi attraverso interconnessioni internazionali russe in Looking Glass. Non sono stati riscontrati tentativi di reindirizzare artificialmente il traffico attraverso percorsi deliberatamente peggiori.

E come vede Mail.ru Group le reti di VimpelCom?
Approfondiamo Looking Glass di Mail.ru.

Dai router di AS47764 (mailru-as):

  Path #6: Ricevuto da relatore 0
  Pubblicato ai peer (in gruppi di aggiornamento unici):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metrica 100) da 217.20.147.250 (217.20.147.253)
      Origine IGP, metrica 500, localpref 200, valido, interno, migliore, gruppo-migliore
      Ricevuto Path ID 0, Local Path ID 0, versione 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH contiene AS1299 (Telia, operatore Tier1, uplink Mail.RU) e as1273 (Vodafon, operatore Tier1, uplink VimpelCom).

Preferenza locale 200 — standard per i nodi esterni di Mail.ru (https://net.mail.ru/bgp.html), mentre MED 500 corrisponde a tutto ciò che è stato ricevuto non tramite un nodo diretto, non tramite IX, non tramite peer.

Ma perché non ci sono rotte locali attraverso gli operatori di telecomunicazioni russi???
Ci sono, ma la loro priorità è "non standard"!
Ecco il percorso attraverso Rostelecom (as12389):

  Path #1: Ricevuto da relatore 0
  Non pubblicato a nessun peer
  12389 3216
    46.61.178.149 da 46.61.178.149 (213.59.207.79)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Validità dell'origin-AS: non trovato

Ecco attraverso MegaFon (as31133):

  Path #2: Ricevuto da relatore 0
  Non pubblicato a nessun peer
  31133 3216
    78.25.77.41 da 78.25.77.41 (10.222.253.97)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Validità dell'origin-AS: non trovato

Ecco attraverso RETN.NET:

  Path #3: Ricevuto da relatore 0
  Non pubblicato a nessun peer
  9002 9002 3216
    87.245.253.24 da 87.245.253.24 (87.245.225.1)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Validità dell'origin-AS: non trovato

E persino attraverso MTS!

  Path #5: Ricevuto da relatore 0
  Non pubblicato a nessun peer
  8359 3216
    212.188.61.105 da 212.188.61.105 (195.34.52.77)
      Origine IGP, metrica 500, localpref 199, valido, esterno
      Ricevuto Path ID 0, Local Path ID 0, versione 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Validità dell'origin-AS: non trovato

La metrica localpref su questi percorsi russi è sottovalutata, cioè i percorsi sono peggiorati rispetto a quelli esteri!

Inoltre, ci sono divieti da parte di Mail.Ru Group di diffusione dei propri prefissi in Vympelcom tramite operatori russi!

RETN.NET (http://lg.retn.net/):
Negli annunci di Mail.RU Group compare la comunità 3216:65535.
Uscita da LG RETN.NETinet.0: 762737 destinazioni, 1734826 percorsi (762708 attivi, 222780 in attesa, 277 nascosti)
94.100.176.0/20 (1 entry, 1 announced)
*BGP Preference: 170/-201
…
…
AS path: 47764 I
AS path: Registrato
Community: 3216:65535 9002:64667 9002:65530
…

I percorsi contrassegnati da questa comunità non vengono accettati da Vympelcom sulla propria rete. Estratto dal RIPE DB per AS3216:
... note: Le comunità interne sono assegnate solo internamente. note: Sono nell'intervallo 3216:0000-3216:4999 e 3216:6000-3216:65535 note: e vengono sempre eliminate dagli aggiornamenti in entrata al confine note: router. ...
Verso Rostelecom (http://lg.ip.rt.ru) Mail.RU Group restituisce percorsi analoghi con la comunità 12389:8350.
Uscita da LG Rostelecom94.100.176.0/20 via 217.107.65.1 su eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tipo: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Secondo i registri nel RIPE DB per l'oggetto as12389 questa comunità significa "non annunciare nella rete as3216":... osservazioni: | 12389:835y Quando si pubblicizza a GoldenTelecom (AS3216) | ... osservazioni: | ...y=0 - non pubblicizzare | ...
Analogamente verso MTS (http://lg.mtu.ru):Uscita da LG MTSVoce della tabella di routing BGP per 94.100.176.0/20, versione 161717219
Percorsi: (2 disponibili, migliore #1, tabella predefinita)
Multipath: eBGP
Pubblicato a gruppi di aggiornamento:
6
47764, (ricevuti & usati)
195.34.52.77 (metrica 16) da 195.34.52.181 (195.34.52.181)
Origine IGP, metrica 0, localpref 140, valido, interno, migliore
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Elenco cluster: 83.59.83.59
47764, (ricevuti & usati)
195.34.52.77 (metrica 16) da 195.34.52.182 (195.34.52.182)
Origine IGP, metrica 0, localpref 140, valido, interno
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Elenco cluster: 83.59.2.77

La comunità 8359:2120 significa:... osservazioni: 8359:212x durante l'annuncio a Sovam (Beeline) ... osservazioni: x=0 - non annunciare ...
Non è possibile visualizzare gli annunci di Mail.RU Group verso Megafon — l'ultimo non ha Looking Glass.

Vediamo AS47541 (VKONTAKTE-SPB-AS).

L'uscita è troppo grande.

 Router: a9922-e-5
Comando: mostra ip bgp 81.211.56.202


Ultimo passaggio giovedì 5 apr 2018 04:25:09: 1 anno, 10 settimane, 6 ore, 9 minuti fa

Ven 14 giu 10:34:20.791 MSK
Voce della tabella di routing BGP per 81.211.0.0/17
Versioni:
  Processo           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Ultima modifica: 21 maggio 05:20:38.536 per 1y03w
Percorsi: (6 disponibili, migliore #4)
  Pubblicato ai gruppi di aggiornamento (con più di un peer):
    0.2 
  Pubblicato ai peer (in gruppi di aggiornamento unici):
    188.93.60.188   
  Percorso #1: Ricevuto dallo speaker 0
  Non pubblicato a nessun peer
  1299 1273 3216 3216
    87.240.191.235 (metrica 31) da 87.240.191.235 (87.240.191.235)
      Origine IGP, metrica 5000, localpref 150, valido, interno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Percorso #2: Ricevuto dallo speaker 0
  Non pubblicato a nessun peer
  1299 1273 3216 3216
    87.240.191.248 (metrica 31) da 87.240.191.248 (87.240.191.248)
      Origine IGP, metrica 5000, localpref 150, valido, interno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Percorso #3: Ricevuto dallo speaker 0
  Non pubblicato a nessun peer
  174 6762 3216 3216
    87.240.191.249 (metrica 31) da 87.240.191.249 (87.240.191.249)
      Origine IGP, metrica 5000, localpref 150, valido, interno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Percorso #4: Ricevuto dallo speaker 0
  Pubblicato ai gruppi di aggiornamento (con più di un peer):
    0.2 
  Pubblicato ai peer (in gruppi di aggiornamento unici):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 da 149.6.169.113 (38.28.1.236)
      Origine IGP, metrica 5000, localpref 150, valido, esterno, migliore, migliore-gruppo
      ID percorso ricevuto 0, ID percorso locale 0, versione 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Validità dell'AS di origine: non trovato
  Percorso #5: Ricevuto dallo speaker 0
  Non pubblicato a nessun peer
  1273 1273 3216 3216
    195.89.114.197 da 195.89.114.197 (195.2.1.107)
      Origine IGP, metrica 5005, localpref 150, valido, esterno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Validità dell'AS di origine: non trovato
  Percorso #6: Ricevuto dallo speaker 0
  Non pubblicato a nessun peer
  3356 3356 3216 3216 3216
    213.242.69.69 da 213.242.69.69 (4.69.177.130)
      Origine IGP, metrica 5000, localpref 150, valido, esterno
      ID percorso ricevuto 0, ID percorso locale 0, versione 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Validità dell'AS di origine: non trovato

L'AS-PATH indica AS174 — Cogent (uplink Mail.RU, Tier1), quindi AS6762 — Telecom Italia (uplink Vimpelcom). Il Local Preference è ovunque 150, ma così è per tutti i punti di interconnessione esterni, indipendentemente da politiche scritte.

Diamo un'occhiata ad AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Comando: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Comunità: 
Accettato Migliore

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Comunità: 
Accettato
Motivo inattivo: Interno > Esterno > Esterno tramite Interno

E dal secondo router:

 Router: mx960-m9-1
Comando: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Comunità: 
Accettato Migliore

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Comunità: 
Accettato
Motivo di inattività: Interno > Esterno > Esterno tramite Interno

Solo percorsi di default (0.0.0.0/0). Questa situazione è stata spiegata da un dipendente di Mail.RU Group avidità, per cui lo ringraziamo. In breve: il segmento di rete moscovita di VKontakte è un sistema di caching (non generante), il cui compito è ottimizzare la velocità di caricamento dei contenuti popolari e richiesti. Cura degli utenti, sì.

Se non ci sono percorsi per una rete, significa che questa rete non è gestita dai server di caching. Di conseguenza, l'ottimizzazione della velocità di caricamento non funziona e gli utenti ne soffrono. Ma qui è necessario sottolineare: non sono solo i propri utenti, ma anche quelli di VimpelCom.

Conclusioni:

Dal lato di VimpelCom, il traffico verso Mail.RU Group si distribuisce in modo naturale. Non sono state trovate redirezioni artificiali attraverso manipolazioni di Local Preference.
Dal lato di Mail.RU Group si osservano manipolazioni con i prefissi di VimpelCom. Sui percorsi esistenti verso la rete di VimpelCom attraverso operatori russi, le priorità sono state abbassate rispetto ai percorsi attraverso operatori esteri Tier1.
Sui percorsi trasmessi agli operatori russi (MTS, Rostelecom, RETN.NET) dal lato di Mail.RU Group sono state aggiunte comunità di gestione BGP per limitarne la diffusione verso VimpelCom.

Perché Mail.RU Group dà priorità ai percorsi attraverso l'Europa? Perché Mail.RU Group vieta la connettività interna russa con VimpelCom?

È più economico per loro? Devono convogliare il traffico attraverso canali esteri e pagare ai Tier1 in valuta?
O c'è la volontà di far andare il traffico più lontano, in modo che non sia così facile prenderlo, eh?
Questo è sconosciuto all'ingegnere di rete...

Fonte: habr.com