ProHoster > Blog > internetske vijesti > Projekcija korporativnog sukoba na mrežnu povezanost

Projekcija korporativnog sukoba na mrežnu povezanost

Projekcija korporativnog sukoba na mrežnu povezanost
Korporacijski sukob nastao je 10.06.2019. lipnja XNUMX. zbog povećanja troškova isporuke SMS-a korisnicima mreže VimpelCom od strane Mail.RU Group. Kao odgovor, Mail.RU Group je prestao "posluživati" izravne ruske IP kanale prema VimpelCom mreži.

U nastavku je kratka analiza situacije iz perspektive mrežnog inženjera.

Nadopune: 14.06.2019 18:45 - naglasak na ruskim rutama prema mreži VimpelCom, zaključci ispravljeni, objašnjenje dodano Sergej Kubasov (CIO VKontakte).
Nadopune: 14.06.2019 19:48 - dodan je opis metode za ograničavanje širenja ruta duž "kratke" ruske rute kroz Rostelecom, MTS, RETN.NET..


Uvodni:
VimpelCom ima autonomni sustav AS3216, svi ostali (8402 - kućni internet, 16345 - mobilni internet) nalaze se iza 3216.

Mail.RU Group - autonomni sustavi AS47541, AS47542 i AS47764. Glavni generator sadržaja je 47542, tzv. CDN VKONTAKTE (filmovi, glazba). Svi autonomni sustavi neovisni su jedan o drugome (iz pozicije vanjskog autonomnog sustava).

Prvo, pogledajmo situaciju iz mreže VimpelCom. Za ovo će nam pomoći Looking Glass Vimpelcom.

Pogledajmo prvi autonomni sustav - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH sadrži dva autonomna sustava - 2914 (NTT) i 47541 (VKONTAKTE-SPB-AS).
Localpref metrika postavljena je na 87, što prema opisu u RIPE DB za objekt AS3216 odgovara međunarodnom peeringu.

...
napomene: Rute međunarodnih ravnopravnih korisnika dobivaju lokalnu prednost u
napomene: raspon od 81-89.
...

Istu informaciju potvrđuju i zajednice 3216:3000 i 3216:3103 (izvor: RIPE DB za AS3216):

...
napomene: 3216:3000 Primljeno od međunarodne uzlazne veze ili peer-a, posebno:
...
napomene: 3216:3103 AMS-IX
...

Odnosno, VimpelCom vidi put do VKontakte kroz europsko čvorište.

Pogledajmo drugu mrežu VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).

Sve je isto.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Što je sa samim Mail.ru? Pogledajmo AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom vidi Mail.ru kroz as3356 (uplink Level3, Tier1 operator). Ovu informaciju potvrđuje localpref 77:

...
napomene: Uplinkove rute dobivaju lokalnu prednost u rasponu od 71-79.
napomene: Zadnje ažuriranje: veljača 2012…

i zajednica (3216:3000 i 3216:3007):

...
napomene: 3216:3000 Primljeno od međunarodne uzlazne veze ili peer-a, posebno:
...
napomene: 3216:3007 Komunikacije razine 3
...

Iz primljenih informacija jasno je da se promet s mreže VimpelCom na VKontakte i MailRu distribuira kroz europska čvorišta prema rutama primljenim putem BGP protokola. Ne postoje alternativni pravci kroz domaće ruske veze u Looking Glassu. Nisu pronađene mjere za umjetno preusmjeravanje prometa očito lošijim rutama.

Kako Mail.ru Group vidi VimpelComovu mrežu?
Iskoristimo Looking Glass by Mailov.

Od usmjerivača iz AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH sadrži AS1299 (Telia, Tier1 operator, Mail.RU uplink) i as1273 (Vodafon, Tier1 operator, VimpelCom uplink).

LocalPreference 200 je standard za vanjske veze Mail.ru (https://net.mail.ru/bgp.html), a MED 500 odgovara svemu što nije primljeno iz izravne veze, ne od IX-ova, ne od peeringa .

Ali zašto nema lokalnih linija preko ruskih telekom operatera???
Postoje, ali prioritet im je “nestandardno”!
Evo rute preko Rostelecoma (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Ovdje preko Megafona (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Ovdje putem RETN.NET-a:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Pa čak i preko MTS-a!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Localpref metrika za ove ruske rute je podcijenjena, to jest, rute su lošije u usporedbi sa stranim!

Osim toga, postoje zabrane od strane Mail.Ru grupe distribucija vaših prefiksa na VimpelCom preko ruskih operatera!

RETN.NET (http://lg.retn.net/):
Obavijesti Mail.RU grupe pokazuju zajednicu 3216:65535.
Povlačenje s LG RETN.NETinet.0: 762737 odredišta, 1734826 ruta (762708 aktivno, 222780 zadržano, 277 skriveno)
94.100.176.0/20 (1 unos, 1 najava)
*BGP preferencija: 170/-201
...
...
AS put: 47764 I
AS put: Snimljeno
Zajednice: 3216:65535 9002:64667 9002:65530
...

VimpelCom ne prihvaća rute označene od strane takve zajednice na svojoj mreži. Izvadak iz RIPE DB na AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
U smjeru Rostelecoma (http://lg.ip.rt.ru), Mail.RU Group daje slične rute iz zajednice 12389:8350.
Povlačenje iz LG Rostelecoma94.100.176.0/20 putem 217.107.65.1 na eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Vrsta: BGP unicast univ
BGP.podrijetlo: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.id_izvornika: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Prema unosima RIPE DB za objekt as12389, ova zajednica znači "ne oglašavati na mreži as3216":...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
Slično prema MTS-u (http://lg.mtu.ru):Povlačenje iz LG MTSUnos BGP tablice usmjeravanja za 94.100.176.0/20, verzija 161717219
Putovi: (2 dostupna, najbolji #1, zadana tablica)
Višestazni: eBGP
Oglašava se grupama za ažuriranje:
6
47764, (primljeno i korišteno)
195.34.52.77 (metrički 16) od 195.34.52.181 (195.34.52.181)
Porijeklo IGP, metrika 0, localpref 140, valjano, interno, najbolje
Zajednica: 8359:2120 8359:2150 8359:5500 8359:55277
Izvor: 195.34.52.77, popis klastera: 83.59.83.59
47764, (primljeno i korišteno)
195.34.52.77 (metrički 16) od 195.34.52.182 (195.34.52.182)
Porijeklo IGP, metrika 0, localpref 140, važeće, interno
Zajednica: 8359:2120 8359:2150 8359:5500 8359:55277
Izvor: 195.34.52.77, popis klastera: 83.59.2.77

Zajednica 8359:2120 znači:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Ne možete pogledati najave Mail.RU grupe u smjeru Megafona - potonji nema Looking Glass.

Pogledajmo AS47541 (VKONTAKTE-SPB-AS).

Izlaz je prevelik.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH pokazuje na AS174 - Cogent (Mail.RU uplink, Tier1), zatim AS6762 - Telecom Italia (VimpelCom uplink). Lokalna preferencija je 150 posvuda, ali to se odnosi na sve vanjske spojeve, bez obzira na pisane politike.

Pogledajmo AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

I od drugog rutera: 

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Samo zadane rute (0.0.0.0/0). Ovu situaciju objasnio je zaposlenik Mail.RU grupe pohlepa, na čemu mu se zahvaljujem. Ukratko: moskovski segment mreže VKontakte je segment za predmemoriranje (a ne generiranje), čija je zadaća optimizirati brzinu učitavanja popularnog sadržaja koji se traži. Briga o korisnicima, da.

Ako ne postoji ruta do određene mreže, tada ovu mrežu ne opslužuju poslužitelji za predmemoriju. To znači da optimizacija brzine preuzimanja ne radi, a korisnici trpe. Ali ovdje moramo naglasiti da korisnici nisu samo naši, već i VimpelComovi.

Zaključak:

  1. Od VimpelComa, promet prema Mail.RU grupi distribuira se prirodno. Nisu otkrivena nikakva umjetna preusmjeravanja kroz manipulacije lokalnim postavkama
  2. Mail.RU Group promatra manipulacije s VimpelCom prefiksima. Postojeće rute prema VimpelCom mreži preko ruskih operatera imaju niži prioritet u usporedbi s rutama preko stranih Tier1 operatera.
  3. Upravitelji BGP zajednice dodani su rutama koje Mail.RU Group prenosi ruskim operaterima (MTS, Rostelecom, RETN.NET) kako bi se ograničilo njihovo širenje prema VimpelComu

Zašto Mail.RU Group daje prioritet rutama kroz Europu? Zašto Mail.RU Group zabranjuje kratke domaće ruske veze s VimpelComom?

Je li im to jeftinije? Voziti promet stranim kanalima i plaćati Tirvanima u devizama?
Ili postoji želja da se promet udalji tako da preuzimanje nije tako zgodno, ha?
Ovo je nepoznato mrežnom inženjeru...

Izvor: www.habr.com

Kupite pouzdan hosting za stranice s DDoS zaštitom, VPS VDS poslužiteljima 🔥 Kupite pouzdan web hosting sa DDoS zaštitom, VPS VDS servere | ProHoster