ProHoster > Блог > internet vijesti > Projekcija korporativnog sukoba na mrežnu povezanost

Projekcija korporativnog sukoba na mrežnu povezanost

Projekcija korporativnog sukoba na mrežnu povezanost
Korporativni sukob je nastao 10.06.2019. juna XNUMX. zbog povećanja cijene dostave SMS-a korisnicima VimpelCom mreže od strane Mail.RU grupe. Kao odgovor, Mail.RU Group je prestala da "servira" direktne ruske IP kanale prema VimpelCom mreži.

Ispod je kratka analiza situacije iz perspektive mrežnog inženjera.

Ažuriranje: 14.06.2019 18:45 - naglasak na ruskim rutama do VimpelCom mreže, ispravljeni zaključci, dodano objašnjenje Sergej Kubasov (CIO VKontakte).
Ažuriranje: 14.06.2019 19:48 - dodat je opis metode za ograničavanje širenja ruta duž "kratke" ruske rute preko Rostelecoma, MTS, RETN.NET..


Uvodno:
VimpelCom ima autonomni sistem AS3216, svi ostali (8402 - kućni internet, 16345 - mobilni internet) se nalaze iza 3216.

Mail.RU Group - autonomni sistemi AS47541, AS47542 i AS47764. Glavni generator sadržaja je 47542, tzv. CDN VKONTAKTE (filmovi, muzika). Svi autonomni sistemi su nezavisni jedan od drugog (sa pozicije eksternog autonomnog sistema).

Prvo, pogledajmo situaciju iz VimpelCom mreže. Za to će nam pomoći Looking Glass VimpelCom.

Pogledajmo prvi autonomni sistem - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH sadrži dva autonomna sistema - 2914 (NTT) i 47541 (VKONTAKTE-SPB-AS).
Lokalna pref metrika je postavljena na 87, što prema opisu u RIPE DB za objekt AS3216 odgovara međunarodnom peeringu.

...
napomene: Međunarodne rute vršnjaka imaju lokalnu prednost u
napomene: raspon od 81-89.
...

Istu informaciju potvrđuju i zajednice 3216:3000 i 3216:3103 (izvor: RIPE DB za AS3216):

...
napomene: 3216:3000 Primljeno od međunarodnog uplink-a ili ravnopravnog korisnika, konkretno:
...
napomene: 3216:3103 AMS-IX
...

Odnosno, VimpelCom vidi put do VKontaktea kroz evropsku raskrsnicu.

Pogledajmo drugu VKontakte mrežu - 47542 (VKONTAKTE-MSK-CDN-AS).

Sve je isto.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Šta je sa samim Mail.ru-om? Pogledajmo AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom vidi Mail.ru kroz as3356 (uplink Level3, Tier1 operator). Ovu informaciju potvrđuje localpref 77:

...
napomene: Rute Uplink-a dobijaju lokalne preferencije u rasponu od 71-79.
napomene: Zadnja izmjena: februar 2012…

i zajednica (3216:3000 i 3216:3007):

...
napomene: 3216:3000 Primljeno od međunarodnog uplink-a ili ravnopravnog korisnika, konkretno:
...
napomene: 3216:3007 Komunikacije nivoa 3
...

Iz primljenih informacija jasno je da se promet iz VimpelCom mreže prema VKontakteu i MailRu-u distribuira preko evropskih čvorišta prema rutama primljenim putem BGP protokola. U Looking Glassu nema alternativnih ruta kroz domaće ruske veze. Nisu pronađene mjere za vještačko preusmjeravanje saobraćaja na očigledno lošije rute.

Kako Mail.ru Group vidi VimpelComovu mrežu?
Hajde da iskoristimo prednost Looking Glass by Mailov.

Od rutera sa AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH sadrži AS1299 (Telia, Tier1 operater, Mail.RU uplink) i as1273 (Vodafon, Tier1 operater, VimpelCom uplink).

LocalPreference 200 je standard za eksterne konekcije Mail.ru (https://net.mail.ru/bgp.html), a MED 500 odgovara svemu što se ne prima sa direktne veze, ni sa IX-a, ni sa peeringa .

Ali zašto nema lokalnih ruta preko ruskih telekom operatera???
Postoje, ali im je prioritet “nestandardan”!
Evo rute preko Rostelecoma (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Ovdje preko Megafona (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Ovdje preko RETN.NET:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Pa čak i preko MTS-a!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Lokalna pref metrika za ove ruske rute je potcijenjena, odnosno rute su lošije u odnosu na strane!

Osim toga, postoje zabrane od strane Mail.Ru grupe distribucija vaših prefiksa VimpelComu preko ruskih operatera!

RETN.NET (http://lg.retn.net/):
Najave iz Mail.RU grupe pokazuju zajednicu 3216:65535.
Povlačenje iz LG RETN.NETinet.0: 762737 odredišta, 1734826 ruta (762708 aktivnih, 222780 čekanja, 277 skrivenih)
94.100.176.0/20 (1 unos, 1 najavljen)
*BGP preferencija: 170/-201
...
...
AS put: 47764 I
AS put: Snimljeno
Zajednice: 3216:65535 9002:64667 9002:65530
...

VimpelCom ne prihvata rute koje je označila takva zajednica na svojoj mreži. Izvod iz RIPE DB na AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
U pravcu Rostelecoma (http://lg.ip.rt.ru), Mail.RU Group daje slične rute iz zajednice 12389:8350.
Povlačenje iz LG Rostelecoma94.100.176.0/20 putem 217.107.65.1 na eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tip: BGP unicast univ
BGP.poreklo: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Prema RIPE DB unosima za objekat as12389, ova zajednica znači "ne oglašavaj na mreži as3216":...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
Slično prema MTS-u (http://lg.mtu.ru):Povlačenje iz LG MTS-aUnos BGP tablice rutiranja za 94.100.176.0/20, verzija 161717219
Putanja: (2 dostupna, najbolji #1, zadana tablica)
Multipath: eBGP
Oglašava se grupama za ažuriranje:
6
47764, (primljeno i korišteno)
195.34.52.77 (metrički 16) od 195.34.52.181 (195.34.52.181)
IGP porijekla, metrika 0, localpref 140, važeći, interni, najbolji
Zajednica: 8359:2120 8359:2150 8359:5500 8359:55277
Izvornik: 195.34.52.77, Lista klastera: 83.59.83.59
47764, (primljeno i korišteno)
195.34.52.77 (metrički 16) od 195.34.52.182 (195.34.52.182)
Porijeklo IGP, metrika 0, localpref 140, važeća, interna
Zajednica: 8359:2120 8359:2150 8359:5500 8359:55277
Izvornik: 195.34.52.77, Lista klastera: 83.59.2.77

Zajednica 8359:2120 znači:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Ne možete gledati najave Mail.RU grupe u smjeru Megafona - potonji nema Looking Glass.

Pogledajmo AS47541 (VKONTAKTE-SPB-AS).

Izlaz je prevelik.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH ukazuje na AS174 - Cogent (Mail.RU uplink, Tier1), zatim AS6762 - Telecom Italia (VimpelCom uplink). Local Preference je 150 svuda, ali ovo se odnosi na sve vanjske spojeve, bez obzira na pisane politike.

Pogledajmo AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

I sa drugog rutera:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Samo zadane rute (0.0.0.0/0). Ovu situaciju objasnio je zaposlenik Mail.RU Group pohlepa, na čemu mu se zahvaljujem. Ukratko: moskovski segment mreže VKontakte je segment za keširanje (a ne generiranje), čiji je zadatak optimizirati brzinu učitavanja popularnog, traženog sadržaja. Briga o korisnicima, da.

Ako ne postoji ruta do određene mreže, tada ovu mrežu ne opslužuju serveri za keširanje. To znači da optimizacija brzine preuzimanja ne radi, a korisnici trpe. Ali ovdje moramo naglasiti da korisnici nisu samo naši, već i VimpelCom-ovi.

Zaključci:

  1. Sa VimpelComa, saobraćaj prema Mail.RU Grupi se distribuira prirodno. Nisu otkrivena nikakva vještačka preusmjeravanja putem manipulacija Lokalnim postavkama
  2. Grupa Mail.RU posmatra manipulacije sa VimpelCom prefiksima. Postojeće rute prema VimpelCom mreži preko ruskih operatera imaju niže prioritete u odnosu na rute preko stranih Tier1 operatera.
  3. Menadžeri BGP zajednice dodani su rutama koje Mail.RU Group prenosi ruskim operaterima (MTS, Rostelecom, RETN.NET) kako bi se ograničilo njihovo širenje prema VimpelComu

Zašto Mail.RU Group daje prioritet rutama kroz Evropu? Zašto Mail.RU Group zabranjuje kratke domaće ruske veze sa VimpelComom?

Je li im jeftinije? Voziti promet stranim kanalima i plaćati Tirvanima u stranoj valuti?
Ili postoji želja da se promet dalje udalji tako da podizanje nije tako zgodno, ha?
Ovo je nepoznato mrežnom inženjeru...

izvor: www.habr.com

Kupite pouzdan hosting za sajtove sa DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan web hosting sa DDoS zaštitom, VPS VDS servere | ProHoster