ProHoster > Blogg > Internetnyheter > Företagskonfliktens inverkan pÄ nÀtverksanslutning

Företagskonfliktens inverkan pÄ nÀtverksanslutning

Företagskonfliktens inverkan pÄ nÀtverksanslutning
Företagskonflikten uppstod den 10.06.2019 pÄ grund av den ökade kostnaden för SMS-leveranser till anvÀndare i Vympelcom-nÀtverket frÄn Mail.RU Group. Som svar pÄ detta slutade Mail.RU Group att "tjÀna" de direkta ryska IP-kanalerna mot Vympelcom-nÀtverket.

Nedan följer en kort analys av situationen ur en nÀtverksingenjörs perspektiv.

Uppdatering: 14.06.2019 18:45 — fokus pĂ„ ryska vĂ€gar till Vympelcom-nĂ€tverket, slutsatser justerade, förklaring tillagd Sergei Kubasov (CIO för Vkontakte).
Uppdatering: 14.06.2019 19:48 — beskrivning av hur spridningen av rutter begrĂ€nsas genom den "korta" ryska vĂ€gen via Rostelecom, MTS, RETN.NET..


Inledande:
Vympelcom har ett autonomt system AS3216, alla andra (8402 — hemmanĂ€tverk, 16345 — mobilt nĂ€tverk) ligger bakom 3216.

Mail.RU Group — autonoma system AS47541, AS47542 och AS47764. Huvudgeneratören av innehĂ„ll Ă€r 47542, sĂ„ kallad CDN VKONTAKTE (filmer, musik). Alla autonoma system Ă€r oberoende av varandra (frĂ„n en extern autonom system synvinkel).

Först ska vi titta pÄ situationen ur Vympelcom-nÀtverkets perspektiv. För detta kommer vi anvÀnda Looking Glass Vympelcom.

Vi tittar pĂ„ det första autonoma systemet — AS47541.

 2914 47541
    79.104.32.251 (metrisk 10500) (79.104.32.251)
      Ursprung IGP, metrisk 30, localpref 87, giltig, intern, bÀst, grupp-bÀst, import-kandidat, import misstÀnkt
      Mottagen vÀg-ID 0, Lokal vÀg-ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH innehĂ„ller tvĂ„ autonoma system — 2914 (NTT) och 47541 (VKONTAKTE-SPB-AS).
Metrik localpref Àr instÀlld pÄ 87, vilket enligt beskrivningen i RIPE DB för objektet AS3216 motsvarar internationell peer-ing.



anmÀrkningar: Internationella peers rutter fÄr lokal preferens i den
anmÀrkningar: omrÄdet 81-89.



Denna information bekrĂ€ftas ocksĂ„ av gemenskapen 3216:3000 och 3216:3103 (kĂ€lla — RIPE DB för AS3216):



anmÀrkningar: 3216:3000 Mottagen frÄn en internationell uplink eller peer, specifikt:


anmÀrkningar: 3216:3103 AMS-IX



Det vill sÀga, Vympelcom ser en vÀg till Vkontakte genom den europeiska kopplingen.

LĂ„t oss titta pĂ„ ett annat autonomsystem frĂ„n Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Allt Àr likadant.

 2914 47541
    79.104.32.251 (metrisk 10500) (79.104.32.251)
      Ursprung IGP, metrisk 30, localpref 87, giltig, intern, bÀst, grupp-bÀst, import-kandidat, import misstÀnkt
      Mottagen vÀg-ID 0, Lokal vÀg-ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Hur stÄr det till med Mail.ru sjÀlva? LÄt oss titta pÄ AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Ursprung IGP, metric 0, localpref 77, giltigt, internt, bÀst, grupp-bÀst, import-kandidat
      Mottagen vÀg ID 0, lokal vÀg ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vympelcom ser Mail.ru genom as3356 (uplÀnk Level3, Tier1 operatör). Denna information bekrÀftas av localpref 77:



remarks: Uplinks rutter fÄr lokal preferens i intervallet 71-79.
remarks: Senaste uppdatering: februari 2012


och community (3216:3000 och 3216:3007):



anmÀrkningar: 3216:3000 Mottagen frÄn en internationell uplink eller peer, specifikt:


remarks: 3216:3007 Level 3 Communications



Av den information som erhÄllits framgÄr det att trafiken frÄn Vympelcoms nÀt till VKontakte och MailRu sprids genom europeiska knutpunkter enligt de rutter som erhÄllits via BGP-protokollet. Inga alternativa rutter genom inrikes knutpunkter finns i Looking Glass. Inga ÄtgÀrder för att artificiellt omdirigera trafik genom uppenbart sÀmre rutter har upptÀckts.

Hur ser Mail.ru Group Vympelcom-nÀten?
LÄt oss anvÀnda Looking Glass frÄn Mailovs.

FrÄn routrarna i AS47764 (mailru-as):

  VĂ€g #6: Mottagen av talare 0
  Annonserad till kamrater (i unika uppdateringsgrupper):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) frÄn 217.20.147.250 (217.20.147.253)
      Ursprung IGP, metric 500, localpref 200, giltigt, internt, bÀst, grupp-bÀst
      Mottagen vÀg ID 0, lokal vÀg ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH innehÄller AS1299 (Telia, Tier1 operatör, uplÀnk Mail.RU) och as1273 (Vodafon, Tier1 operatör, uplÀnk Vympelcom).

LocalPreference 200 — standard för externa knutpunkter hos Mail.ru (https://net.mail.ru/bgp.html), medan MED 500 motsvarar allt som erhĂ„llits frĂ„n en icke direkt knutpunkt, inte frĂ„n IX:er, inte frĂ„n peering.

Men varför finns det inga lokala rutter genom ryska telekommunikationsoperatörer???
Det finns de, men deras prioritet Àr "icke-standard"!
HÀr Àr en rutt genom Rostelecom (as12389):

  VĂ€g #1: Mottagen av talare 0
  Inte annonserad till nÄgon kamrat
  12389 3216
    46.61.178.149 frÄn 46.61.178.149 (213.59.207.79)
      Ursprung IGP, metric 500, localpref 199, giltigt, externt
      Mottagen vÀg ID 0, lokal vÀg ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS giltighet: not-found

HÀr Àr via Megafon (as31133):

  VĂ€g #2: Mottagen av talare 0
  Inte annonserad till nÄgon kamrat
  31133 3216
    78.25.77.41 frÄn 78.25.77.41 (10.222.253.97)
      Ursprung IGP, metric 500, localpref 199, giltigt, externt
      Mottagen vÀg ID 0, lokal vÀg ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS giltighet: not-found

HÀr Àr via RETN.NET:

  VĂ€g #3: Mottagen av talare 0
  Inte annonserad till nÄgon kamrat
  9002 9002 3216
    87.245.253.24 frÄn 87.245.253.24 (87.245.225.1)
      Ursprung IGP, metric 500, localpref 199, giltigt, externt
      Mottagen vÀg ID 0, lokal vÀg ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS giltighet: not-found

Och Àven genom MTS!

  VĂ€g #5: Mottagen av talare 0
  Inte annonserad till nÄgon granne
  8359 3216
    212.188.61.105 frÄn 212.188.61.105 (195.34.52.77)
      Ursprung IGP, metrisk 500, lokalpref 199, giltig, extern
      Mottagen stig-ID 0, Lokal stig-ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Ursprung-AS giltighet: hittades inte

Metriken localpref för dessa ryska rutter Àr lÄg, vilket innebÀr att rutterna Àr sÀmre jÀmfört med utlÀndska!

Dessutom, frÄn Mail.Ru Group finns det förbud mot spridning av sina prefix i Vympelcom genom ryska operatörer!

RETN.NET (http://lg.retn.net/):
Det finns ett community i annonser frÄn Mail.RU Group 3216:65535.
Utdata frÄn LG RETN.NETinet.0: 762737 destinationer, 1734826 rutter (762708 aktiva, 222780 pÄ hold, 277 dolda)
94.100.176.0/20 (1 post, 1 annonserad)
*BGP Preferens: 170/-201




AS-vÀg: 47764 I
AS-vÀg: Registrerad
Gemenskaper: 3216:65535 9002:64667 9002:65530



Rutter mÀrkta med detta community accepterar Vympelcom inte i sitt nÀtverk. Utdrag frÄn RIPE DB för AS3216:
...
anmÀrkningar: Interna kommuner tilldelas endast internt.
anmÀrkningar: De ligger inom intervallet 3216:0000-3216:4999 och 3216:6000-3216:65535.
anmÀrkningar: och tas alltid bort frÄn inkommande uppdateringar vid grÀnsen.
anmÀrkningar: routrar.
...
Mot Rostelecom (http://lg.ip.rt.ru) ger Mail.RU Group motsvarande rutter med community 12389:8350.
Utdata frÄn LG Rostelecom94.100.176.0/20 via 217.107.65.1 pÄ eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP unicast univ
BGP.ursprung: IGP
BGP.as_vÀg: 47764
BGP.nÀsta_hopp: 213.59.207.78
BGP.med: 0
BGP.lokal_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.ursprungs_id: 213.59.207.78
BGP.cluster_lista: 95.167.88.79 95.167.88.49 95.167.88.17

Enligt uppgifterna i RIPE DB för objekt as12389 betyder detta community "inte annonsera till nÀtverket as3216":...
anmÀrkningar: | 12389:835y NÀr du annonserar till GoldenTelecom (AS3216) |
...
anmÀrkningar: | ...y=0 - annonsera inte |
...
PÄ liknande sÀtt mot MTS (http://lg.mtu.ru):Utdata frÄn LG MTSBGP-routingtabellsinlÀgg för 94.100.176.0/20, version 161717219
Stigar: (2 tillgÀngliga, bÀst #1, tabell standard)
Multipath: eBGP
Annonserade till uppdateringsgrupper:
6
47764, (mottagen & anvÀnd)
195.34.52.77 (metrisk 16) frÄn 195.34.52.181 (195.34.52.181)
Ursprung IGP, metrisk 0, lokalpref 140, giltig, intern, bÀst
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Ursprung: 195.34.52.77, Cluster lista: 83.59.83.59
47764, (mottagen & anvÀnd)
195.34.52.77 (metrisk 16) frÄn 195.34.52.182 (195.34.52.182)
Ursprung IGP, metrisk 0, lokalpref 140, giltig, intern
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Ursprung: 195.34.52.77, Cluster lista: 83.59.2.77

Community 8359:2120 betyder:...
anmÀrkningar: 8359:212x vid tillkÀnnagivande till Sovam (Beeline)
...
anmÀrkningar: x=0 - meddela inte
...
Det gĂ„r inte att se annonser frĂ„n Mail.RU Group mot Megafon — de har ingen Looking Glass.

LĂ„t oss se AS47541 (VKONTAKTE-SPB-AS).

Utdatan Àr för stor.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Senast vÀxling torsdagen den 5 april 2018: 1 Är, 10 veckor, 6 timmar, 9 minuter sedan

Fre 14 juni 10:34:20.791 MSK
BGP-routingtabelinmatning för 81.211.0.0/17
Versioner:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Senast Àndrad: 21 maj 05:20:38.536 för 1y03w
VÀgar: (6 tillgÀngliga, bÀst #4)
  Annonserad till uppdateringsgrupper (med mer Àn en granne):
    0.2 
  Annonserad till grannar (i unika uppdateringsgrupper):
    188.93.60.188   
  VĂ€gs #1: Mottagen av talare 0
  Inte annonserad till nÄgon granne
  1299 1273 3216 3216
    87.240.191.235 (metrik 31) frÄn 87.240.191.235 (87.240.191.235)
      Ursprung IGP, metrik 5000, localpref 150, giltig, intern
      Mottagen Path-ID 0, Lokal Path-ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  VĂ€gs #2: Mottagen av talare 0
  Inte annonserad till nÄgon granne
  1299 1273 3216 3216
    87.240.191.248 (metrik 31) frÄn 87.240.191.248 (87.240.191.248)
      Ursprung IGP, metrik 5000, localpref 150, giltig, intern
      Mottagen Path-ID 0, Lokal Path-ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  VĂ€gs #3: Mottagen av talare 0
  Inte annonserad till nÄgon granne
  174 6762 3216 3216
    87.240.191.249 (metrik 31) frÄn 87.240.191.249 (87.240.191.249)
      Ursprung IGP, metrik 5000, localpref 150, giltig, intern
      Mottagen Path-ID 0, Lokal Path-ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  VĂ€gs #4: Mottagen av talare 0
  Annonserad till uppdateringsgrupper (med mer Àn en granne):
    0.2 
  Annonserad till grannar (i unika uppdateringsgrupper):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 frÄn 149.6.169.113 (38.28.1.236)
      Ursprung IGP, metrik 5000, localpref 150, giltig, extern, bÀst, grupp-bÀst
      Mottagen Path-ID 0, Lokal Path-ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Ursprung-AS giltighet: ej funnen
  VĂ€gs #5: Mottagen av talare 0
  Inte annonserad till nÄgon granne
  1273 1273 3216 3216
    195.89.114.197 frÄn 195.89.114.197 (195.2.1.107)
      Ursprung IGP, metrik 5005, localpref 150, giltig, extern
      Mottagen Path-ID 0, Lokal Path-ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Ursprung-AS giltighet: ej funnen
  VĂ€gs #6: Mottagen av talare 0
  Inte annonserad till nÄgon granne
  3356 3356 3216 3216 3216
    213.242.69.69 frÄn 213.242.69.69 (4.69.177.130)
      Ursprung IGP, metrik 5000, localpref 150, giltig, extern
      Mottagen Path-ID 0, Lokal Path-ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Ursprung-AS giltighet: ej funnen

AS-PATH anger AS174 — Cogent (uppkoppling till Mail.RU, Tier1), följt av AS6762 — Telecom Italia (uppkoppling till Vimpelcom). Local Preference överallt 150, men pĂ„ alla externa kopplingar, oavsett skrivna policys.

LĂ„t oss se AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepterat BĂ€st

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepterat
Inaktivitetorsak: Inre > Yttre > Yttre via Inre

Och frÄn den andra routern:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Endast standardrutter (0.0.0.0/0). Denna situation förklarades av en medarbetare pÄ Mail.RU Group girighet, för vilket han tackar. Kort sagt: det moscow-segmentet av nÀtverket VKontakte fungerar som en cache (och inte genererande), vars uppgift Àr att optimera hastigheten för populÀrt innehÄll. Det handlar om att ta hand om anvÀndarna, ja.

Om det inte finns nĂ„gon rutt till ett visst nĂ€tverk, innebĂ€r det att detta nĂ€tverk inte betjĂ€nas av caching-servrar. Detta betyder att hastighetsoptimeringen inte fungerar och anvĂ€ndarna drabbas. Men hĂ€r ska man poĂ€ngtera — anvĂ€ndarna Ă€r inte bara egna, utan Ă€ven frĂ„n Vympelcom.

Slutsatser:

  1. FrÄn Vympelcom distribueras trafiken mot Mail.RU Group pÄ ett naturligt sÀtt. Inga artificiella omdirigeringar genom manipulation av Local Preference har upptÀckts.
  2. FrÄn Mail.RU Group observeras manipulation med Vympelcoms prefikser.Prioriteringarna för de existerande rutterna mot Vympelcom-nÀtet genom ryska operatörer har sÀnkts i förhÄllande till rutterna genom utlÀndska Tier1-operatörer.
  3. För de rutter som överförs till ryska operatörer (MTS, Rostelekom, RETN.NET) har Mail.RU Group lagt till styrande BGP-communityn för att begrÀnsa deras spridning mot Vympelcom.

Varför sÀtter Mail.RU Group rutterna genom Europa med högre prioritet? Varför förbjuder Mail.RU Group kort inrikeskoppling med Vympelcom?

Är det billigare för dem? Att skicka trafik genom utlĂ€ndska kanaler och betala tipparna med valuta?
Eller finns det en vilja att köra trafiken lÀngre bort, sÄ att det inte Àr sÄ enkelt att hÀmta den?
Detta Ă€r okĂ€nt för nĂ€tverksingenjören


KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster