ProHoster > Blogg > internetnyheter > Projektering av företagskonflikt på nätverksanslutning

Projektering av företagskonflikt på nätverksanslutning

Projektering av företagskonflikt på nätverksanslutning
Företagskonflikten uppstod den 10.06.2019 på grund av ökningen av kostnaden för SMS-leverans till VimpelCom-nätverksanvändare av Mail.RU Group. Som svar slutade Mail.RU Group att "serva" direkta ryska IP-kanaler mot VimpelCom-nätverket.

Nedan följer en kort analys av situationen ur en nätverksingenjörs perspektiv.

Uppdatering: 14.06.2019/18/45 XNUMX:XNUMX — fokus på ryska rutter till VimpelCom-nätverket, slutsatser justerade, förtydligande tillagt Sergey Kubasov (CIO Vkontakte).
Uppdatering: 14.06.2019/19/48 XNUMX:XNUMX — tillagd beskrivning av metoden för att begränsa distributionen av rutter längs den "korta" ryska rutten via Rostelecom, MTS, RETN.NET.


Inledande:
VimpelCom har ett autonomt system AS3216, alla andra (8402 - heminternet, 16345 - mobilt internet) finns bakom 3216.

Mail.RU Group — autonoma system AS47541, AS47542 och AS47764. Huvudinnehållsgeneratorn är 47542, den så kallade CDN VKONTAKTE (filmer, musik). Alla autonoma system är oberoende av varandra (ur ett externt autonomt systems perspektiv).

Låt oss först titta på situationen från sidan av VimpelCom-nätverket. För detta kommer vi att få hjälp Looking Glass VimpelCom.

Låt oss titta på det första autonoma systemet - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH innehåller två autonoma system - 2914 (NTT) och 47541 (VKONTAKTE-SPB-AS).
Localpref-måttet är satt till 87, vilket, enligt beskrivningen i RIPE DB för AS3216-objektet, motsvarar internationell peering.

.
Anmärkningar: Internationella peer's rutter får lokala preferenser i
Anmärkningar: sträcker sig från 81-89.
.

Samma information bekräftas av gemenskaperna 3216:3000 och 3216:3103 (källa — RIPE DB för AS3216):

.
anmärkningar: 3216:3000 Mottaget från en internationell upplänk eller peer, specifikt:
.
anmärkningar: 3216:3103 AMS-IX
.

Det vill säga VimpelCom ser rutten till VKontakte genom den europeiska korsningen.

Låt oss titta på ett annat fristående VKontakte-konto - 47542 (VKONTAKTE-MSK-CDN-AS).

Allt är sig likt.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Och hur är det med Mail.ru själv? Låt oss titta på AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom ser Mail.ru via as3356 (Level3 uplink, Tier1-operatör). Denna information bekräftas av localpref 77:

.
Anmärkningar: Uplinks rutter får lokala preferenser i intervallet 71-79.
anmärkningar: Senaste uppdatering: februari 2012...

och gemenskap (3216:3000 och 3216:3007):

.
anmärkningar: 3216:3000 Mottaget från en internationell upplänk eller peer, specifikt:
.
anmärkningar: 3216:3007 Nivå 3 Kommunikationer
.

Av den mottagna informationen framgår det tydligt att trafik från VimpelCom-nätverket till VKontakte och Mail.Ru distribueras genom europeiska korsningar enligt rutter som tas emot via BGP-protokollet. Det finns inga alternativa vägar genom interna ryska korsningar i Looking Glass. Inga åtgärder för att på konstgjord väg leda om trafiken genom uppenbart sämre vägar hittades.

Hur ser Mail.ru Group på VimpelCom-nätverk?
Låt oss dra fördel Looking Glass per post.

Från routrar från AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH innehåller AS1299 (Telia, Tier1-operatör, Mail.RU-upplänk) och as1273 (Vodafon, Tier1-operatör, VimpelCom upplänk).

LocalPreference 200 är standarden för externa Mail.ru-anslutningar (https://net.mail.ru/bgp.html), och MED 500 motsvarar allt som inte tas emot från en direkt anslutning, inte från IX:er, inte från peerings.

Men varför finns det inga lokala rutter genom ryska teleoperatörer???
De finns, men deras prioritet är "icke-standard"!
Här är rutten via Rostelecom (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Här via Megafon (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Här via RETN.NET:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Och även genom MTS!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Lokalpref-måttet för dessa ryska rutter är underskattat, vilket betyder att rutterna är sämre än de utomlands!

Dessutom, Det finns förbud från Mail.Ru Group distribution av deras prefix till VimpelCom genom ryska operatörer!

RETN.NET (http://lg.retn.net/):
Meddelanden från Mail.RU Group stöds av en community på 3216:65535.
Uttag från LG RETN.NETinet.0: 762737 destinationer, 1734826 rutter (762708 aktiva, 222780 nedtryckta, 277 dolda)
94.100.176.0/20 (1 inlägg, 1 meddelande)
*BGP-preferens: 170/-201
.
.
AS sökväg: 47764 I
AS sökväg: Inspelad
Grupper: 3216:65535 9002:64667 9002:65530
.

VimpelCom accepterar inte rutter markerade med en sådan gemenskap på sitt nätverk. Utdrag från RIPE DB för AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
I riktning mot Rostelecom (http://lg.ip.rt.ru) ger Mail.RU Group liknande rutter med community 12389:8350.
Uttag från LG Rostelecom94.100.176.0/20 via 217.107.65.1 på eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP unicast-universum
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077) (XNUMX)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Enligt RIPE DB-posterna för objekt as12389 betyder denna gemenskap "inte meddela till as3216-nätverket":...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
På samma sätt mot MTS (http://lg.mtu.ru):Uttag från LG MTSBGP-rutttabellpost för 94.100.176.0/20, version 161717219
Sökvägar: (2 tillgängliga, bästa #1, tabell standard)
Flervägs: eBGP
Annonserad för uppdateringsgrupper:
6
47764, (mottagen och använd)
195.34.52.77 (mått 16) från 195.34.52.181 (195.34.52.181)
Ursprung IGP, metrisk 0, localpref 140, giltig, intern, bäst
Gemenskap: 8359:2120 8359:2150 8359:5500 8359:55277
Upphovsman: 195.34.52.77, klusterlista: 83.59.83.59
47764, (mottagen och använd)
195.34.52.77 (mått 16) från 195.34.52.182 (195.34.52.182)
Ursprung IGP, metrisk 0, localpref 140, giltig, intern
Gemenskap: 8359:2120 8359:2150 8359:5500 8359:55277
Upphovsman: 195.34.52.77, klusterlista: 83.59.2.77

Community 8359:2120 betyder:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Det är omöjligt att titta på meddelandena från Mail.RU Group i riktning mot Megafon - den senare har inte Looking Glass.

Låt oss titta på AS47541 (VKONTAKTE-SPB-AS).

Utgången är för stor.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH pekar på AS174 — Cogent (Mail.RU uplink, Tier1), sedan AS6762 — Telecom Italia (VimpelCom uplink). Local Preference är 150 överallt men det gäller alla utvändiga leder oavsett skriftliga policyer.

Låt oss titta på AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Och från den andra routern: 

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Endast standardrutter (0.0.0.0/0). Denna situation förklarades av en anställd i Mail.RU Group girighet, vilket jag tackar honom för. Kort sagt: Moskva-segmentet av VKontakte-nätverket cachelagrar (inte genererar), vars uppgift är att optimera nedladdningshastigheten för populärt, efterfrågat innehåll. Att bry sig om användarna, ja.

Om det inte finns någon väg till ett visst nätverk, betyder det att detta nätverk inte betjänas av cacheservrar. Detta innebär att optimering av nedladdningshastigheten inte fungerar och användarna lider. Men här är det nödvändigt att betona att användarna inte bara är våra egna, utan även VimpelComs.

Slutsatser:

  1. Från VimpelCom distribueras trafiken mot Mail.RU Group naturligt. Inga konstgjorda omdirigeringar har upptäckts genom manipulationer med lokala inställningar
  2. Manipulationer med VimpelCom-prefix observerade av Mail.RU Group. De befintliga rutterna mot VimpelComs nätverk via ryska operatörer har lägre prioritet jämfört med rutter via utländska Tier1-operatörer.
  3. BGP community management har lagts till rutter som överförts till ryska operatörer (MTS, Rostelecom, RETN.NET) av Mail.RU Group för att begränsa deras distribution mot VimpelCom

Varför prioriterar Mail.RU Group rutter genom Europa? Varför förbjuder Mail.RU Group kortvarig inrikeskommunikation med VimpelCom?

Är det billigare för dem på detta sätt? Drive trafik genom utländska kanaler och betala Tirvans i valuta?
Eller finns det en önskan att skjuta trafiken längre bort så att det inte är så bekvämt att hämta den, va?
Detta är okänt för nätverksingenjören...

Källa: will.com

Köp pålitlig hosting för webbplatser med DDoS-skydd, VPS VDS-servrar 🔥 Köp pålitlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster