Gatazka korporatiboaren proiekzioa sareko konektibitatean

Gatazka korporatibo bat sortu zen 10.06.2019ko ekainaren XNUMXean, Mail.RU Taldeak VimpelCom sareko erabiltzaileei SMSak bidaltzeko kostuaren igoeraren ondorioz. Erantzun gisa, Mail.RU Taldeak Errusiako IP kanal zuzenak VimpelCom sarerantz "zerbitzea"ri utzi zion.

Jarraian, egoeraren azterketa laburra da sare-ingeniari baten ikuspegitik.

Eguneratu: 14.06.2019/18/45 XNUMX:XNUMX - VimpelCom sarerako errusiar ibilbideen azpimarratzea, ondorioak zuzenduta, azalpena gehituta Sergei Kubasov (CIO VKontakte).
Eguneratu: 14.06.2019/19/48 XNUMX:XNUMX - Rostelecom, MTS, RETN.NET bidez Errusiar ibilbide "laburrean" zehar ibilbideen hedapena mugatzeko metodo baten deskribapena gehitu da.

Sarrera:
VimpelCom-ek AS3216 sistema autonomoa du, beste guztiak (8402 - etxeko Internet, 16345 - Internet mugikorra) 3216ren atzean daude.

Mail.RU Taldea - AS47541, AS47542 eta AS47764 sistema autonomoak. Eduki-sortzaile nagusia 47542 da, deiturikoa. CDN VKONTAKTE (filmak, musika). Sistema autonomo guztiak elkarrengandik independenteak dira (kanpoko sistema autonomo baten posiziotik).

Lehenik eta behin, ikus dezagun egoera VimpelCom saretik. Horretarako lagunduko digu Begirada Vimpelcom.

Ikus dezagun lehen sistema autonomoa - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATHek bi sistema autonomo ditu: 2914 (NTT) eta 47541 (VKONTAKTE-SPB-AS).
Localpref metrika 87an ezarrita dago, AS3216 objektuaren RIPE DB-ko deskribapenaren arabera nazioarteko peering-ari dagokio.

...
oharrak: Nazioarteko parekideen ibilbideek tokiko lehentasuna dute
oharrak: 81-89 bitartekoa.
...

Informazio bera berresten dute 3216:3000 eta 3216:3103 komunitateek (iturria: AS3216rako RIPE DB):

...
oharrak: 3216:3000 Nazioarteko gorako lotura edo parekide batetik jasotakoa, zehazki:
...
oharrak: 3216:3103 AMS-IX
...

Hau da, VimpelCom-ek VKontakterako bidea ikusten du Europako bidegurutzetik.

Ikus dezagun beste VKontakte sare bat - 47542 (VKONTAKTE-MSK-CDN-AS).

Dena berdin.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Zer gertatzen da Mail.ru bera? Ikus dezagun AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

VimpelCom-ek Mail.ru as3356 bidez ikusten du (gora esteka Level3, Tier1 operadorea). Informazio hau localpref 77-k berresten du:

...
oharrak: Uplink-en ibilbideek tokiko lehentasuna dute 71-79 tartean.
oharrak: Azken eguneratzea: 2012ko otsaila...

eta komunitatea (3216:3000 eta 3216:3007):

...
oharrak: 3216:3000 Nazioarteko gorako lotura edo parekide batetik jasotakoa, zehazki:
...
oharrak: 3216:3007 3. mailako komunikazioak
...

Jasotako informaziotik argi dago VimpelCom saretik VKontakte eta MailRurako trafikoa Europako bidegurutzeetatik banatzen dela BGP protokoloaren bidez jasotako ibilbideen arabera. Looking Glass-en ez dago bide alternatiborik Errusiako barneko konexioetan zehar. Ez da neurririk aurkitu trafikoa bide okerragoetatik artifizialki birbideratzeko.

Nola ikusten du Mail.ru Taldeak VimpelCom-en sarea?
Aprobetxa dezagun Mailov-en Looking Glass.

AS47764 bideratzaileetatik (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATHek AS1299 (Telia, Tier1 operadorea, Mail.RU goranzko esteka) eta as1273 (Vodafon, Tier1 operadorea, VimpelCom goranzko esteka) ditu.

LocalPreference 200 Mail.ru-ren kanpoko konexioetarako estandarra da (https://net.mail.ru/bgp.html), eta MED 500 zuzeneko konexio batetik jasotzen ez den guztiari dagokio, ez IXetatik, ez peeringetatik. .

Baina zergatik ez dago tokiko ibilbiderik Errusiako telekomunikazio operadoreen bidez???
Badaude, baina haien lehentasuna "ez-estandarra" da!
Hona hemen Rostelecom bidezko ibilbidea (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Hemen Megafon bidez (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Hemen RETN.NET bidez:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Eta MTS bidez ere!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Errusiako ibilbide hauen tokiko pref metrika gutxiesten da, hau da, ibilbideak okerragoak dira atzerrikoekin alderatuta!

Horrez gain, debekuak daude Mail.Ru Taldearen aldetik Zure aurrizkiak VimpelCom-i banatzea Errusiako operadoreen bidez!

RETN.NET (http://lg.retn.net/):
Mail.RU Taldearen iragarkiek 3216:65535 komunitatea erakusten dute.
LG RETN.NET-etik kentzeainet.0: 762737 helmuga, 1734826 ibilbide (762708 aktibo, 222780 atxikipena, 277 ezkutuan)
94.100.176.0/20 (sarrera 1, iragarritako 1)
*BGP lehentasuna: 170/-201
...
...
AS bidea: 47764 I
AS bidea: Grabatua
Komunitateak: 3216:65535 9002:64667 9002:65530
...

VimpelCom-ek ez ditu onartzen halako komunitate batek markatutako ibilbideak bere sarean. AS3216-n RIPE DB-ren zatia:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
Rostelecom-en (http://lg.ip.rt.ru) norabidean, Mail.RU Taldeak antzeko ibilbideak ematen ditu 12389:8350 komunitatetik.
LG Rostelecom-etik erretiratzea94.100.176.0/20 217.107.65.1 bidez eth0.9-n [sr2 2019-06-13] * (100/?) [AS47764i]
Mota: BGP unicast univ
BGP.jatorria: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077) (XNUMX)
BGP.jatorrizko_id: 213.59.207.78
BGP.kluster_zerrenda: 95.167.88.79 95.167.88.49 95.167.88.17

As12389 objekturako RIPE DB sarreren arabera, komunitate honek "ez egin as3216 sarean iragarki" esan nahi du:...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
MTS aldera ere (http://lg.mtu.ru):LG MTS-tik kentzeaBGP bideratze-taularen sarrera 94.100.176.0/20, 161717219 bertsioa
Ibilbideak: (2 eskuragarri, onena #1, taula lehenetsia)
Bide anitzekoa: eBGP
Eguneratze-taldeei iragarrita:
6
47764, (jaso eta erabilia)
195.34.52.77 (16. metrikoa) 195.34.52.181etik (195.34.52.181)
Jatorria IGP, metrikoa 0, localpref 140, baliozkoa, barnekoa, onena
Komunitatea: 8359:2120 8359:2150 8359:5500 8359:55277
Sortzailea: 195.34.52.77, Kluster zerrenda: 83.59.83.59
47764, (jaso eta erabilia)
195.34.52.77 (16. metrikoa) 195.34.52.182etik (195.34.52.182)
Jatorria IGP, metrikoa 0, localpref 140, baliozkoa, barnekoa
Komunitatea: 8359:2120 8359:2150 8359:5500 8359:55277
Sortzailea: 195.34.52.77, Kluster zerrenda: 83.59.2.77

8359:2120 komunitateak hau esan nahi du:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Ezin dituzu ikusi Mail.RU Taldearen iragarkiak Megafonen norabidean - azken honek ez du Looking Glass.

Ikus dezagun AS47541 (VKONTAKTE-SPB-AS).

Irteera handiegia da.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH-ek AS174 - Cogent-era seinalatzen du (Mail.RU goranzko esteka, Tier1), gero AS6762 - Telecom Italia (VimpelCom gorako esteka). Tokiko lehentasuna 150 da nonahi, baina hau kanpoko juntura guztietan aplikatzen da, edozein dela ere idatzizko politikak.

Ikus dezagun AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Eta bigarren bideratzailetik:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Ibilbide lehenetsiak soilik (0.0.0.0/0). Egoera hau Mail.RU Taldeko langile batek azaldu zuen gutizia, horregatik eskerrak ematen dizkiot. Laburbilduz: VKontakte sareko Moskuko segmentua cachean (eta ez sortzen) segmentua da, eta bere zeregina eskatutako eduki ezagunen karga-abiadura optimizatzea da. Erabiltzaileak zaintzea, bai.

Sare jakin batera biderik ez badago, sare hau ez dute cachean gordetzeko zerbitzariek zerbitzatzen. Horrek esan nahi du deskarga abiaduraren optimizazioak ez duela funtzionatzen eta erabiltzaileek sufritzen dutela. Baina hemen azpimarratu behar dugu erabiltzaileak gureak ez ezik, VimpelComenak ere badirela.

Ondorioak:

1. VimpelCom-etik, Mail.RU Talderako trafikoa modu naturalean banatzen da. Ez da tokiko hobespenen manipulazioen bidez birbideratze artifizialrik detektatu
2. Mail.RU Taldea VimpelCom aurrizkiekin manipulazioak ikusten ari da. Errusiako operadoreen bidez VimpelCom sarerako dauden ibilbideek lehentasun txikiagoak dituzte atzerriko Tier1 operadoreen bidezko ibilbideekin alderatuta.
3. Mail.RU Taldeak Errusiar operadoreei (MTS, Rostelecom, RETN.NET) helarazitako ibilbideei BGP komunitate-kudeatzaileak gehitu zaizkie VimpelCom-era hedatzea mugatzeko.

Zergatik lehenesten ditu Mail.RU Taldeak Europan zeharreko ibilbideak? Zergatik debekatzen du Mail.RU Taldeak VimpelCom-ekin etxeko errusiar konexio laburrak?

Merkeagoa al da haientzat? Trafikoa atzerriko kanaletatik gidatu eta Tirvans atzerriko monetan ordaindu?
Edo ba al dago trafikoa urrunago urruntzeko gogorik, hura jasotzea hain erosoa ez izateko, e?
Ezezaguna da sareko ingeniariarentzat...

Iturria: www.habr.com