ProHoster > Блог > interneta ziņas > Korporatīvā konflikta projicēšana uz tīkla savienojamību

Korporatīvā konflikta projicēšana uz tīkla savienojamību

Korporatīvā konflikta projicēšana uz tīkla savienojamību
Korporatīvs konflikts izcēlās 10.06.2019. gada XNUMX. jūnijā, jo Mail.RU Group palielināja SMS piegādes izmaksas VimpelCom tīkla lietotājiem. Kā atbilde Mail.RU grupa pārtrauca tiešos Krievijas IP kanālu “apkalpošanu” VimpelCom tīkla virzienā.

Tālāk ir sniegta īsa situācijas analīze no tīkla inženiera viedokļa.

Atjaunināt: 14.06.2019 18:45 - uzsvars uz Krievijas maršrutiem uz VimpelCom tīklu, secinājumi laboti, skaidrojums pievienots Sergejs Kubasovs (CIO VKontakte).
Atjaunināt: 14.06.2019 19:48 - ir pievienots apraksts par maršrutu izplatības ierobežošanu “īsajā” Krievijas maršrutā caur Rostelecom, MTS, RETN.NET..


Ievads:
VimpelCom ir autonoma sistēma AS3216, visas pārējās (8402 - mājas internets, 16345 - mobilais internets) atrodas aiz 3216.

Mail.RU Group - autonomās sistēmas AS47541, AS47542 un AS47764. Galvenais satura ģenerators ir 47542, tā sauktais. CDN VKONTAKTE (filmas, mūzika). Visas autonomās sistēmas ir neatkarīgas viena no otras (no ārējās autonomās sistēmas viedokļa).

Vispirms apskatīsim situāciju no VimpelCom tīkla. Šim nolūkam tas mums palīdzēs Looking Glass Vimpelcom.

Apskatīsim pirmo autonomo sistēmu - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH satur divas autonomas sistēmas - 2914 (NTT) un 47541 (VKONTAKTE-SPB-AS).
Vietējā pref metrika ir iestatīta uz 87, kas saskaņā ar aprakstu RIPE DB objektam AS3216 atbilst starptautiskajai peering.

...
piezīmes: Starptautiskajiem vienaudžu maršrutiem tiek dota vietējā priekšrocība
piezīmes: diapazons no 81 līdz 89.
...

To pašu informāciju apstiprina kopienas 3216:3000 un 3216:3103 (avots: RIPE DB AS3216):

...
piezīmes: 3216:3000 Saņemts no starptautiska augšupsaites vai vienādranga, konkrēti:
...
piezīmes: 3216:3103 AMS-IX
...

Tas ir, VimpelCom redz maršrutu uz VKontakte caur Eiropas krustojumu.

Apskatīsim citu VKontakte autonomo tīklu - 47542 (VKONTAKTE-MSK-CDN-AS).

Viss ir vienāds.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Kā ar pašu Mail.ru? Apskatīsim AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom redz Mail.ru caur as3356 (augšupsaites Level3, Tier1 operators). Šo informāciju apstiprina vietējais prefs 77:

...
piezīmes: Uplink maršrutiem tiek piešķirta vietējā izvēle diapazonā no 71 līdz 79.
piezīmes: Pēdējais atjauninājums: 2012. gada februāris…

un kopiena (3216:3000 un 3216:3007):

...
piezīmes: 3216:3000 Saņemts no starptautiska augšupsaites vai vienādranga, konkrēti:
...
piezīmes: 3216:3007 3. līmeņa sakari
...

No saņemtās informācijas ir skaidrs, ka satiksme no VimpelCom tīkla uz VKontakte un MailRu tiek izplatīta pa Eiropas krustojumiem atbilstoši maršrutiem, kas saņemti, izmantojot BGP protokolu. Vietnē Looking Glass nav alternatīvu maršrutu caur iekšzemes Krievijas savienojumiem. Netika atrasti pasākumi, lai mākslīgi novirzītu satiksmi pa acīmredzami sliktākiem maršrutiem.

Kā Mail.ru grupa redz VimpelCom tīklu?
Izmantosim priekšrocības Mailova skatīšanās stikls.

No maršrutētājiem no AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH satur AS1299 (Telia, Tier1 operators, Mail.RU augšupsaite) un as1273 (Vodafon, Tier1 operators, VimpelCom augšupsaite).

LocalPreference 200 ir Mail.ru (https://net.mail.ru/bgp.html) ārējo savienojumu standarts, un MED 500 atbilst visam, kas netiek saņemts no tiešā savienojuma, nevis no IX, ne no peering. .

Bet kāpēc nav vietējo maršrutu caur Krievijas telekomunikāciju operatoriem???
Tie pastāv, bet to prioritāte ir “nestandarta”!
Šeit ir maršruts caur Rostelecom (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Šeit, izmantojot Megafon (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Šeit, izmantojot RETN.NET:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Un pat caur MTS!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Vietējā prefa metrika šiem Krievijas maršrutiem ir nepietiekami novērtēta, tas ir, maršruti ir sliktāki, salīdzinot ar ārvalstu maršrutiem!

Bez tam, ir aizliegumi no Mail.Ru grupas puses Jūsu prefiksu izplatīšana VimpelCom caur Krievijas operatoriem!

RETN.NET (http://lg.retn.net/):
Paziņojumi no Mail.RU grupas šova kopienas 3216:65535.
Izņemšana no LG RETN.NETinet.0: 762737 galamērķi, 1734826 maršruti (762708 aktīvi, 222780 aizturēti, 277 paslēpti)
94.100.176.0/20 (1 ieraksts, 1 paziņots)
*BGP preference: 170/-201
...
...
AS ceļš: 47764 I
AS ceļš: ierakstīts
Kopienas: 3216:65535 9002:64667 9002:65530
...

VimpelCom savā tīklā nepieņem maršrutus, ko šāda kopiena atzīmējusi. Izvilkums no RIPE DB uz AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
Rostelecom virzienā (http://lg.ip.rt.ru) Mail.RU grupa sniedz līdzīgus maršrutus no kopienas 12389:8350.
Izstāšanās no LG Rostelecom94.100.176.0/20 caur 217.107.65.1 uz eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tips: BGP unicast univ.
BGP.izcelsme: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000)47764,50077 (XNUMX)XNUMX.
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Saskaņā ar RIPE DB ierakstiem objektam as12389 šī kopiena nozīmē “nereklamēt as3216 tīklā”:...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
Līdzīgi attiecībā uz MTS (http://lg.mtu.ru):Izstāšanās no LG MTSBGP maršrutēšanas tabulas ieraksts 94.100.176.0/20, 161717219. versijai
Ceļi: (2 pieejams, labākais #1, tabulas noklusējuma vērtība)
Daudzceļi: eBGP
Reklamēts atjauninājumu grupām:
6
47764, (saņemts un lietots)
195.34.52.77 (16. metrika) no 195.34.52.181 (195.34.52.181)
Izcelsmes IGP, metrika 0, localpref 140, derīga, iekšēja, labākais
Kopiena: 8359:2120 8359:2150 8359:5500 8359:55277
Sākotnējais: 195.34.52.77, Klasteru saraksts: 83.59.83.59
47764, (saņemts un lietots)
195.34.52.77 (16. metrika) no 195.34.52.182 (195.34.52.182)
Izcelsmes IGP, metrika 0, localpref 140, derīga, iekšēja
Kopiena: 8359:2120 8359:2150 8359:5500 8359:55277
Sākotnējais: 195.34.52.77, Klasteru saraksts: 83.59.2.77

Community 8359:2120 nozīmē:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Jūs nevarat skatīties uz Mail.RU Group paziņojumus Megafon virzienā - pēdējam nav Looking Glass.

Apskatīsim AS47541 (VKONTAKTE-SPB-AS).

Izvade ir pārāk liela.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH norāda uz AS174 — Cogent (Mail.RU augšupsaite, Tier1), pēc tam uz AS6762 — Telecom Italia (VimpelCom augšupsaite). Vietējā preference visur ir 150, bet tas attiecas uz visiem ārējiem savienojumiem neatkarīgi no rakstiskas politikas.

Apskatīsim AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Un no otrā maršrutētāja: 

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Tikai noklusējuma maršruti (0.0.0.0/0). Šo situāciju skaidroja Mail.RU Group darbinieks alkatība, par ko es viņam pateicos. Īsāk sakot: VKontakte tīkla Maskavas segments ir kešatmiņas (un nevis ģenerēšanas) segments, kura uzdevums ir optimizēt populāra, pieprasīta satura ielādes ātrumu. Jā, rūpējoties par lietotājiem.

Ja nav maršruta uz noteiktu tīklu, tad šo tīklu neapkalpo kešatmiņas serveri. Tas nozīmē, ka lejupielādes ātruma optimizācija nedarbojas, un lietotāji cieš. Taču šeit jāuzsver, ka lietotāji ir ne tikai mūsu, bet arī VimpelCom lietotāji.

Secinājumi:

  1. No VimpelCom satiksme uz Mail.RU Group tiek sadalīta dabiski. Netika konstatēta mākslīga novirzīšana, izmantojot vietējās preferences manipulācijas
  2. Mail.RU Group novēro manipulācijas ar VimpelCom prefiksiem. Esošajiem maršrutiem uz VimpelCom tīklu caur Krievijas operatoriem ir zemākas prioritātes, salīdzinot ar maršrutiem caur ārvalstu Tier1 operatoriem.
  3. BGP kopienas pārvaldnieki ir pievienoti maršrutiem, ko Mail.RU Group pārsūta Krievijas operatoriem (MTS, Rostelecom, RETN.NET), lai ierobežotu to izplatību uz VimpelCom.

Kāpēc Mail.RU grupa par prioritāti piešķir maršrutiem caur Eiropu? Kāpēc Mail.RU Group aizliedz īsus iekšzemes Krievijas savienojumus ar VimpelCom?

Vai viņiem tas ir lētāk? Vadīt trafiku pa ārzemju kanāliem un maksāt tirvāniem ārzemju valūtā?
Vai arī ir vēlme virzīt satiksmi tālāk, lai to paņemšana nebūtu tik ērta, vai ne?
Tīkla inženierim tas nav zināms...

Avots: www.habr.com

Iegādājieties uzticamu mitināšanu vietnēm ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa vietņu mitināšanu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster