🥇კორპორატიული კონფლიქტის პროექცია ქსელის კავშირზე

კორპორატიული კონფლიქტის პროექცია ქსელის კავშირზე
კორპორატიული კონფლიქტი წარმოიშვა 10.06.2019 წლის XNUMX ივნისს Mail.RU Group-ის მიერ VimpelCom ქსელის მომხმარებლებისთვის SMS მიწოდების ღირებულების გაზრდის გამო. საპასუხოდ, Mail.RU Group-მა შეწყვიტა პირდაპირი რუსული IP არხების „მომსახურება“ VimpelCom-ის ქსელში.

ქვემოთ მოცემულია სიტუაციის მოკლე ანალიზი ქსელის ინჟინრის პერსპექტივიდან.

განახლება: 14.06.2019/18/45 XNUMX:XNUMX - აქცენტი რუსეთის მარშრუტებზე VimpelCom ქსელში, დასკვნები შესწორებულია, დამატებულია განმარტება სერგეი კუბასოვი (CIO VKontakte).
განახლება: 14.06.2019/19/48 XNUMX:XNUMX - დამატებულია აღწერა მეთოდის შეზღუდვის შესახებ მარშრუტების გავრცელების შესახებ "მოკლე" რუსული მარშრუტის გასწვრივ Rostelecom, MTS, RETN.NET..

შესავალი:
ვიმპელკომს აქვს ავტონომიური სისტემა AS3216, ყველა დანარჩენი (8402 - სახლის ინტერნეტი, 16345 - მობილური ინტერნეტი) მდებარეობს 3216-ის უკან.

Mail.RU Group - ავტონომიური სისტემები AS47541, AS47542 და AS47764. ძირითადი შინაარსის გენერატორია 47542, ე.წ. CDN VKONTAKTE (ფილმები, მუსიკა). ყველა ავტონომიური სისტემა ერთმანეთისგან დამოუკიდებელია (გარე ავტონომიური სისტემის პოზიციიდან).

პირველი, მოდით შევხედოთ სიტუაციას VimpelCom ქსელიდან. ამაში ის დაგვეხმარება Looking Glass VimpelCom.

მოდით შევხედოთ პირველ ავტონომიურ სისტემას - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH შეიცავს ორ ავტონომიურ სისტემას - 2914 (NTT) და 47541 (VKONTAKTE-SPB-AS).
ლოკალური პრეფის მეტრიკა დაყენებულია 87-ზე, რაც AS3216 ობიექტისთვის RIPE DB-ში აღწერილობის მიხედვით შეესაბამება საერთაშორისო პიერინგის.

...
შენიშვნები: საერთაშორისო თანატოლების მარშრუტებს ადგილობრივი უპირატესობა ენიჭება
შენიშვნები: დიაპაზონი 81-89.
...

იგივე ინფორმაციას ადასტურებენ თემები 3216:3000 და 3216:3103 (წყარო: RIPE DB AS3216-ისთვის):

...
შენიშვნები: 3216:3000 მიღებული საერთაშორისო ბმულიდან ან თანატოლიდან, კონკრეტულად:
...
შენიშვნები: 3216:3103 AMS-IX
...

ანუ VimpelCom ხედავს მარშრუტს VKontakte-მდე ევროპული კვანძის გავლით.

მოდით გადავხედოთ კიდევ ერთ Vkontakte ქსელს-47542 (Vkontakte-MSK-CDN-as).

ყველაფერი იგივეა.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

რაც შეეხება თავად Mail.ru-ს? მოდით შევხედოთ AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom ხედავს Mail.ru-ს as3356-ის მეშვეობით (uplink Level3, Tier1 ოპერატორი). ამ ინფორმაციას ადასტურებს localpref 77:

...
შენიშვნები: Uplink-ის მარშრუტები იღებენ ადგილობრივ უპირატესობას 71-79 დიაპაზონში.
შენიშვნები: ბოლო განახლება: 2012 წლის თებერვალი…

და საზოგადოება (3216:3000 და 3216:3007):

...
შენიშვნები: 3216:3000 მიღებული საერთაშორისო ბმულიდან ან თანატოლიდან, კონკრეტულად:
...
შენიშვნები: 3216:3007 3 დონის კომუნიკაციები
...

მიღებული ინფორმაციადან ირკვევა, რომ ტრაფიკი VimpelCom ქსელიდან VKontakte-სა და MailRu-მდე ნაწილდება ევროპული კვანძებით BGP პროტოკოლით მიღებული მარშრუტების მიხედვით. Looking Glass-ში არ არსებობს ალტერნატიული მარშრუტები შიდა რუსული კავშირებით. აშკარად უარესი მარშრუტებით მოძრაობის ხელოვნურად გადამისამართების ზომები არ იქნა ნაპოვნი.

როგორ ხედავს Mail.ru Group VimpelCom-ის ქსელს?
ვისარგებლოთ სათვალე მაილოვის მიერ.

მარშრუტიზატორებიდან AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

As-Path შეიცავს AS1299 (Telia, Tier1 ოპერატორი, mail.ru uplink) და AS1273 (Vodafon, Tier1 ოპერატორი, Vimpelcom Uplink).

LocalPreference 200 არის Mail.ru-ს გარე კავშირების სტანდარტი (https://net.mail.ru/bgp.html) და MED 500 შეესაბამება ყველაფერს, რაც არ მიიღება პირდაპირი კავშირიდან, არა IX-ებიდან და არა peering-ებიდან. .

რატომ არ არსებობს ადგილობრივი მარშრუტები რუსული ტელეკომის ოპერატორების მეშვეობით ???
ისინი არსებობენ, მაგრამ მათი პრიორიტეტი არის "არასტანდარტული"!
აქ არის მარშრუტი Rostelecom-ის გავლით (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

აქ მეგაფონის საშუალებით (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

აქ RETN.NET-ის საშუალებით:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

და თუნდაც MTS-ის საშუალებით!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

ამ რუსული მარშრუტების ადგილობრივი პროდუქტის მეტრი არ არის შეფასებული, ანუ მარშრუტები უფრო უარესია უცხოელებთან შედარებით!

გარდა ამისა, არის აკრძალვები Mail.Ru Group-ის მხრიდან თქვენი პრეფიქსიების განაწილება Vimpelcom– ზე რუსი ოპერატორების საშუალებით!

RETN.NET (http://lg.retn.net/):
Mail.RU Group-ის განცხადებები აჩვენებს საზოგადოებას 3216:65535.
გატანა LG RETN.NET-დანinet.0: 762737 მიმართულება, 1734826 მარშრუტი (762708 აქტიური, 222780 შეჩერებულია, 277 დამალული)
94.100.176.0/20 (1 ჩანაწერი, 1 გამოცხადებული)
*BGP უპირატესობა: 170/-201
...
...
AS ბილიკი: 47764 ი
AS გზა: ჩაწერილია
თემები: 3216:65535 9002:64667 9002:65530
...

VimpelCom არ იღებს თავის ქსელში ასეთი საზოგადოების მიერ მონიშნულ მარშრუტებს. ამონარიდი RIPE DB-დან AS3216-ზე:
... remarks: Internal comminuties are assigned only internally. remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535 remarks: and are always deleted from incoming updates at the border remarks: routers. ...
Rostelecom– ის მიმართულებით (http://lg.ip.rt.ru), Mail.ru ჯგუფი იძლევა მსგავს მარშრუტებს საზოგადოებიდან 12389: 8350.
გასვლა LG Rostelecom-იდან94.100.176.0/20 217.107.65.1-ის მეშვეობით eth0.9-ზე [sr2 2019-06-13] * (100/?) [AS47764i]
ტიპი: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.საზოგადოება: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

as12389 ობიექტისთვის RIPE DB ჩანაწერების მიხედვით, ეს საზოგადოება ნიშნავს "არ გააკეთო რეკლამა as3216 ქსელში":... remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) | ... remarks: | ...y=0 - do not advertise | ...
ანალოგიურად MTS-ის მიმართ (http://lg.mtu.ru):გაყვანა LG MTS-დანBGP მარშრუტიზაციის ცხრილის ჩანაწერი 94.100.176.0/20, ვერსია 161717219
ბილიკები: (2 ხელმისაწვდომი, საუკეთესო #1, ცხრილის ნაგულისხმევი)
მრავალმხრივი: eBGP
რეკლამირებულია განახლების ჯგუფებში:
6
47764, (მიღებული და გამოყენებული)
195.34.52.77 (მეტრიკა 16) 195.34.52.181-დან (195.34.52.181)
Origin IGP, Metric 0, LocalPref 140, მართებული, შიდა, საუკეთესო
საზოგადოება: 8359:2120 8359:2150 8359:5500 8359:55277
შემქმნელი: 195.34.52.77, კლასტერული სია: 83.59.83.59
47764, (მიღებული და გამოყენებული)
195.34.52.77 (მეტრიკა 16) 195.34.52.182-დან (195.34.52.182)
Origin IGP, Metric 0, LocalPref 140, ძალაში, შიდა
საზოგადოება: 8359:2120 8359:2150 8359:5500 8359:55277
შემქმნელი: 195.34.52.77, კლასტერული სია: 83.59.2.77

საზოგადოება 8359:2120 ნიშნავს:... remarks: 8359:212x when announcing to Sovam (Beeline) ... remarks: x=0 - do not announce ...
თქვენ არ შეგიძლიათ შეხედოთ Mail.RU Group-ის განცხადებებს მეგაფონის მიმართულებით - ამ უკანასკნელს არ აქვს Looking Glass.

მოდით შევხედოთ AS47541 (VKONTAKTE-SPB-AS).

გამომავალი ძალიან დიდია.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH მიუთითებს AS174 - Cogent (Mail.RU uplink, Tier1), შემდეგ AS6762 - Telecom Italia (VimpelCom uplink). ადგილობრივი უპირატესობა ყველგან არის 150, მაგრამ ეს ეხება ყველა გარე სახსარს, მიუხედავად იმისა დაწერილი პოლიტიკა.

მოდით შევხედოთ AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

და მეორე როუტერიდან:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

მხოლოდ ნაგულისხმევი მარშრუტები (0.0.0.0/0). ეს სიტუაცია განმარტა Mail.RU Group-ის თანამშრომელმა სიხარბერისთვისაც მას მადლობას ვუხდი. მოკლედ: VKontakte ქსელის მოსკოვის სეგმენტი არის ქეშირების (და არა გენერირების) სეგმენტი, რომლის ამოცანაა პოპულარული, მოთხოვნადი შინაარსის დატვირთვის სიჩქარის ოპტიმიზაცია. მომხმარებლებზე ზრუნვა, დიახ.

თუ არ არსებობს მარშრუტი გარკვეულ ქსელში, მაშინ ამ ქსელს არ ემსახურება ქეშირების სერვერები. ეს ნიშნავს, რომ ჩამოტვირთვის სიჩქარის ოპტიმიზაცია არ მუშაობს და მომხმარებლები განიცდიან. მაგრამ აქვე უნდა ხაზგასმით აღვნიშნოთ, რომ მომხმარებლები არიან არა მხოლოდ ჩვენი, არამედ VimpelCom-ის მომხმარებლებიც.

დასკვნები:

VimpelCom-დან Mail.RU Group-ისკენ მიმავალი ტრაფიკი ბუნებრივად ნაწილდება. არ გამოვლენილა ხელოვნური გადამისამართებები ადგილობრივი პრეფერენციების მანიპულაციებით
Mail.RU Group აკვირდება მანიპულაციებს VimpelCom პრეფიქსებით. რუსული ოპერატორების მეშვეობით VimpelCom-ის ქსელისკენ არსებულ მარშრუტებს უფრო დაბალი პრიორიტეტები აქვთ უცხოური Tier1 ოპერატორების მარშრუტებთან შედარებით.
BGP საზოგადოების მენეჯერები დაემატა Mail.RU Group-ის მიერ რუსულ ოპერატორებს (MTS, Rostelecom, RETN.NET) გადაცემულ მარშრუტებს, რათა შეზღუდოს მათი გავრცელება VimpelCom-ზე.

რატომ ანიჭებს Mail.RU Group პრიორიტეტს ევროპის გავლით მარშრუტებს? რატომ კრძალავს Mail.RU Group მოკლე შიდა რუსულ კავშირებს VimpelCom-თან?

მათთვის უფრო იაფია? გაატარეთ ტრაფიკი უცხოური არხებით და გადაიხადეთ ტირვანები უცხოურ ვალუტაში?
ან არის თუ არა სურვილი, რომ ტრაფიკი უფრო შორს წავიდეს, რომ მისი აყვანა არც ისე მოსახერხებელი იყოს, არა?
ეს უცნობია ქსელის ინჟინრისთვის...

წყარო: www.habr.com