ProHoster > Блог > интернет новини > Проекция на корпоративен конфликт върху мрежовата свързаност

Проекция на корпоративен конфликт върху мрежовата свързаност

Проекция на корпоративен конфликт върху мрежовата свързаност
Корпоративен конфликт възникна на 10.06.2019 юни XNUMX г. поради увеличаване на цената на доставката на SMS до потребителите на мрежата на VimpelCom от Mail.RU Group. В отговор Mail.RU Group спря да „обслужва“ директни руски IP канали към мрежата на VimpelCom.

По-долу е даден кратък анализ на ситуацията от гледна точка на мрежов инженер.

Актуализация: 14.06.2019 г. 18:45 - акцент върху руските маршрути към мрежата на VimpelCom, заключенията са коригирани, обяснението е добавено Сергей Кубасов (CIO VKontakte).
Актуализация: 14.06.2019 19:48 - добавено е описание на метод за ограничаване на разпространението на маршрути по „късия“ руски маршрут през Rostelecom, MTS, RETN.NET..


въведение:
VimpelCom има автономна система AS3216, всички останали (8402 - домашен интернет, 16345 - мобилен интернет) се намират зад 3216.

Mail.RU Group - автономни системи AS47541, AS47542 и AS47764. Основният генератор на съдържание е 47542, т.нар. CDN VKONTAKTE (филми, музика). Всички автономни системи са независими една от друга (от позицията на външна автономна система).

Първо, нека да разгледаме ситуацията от мрежата на VimpelCom. За това ще ни помогне Looking Glass Vimpelcom.

Да разгледаме първата автономна система - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH съдържа две автономни системи - 2914 (NTT) и 47541 (VKONTAKTE-SPB-AS).
Метриката localpref е зададена на 87, което според описанието в RIPE DB за обект AS3216 съответства на международен пиъринг.

...
забележки: Международните партньорски маршрути получават местно предпочитание в
забележки: диапазон от 81-89.
...

Същата информация се потвърждава от общности 3216:3000 и 3216:3103 (източник: RIPE DB за AS3216):

...
забележки: 3216:3000 Получено от международна връзка нагоре или партньор, по-специално:
...
забележки: 3216:3103 AMS-IX
...

Тоест VimpelCom вижда маршрута до VKontakte през европейския възел.

Нека да разгледаме друга мрежа на VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).

Всичко е същото.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Какво ще кажете за самия Mail.ru? Нека да разгледаме AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom вижда Mail.ru през as3356 (uplink Level3, Tier1 оператор). Тази информация се потвърждава от localpref 77:

...
забележки: Маршрутите на Uplink получават локално предпочитание в диапазона 71-79.
забележки: Последна актуализация: февруари 2012 г.

и общност (3216:3000 и 3216:3007):

...
забележки: 3216:3000 Получено от международна връзка нагоре или партньор, по-специално:
...
забележки: 3216:3007 Ниво 3 Комуникации
...

От получената информация става ясно, че трафикът от мрежата на VimpelCom към VKontakte и MailRu се разпределя през европейски кръстовища по маршрути, получени чрез протокола BGP. Няма алтернативни маршрути през вътрешни руски връзки в Looking Glass. Не бяха намерени мерки за изкуствено пренасочване на трафика през очевидно по-лоши маршрути.

Как Mail.ru Group вижда мрежата на VimpelCom?
Да се ​​възползваме Огледало от Майлов.

От рутери от AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH съдържа AS1299 (Telia, Tier1 оператор, Mail.RU uplink) и as1273 (Vodafon, Tier1 оператор, VimpelCom uplink).

LocalPreference 200 е стандартът за външни връзки на Mail.ru (https://net.mail.ru/bgp.html), а MED 500 отговаря на всичко, което не се получава от директна връзка, нито от IX, нито от peering .

Но защо няма местни маршрути през руски телеком оператори???
Има ги, но приоритетът им е „нестандартното”!
Ето маршрута през Rostelecom (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Тук чрез Megafon (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Тук чрез RETN.NET:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

И дори чрез MTS!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Метриката localpref за тези руски маршрути е подценена, тоест маршрутите са по-лоши в сравнение с чуждестранните!

Освен това, има забрани от страна на Mail.Ru Group разпространение на вашите префикси към VimpelCom чрез руски оператори!

RETN.NET (http://lg.retn.net/):
Съобщения от Mail.RU Group показват общност 3216:65535.
Оттегляне от LG RETN.NETinet.0: 762737 дестинации, 1734826 маршрута (762708 активни, 222780 задържане, 277 скрити)
94.100.176.0/20 (1 запис, 1 обявен)
*BGP предпочитание: 170/-201
...
...
AS път: 47764 I
AS път: Записан
Общности: 3216:65535 9002:64667 9002:65530
...

VimpelCom не приема маршрути, маркирани от такава общност в своята мрежа. Извадка от RIPE DB на AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
По посока на Rostelecom (http://lg.ip.rt.ru), Mail.RU Group дава подобни маршрути от общността 12389:8350.
Оттегляне от LG Rostelecom94.100.176.0/20 през 217.107.65.1 на eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Тип: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.следващ_хоп: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Според записите в RIPE DB за обекта as12389, тази общност означава „не рекламирайте в мрежата as3216“:...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
По същия начин към MTS (http://lg.mtu.ru):Оттегляне от LG MTSBGP таблица за маршрутизиране за 94.100.176.0/20, версия 161717219
Пътища: (2 налични, най-добрият #1, таблица по подразбиране)
Multipath: eBGP
Рекламирано на групи за актуализиране:
6
47764, (получен и използван)
195.34.52.77 (метрика 16) от 195.34.52.181 (195.34.52.181)
Произход IGP, показател 0, localpref 140, валиден, вътрешен, най-добър
Общност: 8359:2120 8359:2150 8359:5500 8359:55277
Създател: 195.34.52.77, списък на клъстери: 83.59.83.59
47764, (получен и използван)
195.34.52.77 (метрика 16) от 195.34.52.182 (195.34.52.182)
Произход IGP, метрика 0, localpref 140, валиден, вътрешен
Общност: 8359:2120 8359:2150 8359:5500 8359:55277
Създател: 195.34.52.77, списък на клъстери: 83.59.2.77

Общността 8359:2120 означава:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Не можете да гледате съобщенията на Mail.RU Group по посока на Megafon - последният няма Looking Glass.

Нека да разгледаме AS47541 (VKONTAKTE-SPB-AS).

Резултатът е твърде голям.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH сочи към AS174 - Cogent (Връзка към Mail.RU, Tier1), след това AS6762 - Telecom Italia (Връзка към VimpelCom). Местното предпочитание е 150 навсякъде, но това важи за всички външни фуги, независимо от писмени политики.

Нека да разгледаме AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

И от втория рутер: 

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Само маршрути по подразбиране (0.0.0.0/0). Тази ситуация беше обяснена от служител на Mail.RU Group алчност, за което му благодаря. Накратко: московският сегмент на мрежата VKontakte е кеширащ (а не генериращ) сегмент, чиято задача е да оптимизира скоростта на зареждане на популярно, търсено съдържание. Грижа за потребителите, да.

Ако няма маршрут към определена мрежа, тогава тази мрежа не се обслужва от кеширащи сървъри. Това означава, че оптимизирането на скоростта на изтегляне не работи и потребителите страдат. Но тук трябва да подчертаем, че потребителите са не само наши, но и тези на VimpelCom.

Изводи:

  1. От VimpelCom трафикът към Mail.RU Group се разпределя естествено. Не бяха открити изкуствени пренасочвания чрез манипулации на местни предпочитания
  2. Mail.RU Group наблюдава манипулации с префиксите на VimpelCom. Съществуващите маршрути към мрежата на VimpelCom през руски оператори имат по-нисък приоритет в сравнение с маршрутите през чуждестранни оператори от Tier1.
  3. Мениджърите на BGP общността са добавени към маршрути, предавани на руски оператори (MTS, Rostelecom, RETN.NET) от Mail.RU Group, за да се ограничи тяхното разпространение към VimpelCom

Защо Mail.RU Group дава приоритет на маршрутите през Европа? Защо Mail.RU Group забранява кратки вътрешни руски връзки с VimpelCom?

По-евтино ли им е? Насочвате трафик през чуждестранни канали и плащате на Tirvans в чуждестранна валута?
Или има желание да се отдалечи трафикът, така че да не е толкова удобно да го вземете, а?
Това не е известно на мрежовия инженер...

Източник: www.habr.com

Купете надежден хостинг за сайтове с DDoS защита, VPS VDS сървъри 🔥 Купете надежден уеб хостинг със защита от DDoS атаки, VPS VDS сървъри | ProHoster