ProHoster > Блог > Новини от интернетa > Проекция на корпоративния конфликт върху мрежовата свързаност

Проекция на корпоративния конфликт върху мрежовата свързаност

Проекция на корпоративния конфликт върху мрежовата свързаност
Корпоративен конфликт възникна на 10.06.2019 поради увеличаването на цената за доставка на SMS до потребителите на мрежата Вимпелком от страна на Mail.RU Group. Като ответна мярка Mail.RU Group спря да „обслужва“ директните руски IP-канали към мрежата Вимпелком.

По-долу следва краткият анализ на ситуацията от гледна точка на мрежовия инженер.

Актуализация: 14.06.2019 18:45 — акцент върху руските маршрути към мрежата Вимпелком, коригирани изводи, добавено пояснение Сергей Кубасов (CIO на ВКонтакте).
Актуализация: 14.06.2019 19:48 — добавено описание на начина на ограничаване на разпространението на маршрутите по „краткия“ руски маршрут през Ростелеком, МТС, РЕТН.НЕТ..


Въведени:
Вимпелком разполага с автономна система AS3216, всички останали (8402 — домашен интернет, 16345 — мобилен интернет) се намират зад 3216.

Mail.RU Group — автономни системи AS47541, AS47542 и AS47764. Основният генератор на съдържание е 47542, т.н. CDN ВКонтакте (филми, музика). Всички автономни системи са независими една от друга (от гледна точка на външна автономна система).

Първо ще разгледаме ситуацията от страна на мрежата Вимпелком. За това ще ни помогне Looking Glass Вимпелком.

Наблюдаваме първата автономна система — AS47541.

 2914 47541
    79.104.32.251 (метрика 10500) (79.104.32.251)
      Произход IGP, метрика 30, localpref 87, валиден, вътрешен, най-добър, групов най-добър, кандидат за импортиране, подозрителен за импортиране
      Получен Path ID 0, Локален Path ID 1, версия 2865394342
      Общност: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH съдържа две автономни системи — 2914 (NTT) и 47541 (VKONTAKTE-SPB-AS).
Метриката localpref е зададена на 87, което според описанието в RIPE DB за обект AS3216 отговаря на международен пиринг.

…
бележки: Маршрутите на международните пирове получават местно предпочитание в
бележки: диапазон от 81-89.
…

Тази информация се потвърдена и от общностите 3216:3000 и 3216:3103 (източник — RIPE DB за AS3216):

…
бележки: 3216:3000 Получено от международен uplink или пирове, конкретно:
…
бележки: 3216:3103 AMS-IX
…

Тоест, маршрутът до ВКонтакта Вимпелком вижда през европейския прекъсвач.

Нека видим другата автономка на ВКонтакте — 47542 (VKONTAKTE-MSK-CDN-AS).

Всичко е аналогично.

 2914 47541
    79.104.32.251 (метрика 10500) (79.104.32.251)
      Произход IGP, метрика 30, localpref 87, валиден, вътрешен, най-добър, групов най-добър, кандидат за импортиране, подозрителен за импортиране
      Получен Path ID 0, Локален Path ID 1, версия 2865394338
      Общност: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

А как вървят нещата с самия Mail.ru? Нека погледнем на AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (метрика 10501) (194.67.0.215)
      Произход IGP, метрика 0, localpref 77, валиден, вътрешен, най-добър, групов най-добър, кандидат за импортиране
      Получен Path ID 0, Локален Path ID 1, версия 2867605667
      Общност: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Вимпелком вижда Mail.ru през as3356 (uplink Level3, оператор Tier1). Тази информация се потвърдена и localpref 77:

…
забележки: Маршрутите на Uplink получават местна преференция в диапазона от 71-79.
забележки: Последно обновление: февруари 2012…

и общността (3216:3000 и 3216:3007):

…
бележки: 3216:3000 Получено от международен uplink или пирове, конкретно:
…
забележки: 3216:3007 Level 3 Communications
…

От получената информация става ясно, че трафикът от мрежата на Вимпелком към ВКонтакте и Mail.ru минава през европейските връзки според маршрутите, получени по протокол BGP. Няма алтернативни маршрути през вътрешноруските връзки в Looking Glass. Не са открити мерки за изкуствено пренасочване на трафика през съзнателно по-лоши маршрути.

А как вижда Mail.ru Group мрежите на Вимпелком?
Ще се възползваме от Looking Glass от Mail.ru.

От рутерите на AS47764 (mailru-as):

  Path #6: Получено от говорител 0
  Рекламирано на партньори (в уникални групи за обновления):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (метрика 100) от 217.20.147.250 (217.20.147.253)
      Произход IGP, метрика 500, localpref 200, валидно, вътрешно, най-добро, group-best
      Получено Path ID 0, Local Path ID 0, версия 1172721494
      Общност: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH съдържа AS1299 (Telia, оператор Tier1, uplink Mail.RU) и as1273 (Vodafone, оператор Tier1, uplink Вимпелком).

LocalPreference 200 — стандарт за външни връзки на Mail.ru (https://net.mail.ru/bgp.html), а MED 500 съответства на всичко, което не е получено от пряк контакт, не от IX-ове, не от пирингове.

Но защо няма местни маршрути през руски оператори на телекомуникации???
Има такива, но приоритетът им е "нестандартен"!
Ето маршрут през Ростелеком (as12389):

  Path #1: Получено от говорител 0
  Не е рекламирано на никой партньор
  12389 3216
    46.61.178.149 от 46.61.178.149 (213.59.207.79)
      Произход IGP, метрика 500, localpref 199, валидно, външно
      Получено Path ID 0, Local Path ID 0, версия 0
      Общност: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Валидация Origin-AS: не е намерено

Ето през Мегафон (as31133):

  Path #2: Получено от говорител 0
  Не е рекламирано на никого партньор
  31133 3216
    78.25.77.41 от 78.25.77.41 (10.222.253.97)
      Произход IGP, метрика 500, localpref 199, валидно, външно
      Получено Path ID 0, Local Path ID 0, версия 0
      Общност: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Валидация Origin-AS: не е намерено

Ето през РЕТН.НЕТ:

  Path #3: Получено от говорител 0
  Не е рекламирано на никого партньор
  9002 9002 3216
    87.245.253.24 от 87.245.253.24 (87.245.225.1)
      Произход IGP, метрика 500, localpref 199, валидно, външно
      Получено Path ID 0, Local Path ID 0, версия 0
      Общност: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Валидация Origin-AS: не е намерено

И дори през МТС!

  Path #5: Получено от говорител 0
  Не е рекламирано на никого партньор
  8359 3216
    212.188.61.105 от 212.188.61.105 (195.34.52.77)
      Произход IGP, метрика 500, localpref 199, валидно, външно
      Получено Path ID 0, Local Path ID 0, версия 0
      Общност: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Валидация Origin-AS: не е намерено

Метриката localpref на тези руски маршрути е занижена, т.е. маршрутите са влошени в сравнение с чуждестранните!

Освен това, от страна на Mail.Ru Group има забрани за разпространение на своите префикси в Вымпелком през руски оператори!

РЕТН.НЕТ (http://lg.retn.net/):
На анонсите от Mail.RU Group стои общността 3216:65535.
Изход от LG РЕТН.НЕТinet.0: 762737 дестинации, 1734826 маршрута (762708 активни, 222780 в режим по-ниска стойност, 277 скрити)
94.100.176.0/20 (1 запис, 1 обявен)
*BGP предпочитания: 170/-201
…
…
AS път: 47764 I
AS път: Записан
Общности: 3216:65535 9002:64667 9002:65530
…

Маршрутите, маркирани с тази общност, Вымпелком не приема в своята мрежа. Извадка от RIPE DB по AS3216:
...
Забележки: Вътрешните комуникации са назначени само вътрешно.
Забележки: Те са в диапазона 3216:0000-3216:4999 и 3216:6000-3216:65535.
Забележки: И винаги се изтриват от входящите актуализации на границата.
Забележки: маршрутизатори.
...
В посока Ростелеком (http://lg.ip.rt.ru) Mail.RU Group дава аналогични маршрути с общността 12389:8350.
Изход от LG Ростелеком94.100.176.0/20 през 217.107.65.1 на eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Тип: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Според записите в RIPE DB за обекта as12389, тази общност означава «не анонсирай в мрежата as3216»:...
коментар: | 12389:835y Когато рекламирате на GoldenTelecom (AS3216) |
...
коментар: | ...y=0 - не рекламирайте |
...
По аналогичен начин в посока МТС (http://lg.mtu.ru):Изход от LG МТСBGP таблица за маршрути за 94.100.176.0/20, версия 161717219
Пътища: (2 налични, най-добри #1, таблица по подразбиране)
Множествени пътища: eBGP
Обявени за обновяване-групи:
6
47764, (получени & използвани)
195.34.52.77 (метрика 16) от 195.34.52.181 (195.34.52.181)
Произход IGP, метрика 0, localpref 140, валиден, вътрешен, най-добър
Общност: 8359:2120 8359:2150 8359:5500 8359:55277
Произходител: 195.34.52.77, списък на клъстера: 83.59.83.59
47764, (получени & използвани)
195.34.52.77 (метрика 16) от 195.34.52.182 (195.34.52.182)
Произход IGP, метрика 0, localpref 140, валиден, вътрешен
Общност: 8359:2120 8359:2150 8359:5500 8359:55277
Произходител: 195.34.52.77, списък на клъстера: 83.59.2.77

Общност 8359:2120 означава:...
Забележки: 8359:212x при обявяване на Совам (Бийлайн)
...
Забележки: x=0 - не обявявайте
...
Не може да се видят анонсите на Mail.RU Group в посока Мегафон — последният няма Looking Glass.

Нека разгледаме AS47541 (VKONTAKTE-SPB-AS).

Изходът е твърде голям.

 Рутер: a9922-e-5
Команда: show ip bgp 81.211.56.202


Последно превключване Чет 5 апр 2018 04:25:09: 1 година, 10 седмици, 6 часа, 9 минути назад

Пет 14 юни 10:34:20.791 MSK
Запис за BGP маршрутизиране за 81.211.0.0/17
Версии:
  Процес           bRIB/RIB  SendTblVer
  Превключвател          913059757   913059757
Последно модифицирано: 21 май 05:20:38.536 за 1г03с
Пътища: (6 налични, най-добър #4)
  Рекламирано на групи за обновление (с повече от един партньор):
    0.2 
  Рекламирано на партньори (в уникални групи за обновление):
    188.93.60.188   
  Път #1: Получено от превключвателя 0
  Не е рекламирано на никой партньор
  1299 1273 3216 3216
    87.240.191.235 (метрика 31) от 87.240.191.235 (87.240.191.235)
      Произход IGP, метрика 5000, локален преференция 150, валидно, вътрешно
      Получен ID на пътя 0, Локален ID на пътя 0, версия 0
      Общество: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Път #2: Получено от превключвателя 0
  Не е рекламирано на никой партньор
  1299 1273 3216 3216
    87.240.191.248 (метрика 31) от 87.240.191.248 (87.240.191.248)
      Произход IGP, метрика 5000, локален преференция 150, валидно, вътрешно
      Получен ID на пътя 0, Локален ID на пътя 0, версия 0
      Общество: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Път #3: Получено от превключвателя 0
  Не е рекламирано на никой партньор
  174 6762 3216 3216
    87.240.191.249 (метрика 31) от 87.240.191.249 (87.240.191.249)
      Произход IGP, метрика 5000, локален преференция 150, валидно, вътрешно
      Получен ID на пътя 0, Локален ID на пътя 0, версия 0
      Общество: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Път #4: Получено от превключвателя 0
  Рекламирано на групи за обновление (с повече от един партньор):
    0.2 
  Рекламирано на партньори (в уникални групи за обновление):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 от 149.6.169.113 (38.28.1.236)
      Произход IGP, метрика 5000, локален преференция 150, валидно, външно, най-добро, групово най-добро
      Получен ID на пътя 0, Локален ID на пътя 0, версия 913059757
      Общество: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Валидация на произходна AS: не е намерена
  Път #5: Получено от превключвателя 0
  Не е рекламирано на никой партньор
  1273 1273 3216 3216
    195.89.114.197 от 195.89.114.197 (195.2.1.107)
      Произход IGP, метрика 5005, локален преференция 150, валидно, външно
      Получен ID на пътя 0, Локален ID на пътя 0, версия 0
      Общество: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Валидация на произходна AS: не е намерена
  Път #6: Получено от превключвателя 0
  Не е рекламирано на никой партньор
  3356 3356 3216 3216 3216
    213.242.69.69 от 213.242.69.69 (4.69.177.130)
      Произход IGP, метрика 5000, локален преференция 150, валидно, външно
      Получен ID на пътя 0, Локален ID на пътя 0, версия 0
      Общество: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Валидация на произходна AS: не е намерена

AS-PATH указва на AS174 — Cogent (аплинк Mail.RU, Tier1), след това AS6762 — Telecom Italia (аплинк Вымпелком). Локална преференция навсякъде 150, но така на всички външни свързвания, независимо от написаните политики.

Нека да разгледаме AS47542 (VKONTAKTE-MSK-CDN-AS).

 Рутер: mx960-m9-0
Команда: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS путь: 47541 I
Обществата: 
Прието Най-добро

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS путь: 47541 I
Обществата: 
Прието
Причина за неактивност: Вътрешно > Външно > Външно чрез Вътрешно

И от втория маршрутизатор:

 Рутер: mx960-m9-1
Команда: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Общности: 
Прието най-добро

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Общности: 
Прието
Причина за неактивност: Интериор > Екстериор > Екстериор през Интериор

Само маршрути по подразбиране (0.0.0.0/0). Тази ситуация беше разяснена от служител на Mail.RU Group алчност, за което му благодаря. Ако накратко: московският сегмент на мрежата ВКонтакте е кеширащ (а не генериращ), задачата му е оптимизация на скоростта на зареждане на популярно търсено съдържание. Грижа за потребителите, да.

Ако няма маршрут за някаква мрежа, значи тази мрежа не се обслужва от кеширащи сървъри. Значи оптимизацията на скоростта на зареждане не работи и потребителите страдат. Но тук трябва да акцентираме – потребителите не само свои, но и на Вымпелком.

Изводи:

  1. От страна на Вымпелком трафикът към Mail.RU Group се разпределя естествено. Изкуствени пренасочвания чрез манипулации на Local Preference не са открити
  2. От страна на Mail.RU Group се наблюдават манипулации с префиксите на Вымпелком. За съществуващите маршрути към мрежата на Вымпелком през руски оператори приоритетите са занижени в сравнение с маршрутите през чуждестранни Tier1 оператори.
  3. На предаваните към руски оператори (МТС, Ростелеком, РЕТН.НЕТ) маршрути от страна на Mail.RU Group са добавени управляващи BGP общности за ограничаване на разпространението им към Вымпелком

Защо Mail.RU Group поставя маршрутите през Европа с по-висок приоритет? Защо Mail.RU Group забранява кратката вътрешноруска свързаност с Вымпелком?

Така им е по-евтино? Да пренасочват трафика през чуждестранни канали и да плащат тирванам с валута?
Или има желание да пренасочат трафика подалеч, за да не е толкова удобно да го взимат, а?
На мрежовия инженер не е известно...

Източник: habr.com

Купете надежден хостинг за сайтове със защита от DDoS, VPS и VDS сървъри 🔥 Купете надежден хостинг за сайтове със защита от DDoS, VPS и VDS сървъри | ProHoster