ProHoster > Блог > Новини в интернет > Проекция на корпоративния конфликт върху мрежовата свързаност

Проекция на корпоративния конфликт върху мрежовата свързаност

Проекция на корпоративния конфликт върху мрежовата свързаност
Корпоративният конфликт възникна на 10.06.2019 поради увеличаването на цената за доставка на SMS на потребителите на мрежата Вимпелком от страна на Mail.RU Group. В отговор на това Mail.RU Group спря да "обслужва" директните руски IP канали към мрежата Вимпелком.

По-долу е кратък анализ на ситуацията от гледна точка на мрежовия инженер.

Update: 14.06.2019 18:45 — акцент върху руски маршрути към мрежата Вимпелком, коригирани са изводите, добавено е пояснение. Сергей Кубасов (CIO на Вконтакте).
Update: 14.06.2019 19:48 — добавено е описание на метода за ограничаване на разпространението на маршрути по "късния" руски път чрез Ростелеком, МТС, РЕТН.НЕТ.


Уводни:
Вимпелком разполага с автономна система AS3216, всички останали (8402 — домашен интернет, 16345 — мобилен интернет) се намират зад 3216.

Mail.RU Group — автономни системи AS47541, AS47542 и AS47764. Основният генератор на съдържание е 47542, т.н. CDN ВКОНТАКТЕ (филми, музика). Всички автономни системи са независими една от друга (от гледна точка на външната автономна система).

Първо, нека разгледаме ситуацията от страна на мрежата Вимпелком. За това ще ни помогне Looking Glass Вимпелком.

Нека разгледаме първата автономна система — AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH съдържа две автономни системи — 2914 (NTT) и 47541 (VKONTAKTE-SPB-AS).
Метриката localpref е установена на 87, което според описанието в RIPE DB за обекта AS3216 отговаря на международния пейринг.

…
remarks: International peer’s routes get local preference in the
remarks: range of 81-89.
…

Тази информация също се потвърдена от комюнитито 3216:3000 и 3216:3103 (източник — RIPE DB за AS3216):

…
remarks: 3216:3000 Receieved from an international uplink or peer, specifically:
…
remarks: 3216:3103 AMS-IX
…

Тоест, маршрутът до ВКонтакте Вимпелком вижда през европейския узел.

Да разгледаме друга автономна система на ВКонтакте — 47542 (VKONTAKTE-MSK-CDN-AS).

Всичко е аналогично.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Как стоят нещата с Mail.ru? Нека разгледаме AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Вимпелком вижда Mail.ru през as3356 (uplink Level3, оператор Tier1). Тази информация се потвърджа и от localpref 77:

…
remarks: Маршрутите на Uplink получават местни предпочитания в диапазона 71-79.
remarks: Последна актуализация: февруари 2012…

и общността (3216:3000 и 3216:3007):

…
remarks: 3216:3000 Receieved from an international uplink or peer, specifically:
…
remarks: 3216:3007 Level 3 Communications
…

От получената информация става ясно, че трафикът от мрежата на Вимпелком до ВКонтакте и Mail.ru преминава през европейски точки според маршрутите, получени по протокол BGP. Няма алтернативни маршрути през вътрешнороссийски точки в Looking Glass. Не са установени мерки за изкуствено пренасочване на трафика през очевидно по-лоши маршрути.

А как вижда Mail.ru Group мрежите на Вимпелком?
Нека изпробваме Looking Glass от Mail.

От рутерите в AS47764 (mailru-as):

  Path #6: Получен от говорителя 0
  Обявен на партньори (в уникални групи за актуализация):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (метрика 100) от 217.20.147.250 (217.20.147.253)
      Origin IGP, метрика 500, localpref 200, валиден, вътрешен, най-добър, групов най-добър
      Получен Path ID 0, Локален Path ID 0, версия 1172721494
      Общество: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH съдържа AS1299 (Telia, оператор Tier1, uplink Mail.RU) и as1273 (Vodafone, оператор Tier1, uplink Вимпелком).

LocalPreference 200 — стандарт за външни точки на свързване на Mail.ru (https://net.mail.ru/bgp.html), а MED 500 отговаря на всичко, получено не от директна точка на свързване, не от IX-ове, не от пиринги.

Но защо няма местни маршрути през руските оператори на телекомуникации???
Има такива, но приоритетът им е „нестандартен“!
Ето маршрута през Ростелеком (as12389):

  Path #1: Получен от говорителя 0
  Не е обявен на нито един партньор
  12389 3216
    46.61.178.149 от 46.61.178.149 (213.59.207.79)
      Origin IGP, метрика 500, localpref 199, валиден, външен
      Получен Path ID 0, Локален Path ID 0, версия 0
      Общество: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Валидност на Origin-AS: не е намерено

Ето през Мегафон (as31133):

  Path #2: Получен от говорителя 0
  Не е обявен на нито един партньор
  31133 3216
    78.25.77.41 от 78.25.77.41 (10.222.253.97)
      Origin IGP, метрика 500, localpref 199, валиден, външен
      Получен Path ID 0, Локален Path ID 0, версия 0
      Общество: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Валидност на Origin-AS: не е намерено

Ето през РЕТН.НЕТ:

  Path #3: Получен от говорителя 0
  Не е обявен на нито един партньор
  9002 9002 3216
    87.245.253.24 от 87.245.253.24 (87.245.225.1)
      Origin IGP, метрика 500, localpref 199, валиден, външен
      Получен Path ID 0, Локален Path ID 0, версия 0
      Общество: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Валидност на Origin-AS: не е намерено

И дори през МТС!

  Path #5: Получен от говорителя 0
  Не е обявен на нито един партньор
  8359 3216
    212.188.61.105 от 212.188.61.105 (195.34.52.77)
      Origin IGP, метрика 500, localpref 199, валиден, външен
      Получен Path ID 0, Локален Path ID 0, версия 0
      Общество: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Валидност на Origin-AS: не е намерено

Метриката localpref за тези руски маршрути е понижена, което означава, че маршрутите са влошени в сравнение с чуждите!

Освен това, от страна на Mail.Ru Group има забрани за разпространение на своите префикси във Вимпелком чрез руски оператори!

РЕТН.НЕТ (http://lg.retn.net/):
На анонсите от Mail.RU Group е посочена общността 3216:65535.
Изход от LG РЕТН.НЕТinet.0: 762737 дестинации, 1734826 маршрута (762708 активни, 222780 в режим на чакане, 277 скрити)
94.100.176.0/20 (1 запис, 1 обявен)
*BGP предпочитание: 170/-201
…
…
AS път: 47764 I
AS път: Записан
Общности: 3216:65535 9002:64667 9002:65530
…

Маршрутите, маркирани с такава общност, Вимпелком не приема в своята мрежа. Извадка от RIPE DB за AS3216:
...
забележки: Вътрешните комуникации са присвоени само вътрешно.
забележки: Те са в диапазона 3216:0000-3216:4999 и 3216:6000-3216:65535.
забележки: и винаги се изтриват от входящите актуализации на границата.
забележки: маршрутизатори.
...
В посока Ростелеком (http://lg.ip.rt.ru) Mail.RU Group предоставя аналогични маршрути с общността 12389:8350.
Изход от LG Ростелеком94.100.176.0/20 чрез 217.107.65.1 на eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Тип: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Според записите в RIPE DB за обект as12389, тази общност означава "не анонсирай в мрежата as3216":...
коментари: | 12389:835y При реклама на GoldenTelecom (AS3216) |
...
коментари: | ...y=0 - не рекламирайте |
...
По подобен начин в посока МТС (http://lg.mtu.ru):Изход от LG МТСBGP маршрутна таблица за 94.100.176.0/20, версия 161717219
Пътища: (2 налични, най-добър #1, таблица по подразбиране)
Мултипът: eBGP
Обявени за update-групи:
6
47764, (получено и използвано)
195.34.52.77 (метрика 16) от 195.34.52.181 (195.34.52.181)
Произход IGP, метрика 0, localpref 140, валиден, вътрешен, най-добър
Общност: 8359:2120 8359:2150 8359:5500 8359:55277
Произходител: 195.34.52.77, списък на клъстера: 83.59.83.59
47764, (получено и използвано)
195.34.52.77 (метрика 16) от 195.34.52.182 (195.34.52.182)
Произход IGP, метрика 0, localpref 140, валиден, вътрешен
Общност: 8359:2120 8359:2150 8359:5500 8359:55277
Произходител: 195.34.52.77, списък на клъстера: 83.59.2.77

Общността 8359:2120 означава:...
забележки: 8359:212x при обявяване на Sovam (Beeline)
...
забележки: x=0 - не обявявайте
...
Не може да се видят анонсите на Mail.RU Group в посока Мегафон — последният няма Looking Glass.

Да видим AS47541 (VKONTAKTE-SPB-AS).

Изходът е твърде голям.

 Рутер: a9922-e-5
Команда: show ip bgp 81.211.56.202


Последнее переключение 5 апр  04:25:09 2018: 1 година, 10 седмици, 6 часа, 9 минути назад

14 юни 2019 10:34:20.791 MSK
BGP таблица за маршрутизиране за 81.211.0.0/17
Версии:
  Процес           bRIB/RIB  SendTblVer
  Спийкър          913059757   913059757
Последна промяна: 21 май 05:20:38.536 за 1г03с
Пътища: (6 налични, най-добър #4)
  Рекламирани до групи за актуализация (с повече от един партньор):
    0.2 
  Рекламирани на партньори (в уникални групи за актуализация):
    188.93.60.188   
  Път #1: Получен от спийкър 0
  Не е рекламиран на никой партньор
  1299 1273 3216 3216
    87.240.191.235 (метрика 31) от 87.240.191.235 (87.240.191.235)
      Произход IGP, метрика 5000, localpref 150, валиден, вътрешен
      Получен Path ID 0, Local Path ID 0, версия 0
      Общност: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Път #2: Получен от спийкър 0
  Не е рекламиран на никой партньор
  1299 1273 3216 3216
    87.240.191.248 (метрика 31) от 87.240.191.248 (87.240.191.248)
      Произход IGP, метрика 5000, localpref 150, валиден, вътрешен
      Получен Path ID 0, Local Path ID 0, версия 0
      Общност: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Път #3: Получен от спийкър 0
  Не е рекламиран на никой партньор
  174 6762 3216 3216
    87.240.191.249 (метрика 31) от 87.240.191.249 (87.240.191.249)
      Произход IGP, метрика 5000, localpref 150, валиден, вътрешен
      Получен Path ID 0, Local Path ID 0, версия 0
      Общност: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Път #4: Получен от спийкър 0
  Рекламиран до групи за актуализация (с повече от един партньор):
    0.2 
  Рекламиран на партньори (в уникални групи за актуализация):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 от 149.6.169.113 (38.28.1.236)
      Произход IGP, метрика 5000, localpref 150, валиден, външен, най-добър, group-best
      Получен Path ID 0, Local Path ID 0, версия 913059757
      Общност: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Валидация на Origin-AS: не е намерен
  Път #5: Получен от спийкър 0
  Не е рекламиран на никой партньор
  1273 1273 3216 3216
    195.89.114.197 от 195.89.114.197 (195.2.1.107)
      Произход IGP, метрика 5005, localpref 150, валиден, външен
      Получен Path ID 0, Local Path ID 0, версия 0
      Общност: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Валидация на Origin-AS: не е намерен
  Път #6: Получен от спийкър 0
  Не е рекламиран на никой партньор
  3356 3356 3216 3216 3216
    213.242.69.69 от 213.242.69.69 (4.69.177.130)
      Произход IGP, метрика 5000, localpref 150, валиден, външен
      Получен Path ID 0, Local Path ID 0, версия 0
      Общност: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Валидация на Origin-AS: не е намерен

AS-PATH показва AS174 — Cogent (ъплинк Mail.RU, Tier1), след това AS6762 — Telecom Italia (ъплинк Вымпелком). Local Preference навсякъде е 150, но така за всички външни свързвания, независимо от записаните политики.

Нека да видим AS47542 (VKONTAKTE-MSK-CDN-AS).

 Рутер: mx960-m9-0
Команда: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS път: 47541 I
Общности: 
Прието Най-добро

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS път: 47541 I
Общности: 
Прието
Причина за неактивност: Вътрешен > Външен > Външен през Вътрешен

И от втория маршрутизатор:

 Рутер: mx960-m9-1
Команда: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Общности: 
Принято лучшее

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Общности: 
Принято
Причина неактивности: Внутренний > Внешний > Внешний через Внутренний

Само само маршрути по подразбиране (0.0.0.0/0). Тази ситуация беше обяснена от служител на Mail.RU Group алчност, за което му благодаря. Кратко казано: московският сегмент на мрежата ВКонтакте е кеширащ (а не генериращ), чиято задача е оптимизация на скоростта на зареждане на популярно търсено съдържание. Грижа за потребителите, да.

Ако няма маршрут към някаква мрежа, значи тази мрежа не се обслужва от кеширащите сървъри. Следователно оптимизацията на скоростта на зареждане не работи, а потребителите страдат. Но тук трябва да се акцентира — потребителите са не само техни, но и на Вымпелком.

Изводи:

  1. От страна на Вымпелком трафикът към Mail.RU Group се разпределя по естествен начин. Изкуствени пренасочвания чрез манипулации Local Preference не са открити
  2. От страна на Mail.RU Group се наблюдават манипулации с префиксите на Вымпелком. За съществуващите маршрути към мрежата на Вымпелком през руските оператори приоритетите са занижени в сравнение с маршрутите през чуждестранни Tier1 оператори.
  3. На предаваните на руските оператори (МТС, Ростелеком, РЕТН.НЕТ) маршрути от страна на Mail.RU Group са добавени управленски BGP общности за ограничаване на тяхното разпространение към Вымпелком

Защо Mail.RU Group поставя маршрутите през Европа с по-висок приоритет? Защо Mail.RU Group забранява кратката вътрешноруска свързаност с Вымпелком?

Накрая, по-евтино ли им е? Да прехвърлят трафика през чуждестранни канали и да плащат на тирваните с валута?
Или искат да изтласкат трафика по-далеч, за да не им е толкова удобно да го вземат, а?
На мрежовия инженер не е известно…

Източник: habr.com

Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри 🔥 Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри | ProHoster