Проекција на корпоративен конфликт на мрежно поврзување

На 10.06.2019 јуни XNUMX година настана корпоративен конфликт поради зголемување на цената за испорака на СМС пораки до корисниците на мрежата VimpelCom од страна на Mail.RU Group. Како одговор, Mail.RU Group престана да „сервира“ директни руски IP канали кон мрежата VimpelCom.

Подолу е дадена кратка анализа на ситуацијата од перспектива на мрежен инженер.

Ажурирање: 14.06.2019 18:45 - акцент на руските рути до мрежата ВимпелКом, заклучоците се поправени, додадено објаснување Сергеј Кубасов (ЦИО ВКонтакте).
Ажурирање: 14.06.2019 19:48 - додаден е опис на метод за ограничување на ширењето на маршрутите по „кратката“ руска рута преку Ростелеком, МТС, RETN.NET..

Воведен:
VimpelCom има автономен систем AS3216, сите останати (8402 - домашен интернет, 16345 - мобилен интернет) се наоѓаат зад 3216.

Mail.RU Group - автономни системи AS47541, AS47542 и AS47764. Главниот генератор на содржина е 47542, т.н. CDN VKONTAKTE (филмови, музика). Сите автономни системи се независни еден од друг (од перспектива на надворешниот автономен систем).

Прво, да ја погледнеме ситуацијата од мрежата на ВимпелКом. За ова ќе ни помогне Барање стакло VimpelCom.

Да го погледнеме првиот автономен систем - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH содржи два автономни системи - 2914 (NTT) и 47541 (VKONTAKTE-SPB-AS).
Метриката за локалниот приказ е поставена на 87, што според описот во RIPE DB за објектот AS3216 одговара на меѓународното вртење.

...
забелешки: Меѓународните правци на врсниците добиваат локална предност во
забелешки: опсег од 81-89.
...

Истата информација ја потврдуваат и заедниците 3216:3000 и 3216:3103 (извор: RIPE DB за AS3216):

...
забелешки: 3216:3000 Добиени од меѓународна врска или врсници, конкретно:
...
забелешки: 3216:3103 AMS-IX
...

Односно, VimpelCom ја гледа рутата до VKontakte преку европската раскрсница.

Ајде да погледнеме друга мрежа VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).

Се е исто.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Што е со самиот Mail.ru? Ајде да погледнеме во AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

VimpelCom го гледа Mail.ru преку as3356 (uplink Level3, Tier1 оператор). Оваа информација е потврдена од localpref 77:

...
забелешки: маршрутите на Uplink добиваат локална предност во опсег од 71-79.
забелешки: Последно ажурирање: февруари 2012 година…

и заедница (3216:3000 и 3216:3007):

...
забелешки: 3216:3000 Добиени од меѓународна врска или врсници, конкретно:
...
забелешки: 3216:3007 Ниво 3 Комуникации
...

Од добиените информации е јасно дека сообраќајот од мрежата VimpelCom до VKontakte и MailRu се дистрибуира низ европските крстосници според маршрутите добиени преку протоколот BGP. Нема алтернативни рути преку домашните руски врски во Looking Glass. Не беа пронајдени мерки за вештачко пренасочување на сообраќајот преку очигледно полоши рути.

Како Mail.ru Group ја гледа мрежата на VimpelCom?
Ајде да ги искористиме Looking Glass од Маилов.

Од рутери од AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH содржи AS1299 (Telia, Tier1 operator, Mail.RU uplink) и as1273 (Vodafon, Tier1 operator, VimpelCom uplink).

LocalPreference 200 е стандард за надворешни врски на Mail.ru (https://net.mail.ru/bgp.html), а MED 500 одговара на сè што не е добиено од директна врска, не од IX, не од вртење .

Но зошто нема локални линии преку руските телеком оператори???
Постојат, но приоритет им е „нестандарден“!
Еве ја рутата преку Ростелеком (како 12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Еве преку Мегафон (како 31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Еве преку RETN.NET:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Па дури и преку МТС!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Метриката на локалниот преф за овие руски рути е потценета, односно рутите се полоши во споредба со странските!

Покрај тоа, има забрани од страна на Mail.Ru Group дистрибуција на вашите префикси до VimpelCom преку руски оператори!

RETN.NET (http://lg.retn.net/):
Најавите од Mail.RU Group покажуваат заедница 3216:65535.
Повлекување од LG RETN.NETinet.0: 762737 дестинации, 1734826 маршрути (762708 активни, 222780 задржани, 277 скриени)
94.100.176.0/20 (1 запис, 1 објавен)
*Преференци за BGP: 170/-201
...
...
AS патека: 47764 И
AS патека: Снимено
Заедници: 3216:65535 9002:64667 9002:65530
...

ВимпелКом не прифаќа рути означени од таква заедница на својата мрежа. Извадок од RIPE DB на AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
Во насока на Rostelecom (http://lg.ip.rt.ru), Mail.RU Group дава слични правци од заедницата 12389:8350.
Повлекување од LG Rostelecom94.100.176.0/20 преку 217.107.65.1 на eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Тип: BGP unicast univ
BGP.потекло: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.заедница: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Според записите на RIPE DB за објектот as12389, оваа заедница значи „не се рекламирај во мрежата as3216“:...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
Слично кон МТС (http://lg.mtu.ru):Повлекување од LG MTSВнес на рутирачка табела BGP за 94.100.176.0/20, верзија 161717219
Патеки: (2 достапни, најдобра број 1, стандардна табела)
Мултипат: eBGP
Огласено во групи за ажурирање:
6
47764, (примен и искористен)
195.34.52.77 (метрика 16) од 195.34.52.181 (195.34.52.181)
Потекло IGP, метрички 0, localpref 140, валиден, внатрешен, најдобар
Заедница: 8359:2120 8359:2150 8359:5500 8359:55277
Оригинатор: 195.34.52.77, Кластер листа: 83.59.83.59
47764, (примен и искористен)
195.34.52.77 (метрика 16) од 195.34.52.182 (195.34.52.182)
Потекло IGP, метрички 0, localpref 140, валиден, внатрешен
Заедница: 8359:2120 8359:2150 8359:5500 8359:55277
Оригинатор: 195.34.52.77, Кластер листа: 83.59.2.77

Заедницата 8359:2120 значи:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Не можете да ги погледнете најавите на Mail.RU Group во насока на Мегафон - вториот нема Looking Glass.

Ајде да погледнеме во AS47541 (VKONTAKTE-SPB-AS).

Излезот е преголем.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH укажува на AS174 - Cogent (Mail.RU uplink, Tier1), потоа AS6762 - Telecom Italia (VimpelCom uplink). Локалната предност е 150 насекаде, но ова важи за сите надворешни зглобови, без оглед на пишани политики.

Ајде да погледнеме во AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

И од вториот рутер:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Само стандардни рути (0.0.0.0/0). Оваа ситуација ја објасни вработен во Mail.RU Group алчноста, за што му благодарам. Накратко: московскиот сегмент на мрежата VKontakte е сегмент за кеширање (и не генерира), чија задача е да ја оптимизира брзината на вчитување на популарната содржина на побарувачката. Грижа за корисниците, да.

Ако нема рута до одредена мрежа, тогаш оваа мрежа не се опслужува со кеширање на сервери. Ова значи дека оптимизацијата за брзина на преземање не функционира, а корисниците страдаат. Но, тука треба да нагласиме дека корисниците не се само наши, туку и на ВимпелКом.

Заклучоци:

1. Од VimpelCom, сообраќајот кон Mail.RU Group се дистрибуира природно. Не беа откриени вештачки пренасочувања преку манипулации со локални преференци
2. Mail.RU Group ги набљудува манипулациите со префиксите на VimpelCom. Постојните рути кон мрежата на ВимпелКом преку руските оператори имаат помали приоритети во споредба со правците преку странските оператори Tier1.
3. Менаџерите на заедницата BGP се додадени на маршрутите пренесени до руските оператори (MTS, Rostelecom, RETN.NET) од Mail.RU Group за да се ограничи нивното ширење кон VimpelCom

Зошто Mail.RU Group дава приоритет на рутите низ Европа? Зошто Mail.RU Group забранува кратки домашни руски врски со VimpelCom?

Дали им е поевтино? Водете сообраќај преку странски канали и плаќајте ги тираните во странска валута?
Или постои желба да се оддалечи сообраќајот за да не е толку погодно да се подигне, а?
Ова е непознато за мрежниот инженер ...

Извор: www.habr.com