🥇Ettevõtte konflikti peegeldus võrgu ühenduvuses

Ettevõtte konflikti projektsioon võrguühendusele
Ärinäoline konflikt tekkis 10.06.2019, kui Mail.RU Group tõstis Vimpelcomi võrgu kasutajatele SMS-i saatmise kulusid. Vastuseks lõpetas Mail.RU Group otseste Venemaa IP-kanalite teenindamise Vimpelcomi võrgu suunal.

Allpool on lühianalüüs olukorrast võrguinseneri vaatepunktist.

Uuendus: 14.06.2019 18:45 — rõhk Venemaa marsruutidel Vimpelcomi võrku, järeldused on korrigeeritud, lisatud selgitus. Sergei Kubasov (VKontakte CIO).
Uuendus: 14.06.2019 19:48 — lisatud kirjeldus marsruutide leviku piiramise meetodist "lühikese" Venemaa marsruudi kaudu Rostelecomi, MTS-i, RETN.NET-i kaudu.

Sissejuhatus:
Vimpelcomil on autonoomne süsteem AS3216, kõik muud (8402 — kodune internet, 16345 — mobiilne internet) on koondunud AS3216 taha.

Mail.RU Group — autonoomsed süsteemid AS47541, AS47542 ja AS47764. Peamine sisu genereerija on 47542, nn CDN VKONTAKTE (filmid, muusika). Kõik autonoomsed süsteemid on teineteisest sõltumatud (välise autonoomse süsteemi vaatepunktist).

Vaadakem esmalt olukorda Vimpelcomi võrgu küljelt. Selleks aitavad meid Vimpelcomi Looking Glass..

Vaadakem esimest autonoomset süsteemi — AS47541.

 2914 47541
    79.104.32.251 (mõõdik 10500) (79.104.32.251)
      Originaal IGP, mõõdik 30, kohalik eelistus 87, kehtiv, sise-, parim, grupi parim, impordi kandidaat, impordi kahtlane
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 1, versioon 2865394342
      Ühisus: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH sisaldab kahte autonoomset süsteemi — 2914 (NTT) ja 47541 (VKONTAKTE-SPB-AS).
Kohalik eelistuse mõõdik on seatud 87, mis vastavalt RIPE DB AS3216 objekti kirjeldusele vastab rahvusvahelisele peerimisele.

…
märge: Rahvusvaheliste peeride marsruutidel on kohalik eelis
märge: vahemikus 81-89.
…

Sama teavet kinnitavad ka 3216:3000 ja 3216:3103 ühisused (allikas — RIPE DB AS3216.):

…
märge: 3216:3000 Vastuvõetud rahvusvaheliselt uplinkilt või peerilt, nimelt:
…
märge: 3216:3103 AMS-IX.
…

Seega, Vimpelcom näeb marsruuti VKontaktesse Euroopa sõlme kaudu.

Vaadakem teist VKontakte autonoomset süsteemi — 47542 (VKONTAKTE-MSK-CDN-AS).

Kõik on sama.

 2914 47541
    79.104.32.251 (mõõdik 10500) (79.104.32.251)
      Originaal IGP, mõõdik 30, kohalik eelistus 87, kehtiv, sise-, parim, grupi parim, impordi kandidaat, impordi kahtlane
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 1, versioon 2865394338
      Ühisus: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Kuidas on lood ise Mail.ru-ga? Vaadakem AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (mõõdik 10501) (194.67.0.215)
      Originaal IGP, mõõdik 0, kohalik eelistus 77, kehtiv, sise-, parim, grupi parim, impordi kandidaat
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 1, versioon 2867605667
      Ühisus: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom näeb Mail.ru-d läbi as3356 (Level3 uplink, Tier1 operaator). Seda teavet kinnitab ka kohalik eelis 77:

…
märge: Uplinki marsruutidel on kohalik eelis vahemikus 71-79.
märge: Viimane värskendus: veebruar 2012…

ja ühisused (3216:3000 ja 3216:3007):

…
märge: 3216:3000 Vastuvõetud rahvusvaheliselt uplinkilt või peerilt, nimelt:
…
märge: 3216:3007 Level 3 Communications.
…

Saadud teabe põhjal on näha, et Vimpelcomi võrgu liiklus VKontaktesse ja MailRu-sse levib läbi Euroopa sõlmede vastavalt BGP-protokolliga saadud marsruutidele. Alternatiivseid marsroute Venemaa sisemiste sõlmede kaudu Looking Glass'is ei ole. Teisi kunstlikke meetmeid, mis suunaksid liiklust läbi selgelt halvemate marsruutide, ei leitud.

Kuidas näeb Mail.ru Group Vimpelcomi võrke?
Kasutame seda Mail.ru Looking Glass..

AS47764 (mailru-as) ruutereid:

  Path #6: Vastuvõetud rääkijalt 0
  Reklaamitud peeridele (ainulaadsetes uuendamisrühmades):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (mõõdik 100) 217.20.147.250 (217.20.147.253) kaudu
      Originaal IGP, mõõdik 500, kohalik eelistus 200, kehtiv, sise-, parim, grupi parim
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 1172721494
      Ühisus: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH sisaldab AS1299 (Telia, Tier1 operaator, Mail.RU uplink) ja as1273 (Vodafone, Tier1 operaator, Vimpelcomi uplink).

Kohalik eelistus 200 — standard Mail.ru väliste sõlmede jaoks (https://net.mail.ru/bgp.html), MED 500 vastab kõikidele, mis on saadud mitte otseühenduselt, mitte IX-ilt, mitte peerimiste kaudu.

Aga miks ei ole kohalikke marsruute läbi Venemaa sideoperaatorite???
Need on olemas, aga nende prioriteet on "ebastandardsed"!
Siin on marsruut läbi Rostelecomi (as12389):

  Path #1: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  12389 3216
    46.61.178.149 (46.61.178.149) kaudu (213.59.207.79)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Originaal-AS kehtivus: ei leitud.

Siin on marsruut läbi MegaFoni (as31133):

  Path #2: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  31133 3216
    78.25.77.41 (78.25.77.41) kaudu (10.222.253.97)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Originaal-AS kehtivus: ei leitud.

Ja isegi läbi RETN.NET:

  Path #3: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  9002 9002 3216
    87.245.253.24 (87.245.253.24) kaudu (87.245.225.1)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Originaal-AS kehtivus: ei leitud.

Ja isegi läbi MTS-i!

  Path #5: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  8359 3216
    212.188.61.105 (212.188.61.105) kaudu (195.34.52.77)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Originaal-AS kehtivus: ei leitud.

Метрика localpref на эти российские маршруты занижена, то есть маршруты ухудшены по сравнению с зарубежными!

Lisaks toetab со стороны Mail.Ru Group стоят запреты распространения своих префиксов в Вымпелком через российских операторов!

РЕТН.НЕТ (http://lg.retn.net/):
На анонсах из Mail.RU Group стоит комьюнити 3216:65535.
Вывод из LG РЕТН.НЕТinet.0: 762737 destinations, 1734826 routes (762708 active, 222780 holddown, 277 hidden)
94.100.176.0/20 (1 entry, 1 announced)
*BGP Preference: 170/-201
…
…
AS path: 47764 I
AS path: Recorded
Communities: 3216:65535 9002:64667 9002:65530
…

Маршруты, помеченные таким комьюнити Вымпелком не принимает на свою сеть. Выдержка из RIPE DB по AS3216:
... märkus: Sisemised kogukonnad on määratud ainult sisemiselt. märkus: Need ulatuvad vahemikku 3216:0000-3216:4999 ja 3216:6000-3216:65535 märkus: ja eemaldatakse alati sisse tulevatest värskendustest piiril. märkus: ruuterid. ...
В сторону Ростелекома (http://lg.ip.rt.ru) Mail.RU Group отдает аналогичные маршруты с комьюнити 12389:8350.
Вывод из LG Ростелекома94.100.176.0/20 via 217.107.65.1 on eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Type: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Согласно записям в RIPE DB для объекта as12389 это комьюнити означает «не анонсировать в сеть as3216»:... kommentaarid: | 12389:835y Reklaamimine GoldenTelecom (AS3216) | ... kommentaarid: | ...y=0 - ära reklaami | ...
Аналогично в сторону МТС (http://lg.mtu.ru):Вывод из LG МТСBGP routing table entry for 94.100.176.0/20, version 161717219
Paths: (2 available, best #1, table default)
Multipath: eBGP
Advertised to update-groups:
6
47764, (received & used)
195.34.52.77 (metric 16) from 195.34.52.181 (195.34.52.181)
Origin IGP, metric 0, localpref 140, valid, internal, best
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster list: 83.59.83.59
47764, (received & used)
195.34.52.77 (metric 16) from 195.34.52.182 (195.34.52.182)
Origin IGP, metric 0, localpref 140, valid, internal
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster list: 83.59.2.77

Комьюнити 8359:2120 означает:... märkus: 8359:212x Sovami (Beeline) teatamisel ... märkus: x=0 - mitte teatama ...
Посмотреть на анонсы Mail.RU Group в сторону Мегафона посмотреть нельзя — у последнего нет Looking Glass.

Посмотрим AS47541 (VKONTAKTE-SPB-AS).

Вывод слишком большой.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH указывает на AS174 — Cogent (аплинк Mail.RU, Tier1), затем AS6762 — Telecom Italia (аплинк Вымпелком). Local Preference везде 150, но так на все внешние стыки, вне зависимости от писанных политик.

Посмотрим AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

И со второго маршрутизатора:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Только маршруты по умолчанию (0.0.0.0/0). Эту ситуацию пояснил сотрудник Mail.RU Group greediness, за что ему спасибо. Если кратко: московский сегмент сети ВКонтакте являются кеширующим (а не генерирующим), задача которого — оптимизация скорости загрузки популярного востребованного контента. Забота о пользователях, да.

Если маршрута на какую-то сеть нет, значит эта сеть не обслуживается кеширующими серверами. Значит оптимизация скорости загрузки не работает, а пользователи страдают. Но тут нужно акцентировать — пользователи не только свои, но и Вымпелкома.

Järeldused:

Vympelcomilt on liiklus Mail.RU Grupi suunas loomulikult jaotatud. Kunstlikke suunamisi Local Preference'i manipuleerimiste kaudu ei ole leitud.
Mail.RU Gruppi poolt on Vympelcom'i eelistuste manipuleerimise jälgid.. Venemaalt Vympelcomi suunal olevatel marsruutidel on prioriteedid madalamad võrreldes välismaiste Tier1 operaatoritega.
Mail.RU Grupi poolt on Vene operaatoritele (MTS, Rostelecom, RETN.NET) edastatavatel marsruutidel lisatud haldus BGP kogukonnad, et piirata nende levikut Vympelcom'i suunas.

Miks paneb Mail.RU Grupp marsruudid läbi Euroopa prioriteetsemaks? Miks keelab Mail.RU Grupp lühikesed sisemaised ühendused Vympelcomiga?

Kas see on neile odavam? Saata liiklus läbi välismaiste kanalite ja maksta türklastele valuutas?
Või on soov saata liiklus kaugemale, et selle kätte saamine ei oleks nii mugav, eks?
Selle kohta ei tea võrguinsener midagi...

Allikas: habr.com