ProHoster > Blog > wiadomości internetowe > Projekcja konfliktu korporacyjnego na łączność sieciową

Projekcja konfliktu korporacyjnego na łączność sieciową

Projekcja konfliktu korporacyjnego na łączność sieciową
Konflikt korporacyjny wybuchł 10.06.2019 r. w związku ze wzrostem kosztów dostarczania wiadomości SMS do użytkowników sieci VimpelCom przez Grupę Mail.RU. W odpowiedzi Mail.RU Group zaprzestało „obsługiwania” bezpośrednich rosyjskich kanałów IP w kierunku sieci VimpelCom.

Poniżej przedstawiamy krótką analizę sytuacji z perspektywy inżyniera sieciowego.

Aktualizacja: 14.06.2019 18:45 — skupiono się na rosyjskich trasach do sieci VimpelCom, wnioski skorygowano, dodano wyjaśnienie Siergiej Kubasow (CIO Vkontakte).
Aktualizacja: 14.06.2019 19:48 — dodano opis metody ograniczania dystrybucji tras na „krótkiej” trasie rosyjskiej przez Rostelecom, MTS, RETN.NET.


Wprowadzający:
VimpelCom posiada autonomiczny system AS3216, wszystkie pozostałe (8402 - Internet domowy, 16345 - Internet mobilny) zlokalizowane są za 3216.

Grupa Mail.RU — systemy autonomiczne AS47541, AS47542 i AS47764. Głównym generatorem treści jest 47542, tzw. CDN VKONTAKTE (filmy, muzyka). Wszystkie systemy autonomiczne są niezależne od siebie (z perspektywy zewnętrznego systemu autonomicznego).

Najpierw przyjrzyjmy się sytuacji od strony sieci VimpelCom. W tym celu zostaniemy pomogli Lustro VimpelCom.

Przyjrzyjmy się pierwszemu systemowi autonomicznemu - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH zawiera dwa autonomiczne systemy - 2914 (NTT) i 47541 (VKONTAKTE-SPB-AS).
Metryka localpref jest ustawiona na 87, co zgodnie z opisem w bazie danych RIPE dla obiektu AS3216 odpowiada międzynarodowemu peeringowi.

...
uwagi: Międzynarodowe trasy rówieśników otrzymują preferencje lokalne w
Uwagi: zakres 81-89.
...

Tę samą informację potwierdzają społeczności 3216:3000 i 3216:3103 (źródło — RIPE DB dla AS3216):

...
uwagi: 3216:3000 Otrzymano z międzynarodowego łącza w górę lub równorzędnego, konkretnie:
...
uwagi: 3216:3103 AMS-IX
...

Oznacza to, że VimpelCom widzi trasę do VKontakte przez europejski węzeł.

Przyjrzyjmy się innemu samodzielnemu kontu VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).

Wszystko jest podobne.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

A co z samym Mail.ru? Przyjrzyjmy się AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom widzi Mail.ru przez as3356 (łącze uplink poziomu 3, operator poziomu 1). Informację tę potwierdza localpref 77:

...
uwagi: Trasy Uplink uzyskują lokalną preferencję w zakresie 71-79.
uwagi: Ostatnia aktualizacja: luty 2012…

i społeczności (3216:3000 i 3216:3007):

...
uwagi: 3216:3000 Otrzymano z międzynarodowego łącza w górę lub równorzędnego, konkretnie:
...
uwagi: 3216:3007 Poziom 3 Komunikacja
...

Z otrzymanych informacji wynika, że ​​ruch z sieci VimpelCom do serwisów VKontakte i Mail.Ru jest rozdzielany przez węzły europejskie według tras otrzymanych za pomocą protokołu BGP. W Looking Glass nie ma alternatywnych tras przez wewnętrzne skrzyżowania w Rosji. Nie znaleziono żadnych sposobów sztucznego przekierowywania ruchu na ewidentnie gorsze trasy.

Jak Grupa Mail.ru postrzega sieci VimpelCom?
Użyjmy Looking Glass przez Mails.

Z routerów z AS47764 (mailru-as):

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH zawiera AS1299 (Telia, operator Tier1, łącze uplink Mail.RU) i as1273 (Vodafon, operator Tier1, łącze uplink VimpelCom).

LocalPreference 200 to standard dla połączeń zewnętrznych Mail.ru (https://net.mail.ru/bgp.html), a MED 500 dotyczy wszystkiego, co nie jest odbierane z połączenia bezpośredniego, ani z IX-ów, ani z peeringów.

Ale dlaczego nie ma lokalnych tras obsługiwanych przez rosyjskich operatorów telekomunikacyjnych???
Istnieją, ale ich priorytetem jest „niestandardowość”!
Oto trasa przez Rostelecom (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Tutaj za pośrednictwem Megafon (as31133):

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Tutaj za pośrednictwem RETN.NET:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

I nawet przez MTS!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Wskaźnik localpref dla tych rosyjskich tras jest niedoszacowany, co oznacza, że ​​trasy te są gorsze niż te zagraniczne!

RљSЂRѕRјRμ S, RѕRіRѕ, Istnieją zakazy ze strony Mail.Ru Group dystrybucja ich prefiksów do VimpelCom za pośrednictwem rosyjskich operatorów!

RETN.NET (http://lg.retn.net/):
Ogłoszenia z Mail.RU Group są obsługiwane przez społeczność liczącą 3216:65535.
Wycofanie z LG RETN.NETinet.0: 762737 miejsc docelowych, 1734826 tras (762708 aktywnych, 222780 wstrzymanych, 277 ukrytych)
94.100.176.0/20 (1 wpis, 1 ogłoszony)
*Preferencja BGP: 170/-201
...
...
Ścieżka AS: 47764 I
Ścieżka AS: Nagrano
Społeczności: 3216:65535 9002:64667 9002:65530
...

VimpelCom nie akceptuje w swojej sieci tras oznaczonych taką społecznością. Fragment z bazy danych RIPE dla AS3216:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
W kierunku Rostelecom (http://lg.ip.rt.ru) Mail.RU Group podaje podobne trasy ze wspólnotą 12389:8350.
Wycofanie się z LG Rostelecom94.100.176.0/20 przez 217.107.65.1 na eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
Następny_skok BGP: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
Społeczność BGP: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
Identyfikator BGP.originator: 213.59.207.78
Lista klastrów BGP: 95.167.88.79 95.167.88.49 95.167.88.17

Zgodnie z wpisami RIPE DB dla obiektu as12389, ta społeczność oznacza „nie ogłaszaj w sieci as3216”:...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
Podobnie w przypadku MTS (http://lg.mtu.ru):Wycofanie się z LG MTSWpis w tabeli trasowania BGP dla 94.100.176.0/20, wersja 161717219
Ścieżki: (2 dostępne, najlepsza nr 1, domyślna tabela)
Wielościeżkowy: eBGP
Ogłoszono w update-groups:
6
47764, (otrzymano i wykorzystano)
195.34.52.77 (metryka 16) od 195.34.52.181 (195.34.52.181)
Pochodzenie IGP, metryka 0, localpref 140, ważny, wewnętrzny, najlepszy
Społeczność: 8359:2120 8359:2150 8359:5500 8359:55277
Autor: 195.34.52.77, Lista klastrów: 83.59.83.59
47764, (otrzymano i wykorzystano)
195.34.52.77 (metryka 16) od 195.34.52.182 (195.34.52.182)
Pochodzenie IGP, metryka 0, localpref 140, poprawna, wewnętrzna
Społeczność: 8359:2120 8359:2150 8359:5500 8359:55277
Autor: 195.34.52.77, Lista klastrów: 83.59.2.77

Społeczność 8359:2120 oznacza:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Nie sposób patrzeć na zapowiedzi Mail.RU Group w kierunku Megafonu – ten ostatni nie ma Looking Glass.

Przyjrzyjmy się AS47541 (VKONTAKTE-SPB-AS).

Wynik jest za duży.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH wskazuje na AS174 — Cogent (łącze uplink Mail.RU, Tier1), następnie AS6762 — Telecom Italia (łącze uplink VimpelCom). Preferencja lokalna wynosi wszędzie 150, ale dotyczy to wszystkich połączeń zewnętrznych, niezależnie od zasady pisemne.

Przyjrzyjmy się AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

A z drugiego routera: 

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Tylko trasy domyślne (0.0.0.0/0). Sytuację tę wyjaśnił pracownik Grupy Mail.RU łakomstwo, za co mu dziękuję. Krótko mówiąc: moskiewski segment sieci VKontakte pełni funkcję buforującą (a nie generującą), a jego zadaniem jest optymalizacja szybkości pobierania popularnych, pożądanych treści. Tak, troska o użytkowników.

Jeżeli nie ma trasy do konkretnej sieci, oznacza to, że sieć ta nie jest obsługiwana przez serwery buforujące. Oznacza to, że optymalizacja szybkości pobierania nie działa, a użytkownicy cierpią. Ale w tym miejscu należy podkreślić, że użytkownikami nie jesteśmy tylko my, ale również użytkownicy VimpelCom.

Wnioski:

  1. Z VimpelCom ruch w kierunku Mail.RU Group jest rozprowadzany naturalnie. Nie wykryto żadnych sztucznych przekierowań poprzez manipulacje lokalnymi preferencjami
  2. Zaobserwowano manipulacje prefiksami VimpelCom ze strony Mail.RU Group. Istniejące trasy do sieci VimpelCom za pośrednictwem rosyjskich operatorów mają niższy priorytet w porównaniu do tras za pośrednictwem zagranicznych operatorów Tier1.
  3. Zarządzanie społecznością BGP zostało dodane do tras przekazanych rosyjskim operatorom (MTS, Rostelecom, RETN.NET) przez Mail.RU Group w celu ograniczenia ich dystrybucji do VimpelCom

Dlaczego Grupa Mail.RU priorytetowo traktuje trasy przebiegające przez Europę? Dlaczego Grupa Mail.RU zabrania krótkoterminowej komunikacji krajowej z VimpelCom?

Czy w ten sposób jest im taniej? Kierować ruch za pośrednictwem kanałów zagranicznych i płacić Tirvanom w walucie?
A może chodzi o przesunięcie ruchu w inne miejsce, tak aby jego zbieranie nie było tak wygodne, co?
Inżynier sieciowy nie ma o tym pojęcia...

Źródło: www.habr.com

Kup niezawodny hosting dla stron z ochroną DDoS, serwery VPS VDS 🔥 Kup niezawodny hosting stron internetowych z ochroną DDoS, serwery VPS VDS | ProHoster