🥇Projekcja konfliktu korporacyjnego na łączność sieciową

Projekcja korporacyjnego konfliktu na łączność sieciową
Korporacyjny konflikt powstał 10.06.2019 z powodu wzrostu kosztów dostawy SMS do użytkowników sieci Vympelcom ze strony Mail.RU Group. W odpowiedzi Mail.RU Group przestał 'obsługiwać' bezpośrednie rosyjskie kanały IP w kierunku sieci Vympelcom.

Poniżej znajduje się krótka analiza sytuacji z perspektywy inżyniera sieci.

Update: 14.06.2019 18:45 — nacisk na rosyjskich trasach w sieci Vympelcom, skorygowane wnioski, dodano wyjaśnienie Siergiej Kubasow (CIO Vkontakte).
Update: 14.06.2019 19:48 — dodano opis sposobu ograniczenia rozprzestrzeniania tras przez 'krótką' rosyjską drogę przez Rostelecom, MTS, RETN.NET.

Wprowadzenie:
Vympelcom posiada autonomiczny system AS3216, wszystkie pozostałe (8402 — domowy internet, 16345 — internet mobilny) znajdują się za 3216.

Mail.RU Group — autonomiczne systemy AS47541, AS47542 i AS47764. Głównym generatorem treści jest 47542, tzw. CDN VKONTAKTE (filmy, muzyka). Wszystkie autonomiczne systemy są niezależne od siebie (z perspektywy zewnętrznego systemu autonomicznego).

Najpierw przyjrzymy się sytuacji z perspektywy sieci Vympelcom. W tym pomoże nam Looking Glass Vympelcom.

Sprawdzamy pierwszy autonomiczny system — AS47541.

 2914 47541
    79.104.32.251 (metryka 10500) (79.104.32.251)
      Origin IGP, metryka 30, localpref 87, ważny, wewnętrzny, najlepszy, grupa-najlepszy, import-kandydat, import podejrzany
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 1, wersja 2865394342
      Społeczność: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH zawiera dwa autonomiczne systemy — 2914 (NTT) i 47541 (VKONTAKTE-SPB-AS).
Metryka localpref ustawiona na 87, co zgodnie z opisem w RIPE DB dla obiektu AS3216 odpowiada międzynarodowemu peeringowi.

…
uwagi: Trasy międzynarodowego peera uzyskują preferencje lokalne w
uwagi: zakresie 81-89.
…

Te same informacje potwierdzają także społeczności 3216:3000 i 3216:3103 (źródło — RIPE DB dla AS3216):

…
uwagi: 3216:3000 Otrzymano z międzynarodowego uplinku lub peera, konkretnie:
…
uwagi: 3216:3103 AMS-IX
…

Oznacza to, że Vympelcom widzi trasę do Vkontakte przez europejski węzeł.

Przyjrzyjmy się innemu autonomicznemu systemowi Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Wszystko podobnie.

 2914 47541
    79.104.32.251 (metryka 10500) (79.104.32.251)
      Origin IGP, metryka 30, localpref 87, ważny, wewnętrzny, najlepszy, grupa-najlepszy, import-kandydat, import podejrzany
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 1, wersja 2865394338
      Społeczność: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

A jak wygląda sytuacja z samym Mail.ru? Przyjrzyjmy się AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metryka 10501) (194.67.0.215)
      Źródło IGP, metryka 0, localpref 77, ważne, wewnętrzne, najlepsze, grupowe-najlepsze, kandydat na import
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 1, wersja 2867605667
      Społeczność: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom widzi Mail.ru przez as3356 (uplink Level3, operator Tier1). Informacja ta jest potwierdzona oraz localpref 77:

…
uwagi: Trasy uplink mają lokalny priorytet w zakresie 71-79.
uwagi: Ostatnia aktualizacja: luty 2012…

i społecznością (3216:3000 i 3216:3007):

…
uwagi: 3216:3000 Otrzymano z międzynarodowego uplinku lub peera, konkretnie:
…
uwagi: 3216:3007 Level 3 Communications
…

Z uzyskanych informacji wynika, że ruch z sieci Vimpelcom do Vkontakte i Mail.ru rozprzestrzenia się przez europejskie punkty wymiany zgodnie z trasami uzyskanymi przez protokół BGP. Nie ma alternatywnych tras przez krajowe punkty wymiany w Looking Glass. Nie stwierdzono działań mających na celu sztuczne przekierowanie ruchu przez gorsze trasy.

A jak Mail.ru Group widzi sieci Vimpelcom?
Skorzystamy Looking Glass od Mail.ru.

Z routerów z AS47764 (mailru-as):

  Ścieżka #6: Otrzymana przez mówcę 0
  Reklamowane do partnerów (w unikalnych grupach aktualizacyjnych):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metryka 100) z 217.20.147.250 (217.20.147.253)
      Źródło IGP, metryka 500, localpref 200, ważne, wewnętrzne, najlepsze, grupowe-najlepsze
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 0, wersja 1172721494
      Społeczność: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH zawiera AS1299 (Telia, operator Tier1, uplink Mail.RU) oraz as1273 (Vodafon, operator Tier1, uplink Vimpelcom).

LocalPreference 200 — standard dla zewnętrznych punktów wymiany Mail.ru (https://net.mail.ru/bgp.html), a MED 500 odpowiada wszystkiemu, co nie zostało uzyskane bezpośrednio z punktu wymiany, nie z IX-ów, nie z peerów.

Ale dlaczego nie ma lokalnych tras przez rosyjskich operatorów telekomunikacyjnych???
Są, ale mają «niestandardowy» priorytet!
Oto trasa przez Rostelecom (as12389):

  Ścieżka #1: Otrzymana przez mówcę 0
  Nie reklamowane do żadnego partnera
  12389 3216
    46.61.178.149 z 46.61.178.149 (213.59.207.79)
      Źródło IGP, metryka 500, localpref 199, ważne, zewnętrzne
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 0, wersja 0
      Społeczność: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Ważność Origin-AS: nie znaleziono

A oto przez MegaFon (as31133):

  Ścieżka #2: Otrzymana przez mówcę 0
  Nie reklamowane do żadnego partnera
  31133 3216
    78.25.77.41 z 78.25.77.41 (10.222.253.97)
      Źródło IGP, metryka 500, localpref 199, ważne, zewnętrzne
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 0, wersja 0
      Społeczność: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Ważność Origin-AS: nie znaleziono

A oto przez RETN.NET:

  Ścieżka #3: Otrzymana przez mówcę 0
  Nie reklamowane do żadnego partnera
  9002 9002 3216
    87.245.253.24 z 87.245.253.24 (87.245.225.1)
      Źródło IGP, metryka 500, localpref 199, ważne, zewnętrzne
      Otrzymana ścieżka ID 0, lokalna ścieżka ID 0, wersja 0
      Społeczność: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Ważność Origin-AS: nie znaleziono

A nawet przez MTS!

  Ścieżka #5: Otrzymana przez mówiącego 0
  Nie ogłoszona żadnemu peerowi
  8359 3216
    212.188.61.105 z 212.188.61.105 (195.34.52.77)
      Pochodzenie IGP, metryka 500, localpref 199, ważna, zewnętrzna
      Otrzymana identyfikacja ścieżki 0, lokalna identyfikacja ścieżki 0, wersja 0
      Społeczność: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Ważność pochodzenia AS: nie znaleziono

Metryka localpref dla tych rosyjskich tras jest zaniżona, co oznacza, że trasy są gorsze w porównaniu z zagranicznymi!

Ponadto, ze strony Mail.Ru Group są zakazy rozpowszechniania swoich prefiksów w Wimpelkom przez rosyjskich operatorów!

RETN.NET (http://lg.retn.net/):
Na ogłoszeniach z Mail.RU Group znajduje się społeczność 3216:65535.
Wyjście z LG RETN.NETinet.0: 762737 celów, 1734826 tras (762708 aktywnych, 222780 wstrzymanych, 277 ukrytych)
94.100.176.0/20 (1 wpis, 1 ogłoszone)
*Preferencje BGP: 170/-201
…
…
Ścieżka AS: 47764 I
Ścieżka AS: Zarejestrowana
Społeczności: 3216:65535 9002:64667 9002:65530
…

Trasy oznaczone taką społecznością Wimpelkom nie przyjmuje na swoją sieć. Wyciąg z bazy danych RIPE dla AS3216:
... uwagi: Wewnętrzne społeczności są przypisywane tylko wewnętrznie. uwagi: Mieszczą się w zakresie 3216:0000-3216:4999 oraz 3216:6000-3216:65535. uwagi: Zawsze są usuwane z przychodzących aktualizacji na granicy. uwagi: routery. ...
W stronę Rostelekomu (http://lg.ip.rt.ru) Mail.RU Group oddaje podobne trasy z społecznością 12389:8350.
Wyjście z LG Rostelekomu94.100.176.0/20 przez 217.107.65.1 na eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Zgodnie z zapisami w bazie danych RIPE dla obiektu as12389, ta społeczność oznacza „nie ogłaszać w sieci as3216”:... uwagi: | 12389:835y Podczas reklamowania dla GoldenTelecom (AS3216) | ... uwagi: | ...y=0 - nie reklamować | ...
Analogicznie w stronę MTS (http://lg.mtu.ru):Wyjście z LG MTSWpis w tabeli routingu BGP dla 94.100.176.0/20, wersja 161717219
Ścieżki: (2 dostępne, najlepsza #1, tabela domyślna)
Multipath: eBGP
Ogłoszone do grup aktualizacji:
6
47764, (otrzymane i używane)
195.34.52.77 (metryka 16) z 195.34.52.181 (195.34.52.181)
Pochodzenie IGP, metryka 0, localpref 140, ważne, wewnętrzne, najlepsze
Społeczność: 8359:2120 8359:2150 8359:5500 8359:55277
Pochodzący: 195.34.52.77, lista klastrów: 83.59.83.59
47764, (otrzymane i używane)
195.34.52.77 (metryka 16) z 195.34.52.182 (195.34.52.182)
Pochodzenie IGP, metryka 0, localpref 140, ważne, wewnętrzne
Społeczność: 8359:2120 8359:2150 8359:5500 8359:55277
Pochodzący: 195.34.52.77, lista klastrów: 83.59.2.77

Społeczność 8359:2120 oznacza:... uwagi: 8359:212x przy ogłoszeniu do Sovam (Beeline) ... uwagi: x=0 - nie ogłaszać ...
Nie można zobaczyć ogłoszeń Mail.RU Group w stronę MegaFona — ostatni nie ma Looking Glass.

Spójrzmy na AS47541 (VKONTAKTE-SPB-AS).

Wynik jest zbyt duży.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Ostatnie przełączenie czw., 5 kwi 2018 04:25:09: 1 rok, 10 tygodni, 6 godzin, 9 minut temu

pt. 14 cze 10:34:20.791 MSK
Wpis w tabeli routingu BGP dla 81.211.0.0/17
Wersje:
  Proces           bRIB/RIB  SendTblVer
  Mówca          913059757   913059757
Ostatnia modyfikacja: 21 maj 05:20:38.536 dla 1r03w
Ścieżki: (6 dostępnych, najlepsza #4)
  Ogłoszone do grup aktualizacji (z więcej niż jednym partnerem):
    0.2 
  Ogłoszone do partnerów (w unikalnych grupach aktualizacji):
    188.93.60.188   
  Ścieżka #1: Odebrana przez mówcę 0
  Nie ogłoszone żadnemu partnerowi
  1299 1273 3216 3216
    87.240.191.235 (metryka 31) z 87.240.191.235 (87.240.191.235)
      Pochodzenie IGP, metryka 5000, localpref 150, ważna, wewnętrzna
      Odebrana ID ścieżki 0, lokalna ID ścieżki 0, wersja 0
      Społeczność: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Ścieżka #2: Odebrana przez mówcę 0
  Nie ogłoszone żadnemu partnerowi
  1299 1273 3216 3216
    87.240.191.248 (metryka 31) z 87.240.191.248 (87.240.191.248)
      Pochodzenie IGP, metryka 5000, localpref 150, ważna, wewnętrzna
      Odebrana ID ścieżki 0, lokalna ID ścieżki 0, wersja 0
      Społeczność: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Ścieżka #3: Odebrana przez mówcę 0
  Nie ogłoszone żadnemu partnerowi
  174 6762 3216 3216
    87.240.191.249 (metryka 31) z 87.240.191.249 (87.240.191.249)
      Pochodzenie IGP, metryka 5000, localpref 150, ważna, wewnętrzna
      Odebrana ID ścieżki 0, lokalna ID ścieżki 0, wersja 0
      Społeczność: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Ścieżka #4: Odebrana przez mówcę 0
  Ogłoszone do grup aktualizacji (z więcej niż jednym partnerem):
    0.2 
  Ogłoszone do partnerów (w unikalnych grupach aktualizacji):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 z 149.6.169.113 (38.28.1.236)
      Pochodzenie IGP, metryka 5000, localpref 150, ważna, zewnętrzna, najlepsza, najlepsza w grupie
      Odebrana ID ścieżki 0, lokalna ID ścieżki 0, wersja 913059757
      Społeczność: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Ważność pochodzenia-AS: nie znaleziono
  Ścieżka #5: Odebrana przez mówcę 0
  Nie ogłoszone żadnemu partnerowi
  1273 1273 3216 3216
    195.89.114.197 z 195.89.114.197 (195.2.1.107)
      Pochodzenie IGP, metryka 5005, localpref 150, ważna, zewnętrzna
      Odebrana ID ścieżki 0, lokalna ID ścieżki 0, wersja 0
      Społeczność: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Ważność pochodzenia-AS: nie znaleziono
  Ścieżka #6: Odebrana przez mówcę 0
  Nie ogłoszone żadnemu partnerowi
  3356 3356 3216 3216 3216
    213.242.69.69 z 213.242.69.69 (4.69.177.130)
      Pochodzenie IGP, metryka 5000, localpref 150, ważna, zewnętrzna
      Odebrana ID ścieżki 0, lokalna ID ścieżki 0, wersja 0
      Społeczność: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Ważność pochodzenia-AS: nie znaleziono

AS-PATH wskazuje na AS174 — Cogent (uplink Mail.RU, Tier1), następnie AS6762 — Telecom Italia (uplink VimpelCom). Lokalna preferencja wszędzie 150, ale w przypadku wszystkich zewnętrznych złączy, niezależnie od napisanych polityk.

Przyjrzyjmy się AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Społeczności: 
Akceptowane Najlepsze

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Społeczności: 
Akceptowane
Przyczyna nieaktywności: Wewnętrzne > Zewnętrzne > Zewnętrzne przez Wewnętrzne

I z drugiego routera:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Tylko trasy domyślne (0.0.0.0/0). Tę sytuację wyjaśnił pracownik Mail.RU Group chciwość, za co mu dziękuję. W skrócie: moskiewski segment sieci VKontakte działa jako cache (a nie generujący), którego zadaniem jest optymalizacja prędkości ładowania popularnego, poszukiwanego kontentu. Dbałość o użytkowników, tak.

Jeśli nie ma trasy do jakiejś sieci, to znaczy, że ta sieć nie jest obsługiwana przez serwery cache. Oznacza to, że optymalizacja prędkości ładowania nie działa, a użytkownicy cierpią. Należy tutaj podkreślić — użytkownicy to nie tylko ich własni, ale także Wympelcom.

Wnioski:

Z strony Wympelcom ruch w stronę Mail.RU Group rozkłada się naturalnie. Nie stwierdzono sztucznych przekierowań przez manipulację Local Preference.
Z strony Mail.RU Group zauważono manipulacje z prefiksami Wympelcom.. W stosunku do istniejących tras w kierunku sieci Wympelcom przez rosyjskich operatorów priorytety są obniżone w porównaniu do tras przez zagranicznych operatorów Tier1.
Na trasy przekazywane rosyjskim operatorom (MTS, Rostelekom, RETN.NET) ze strony Mail.RU Group dodano zarządzające społeczności BGP, aby ograniczyć ich rozpowszechnianie w kierunku Wympelcom.

Dlaczego zatem Mail.RU Group stawia trasy przez Europę na wyższym priorytecie? Dlaczego Mail.RU Group zabrania krótkiej wewnętrznej łączności z Wympelcomem?

Być może to dla nich tańsze? Przekierowywanie ruchu przez zagraniczne kanały i płacenie tym, którzy korzystają z walut?
A może jest chęć zasypania ruchu dalej, by odbieranie go nie było takie wygodne, co?
To jest nieznane dla inżyniera sieciowego...

Źródło: habr.com