🥇Projekce korporátního konfliktu na síťovou konektivitu

Projekce korporátního konfliktu na síťovou konektivitu
Korporátní konflikt vznikl 10.06.2019 kvůli zvýšení nákladů na doručování SMS uživatelům sítě Vympelkom ze strany Mail.RU Group. Jako reakci na to Mail.RU Group přestal „obsluhovat“ přímé ruské IP kanály směrem k síti Vympelkom.

Níže je stručná analýza situace z pohledu síťového inženýra.

Aktualizovat: 14.06.2019 18:45 — důraz na ruské trasy do sítě Vympelkom, upravené závěry, přidáno vysvětlení. Sergěj Kubasov (CIO Vkontakte).
Aktualizovat: 14.06.2019 19:48 — přidáno popis metody omezení šíření tras přes „krátkou“ ruskou cestu přes Rostelecom, MTS, RETN.NET..

Úvodní informace:
Vympelkom má autonomní systém AS3216, všechny ostatní (8402 — domácí internet, 16345 — mobilní internet) se nachází za 3216.

Mail.RU Group — autonomní systémy AS47541, AS47542 a AS47764. Hlavním generátorem obsahu je 47542, tzv. CDN VKONTAKTE (filmy, hudba). Všechny autonomní systémy jsou nezávislé na sobě (z pohledu externí autonomní sítě).

Nejprve se podíváme na situaci ze strany sítě Vympelkom. Pomůže nám Looking Glass Vympelkom.

Podívejme se na první autonomní systém — AS47541.

 2914 47541
    79.104.32.251 (metrika 10500) (79.104.32.251)
      Původ IGP, metrika 30, místní preference 87, platný, interní, nejlepší, skupinový nejlepší, import-kandidát, import podezřelý
      Přijatá cesta ID 0, místní cesta ID 1, verze 2865394342
      Komunita: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH obsahuje dva autonomní systémy — 2914 (NTT) a 47541 (VKONTAKTE-SPB-AS).
Metrika místní preference je nastavena na 87, což podle popisu v RIPE DB pro objekt AS3216 odpovídá mezinárodnímu peerování.

…
poznámky: Mezinárodní trasy získávají místní preference v
poznámky: rozmezí 81-89.
…

Tuto informaci potvrzují také komunity 3216:3000 a 3216:3103 (zdroj — RIPE DB pro AS3216):

…
poznámky: 3216:3000 Přijato z mezinárodního uplink nebo partnera, specificky:
…
poznámky: 3216:3103 AMS-IX
…

To znamená, že Vympelkom vidí trasu do Vkontakte přes evropský uzel.

Podívejme se na další autonomní systém Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Všechno je podobné.

 2914 47541
    79.104.32.251 (metrika 10500) (79.104.32.251)
      Původ IGP, metrika 30, místní preference 87, platný, interní, nejlepší, skupinový nejlepší, import-kandidát, import podezřelý
      Přijatá cesta ID 0, místní cesta ID 1, verze 2865394338
      Komunita: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

A jak to vypadá sám Mail.ru? Podívejme se na AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metrika 10501) (194.67.0.215)
      Původ IGP, metrika 0, místní preference 77, platný, interní, nejlepší, skupinový nejlepší, import-kandidát
      Přijatá cesta ID 0, místní cesta ID 1, verze 2867605667
      Komunita: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vympelkom vidí Mail.ru přes as3356 (uplink Level3, Tier1 operátor). Tato informace je potvrzena také localpref 77:

…
poznámky: Uplinkovy trasy mají místní přednost v rozmezí 71-79.
poznámky: Poslední aktualizace: únor 2012…

a komunity (3216:3000 a 3216:3007):

…
poznámky: 3216:3000 Přijato z mezinárodního uplink nebo partnera, specificky:
…
poznámky: 3216:3007 Level 3 Communications
…

Z obdržených informací je patrné, že provoz z Vympelkomu na VKontakte a Mail.Ru je distribuován přes evropské uzly podle tras přijatých protokolem BGP. Alternativní trasy přes vnitrostátní uzly v Looking Glass nejsou k dispozici. Nebyly zjištěny žádné opatření pro umělé přesměrování provozu přes zjevně horší trasy.

A jak Mail.ru Group vidí sítě Vympelkomu?
Využijeme Looking Glass od Mailů.

Z routerů z AS47764 (mailru-as):

  Cesta #6: Přijato mluvčím 0
  Inzerováno kolegům (v unikátních aktualizačních skupinách):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metrika 100) z 217.20.147.250 (217.20.147.253)
      Původ IGP, metrika 500, localpref 200, platné, interní, nejlepší, skupina nejlepší
      Přijatá cesta ID 0, místní cesta ID 0, verze 1172721494
      Komunita: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH obsahuje AS1299 (Telia, Tier1 operátor, uplink Mail.RU) a as1273 (Vodafon, Tier1 operátor, uplink Vympelkom).

LocalPreference 200 — standard pro vnější uzly Mail.ru (https://net.mail.ru/bgп.html), a MED 500 odpovídá všemu, co bylo přijato ne z přímého uzlu, ne z IX-ů, ne z peeringu.

Ale proč tedy neexistují místní trasy přes ruské telekomunikační operátory???
Existují, ale mají „nestandardní“ prioritu!
Toto je trasa přes Rostelekom (as12389):

  Cesta #1: Přijato mluvčím 0
  Neinzerováno žádnému partnerovi
  12389 3216
    46.61.178.149 z 46.61.178.149 (213.59.207.79)
      Původ IGP, metrika 500, localpref 199, platné, externí
      Přijatá cesta ID 0, místní cesta ID 0, verze 0
      Komunita: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Platnost původního AS: nenalezeno

Toto je trasa přes Megafon (as31133):

  Cesta #2: Přijato mluvčím 0
  Neinzerováno žádnému partnerovi
  31133 3216
    78.25.77.41 z 78.25.77.41 (10.222.253.97)
      Původ IGP, metrika 500, localpref 199, platné, externí
      Přijatá cesta ID 0, místní cesta ID 0, verze 0
      Komunita: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Platnost původního AS: nenalezeno

Toto je trasa přes RETN.NET:

  Cesta #3: Přijato mluvčím 0
  Neinzerováno žádnému partnerovi
  9002 9002 3216
    87.245.253.24 z 87.245.253.24 (87.245.225.1)
      Původ IGP, metrika 500, localpref 199, platné, externí
      Přijatá cesta ID 0, místní cesta ID 0, verze 0
      Komunita: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Platnost původního AS: nenalezeno

A dokonce přes MTS!

  Cesta #5: Přijato mluvčím 0
  Neinzerováno žádnému partnerovi
  8359 3216
    212.188.61.105 z 212.188.61.105 (195.34.52.77)
      Původ IGP, metrika 500, localpref 199, platné, externí
      Přijatá cesta ID 0, místní cesta ID 0, verze 0
      Komunita: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Platnost původního AS: nenalezeno

Metrika localpref na tyto ruské trasy je snížena, což znamená, že trasy jsou horší ve srovnání se zahraničními!

Kromě toho, ze strany Mail.Ru Group existují zákazy šíření svých prefixů ve Vimpelu prostřednictvím ruských operátorů!

RETN.NET (http://lg.retn.net/):
Na oznámeních z Mail.RU Group jsou komunity 3216:65535.
Výstup z LG RETN.NETinet.0: 762737 destinací, 1734826 tras (762708 aktivních, 222780 v pozastavení, 277 skrytých)
94.100.176.0/20 (1 vstup, 1 ohlášený)
*BGP Preference: 170/-201
…
…
AS path: 47764 I
AS path: Zaznamenáno
Komunity: 3216:65535 9002:64667 9002:65530
…

Trasy označené touto komunitou Vimpel neakceptuje do své sítě. Úryvek z RIPE DB k AS3216:
... poznámky: Interní komunity jsou přiřazovány pouze interně. poznámky: Nachází se v rozmezí 3216:0000-3216:4999 a 3216:6000-3216:65535. poznámky: A jsou vždy odstraňovány z příchozích aktualizací na hranici. poznámky: směrovače. ...
Ve směru k Rostelekomu (http://lg.ip.rt.ru) Mail.RU Group poskytuje podobné trasy s komunitou 12389:8350.
Výstup z LG Rostelekomu94.100.176.0/20 přes 217.107.65.1 na eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Typ: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Podle záznamů v RIPE DB pro objekt as12389 tato komunita znamená „neohlásit do sítě as3216“:... poznámky: | 12389:835y Při inzerci na GoldenTelecom (AS3216) | ... poznámky: | ...y=0 - nepropagovat | ...
Podobně ve směru k MTS (http://lg.mtu.ru):Výstup z LG MTSBGP routing table entry for 94.100.176.0/20, version 161717219
Cesty: (2 dostupné, nejlepší #1, tabulka výchozí)
Multipath: eBGP
Oznámeno skupinám aktualizací:
6
47764, (přijato & použito)
195.34.52.77 (metrika 16) z 195.34.52.181 (195.34.52.181)
Původ IGP, metrika 0, localpref 140, platný, interní, nejlepší
Komunita: 8359:2120 8359:2150 8359:5500 8359:55277
Původce: 195.34.52.77, seznam clusterů: 83.59.83.59
47764, (přijato & použito)
195.34.52.77 (metrika 16) z 195.34.52.182 (195.34.52.182)
Původ IGP, metrika 0, localpref 140, platný, interní
Komunita: 8359:2120 8359:2150 8359:5500 8359:55277
Původce: 195.34.52.77, seznam clusterů: 83.59.2.77

Komunita 8359:2120 znamená:... poznámky: 8359:212x při oznamování společnosti Sovam (Beeline) ... poznámky: x=0 - neoznamovat ...
Není možné se podívat na oznámení Mail.RU Group směrem k MegaFonu — ten nemá Looking Glass.

Podíváme se na AS47541 (VKONTAKTE-SPB-AS).

Výstup je příliš velký.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Poslední přepnutí ve čtvrtek 5. dubna  04:25:09 2018: 1 rok, 10 týdnů, 6 hodin, 9 minut zpět

Pátek 14. června 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Verze:
  Proces           bRIB/RIB  SendTblVer
  Hlasatel          913059757   913059757
Poslední změna: 21. května 05:20:38.536 za 1y03w
Cesty: (6 dostupných, nejlepší #4)
  Ohlášeno do skupin aktualizací (s více než jedním peer):
    0.2 
  Ohlášeno peerům (v unikátních skupinách aktualizací):
    188.93.60.188   
  Cesta #1: Přijato od hlasatele 0
  Nezveřejněno žádnému peer
  1299 1273 3216 3216
    87.240.191.235 (metrika 31) z 87.240.191.235 (87.240.191.235)
      Původ IGP, metrika 5000, localpref 150, platné, interní
      Přijato ID cesty 0, Lokální ID cesty 0, verze 0
      Komunita: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Cesta #2: Přijato od hlasatele 0
  Nezveřejněno žádnému peer
  1299 1273 3216 3216
    87.240.191.248 (metrika 31) z 87.240.191.248 (87.240.191.248)
      Původ IGP, metrika 5000, localpref 150, platné, interní
      Přijato ID cesty 0, Lokální ID cesty 0, verze 0
      Komunita: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Cesta #3: Přijato od hlasatele 0
  Nezveřejněno žádnému peer
  174 6762 3216 3216
    87.240.191.249 (metrika 31) z 87.240.191.249 (87.240.191.249)
      Původ IGP, metrika 5000, localpref 150, platné, interní
      Přijato ID cesty 0, Lokální ID cesty 0, verze 0
      Komunita: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Cesta #4: Přijato od hlasatele 0
  Ohlášeno do skupin aktualizací (s více než jedním peer):
    0.2 
  Ohlášeno peerům (v unikátních skupinách aktualizací):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 z 149.6.169.113 (38.28.1.236)
      Původ IGP, metrika 5000, localpref 150, platné, externí, nejlepší, nejlepší ve skupině
      Přijato ID cesty 0, Lokální ID cesty 0, verze 913059757
      Komunita: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Platnost původu-AS: nenalezeno
  Cesta #5: Přijato od hlasatele 0
  Nezveřejněno žádnému peer
  1273 1273 3216 3216
    195.89.114.197 z 195.89.114.197 (195.2.1.107)
      Původ IGP, metrika 5005, localpref 150, platné, externí
      Přijato ID cesty 0, Lokální ID cesty 0, verze 0
      Komunita: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Platnost původu-AS: nenalezeno
  Cesta #6: Přijato od hlasatele 0
  Nezveřejněno žádnému peer
  3356 3356 3216 3216 3216
    213.242.69.69 z 213.242.69.69 (4.69.177.130)
      Původ IGP, metrika 5000, localpref 150, platné, externí
      Přijato ID cesty 0, Lokální ID cesty 0, verze 0
      Komunita: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Platnost původu-AS: nenalezeno

AS-PATH odkazuje na AS174 — Cogent (uplink Mail.RU, Tier1), poté AS6762 — Telecom Italia (uplink Vympelcom). Local Preference je všude 150, ale to platí pro všechny externí spojení, bez ohledu na to, nastavené politiky.

Podívejme se na AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Komunity: 
Přijato Nejlepší

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Komunity: 
Přijato
Důvod neaktivity: Vnitřní > Vnější > Vnější přes Vnitřní

A z druhého routeru:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Pouze defaultní trasy (0.0.0.0/0). Tuto situaci objasnil zaměstnanec Mail.RU Group žravost, za což mu děkujeme. Stručně řečeno: moskevský segment sítě Vkontakte je cachingový (ne generující), jehož úkolem je optimalizace rychlosti načítání oblíbeného, vyžadovaného obsahu. Další starost o uživatele.

Pokud neexistuje trasa na nějakou síť, znamená to, že tato síť není obsluhována cachingovými servery. To znamená, že optimalizace rychlosti načítání nefunguje a uživatelé trpí. Je však třeba zdůraznit, že uživatelé nejsou jen vlastní, ale i od Vimpelcomu.

Závěry:

Z hlediska Vimpelcomu se provoz směrem k Mail.RU Group rozděluje přirozeně. Nebyly zjištěny umělé přesměrování pomocí manipulace s Local Preference.
Z hlediska Mail.RU Group se pozorují manipulace s prefixy Vimpelcom.. Na existující trasy směrem k síti Vimpelcom skrze ruské operátory jsou priority sníženy ve srovnání s trasami skrze zahraniční Tier1 operátory.
Na trasy předávané ruským operátorům (MTS, Rostelekom, PETN.NET) ze strany Mail.RU Group byly přidány řídící BGP komunity pro omezení jejich šíření směrem k Vimpelcom.

Proč tedy Mail.RU Group dává trasám přes Evropu vyšší prioritu? Proč Mail.RU Group zakazuje krátkou vnitrostátní konektivitu s Vimpelcomem?

Je to pro ně levnější? Posílat provoz přes zahraniční kanály a platit TIRVANu měnou?
Nebo je cílem dostat provoz dále, aby bylo těžší ho získat?
To není známé síťovému inženýrovi...

Zdroj: habr.com