🥇 Projekt af virksomhedskonflikten på netværksforbindelsen

Projektion af en virksomhedskonflikt på netværkets tilslutning
En virksomhedskonflikt opstod den 10.06.2019 på grund af den stigende omkostning ved SMS-levering til brugere af Vympelcom-netværket fra Mail.RU Group. Som svar på dette stoppede Mail.RU Group med at "betjene" direkte russiske IP-kanaler mod Vympelcom-netværket.

Nedenfor er en kort analyse af situationen fra netværksingeniørens perspektiv.

Opdater: 14.06.2019 18:45 — fokus på russiske ruter til Vympelcom-netværket, konklusionerne er justeret, og der er tilføjet en forklaring Sergei Kubasov (CIO for Vkontakte).
Opdater: 14.06.2019 19:48 — tilføjet en beskrivelse af metoden til at begrænse rutenetværkets spredning via den "korte" russiske vej gennem Rostelecom, MTS, RETN.NET.

Introduktion:
Vympelcom har et autonomt system AS3216, mens alle andre (8402 — fast internet, 16345 — mobil internet) ligger bag 3216.

Mail.RU Group — autonome systemer AS47541, AS47542 og AS47764. Den primære indholdsgenerator er 47542, den såkaldte CDN VKONTAKTE (film, musik). Alle autonome systemer er uafhængige af hinanden (set fra en ekstern autonom system).

Lad os først se på situationen fra Vympelcom-netværket. Dette kan vi gøre med hjælp fra Looking Glass Vympelcom.

Vi ser på det første autonome system — AS47541.

 2914 47541
    79.104.32.251 (metrisk 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-kandidat, import mistænkt
      Modtaget Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH indeholder to autonome systemer — 2914 (NTT) og 47541 (VKONTAKTE-SPB-AS).
Localpref metrikken er sat til 87, hvilket i henhold til beskrivelsen i RIPE DB for objekt AS3216 svarer til international peering.

…
bemærkninger: Internationale peer-ruter får lokal præference i
bemærkninger: intervallet 81-89.
…

Denne information bekræftes også af fællesskaberne 3216:3000 og 3216:3103 (kilde — RIPE DB for AS3216):

…
bemærkninger: 3216:3000 modtaget fra en international uplink eller peer, specifikt:
…
bemærkninger: 3216:3103 AMS-IX
…

Det vil sige, at ruten til Vkontakte ses af Vympelcom gennem den europæiske forbindelse.

Lad os se på et andet autonom system fra Vkontakte — 47542 (VKONTAKTE-MSK-CDN-AS).

Alt er det samme.

 2914 47541
    79.104.32.251 (metrisk 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-kandidat, import mistænkt
      Modtaget Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Hvordan står det til med selve Mail.ru? Lad os se på AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (metrisk 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-kandidat
      Modtaget Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

Vimpelcom ser Mail.ru gennem as3356 (uplink Level3, Tier1 operatør). Denne information bekræftes af localpref 77:

…
bemærkninger: Uplink's ruter får lokal præference i intervallet 71-79.
bemærkninger: Sidste opdatering: Februar 2012…

og fællesskabet (3216:3000 og 3216:3007):

…
bemærkninger: 3216:3000 modtaget fra en international uplink eller peer, specifikt:
…
bemærkninger: 3216:3007 Level 3 Communications
…

Fra den modtagne information kan vi se, at trafikken fra Vimpelcom-netværket til Vkontakte og Mail.ru distribueres via europæiske knudepunkter i henhold til ruter modtaget via BGP-protokollen. Der findes ingen alternative ruter gennem indenlandske knudepunkter i Looking Glass. Der er ingen metoder til kunstigt at omdirigere trafikken gennem bevidst dårligere ruter.

Og hvordan ser Mail.ru Group Vimpelcom-netværkene?
Lad os bruge Looking Glass fra Mail.ru.

Fra routerne i AS47764 (mailru-as):

  Sti #6: Modtaget af højttaler 0
  Annonceret til naboer (i unikke opdateringsgrupper):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metrisk 100) fra 217.20.147.250 (217.20.147.253)
      Oprindelse IGP, metrisk 500, localpref 200, gyldig, intern, bedst, gruppe-bedst
      Modtaget Path ID 0, Lokal Path ID 0, version 1172721494
      Fællesskab: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH indeholder AS1299 (Telia, Tier1 operatør, uplink Mail.ru) og as1273 (Vodafon, Tier1 operatør, uplink Vimpelcom).

LocalPreference 200 — standard for Mail.ru's eksterne knudepunkter (https://net.mail.ru/bgp.html), og MED 500 svarer til alt, der ikke er modtaget fra en direkte knude, ikke fra IX'er, ikke fra peering.

Men hvorfor findes der ikke lokale ruter gennem russiske telekommunikationsoperatører???
De findes, men deres prioritet er "ikke-standard"!
Her er ruten gennem Rostelecom (as12389):

  Sti #1: Modtaget af højttaler 0
  Ikke annonceret til nogen nabo
  12389 3216
    46.61.178.149 fra 46.61.178.149 (213.59.207.79)
      Oprindelse IGP, metrisk 500, localpref 199, gyldig, ekstern
      Modtaget Path ID 0, Lokal Path ID 0, version 0
      Fællesskab: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Oprindelse-AS gyldighed: ikke fundet

Her gennem MegaFon (as31133):

  Sti #2: Modtaget af højttaler 0
  Ikke annonceret til nogen nabo
  31133 3216
    78.25.77.41 fra 78.25.77.41 (10.222.253.97)
      Oprindelse IGP, metrisk 500, localpref 199, gyldig, ekstern
      Modtaget Path ID 0, Lokal Path ID 0, version 0
      Fællesskab: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Oprindelse-AS gyldighed: ikke fundet

Her gennem RETN.NET:

  Sti #3: Modtaget af højttaler 0
  Ikke annonceret til nogen nabo
  9002 9002 3216
    87.245.253.24 fra 87.245.253.24 (87.245.225.1)
      Oprindelse IGP, metrisk 500, localpref 199, gyldig, ekstern
      Modtaget Path ID 0, Lokal Path ID 0, version 0
      Fællesskab: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Oprindelse-AS gyldighed: ikke fundet

Og endda gennem MTS!

  Sti #5: Modtaget af højttaler 0
  Ikke annonceret til nogen nabo
  8359 3216
    212.188.61.105 fra 212.188.61.105 (195.34.52.77)
      Oprindelse IGP, metrisk 500, localpref 199, gyldig, ekstern
      Modtaget Path ID 0, Lokal Path ID 0, version 0
      Fællesskab: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Oprindelse-AS gyldighed: ikke fundet

Localpref metriken for disse russiske ruter er nedsat, hvilket betyder, at ruterne er forringet i forhold til udenlandske!

Derudover, Der er forbud fra Mail.Ru Group mod spredning af deres præfikser i Vympelcom gennem russiske operatører!

RETN.NET (http://lg.retn.net/):
På annoncer fra Mail.RU Group står der community 3216:65535.
Output fra LG RETN.NETinet.0: 762737 destinationer, 1734826 ruter (762708 aktive, 222780 holddown, 277 skjulte)
94.100.176.0/20 (1 indgang, 1 annonceret)
*BGP præference: 170/-201
…
…
AS sti: 47764 I
AS sti: Registreret
Fællesskaber: 3216:65535 9002:64667 9002:65530
…

Ruter markeret med dette community accepteres ikke af Vympelcom. Uddrag fra RIPE DB for AS3216:
... bemærkninger: Interne samfund tildeles kun internt. bemærkninger: De ligger i området 3216:0000-3216:4999 og 3216:6000-3216:65535 bemærkninger: og slettes altid fra indkommende opdateringer ved grænsen. bemærkninger: routere. ...
I retning af Rostelecom (http://lg.ip.rt.ru) giver Mail.RU Group lignende ruter med community 12389:8350.
Output fra LG Rostelecom94.100.176.0/20 via 217.107.65.1 on eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Type: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Ifølge optegnelserne i RIPE DB for objektet as12389 betyder dette community "ikke annoncere til netværk as3216":... bemærkninger: | 12389:835y Når man annoncerer for GoldenTelecom (AS3216) | ... bemærkninger: | ...y=0 - annoncer ikke | ...
Tilsvarende i retning af MTS (http://lg.mtu.ru):Output fra LG MTSBGP routing table entry for 94.100.176.0/20, version 161717219
Paths: (2 tilgængelige, bedste #1, tabel standard)
Multipath: eBGP
Annonceret til opdateringsgrupper:
6
47764, (modtaget & brugt)
195.34.52.77 (metrik 16) fra 195.34.52.181 (195.34.52.181)
Oprindelse IGP, metrik 0, localpref 140, gyldig, intern, bedste
Fællesskab: 8359:2120 8359:2150 8359:5500 8359:55277
Oprindelsessted: 195.34.52.77, Cluster list: 83.59.83.59
47764, (modtaget & brugt)
195.34.52.77 (metrik 16) fra 195.34.52.182 (195.34.52.182)
Oprindelse IGP, metrik 0, localpref 140, gyldig, intern
Fællesskab: 8359:2120 8359:2150 8359:5500 8359:55277
Oprindelsessted: 195.34.52.77, Cluster list: 83.59.2.77

Community 8359:2120 betyder:... bemærkninger: 8359:212x ved annoncering til Sovam (Beeline) ... bemærkninger: x=0 - annoncer ikke ...
Det er ikke muligt at se annoncerne fra Mail.RU Group i retning af MegaFon — den sidste har ikke Looking Glass.

Lad os se på AS47541 (VKONTAKTE-SPB-AS).

Udgaven er for stor.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Sidste skifte Tors Apr 5 04:25:09 2018: 1 år, 10 uger, 6 timer, 9 minutter siden

Fre Jun 14 10:34:20.791 MSK
BGP-routing tabeloptegnelse for 81.211.0.0/17
Versioner:
  Proces           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Sidst ændret: 21. maj 05:20:38.536 for 1y03w
Stier: (6 tilgængelige, bedst #4)
  Annonceret til opdateringsgrupper (med mere end en peer):
    0.2 
  Annonceret til peers (i unikke opdateringsgrupper):
    188.93.60.188   
  Sti #1: Modtaget af speaker 0
  Ikke annonceret til nogen peer
  1299 1273 3216 3216
    87.240.191.235 (metrik 31) fra 87.240.191.235 (87.240.191.235)
      Oprindelse IGP, metrik 5000, lokalpræference 150, gyldig, intern
      Modtaget Sti ID 0, Lokal Sti ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Sti #2: Modtaget af speaker 0
  Ikke annonceret til nogen peer
  1299 1273 3216 3216
    87.240.191.248 (metrik 31) fra 87.240.191.248 (87.240.191.248)
      Oprindelse IGP, metrik 5000, lokalpræference 150, gyldig, intern
      Modtaget Sti ID 0, Lokal Sti ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Sti #3: Modtaget af speaker 0
  Ikke annonceret til nogen peer
  174 6762 3216 3216
    87.240.191.249 (metrik 31) fra 87.240.191.249 (87.240.191.249)
      Oprindelse IGP, metrik 5000, lokalpræference 150, gyldig, intern
      Modtaget Sti ID 0, Lokal Sti ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Sti #4: Modtaget af speaker 0
  Annonceret til opdateringsgrupper (med mere end en peer):
    0.2 
  Annonceret til peers (i unikke opdateringsgrupper):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 fra 149.6.169.113 (38.28.1.236)
      Oprindelse IGP, metrik 5000, lokalpræference 150, gyldig, ekstern, bedst, gruppe-bedst
      Modtaget Sti ID 0, Lokal Sti ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Oprindelse-AS gyldighed: ikke-fundet
  Sti #5: Modtaget af speaker 0
  Ikke annonceret til nogen peer
  1273 1273 3216 3216
    195.89.114.197 fra 195.89.114.197 (195.2.1.107)
      Oprindelse IGP, metrik 5005, lokalpræference 150, gyldig, ekstern
      Modtaget Sti ID 0, Lokal Sti ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Oprindelse-AS gyldighed: ikke-fundet
  Sti #6: Modtaget af speaker 0
  Ikke annonceret til nogen peer
  3356 3356 3216 3216 3216
    213.242.69.69 fra 213.242.69.69 (4.69.177.130)
      Oprindelse IGP, metrik 5000, lokalpræference 150, gyldig, ekstern
      Modtaget Sti ID 0, Lokal Sti ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Oprindelse-AS gyldighed: ikke-fundet

AS-PATH angiver AS174 — Cogent (oplinser Mail.RU, Tier1), derefter AS6762 — Telecom Italia (oplinser Vympelcom). Lokal præference er 150 overalt, men det gælder for alle eksterne forbindelser, uanset skrevne politikker.

Vi ser på AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS-sti: 47541 I
Communities: 
Accepteret Bedst

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS-sti: 47541 I
Communities: 
Accepteret
Inaktiv-årsag: Indre > Eksterne > Eksterne via Indre

Og fra den anden router:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Kun rutere er standard (0.0.0.0/0). Denne situation blev forklaret af en medarbejder hos Mail.RU Group grådighed, tak til ham for det. Kort sagt: det moskviske segment af netværket VKontakte fungerer som caching (og ikke genererende), hvis opgave er at optimere indlæsningstiden for populært og efterspurgt indhold. Omsorg for brugerne, ja.

Hvis der ikke er nogen rute til et bestemt netværk, betyder det, at dette netværk ikke betjenes af caching-servere. Det betyder, at hastighedsoptimering ikke fungerer, og brugerne lider. Men her skal det understreges - brugerne er ikke kun deres egne, men også Vympelcoms.

Konklusioner:

Fra Vympelcoms side fordeles trafikken mod Mail.RU Group naturligt. Der er ikke opdaget kunstige omdirigeringer gennem manipulationer af Local Preference.
Fra Mail.RU Groups side observeres der manipulation med Vympelcoms præfikser. Prioriteterne for eksisterende ruter mod Vympelcom-netværket gennem russiske operatører er lavere sammenlignet med ruter gennem udenlandske Tier1-operatører.
Til de ruter, der sendes til de russiske operatører (MTS, Rostelecom, RETN.NET) er der fra Mail.RU Group tilføjet styrings-BGP-samfund for at begrænse deres spredning mod Vympelcom.

Hvorfor prioriterer Mail.RU Group ruter gennem Europa højere? Hvorfor forbyder Mail.RU Group kort intern russisk forbindelse med Vympelcom?

Er det billigere for dem? At lede trafikken gennem udenlandske kanaler og betale tierne med valuta?
Eller er der et ønske om at skubbe trafikken længere væk, så det ikke er så nemt at hente, huh?
Det er ukendt for netværksingeniøren...

Kilde: habr.com