Yrityksen konfliktien projisointi verkkoyhteyksiin

Yrityksen konfliktien projisointi verkkoyhteyksiin
Yrityskonflikti syntyi 10.06.2019, koska Mail.RU Group nosti tekstiviestien toimituskuluja VimpelCom-verkon käyttäjille. Vastauksena Mail.RU Group lopetti suorien venäläisten IP-kanavien "palvelemisen" VimpelCom-verkkoon.

Alla lyhyt analyysi tilanteesta verkkoinsinöörin näkökulmasta.

Päivitykset: 14.06.2019 18:45 - painopiste Venäjän reiteillä VimpelCom-verkostoon, päätelmät korjattu, selitys lisätty Sergei Kubasov (tietohallintojohtaja VKontakte).
Päivitykset: 14.06.2019 19:48 - lisätty kuvaus menetelmästä, jolla rajoitetaan reittien leviämistä "lyhyellä" Venäjän reitillä Rostelecomin, MTS:n, RETN.NETin kautta.


Johdanto:
VimpelComilla on autonominen järjestelmä AS3216, kaikki muut (8402 - koti-internet, 16345 - mobiili-internet) sijaitsevat 3216:n takana.

Mail.RU Group - autonomiset järjestelmät AS47541, AS47542 ja AS47764. Pääsisältögeneraattori on 47542, ns. CDN VKONTAKTE (elokuvat, musiikki). Kaikki autonomiset järjestelmät ovat toisistaan ​​riippumattomia (ulkoisen autonomisen järjestelmän asemasta).

Katsotaanpa ensin tilannetta VimpelCom-verkosta. Tässä se auttaa meitä Looking Glass VimpelCom.

Katsotaanpa ensimmäistä autonomista järjestelmää - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH sisältää kaksi autonomista järjestelmää - 2914 (NTT) ja 47541 (VKONTAKTE-SPB-AS).
Localpref-metriikka on asetettu arvoon 87, joka objektin AS3216 RIPE DB:n kuvauksen mukaan vastaa kansainvälistä peeringiä.

...
huomautuksia: Kansainväliset vertaisreitit saavat paikallisen suosion
huomautukset: vaihteluväli 81-89.
...

Samat tiedot vahvistavat yhteisöt 3216:3000 ja 3216:3103 (lähde: RIPE DB AS3216:lle):

...
huomautuksia: 3216:3000 Vastaanotettu kansainvälisestä uplink- tai vertaislinkistä, erityisesti:
...
huomautukset: 3216:3103 AMS-IX
...

Eli VimpelCom näkee reitin VKontakteen Euroopan risteyksen kautta.

Katsotaanpa toista VKontakten autonomista verkkoa - 47542 (VKONTAKTE-MSK-CDN-AS).

Kaikki on samaa.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Entä itse Mail.ru? Katsotaanpa AS47764:ää (mailru-as).

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

VimpelCom näkee Mail.ru:n as3356:n kautta (uplink Level3, Tier1-operaattori). Localpref 77 vahvistaa nämä tiedot:

...
huomautuksia: Uplinkin reitit saavat paikalliset suositukset välillä 71-79.
huomautuksia: Viimeisin päivitys: helmikuuta 2012…

ja yhteisö (3216:3000 ja 3216:3007):

...
huomautuksia: 3216:3000 Vastaanotettu kansainvälisestä uplink- tai vertaislinkistä, erityisesti:
...
huomautukset: 3216:3007 Tason 3 viestintä
...

Saaduista tiedoista käy selvästi ilmi, että liikenne VimpelCom-verkosta VKontakteen ja MailRuun jakautuu Euroopan risteysten kautta BGP-protokollan kautta vastaanotettujen reittien mukaan. Kotimaan Venäjän yhteyksien kautta Looking Glassissa ei ole vaihtoehtoisia reittejä. Mitään toimenpiteitä ei löydetty keinotekoisesti ohjata liikennettä selvästi huonompia reittejä pitkin.

Millaisena Mail.ru Group näkee VimpelComin verkon?
Hyödynnetään Mailovin katselasit.

AS47764:n (mailru-as) reitittimistä:

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH sisältää AS1299:n (Telia, Tier1-operaattori, Mail.RU-uplink) ja as1273:n (Vodafon, Tier1-operaattori, VimpelCom-uplink).

LocalPreference 200 on standardi Mail.ru:n ulkoisille yhteyksille (https://net.mail.ru/bgp.html), ja MED 500 vastaa kaikkea, mitä ei vastaanoteta suorasta yhteydestä, ei IX:istä tai peeringistä. .

Mutta miksi venäläisten teleoperaattoreiden kautta ei ole paikallisia reittejä???
Niitä on olemassa, mutta niiden prioriteetti on "epästandardi"!
Tässä on reitti Rostelecomin kautta (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Täällä Megafonin (as31133) kautta:

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Täällä RETN.NET:n kautta:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Ja jopa MTS:n kautta!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Näiden venäläisten reittien paikallinen pref -mittari on aliarvioitu, eli reitit ovat huonompia kuin ulkomaiset!

Lisäksi, Mail.Ru Groupilla on kieltoja etuliitteidesi jakelu VimpelComille venäläisten operaattoreiden kautta!

RETN.NET (http://lg.retn.net/):
Mail.RU Groupin ilmoitukset osoittavat yhteisön 3216:65535.
Poistaminen LG RETN.NET -palvelustainet.0: 762737 määränpäätä, 1734826 reittiä (762708 aktiivista, 222780 pidossa, 277 piilotettua)
94.100.176.0/20 (1 merkintä, 1 ilmoitettu)
*BGP-etuus: 170/-201
...
...
AS-polku: 47764 I
AS-polku: tallennettu
Yhteisöt: 3216:65535 9002:64667 9002:65530
...

VimpelCom ei hyväksy tällaisen yhteisön merkitsemiä reittejä verkkoonsa. Ote RIPE DB:stä AS3216:lla:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...

Rostelecomin (http://lg.ip.rt.ru) suuntaan Mail.RU Group tarjoaa samanlaisia ​​reittejä yhteisöstä 12389:8350.
Irtisanoutuminen LG Rostelecomista94.100.176.0/20 osoitteen 217.107.65.1 kautta eth0.9:ssä [sr2 2019-06-13] * (100/?) [AS47764i]
Tyyppi: BGP unicast-univ.
BGP.alkuperä: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.yhteisö: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000)47764,50077
BGP.alkuperäinen_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

As12389-objektin RIPE DB -merkintöjen mukaan tämä yhteisö tarkoittaa "älä mainosta as3216-verkkoon":...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...

Samoin MTS:ään (http://lg.mtu.ru):Irtisanoutuminen LG MTS:stäBGP-reititystaulukon merkintä 94.100.176.0/20, versio 161717219
Polut: (2 käytettävissä, paras #1, taulukon oletus)
Monitie: eBGP
Mainostettu päivitysryhmille:
6
47764, (vastaanotettu ja käytetty)
195.34.52.77 (metriikka 16) alkaen 195.34.52.181 (195.34.52.181)
Alkuperäinen IGP, metriikka 0, localpref 140, kelvollinen, sisäinen, paras
Yhteisö: 8359:2120 8359:2150 8359:5500 8359:55277
Alkuperäinen: 195.34.52.77, Klusteriluettelo: 83.59.83.59
47764, (vastaanotettu ja käytetty)
195.34.52.77 (metriikka 16) alkaen 195.34.52.182 (195.34.52.182)
Alkuperäinen IGP, metriikka 0, localpref 140, kelvollinen, sisäinen
Yhteisö: 8359:2120 8359:2150 8359:5500 8359:55277
Alkuperäinen: 195.34.52.77, Klusteriluettelo: 83.59.2.77

Community 8359:2120 tarkoittaa:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...

Et voi katsoa Mail.RU Groupin ilmoituksia Megafonin suuntaan - jälkimmäisellä ei ole Looking Glassia.

Katsotaanpa AS47541:tä (VKONTAKTE-SPB-AS).

Tulos on liian suuri.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH osoittaa AS174 - Cogent (Mail.RU uplink, Tier1), sitten AS6762 - Telecom Italia (VimpelCom uplink). Local Preference on 150 kaikkialla, mutta tämä koskee kaikkia ulkoisia liitoksia riippumatta kirjalliset käytännöt.

Katsotaanpa AS47542:ta (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Ja toisesta reitittimestä:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Vain oletusreitit (0.0.0.0/0). Tämän tilanteen selitti Mail.RU Groupin työntekijä ahneus, josta kiitän häntä. Lyhyesti: VKontakte-verkon Moskovan segmentti on välimuisti (eikä luova) segmentti, jonka tehtävänä on optimoida suositun, kysytyn sisällön latausnopeus. Käyttäjistä huolehtiminen, kyllä.

Jos tiettyyn verkkoon ei ole reittiä, välimuistipalvelimet eivät palvele tätä verkkoa. Tämä tarkoittaa, että latausnopeuden optimointi ei toimi, ja käyttäjät kärsivät. Mutta tässä meidän on korostettava, että käyttäjät eivät ole vain omiamme, vaan myös VimpelComin käyttäjiä.

Päätelmät:

  1. VimpelComista Mail.RU Groupin liikenne jakautuu luonnollisesti. Keinotekoisia uudelleenohjauksia Local Preference -manipulaatioiden kautta ei havaittu
  2. Mail.RU Group tarkkailee manipulaatioita VimpelCom-etuliitteillä. Olemassa olevat reitit VimpelCom-verkkoon venäläisten operaattoreiden kautta ovat alhaisemmat kuin ulkomaisten Tier1-operaattoreiden kautta kulkevat reitit.
  3. Mail.RU Groupin venäläisille operaattoreille (MTS, Rostelecom, RETN.NET) välittämille reiteille on lisätty BGP-yhteisöpäälliköt rajoittamaan niiden leviämistä VimpelComiin.

Miksi Mail.RU Group priorisoi Euroopan läpi kulkevat reitit? Miksi Mail.RU Group kieltää lyhyet kotimaan Venäjän yhteydet VimpelComiin?

Onko se heille halvempaa? Ohjaa liikennettä ulkomaisten kanavien kautta ja maksaa Tirvansille ulkomaan valuutassa?
Vai halutaanko ajaa liikennettä kauemmaksi, ettei sen noutaminen ole niin kätevää, vai mitä?
Tämä ei ole verkkoinsinöörille tiedossa...

Lähde: will.com

Osta luotettava isännöinti sivustoille, joissa on DDoS-suojaus, VPS VDS -palvelimet 🔥 Osta luotettavaa verkkosivustojen hostingia DDoS-suojauksella, VPS VDS -palvelimilla | ProHoster