Ettevõtte konflikti mõju võrguühendusele

Ettevõtte konflikt tekkis 10.06.2019 seoses SMS-i saatmise hindade tõusuga Vimpelcomi võrgu kasutajatele Mail.RU Groupi poolt. Vastumeetmena lõpetas Mail.RU Group otseste Venemaa IP-kanalite teenindamise suunas Vimpelcomi võrku.

Allpool on lühianalüüs olukorrast võrguinseneri vaatepunktist.

Uuenda: 14.06.2019 18:45 — rõhutatakse Venemaa marsruute Vimpelcomi võrku, järeldused on kohandatud, lisatud selgitus Sergei Kubasov (Vkontakte CIO).
Uuenda: 14.06.2019 19:48 — lisatud kirjeldus marsruutide leviku piiramise meetodist „lühikese“ Venemaa marsruudi kaudu Rostelecomi, MTS, RETN.NET kaudu.

Sissejuhatus:
Vimpelcomil on autonoomne süsteem AS3216, kõik teised (8402 — kodune internet, 16345 — mobiilne internet) asuvad 3216 taga.

Mail.RU Groupi autonoomsed süsteemid on AS47541, AS47542 ja AS47764. Peamine sisuloome generaator on 47542, nn CDN VKONTAKTE (filmid, muusika). Kõik autonoomsed süsteemid on iseseisvad omavahel (välise autonoomse süsteemi vaatenurgast).

Vaatame olukorda Vimpelcomi võrgu seisukohalt. Selleks aitab meid Vimpelcomi Looking Glass.

Külastame esimest autonoomset süsteemi — AS47541.

 2914 47541
    79.104.32.251 (meetod 10500) (79.104.32.251)
      Allikas IGP, meetod 30, kohaliku eelise 87, kehtiv, sise-, parim, grupi parim, impordikandidaat, impordikahtlane
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 1, versioon 2865394342
      Ühendused: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH sisaldab kahte autonoomset süsteemi — 2914 (NTT) ja 47541 (VKONTAKTE-SPB-AS).
Kohalik eelistus on seatud 87, mis vastab AS3216 objekti kirjeldusele RIPE DB-s rahvusvahelise vahetuse korral.

…
märkused: Rahvusvaheliste partnerite marsruudid saavad kohalikku eelise
märkused: vahemikus 81-89.
…

Sama teavet kinnitavad ka kogukonnad 3216:3000 ja 3216:3103 (allikas — RIPE DB AS3216):

…
märkused: 3216:3000 Saadetud rahvusvaheliselt ühiselt või partnerilt, konkreetselt:
…
märkused: 3216:3103 AMS-IX
…

See tähendab, et Vimpelcom näeb marsruuti Vkontakte'i suunas läbi Euroopa sõlme.

Vaadakem teist Vkontakte autonoomset süsteemi — 47542 (VKONTAKTE-MSK-CDN-AS).

Kõik on sarnane.

 2914 47541
    79.104.32.251 (meetod 10500) (79.104.32.251)
      Allikas IGP, meetod 30, kohaliku eelise 87, kehtiv, sise-, parim, grupi parim, impordikandidaat, impordikahtlane
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 1, versioon 2865394338
      Ühendused: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Kuidas on olukord ise Mail.ru-ga? Vaatame AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (meetod 10501) (194.67.0.215)
      Origin IGP, meetod 0, kohalik eelistus 77, kehtiv, sise-, parim, grupi parim, import kandidaadi
      Saadud tee ID 0, kohalik tee ID 1, versioon 2867605667
      Kogukond: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

Vimpelcom näeb Mail.ru kaudu as3356 (uplink Level3, Tier1 operaator). Seda teavet kinnitab ka kohalik eelistus 77:

…
märkus: Uplink’i marsruudid saavad kohalikku eelistust vahemikus 71-79.
märkus: Viimase uuendamise kuupäev: veebruar 2012…

ja kogukond (3216:3000 ja 3216:3007):

…
märkused: 3216:3000 Saadetud rahvusvaheliselt ühiselt või partnerilt, konkreetselt:
…
märkus: 3216:3007 Level 3 Communications
…

Saadud teabest on näha, et liiklus Vimpelcomi võrgust Vkontakte ja MailRu peale levib läbi Euroopa sõlmpunktide vastavalt marsruutidele, mis on saadud BGP protokolli kaudu. Alternatiivseid marsruute Venemaal asuvate sõlmpunktide kaudu Looking Glassis ei ole. Meetmeid kunstlikuks liikluse suunamiseks läbi selgelt halemate marsruutide ei ole tuvastatud.

Kuidas näeb Mail.ru Group Vimpelcomi võrke?
Kasutame Looking Glass Mail.ru-st.

AS47764 (mailru-as) marsruutidest:

  Teekond #6: Vastuvõetud kõneleja 0
  Reklaamitud kaaslastele (unikaalsetes uuenduste gruppides):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (meetod 100) aadressilt 217.20.147.250 (217.20.147.253)
      Origin IGP, meetod 500, kohalik eelistus 200, kehtiv, sise-, parim, grupi parim
      Saadud tee ID 0, kohalik tee ID 0, versioon 1172721494
      Kogukond: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH sisaldab AS1299 (Telia, Tier1 operaator, uplink Mail.RU) ja as1273 (Vodafone, Tier1 operaator, uplink Vimpelcom).

Kohalik eelistus 200 — standard välistele sõlmpunktidele Mail.ru (https://net.mail.ru/bgp.html), samas kui MED 500 vastab kõikjale, mis on saadud mitte otseüksusest, mitte IX-idest, mitte peerimisest.

Aga miks ei ole kohalikke marsruute Venemaa sideoperaatorite kaudu???
Need on olemas, kuid nende prioriteet on "ebastandardne"!
Siin on marsruut läbi Rostelecomi (as12389):

  Teekond #1: Vastuvõetud kõneleja 0
  Mitte reklaamitud ühelelegi kaaslasele
  12389 3216
    46.61.178.149 aadressilt 46.61.178.149 (213.59.207.79)
      Origin IGP, meetod 500, kohalik eelistus 199, kehtiv, väline
      Saadud tee ID 0, kohalik tee ID 0, versioon 0
      Kogukond: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS kehtivus: mitte leitud

Siin on läbi Megafoni (as31133):

  Teekond #2: Vastuvõetud kõneleja 0
  Mitte reklaamitud ühelelegi kaaslasele
  31133 3216
    78.25.77.41 aadressilt 78.25.77.41 (10.222.253.97)
      Origin IGP, meetod 500, kohalik eelistus 199, kehtiv, väline
      Saadud tee ID 0, kohalik tee ID 0, versioon 0
      Kogukond: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS kehtivus: mitte leitud

Siin on läbi RETN.NET:

  Teekond #3: Vastuvõetud kõneleja 0
  Mitte reklaamitud ühelelegi kaaslasele
  9002 9002 3216
    87.245.253.24 aadressilt 87.245.253.24 (87.245.225.1)
      Origin IGP, meetod 500, kohalik eelistus 199, kehtiv, väline
      Saadud tee ID 0, kohalik tee ID 0, versioon 0
      Kogukond: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS kehtivus: mitte leitud

Ja isegi läbi MTS!

  Teekond #5: Saadi kõneleja 0
  Ei reklaamita ühelegi kolleegile
  8359 3216
    212.188.61.105 aadressilt 212.188.61.105 (195.34.52.77)
      Algus IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Saadud teekondi ID 0, kohalik teekond ID 0, versioon 0
      Ühendus: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Algus-AS kehtivus: mitte-leitud

Metric localpref nende Venemaa marsruutide puhul on alla hinnatud, see tähendab, et marsruudid on võrreldes välismaistega halvemad!

Lisaks, Mail.Ru Grupilt on keeldumised oma eelistuste jagamisest Vimpelcomi kaudu Venemaa operaatorite kaudu!

RETN.NET (http://lg.retn.net/):
Mail.RU Groupi kuuluvustes on kogukond 3216:65535.
Väljund LG RETN.NETinet.0: 762737 sihtkohta, 1734826 marsruuti (762708 aktiivne, 222780 peatatud, 277 peidetud)
94.100.176.0/20 (1 sissekanne, 1 kuulutatud)
*BGP eelis: 170/-201
…
…
AS-teekond: 47764 I
AS-teekond: Salvestatud
Ühendused: 3216:65535 9002:64667 9002:65530
…

Marsruudid, mis on märgistatud sellise kogukonnaga, ei võta Vimpelcom oma võrku. Väljavõte RIPE DB-st AS3216 kohta:
...
märkused: Sisemised kogukonnad määratakse ainult sisemiselt.
märkused: Need asuvad vahemikus 3216:0000-3216:4999 ja 3216:6000-3216:65535.
märkused: ja neid kustutatakse alati saabuvate värskenduste juures piiril.
märkused: ruuterid.
...
RoStelecomi suunal (http://lg.ip.rt.ru) annab Mail.RU Group sarnaseid marsruute koos kogukonnaga 12389:8350.
Väljund LG RoStelecomist94.100.176.0/20 kaudu 217.107.65.1 eth0.9 peal [sr2 2019-06-13] * (100/?) [AS47764i]
Tüüp: BGP unicast univ
BGP.almus: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

RIPE DB andmetel objekti as12389 jaoks see kogukond tähendab "mitte kuulutada võrku as3216":...
märkused: | 12389:835y Kuldsidetootmise (AS3216) reklaamimise korral |
...
märkused: | ...y=0 - reklaamida ei tohi |
...
Sarnaselt MTS suunas (http://lg.mtu.ru):Väljund LG MTS-istBGP marsruudistamislaua kirje 94.100.176.0/20, versioon 161717219
Teed: (2 saadaval, parim #1, tabel vaikimisi)
Mitme tee: eBGP
Reklaamitud uuendusgruppidesse:
6
47764, (saadud & kasutatud)
195.34.52.77 (mõõdik 16) aadressilt 195.34.52.181 (195.34.52.181)
Algus IGP, mõõdik 0, kohalik eelistus 140, kehtiv, sisemine, parim
Kogukond: 8359:2120 8359:2150 8359:5500 8359:55277
Algataja: 195.34.52.77, klastrite nimekiri: 83.59.83.59
47764, (saadud & kasutatud)
195.34.52.77 (mõõdik 16) aadressilt 195.34.52.182 (195.34.52.182)
Algus IGP, mõõdik 0, kohalik eelistus 140, kehtiv, sisemine
Kogukond: 8359:2120 8359:2150 8359:5500 8359:55277
Algataja: 195.34.52.77, klastrite nimekiri: 83.59.2.77

Kogukond 8359:2120 tähendab:...
märkus: 8359:212x, kui kuulutatakse Sovamile (Beeline)
...
märkus: x=0 - mitte kuulutada
...
Ei saa vaadata Mail.RU Groupi kuulutusi suunal Megafon, kuna viimasel pole Looking Glass'i.

Vaadake AS47541 (VKONTAKTE-SPB-AS).

Väljund on liiga suur.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Viimane vahetus Thu Apr  5 04:25:09 2018: 1 aasta, 10 nädalat, 6 tundi, 9 minutit tagasi

Fri Jun 14 10:34:20.791 MSK
BGP marsruutimistabeli sissekanne aadressile 81.211.0.0/17
Versioonid:
  Protsess           bRIB/RIB  SendTblVer
  Esindaja         913059757   913059757
Viimati muudetud: Mai 21 05:20:38.536 1y03w jaoks
Teed: (6 saadaval, parim #4)
  Reklaamitud uuendamisrühmadesse (rohkem kui ühe kaaslasega):
    0.2 
  Reklaamitud kaaslastele (ainulaadsetes uuendusgruppides):
    188.93.60.188   
  Tee #1: Vastuvõetud esindajalt 0
  Ei reklaamita ühele kaaslasele
  1299 1273 3216 3216
    87.240.191.235 (mõõdik 31) aadressilt 87.240.191.235 (87.240.191.235)
      Algus IGP, mõõdik 5000, kohalik eelistus 150, kehtiv, sisemine
      Vastuvõetud tee ID 0, Kohalik tee ID 0, versioon 0
      Kommuniteet: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Tee #2: Vastuvõetud esindajalt 0
  Ei reklaamita ühele kaaslasele
  1299 1273 3216 3216
    87.240.191.248 (mõõdik 31) aadressilt 87.240.191.248 (87.240.191.248)
      Algus IGP, mõõdik 5000, kohalik eelistus 150, kehtiv, sisemine
      Vastuvõetud tee ID 0, Kohalik tee ID 0, versioon 0
      Kommuniteet: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Tee #3: Vastuvõetud esindajalt 0
  Ei reklaamita ühele kaaslasele
  174 6762 3216 3216
    87.240.191.249 (mõõdik 31) aadressilt 87.240.191.249 (87.240.191.249)
      Algus IGP, mõõdik 5000, kohalik eelistus 150, kehtiv, sisemine
      Vastuvõetud tee ID 0, Kohalik tee ID 0, versioon 0
      Kommuniteet: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Tee #4: Vastuvõetud esindajalt 0
  Reklaamitud uuendamisrühmadesse (rohkem kui ühe kaaslasega):
    0.2 
  Reklaamitud kaaslastele (ainulaadsetes uuendusgruppides):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 aadressilt 149.6.169.113 (38.28.1.236)
      Algus IGP, mõõdik 5000, kohalik eelistus 150, kehtiv, väline, parim, grupi parim
      Vastuvõetud tee ID 0, Kohalik tee ID 0, versioon 913059757
      Kommuniteet: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Algus-AS kehtivuse kontroll: mitte-leitud
  Tee #5: Vastuvõetud esindajalt 0
  Ei reklaamita ühele kaaslasele
  1273 1273 3216 3216
    195.89.114.197 aadressilt 195.89.114.197 (195.2.1.107)
      Algus IGP, mõõdik 5005, kohalik eelistus 150, kehtiv, väline
      Vastuvõetud tee ID 0, Kohalik tee ID 0, versioon 0
      Kommuniteet: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Algus-AS kehtivuse kontroll: mitte-leitud
  Tee #6: Vastuvõetud esindajalt 0
  Ei reklaamita ühele kaaslasele
  3356 3356 3216 3216 3216
    213.242.69.69 aadressilt 213.242.69.69 (4.69.177.130)
      Algus IGP, mõõdik 5000, kohalik eelistus 150, kehtiv, väline
      Vastuvõetud tee ID 0, Kohalik tee ID 0, versioon 0
      Kommuniteet: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Algus-AS kehtivuse kontroll: mitte-leitud

AS-PATH näitab AS174 - Cogent (Mail.RU uplink, Tier1), seejärel AS6762 - Telecom Italia (Vympelcom uplink). Kohalik eelistus on igal pool 150, kuid see kehtib kõikide välistööde kohta, olenemata kirjutatud poliitikast.

Vaatame AS47542 (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS tee: 47541 I
Kogukonnad: 
Vastu võetud Parim

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS tee: 47541 I
Kogukonnad: 
Vastu võetud
Passiivne põhjus: Sisemine > Väline > Väline läbi sisemise

Ja teiselt marsruutorilt:

 Maruter: mx960-m9-1
Käsk: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS rada: 47541 I
Kogukonnad: 
Aktsepteeritud Parim

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS rada: 47541 I
Kogukonnad: 
Aktsepteeritud
Kehtivuse põhjus: Sise > Välis > Välis sise kaudu

Ainult vaikimisi marsruudid (0.0.0.0/0). Seda olukorda selgitas Mail.RU Grupi töötaja ahneus, mille eest talle tänu. Lühidalt öeldes: Moskva segment VKontakte on vahemällu salvestav (mitte genereeriv) ning selle eesmärk on populaarse sisu laadimise kiirus. Hoolimine kasutajate eest, jah.

Kui teatud võrgu marsruuti ei ole, tähendab see, et seda võrku ei teenindata vahemällu salvestavate serverite poolt. See tähendab, et laadimiskiirus ei tööta ja kasutajad kannatavad. Siinkohal tuleb rõhutada, et kasutajad on mitte ainult enda vaid ka Vimpelcomi omad.

Kokkuvõtted:

1. Vimpelcomi poolt jaguneb liiklus Mail.RU Grupi suunas loomulikult. Kunstlikke ümbersuunamisi Local Preference'i manipulatsioonide kaudu ei ole avastatud
2. Mail.RU Grupi poolt on täheldatud manipulatsioone Vimpelcomi prefiksidega. Vimpelcomi võrku suunatud olemasolevate marsruutide prioriteedid on Venemaa operaatorite kaudu madalamad võrreldes rahvusvaheliste Tier1 operaatoritega.
3. Venemaa operaatoritele (MTS, Rostelecom, RETN.NET) suunatud marsruutidele on Mail.RU Grupi poolt lisatud juhtimis-BGP kogukonnad, et piirata nende levikut Vimpelcomi suunas

Miks paneb Mail.RU Grupp marsruudid Euroopat kaudu prioriteetsemaks? Miks keelab Mail.RU Grupp lühikese sisemise ühenduse Vimpelcomiga?

Kas see on neile odavam? Saata liiklus välismaiste kanalite kaudu ja maksta valuutatarnijatele?
Või on soov suunata liiklus kaugemale, et selle hankimine oleks vähem mugav, kas pole?
Sellele võrguinsener ei tea…

Allikas: habr.com