Ettevõtte konflikti projektsioon võrguühendusele

Ärinäoline konflikt tekkis 10.06.2019, kui Mail.RU Group tõstis Vimpelcomi võrgu kasutajatele SMS-i saatmise kulusid. Vastuseks lõpetas Mail.RU Group otseste Venemaa IP-kanalite teenindamise Vimpelcomi võrgu suunal.

Allpool on lühianalüüs olukorrast võrguinseneri vaatepunktist.

Uuendus: 14.06.2019 18:45 — rõhk Venemaa marsruutidel Vimpelcomi võrku, järeldused on korrigeeritud, lisatud selgitus. Sergei Kubasov (VKontakte CIO).
Uuendus: 14.06.2019 19:48 — lisatud kirjeldus marsruutide leviku piiramise meetodist "lühikese" Venemaa marsruudi kaudu Rostelecomi, MTS-i, RETN.NET-i kaudu.

Sissejuhatus:
Vimpelcomil on autonoomne süsteem AS3216, kõik muud (8402 — kodune internet, 16345 — mobiilne internet) on koondunud AS3216 taha.

Mail.RU Group — autonoomsed süsteemid AS47541, AS47542 ja AS47764. Peamine sisu genereerija on 47542, nn CDN VKONTAKTE (filmid, muusika). Kõik autonoomsed süsteemid on teineteisest sõltumatud (välise autonoomse süsteemi vaatepunktist).

Vaadakem esmalt olukorda Vimpelcomi võrgu küljelt. Selleks aitavad meid Vimpelcomi Looking Glass..

Vaadakem esimest autonoomset süsteemi — AS47541.

 2914 47541
    79.104.32.251 (mõõdik 10500) (79.104.32.251)
      Originaal IGP, mõõdik 30, kohalik eelistus 87, kehtiv, sise-, parim, grupi parim, impordi kandidaat, impordi kahtlane
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 1, versioon 2865394342
      Ühisus: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH sisaldab kahte autonoomset süsteemi — 2914 (NTT) ja 47541 (VKONTAKTE-SPB-AS).
Kohalik eelistuse mõõdik on seatud 87, mis vastavalt RIPE DB AS3216 objekti kirjeldusele vastab rahvusvahelisele peerimisele.

…
märge: Rahvusvaheliste peeride marsruutidel on kohalik eelis
märge: vahemikus 81-89.
…

Sama teavet kinnitavad ka 3216:3000 ja 3216:3103 ühisused (allikas — RIPE DB AS3216.):

…
märge: 3216:3000 Vastuvõetud rahvusvaheliselt uplinkilt või peerilt, nimelt:
…
märge: 3216:3103 AMS-IX.
…

Seega, Vimpelcom näeb marsruuti VKontaktesse Euroopa sõlme kaudu.

Vaadakem teist VKontakte autonoomset süsteemi — 47542 (VKONTAKTE-MSK-CDN-AS).

Kõik on sama.

 2914 47541
    79.104.32.251 (mõõdik 10500) (79.104.32.251)
      Originaal IGP, mõõdik 30, kohalik eelistus 87, kehtiv, sise-, parim, grupi parim, impordi kandidaat, impordi kahtlane
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 1, versioon 2865394338
      Ühisus: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Kuidas on lood ise Mail.ru-ga? Vaadakem AS47764 (mailru-as).

 3356 47764
    194.67.0.215 (mõõdik 10501) (194.67.0.215)
      Originaal IGP, mõõdik 0, kohalik eelistus 77, kehtiv, sise-, parim, grupi parim, impordi kandidaat
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 1, versioon 2867605667
      Ühisus: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

Vimpelcom näeb Mail.ru-d läbi as3356 (Level3 uplink, Tier1 operaator). Seda teavet kinnitab ka kohalik eelis 77:

…
märge: Uplinki marsruutidel on kohalik eelis vahemikus 71-79.
märge: Viimane värskendus: veebruar 2012…

ja ühisused (3216:3000 ja 3216:3007):

…
märge: 3216:3000 Vastuvõetud rahvusvaheliselt uplinkilt või peerilt, nimelt:
…
märge: 3216:3007 Level 3 Communications.
…

Saadud teabe põhjal on näha, et Vimpelcomi võrgu liiklus VKontaktesse ja MailRu-sse levib läbi Euroopa sõlmede vastavalt BGP-protokolliga saadud marsruutidele. Alternatiivseid marsroute Venemaa sisemiste sõlmede kaudu Looking Glass'is ei ole. Teisi kunstlikke meetmeid, mis suunaksid liiklust läbi selgelt halvemate marsruutide, ei leitud.

Kuidas näeb Mail.ru Group Vimpelcomi võrke?
Kasutame seda Mail.ru Looking Glass..

AS47764 (mailru-as) ruutereid:

  Path #6: Vastuvõetud rääkijalt 0
  Reklaamitud peeridele (ainulaadsetes uuendamisrühmades):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (mõõdik 100) 217.20.147.250 (217.20.147.253) kaudu
      Originaal IGP, mõõdik 500, kohalik eelistus 200, kehtiv, sise-, parim, grupi parim
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 1172721494
      Ühisus: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH sisaldab AS1299 (Telia, Tier1 operaator, Mail.RU uplink) ja as1273 (Vodafone, Tier1 operaator, Vimpelcomi uplink).

Kohalik eelistus 200 — standard Mail.ru väliste sõlmede jaoks (https://net.mail.ru/bgp.html), MED 500 vastab kõikidele, mis on saadud mitte otseühenduselt, mitte IX-ilt, mitte peerimiste kaudu.

Aga miks ei ole kohalikke marsruute läbi Venemaa sideoperaatorite???
Need on olemas, aga nende prioriteet on "ebastandardsed"!
Siin on marsruut läbi Rostelecomi (as12389):

  Path #1: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  12389 3216
    46.61.178.149 (46.61.178.149) kaudu (213.59.207.79)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Originaal-AS kehtivus: ei leitud.

Siin on marsruut läbi MegaFoni (as31133):

  Path #2: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  31133 3216
    78.25.77.41 (78.25.77.41) kaudu (10.222.253.97)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Originaal-AS kehtivus: ei leitud.

Ja isegi läbi RETN.NET:

  Path #3: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  9002 9002 3216
    87.245.253.24 (87.245.253.24) kaudu (87.245.225.1)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Originaal-AS kehtivus: ei leitud.

Ja isegi läbi MTS-i!

  Path #5: Vastuvõetud rääkijalt 0
  Ei reklaamita ühelgi peeril
  8359 3216
    212.188.61.105 (212.188.61.105) kaudu (195.34.52.77)
      Originaal IGP, mõõdik 500, kohalik eelistus 199, kehtiv, väline
      Vastuvõetud teepunkt ID 0, Kohalik teepunkt ID 0, versioon 0
      Ühisus: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Originaal-AS kehtivus: ei leitud.

Localpref metrika on Eestis madalam, st marsruudid on võrreldes välismaistega halvemad!

Lisaks toetab Mail.Ru Groupilt on piirangud oma prefiksite levitamisest Vimpelcomi kaudu Vene operaatorite kaudu!

RETN.NET (http://lg.retn.net/):
Mail.RU Groupi teadetes on kogukond 3216:65535.
Väljund LG RETN.NET-istinet.0: 762737 sihtkohta, 1734826 marsruuti (762708 aktiivset, 222780 ootel, 277 peidetud)
94.100.176.0/20 (1 sissekanne, 1 kuulutatud)
*BGP eelistus: 170/-201
…
…
AS tee: 47764 I
AS tee: Salvestatud
Kogukonnad: 3216:65535 9002:64667 9002:65530
…

Marsruudid, mis on tähistatud sellise kogukonnaga, Vimpelcom ei aktsepteeri oma võrku. Väljavõte RIPE DB-st AS3216 kohta:
...
märkus: Sisemised kogukonnad on määratud ainult sisemiselt.
märkus: Need ulatuvad vahemikku 3216:0000-3216:4999 ja 3216:6000-3216:65535
märkus: ja eemaldatakse alati sisse tulevatest värskendustest piiril.
märkus: ruuterid.
...
Rostelecomi suunas (http://lg.ip.rt.ru) annab Mail.RU Group samal ajal sarnaseid marsruute kogukonnaga 12389:8350.
Väljund LG Rostelecomist94.100.176.0/20 läbi 217.107.65.1 eta0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tüüp: BGP unicast univ
BGP.originaal: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

Riigi andmete kohaselt, RIPE DB objektiga as12389 tähendab see kogukond „mitte kuulutada võrgus as3216“:...
kommentaarid: | 12389:835y Reklaamimine GoldenTelecom (AS3216) |
...
kommentaarid: | ...y=0 - ära reklaami |
...
Sarnaselt MTS suunas (http://lg.mtu.ru):Väljund LG MTS-istBGP marsruutimistabeli sissekanne 94.100.176.0/20, versioon 161717219
Teed: (2 saadaval, parim #1, tabel vaikimisi)
Mitme tee: eBGP
Reklaamitud värskendusgruppidele:
6
47764, (vastuvõetud & kasutatud)
195.34.52.77 (mõõdik 16) 195.34.52.181 (195.34.52.181) kaudu
Allikas IGP, mõõdik 0, localpref 140, kehtiv, sisemine, parim
Kogukond: 8359:2120 8359:2150 8359:5500 8359:55277
Algataja: 195.34.52.77, klastrite loend: 83.59.83.59
47764, (vastuvõetud & kasutatud)
195.34.52.77 (mõõdik 16) 195.34.52.182 (195.34.52.182) kaudu
Allikas IGP, mõõdik 0, localpref 140, kehtiv, sisemine
Kogukond: 8359:2120 8359:2150 8359:5500 8359:55277
Algataja: 195.34.52.77, klastrite loend: 83.59.2.77

Kogukond 8359:2120 tähendab:...
märkus: 8359:212x Sovami (Beeline) teatamisel
...
märkus: x=0 - mitte teatama
...
Mail.RU Groupi teadaannete vaatamine megafoni poole ei ole võimalik — viimasele ei ole Looking Glassi.

Vaadakem AS47541 (VKONTAKTE-SPB-AS).

Väljund on liiga suur.

 Ruuter: a9922-e-5
Käsk: näita ip bgp 81.211.56.202


Viimane üleminek Thu Apr  5 04:25:09 2018: 1 aasta, 10 nädalat, 6 tundi, 9 minutit tagasi

Reede Jun 14 10:34:20.791 MSK
BGP marsruudi tabeli sissekanne 81.211.0.0/17
Versioonid:
  Protsess           bRIB/RIB  SaadaTblVersioon
  Esineja          913059757   913059757
Viimati muudetud: Mai 21 05:20:38.536 1a03n
Marsruudid: (6 saadaval, parim #4)
  Teated uuendusgruppidesse (rohkem kui üks kaastöötaja):
    0.2 
  Teated kaastöötajatele (ainulaadsetes uuendusgruppides):
    188.93.60.188   
  Marsruut #1: Saadud esinejalt 0
  Ei ole teavitatud ühelelegi kaastöötajale
  1299 1273 3216 3216
    87.240.191.235 (mõõdik 31) aadressilt 87.240.191.235 (87.240.191.235)
      Päritolu IGP, mõõdik 5000, kohaliku eelistus 150, kehtiv, sisemine
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 0, versioon 0
      Ühiskond: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Marsruut #2: Saadud esinejalt 0
  Ei ole teavitatud ühelelegi kaastöötajale
  1299 1273 3216 3216
    87.240.191.248 (mõõdik 31) aadressilt 87.240.191.248 (87.240.191.248)
      Päritolu IGP, mõõdik 5000, kohaliku eelistus 150, kehtiv, sisemine
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 0, versioon 0
      Ühiskond: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Marsruut #3: Saadud esinejalt 0
  Ei ole teavitatud ühelelegi kaastöötajale
  174 6762 3216 3216
    87.240.191.249 (mõõdik 31) aadressilt 87.240.191.249 (87.240.191.249)
      Päritolu IGP, mõõdik 5000, kohaliku eelistus 150, kehtiv, sisemine
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 0, versioon 0
      Ühiskond: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Marsruut #4: Saadud esinejalt 0
  Teated uuendusgruppidesse (rohkem kui üks kaastöötaja):
    0.2 
  Teated kaastöötajatele (ainulaadsetes uuendusgruppides):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 aadressilt 149.6.169.113 (38.28.1.236)
      Päritolu IGP, mõõdik 5000, kohaliku eelistus 150, kehtiv, väline, parim, grupi parim
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 0, versioon 913059757
      Ühiskond: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS kehtivuse kontroll: mitte leitud
  Marsruut #5: Saadud esinejalt 0
  Ei ole teavitatud ühelelegi kaastöötajale
  1273 1273 3216 3216
    195.89.114.197 aadressilt 195.89.114.197 (195.2.1.107)
      Päritolu IGP, mõõdik 5005, kohaliku eelistus 150, kehtiv, väline
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 0, versioon 0
      Ühiskond: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS kehtivuse kontroll: mitte leitud
  Marsruut #6: Saadud esinejalt 0
  Ei ole teavitatud ühelelegi kaastöötajale
  3356 3356 3216 3216 3216
    213.242.69.69 aadressilt 213.242.69.69 (4.69.177.130)
      Päritolu IGP, mõõdik 5000, kohaliku eelistus 150, kehtiv, väline
      Saadetud marsruudi ID 0, kohaliku marsruudi ID 0, versioon 0
      Ühiskond: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS kehtivuse kontroll: mitte leitud

AS-PATH näitab AS174 — Cogent (Mail.RU ülesvool, Tier1), seejärel AS6762 — Telecom Italia (Vympelcomi ülesvool). Kohalik eelistus on kõikjal 150, kuid kõik välised sidemed sõltumata kirjutatud poliitikatest.

Vaadake AS47542 (VKONTAKTE-MSK-CDN-AS).

 Ruuter: mx960-m9-0
Käsk: op lg-sh-bgp eelis 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS marsruut: 47541 I
Ühiskonnad: 
Aktsepteeritud Parim

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS marsruut: 47541 I
Ühiskonnad: 
Aktsepteeritud
Mitteaktiivne põhjus: Sisemine > Väline > Väline kaudu Sisemine

Ja teiselt ruuterilt:

 Ruuter: mx960-m9-1
Käsk: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS teekond: 47541 I
Kogukonnad: 
Aktsepteeritud Parim

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS teekond: 47541 I
Kogukonnad: 
Aktsepteeritud
Passiivne põhjus: Siseruum > Väliruum > Väliruum kaudu Siseruum

Ainult vaike marsruudid (0.0.0.0/0). Selle olukorra selgitas Mail.RU Grupi töötaja ahnus, mille eest tuleb talle tänu avaldada. Lühidalt: Moskva Vkontakte võrgu segment toimib vahemäluna (mitte genereeriva), mille ülesanne on optimeerida populaarse ja nõudliku sisu laadimiskiirus. Hoolimine kasutajatest, jah.

Kui mingit marsruuti mõne võrgu jaoks ei ole, siis see võrk ei ole vahemälu serverite poolt teenindatud. Seega ei tööta laadimiskiirusete optimeerimine ja kasutajad kannatavad. Kuid siin tuleb rõhutada - kasutajad ei ole ainult meie omad, vaid ka Vimpelcomi omad.

Järeldused:

1. Vympelcomilt on liiklus Mail.RU Grupi suunas loomulikult jaotatud. Kunstlikke suunamisi Local Preference'i manipuleerimiste kaudu ei ole leitud.
2. Mail.RU Gruppi poolt on Vympelcom'i eelistuste manipuleerimise jälgid.. Venemaalt Vympelcomi suunal olevatel marsruutidel on prioriteedid madalamad võrreldes välismaiste Tier1 operaatoritega.
3. Mail.RU Grupi poolt on Vene operaatoritele (MTS, Rostelecom, RETN.NET) edastatavatel marsruutidel lisatud haldus BGP kogukonnad, et piirata nende levikut Vympelcom'i suunas.

Miks paneb Mail.RU Grupp marsruudid läbi Euroopa prioriteetsemaks? Miks keelab Mail.RU Grupp lühikesed sisemaised ühendused Vympelcomiga?

Kas see on neile odavam? Saata liiklus läbi välismaiste kanalite ja maksta türklastele valuutas?
Või on soov saata liiklus kaugemale, et selle kätte saamine ei oleks nii mugav, eks?
Selle kohta ei tea võrguinsener midagi...

Allikas: habr.com