🥇A vállalati konfliktus hatása a hálózati kapcsolatosságra

A vállalati konfliktus hatása a hálózati kapcsolatra
A vállalati konfliktus 2019.06.10-én alakult ki, amikor a Mail.RU Group növelte az SMS-ek szállítási költségét a Vimpelcom hálózatának felhasználói számára. Válaszként a Mail.RU Group leállította a közvetlen orosz IP-csatornák "szolgáltatását" a Vimpelcom hálózata felé.

Az alábbiakban rövid elemzést találunk a helyzetről egy hálózati mérnök szempontjából.

Frissítés: 2019.06.14. 18:45 — a Vimpelcom hálózatról való orosz útvonalakra helyezett hangsúly, a következtetések kiigazítása, magyarázat hozzáadása Szergej Kubasov (a Vkontakte CIO-ja).
Frissítés: 2019.06.14. 19:48 — a rövid orosz útvonalakon történő útvonalak terjedésének korlátozásáról szóló leírás hozzáadása a RosTelecom, MTS, RETN.NET révén.

Bevezető:
A Vimpelcom egy AS3216 autonóm rendszert működtet, míg minden más (8402 - otthoni internet, 16345 - mobilinternet) a 3216 mögött helyezkedik el.

A Mail.RU Group autonóm rendszerei az AS47541, AS47542 és AS47764. A tartalom fő generátora az 47542, a CDN VKONTAKTE (filmek, zene). Az összes autonóm rendszer független egymástól (a külső autonóm rendszer szempontjából).

Először megnézzük a helyzetet a Vimpelcom oldaláról. Ehhez segítségünkre lesz A Vimpelcom Looking Glass.

Nézzük az első autonóm rendszert — AS47541.

 2914 47541
    79.104.32.251 (metrika 10500) (79.104.32.251)
      Eredeti IGP, metrika 30, localpref 87, érvényes, belső, legjobb, csoport-legjobb, import-jelölt, import-szennyezett
      Fogadott Útvonal ID 0, Helyi Útvonal ID 1, verzió 2865394342
      Közösség: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Az AS-PATH két autonóm rendszert tartalmaz — 2914 (NTT) és 47541 (VKONTAKTE-SPB-AS).
A localpref metrikát 87-re állították, ami az AS3216 objektumhoz tartozó leírás szerint a nemzetközi peeringet jelenti az RIPE DB-ben.

…
megjegyzések: A nemzetközi peerek útvonalai helyi preferenciát kapnak a
megjegyzések: 81-89 tartományban.
…

Ezt az információt megerősítik a 3216:3000 és 3216:3103 közösségek is (forrás — RIPE DB az AS3216 számára):

…
megjegyzések: 3216:3000 Nemzetközi uplink vagy peer hálózaton keresztül érkezett, kifejezetten:
…
megjegyzések: 3216:3103 AMS-IX
…

Tehát a Vimpelcom a Vkontakte felé az európai csatlakozón látja az útvonalat.

Nézzük meg a Vkontakte másik autonómiáját — 47542 (VKONTAKTE-MSK-CDN-AS).

Minden hasonló.

 2914 47541
    79.104.32.251 (metrika 10500) (79.104.32.251)
      Eredeti IGP, metrika 30, localpref 87, érvényes, belső, legjobb, csoport-legjobb, import-jelölt, import-szennyezett
      Fogadott Útvonal ID 0, Helyi Útvonal ID 1, verzió 2865394338
      Közösség: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Hogyan áll a helyzet a Mail.ru-val? Nézzük meg az AS47764-et (mailru-as).

 3356 47764
    194.67.0.215 (metrika 10501) (194.67.0.215)
      Eredeti IGP, metrika 0, localpref 77, érvényes, belső, legjobb, csoport-legjobb, import-jelölt
      Fogadott Útvonal ID 0, Helyi Útvonal ID 1, verzió 2867605667
      Közösség: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

A Vimpelcom az Mail.ru-t az as3356-on keresztül látja (Level3, Tier1 szolgáltató uplinkje). Ezt az információt a localpref 77 is megerősíti:

…
megjegyzések: Az Uplink útvonalai a 71-79 közötti helyi preferenciát kapják.
megjegyzések: Utolsó frissítés: 2012. február…

és közösség (3216:3000 és 3216:3007):

…
megjegyzések: 3216:3000 Nemzetközi uplink vagy peer hálózaton keresztül érkezett, kifejezetten:
…
megjegyzések: 3216:3007 Level 3 Communications
…

A kapott információkból látható, hogy a Vimpelcom hálózatáról a VKontakte és a Mail.Ru-ra irányuló forgalom európai csatlakozók útján terjed a BGP protokollon keresztül kapott útvonalak szerint. Alternatív útvonalak az orosz belső csatlakozókon keresztül a Looking Glass-ban nincsenek. Mesterséges forgalomátirányításra a nyilvánvalóan rosszabb útvonalakra nem találtak nyomokat.

De hogyan látja a Vimpelcom hálózatát a Mail.ru Group?
Használjuk ki A Mail.ru Looking Glass.

AS47764 (mailru-as) routereiből:

  Path #6: Kapva a beszélőtől 0
  Hirdetve partnereknek (egyedi frissítési csoportokban):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) a 217.20.147.250-tól (217.20.147.253)
      Eredet IGP, metric 500, localpref 200, érvényes, belső, legjobb, csoport-legjobb
      Kapott Path ID 0, Helyi Path ID 0, verzió 1172721494
      Közösség: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

Az AS-PATH tartalmazza az AS1299-et (Telia, Tier1 szolgáltató, Mail.RU uplink) és az as1273-at (Vodafon, Tier1 szolgáltató, Vimpelcom uplink).

A LocalPreference 200 - a Mail.ru külső csatlakozóinak standardja (https://net.mail.ru/bgp.html), míg a MED 500 minden olyan esetben van, amely nem közvetlen csatlakozón, nem IX-en, nem peering útvonalon érkezett.

De miért nincsenek helyi útvonalak az orosz távközlési szolgáltatók között???
Vannak, de prioritásuk "nem standard"!
Itt egy útvonal a Rosztelekomon keresztül (as12389):

  Path #1: Kapva a beszélőtől 0
  Nem hirdetve egyetlen partnernek sem
  12389 3216
    46.61.178.149-tól 46.61.178.149 (213.59.207.79)
      Eredet IGP, metric 500, localpref 199, érvényes, külső
      Kapott Path ID 0, Helyi Path ID 0, verzió 0
      Közösség: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Eredet-AS érvényesség: nem található

Itt a Megafonon keresztül (as31133):

  Path #2: Kapva a beszélőtől 0
  Nem hirdetve egyetlen partnernek sem
  31133 3216
    78.25.77.41-tól 78.25.77.41 (10.222.253.97)
      Eredet IGP, metric 500, localpref 199, érvényes, külső
      Kapott Path ID 0, Helyi Path ID 0, verzió 0
      Közösség: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Eredet-AS érvényesség: nem található

Itt a RETN.NET-en keresztül:

  Path #3: Kapva a beszélőtől 0
  Nem hirdetve egyetlen partnernek sem
  9002 9002 3216
    87.245.253.24-től 87.245.253.24 (87.245.225.1)
      Eredet IGP, metric 500, localpref 199, érvényes, külső
      Kapott Path ID 0, Helyi Path ID 0, verzió 0
      Közösség: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Eredet-AS érvényesség: nem található

És még az MTS-en keresztül is!

  Path #5: Kapva a beszélőtől 0
  Nem hirdetve egyetlen partnernek sem
  8359 3216
    212.188.61.105-től 212.188.61.105 (195.34.52.77)
      Eredet IGP, metric 500, localpref 199, érvényes, külső
      Kapott Path ID 0, Helyi Path ID 0, verzió 0
      Közösség: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Eredet-AS érvényesség: nem található

A localpref metrika az orosz útvonalakon alacsonyabb, tehát az útvonalak rosszabbak a külföldiekkel összehasonlítva!

Ezen kívül, a Mail.Ru Group részéről korlátozások állnak fenn a saját prefikszük terjesztésére a Vimpelcomon keresztül orosz szolgáltatók által!

RETN.NET (http://lg.retn.net/):
A Mail.RU Group bejelentésein a közösség 3216:65535 szerepel.
A LG RETN.NET kimeneteinet.0: 762737 cél, 1734826 útvonal (762708 aktív, 222780 holddown, 277 rejtett)
94.100.176.0/20 (1 bejegyzés, 1 bejelentett)
*BGP Preferencia: 170/-201
…
…
AS útvonal: 47764 I
AS útvonal: Rögzítve
Közösségek: 3216:65535 9002:64667 9002:65530
…

Az ilyen közösséggel megjelölt útvonalakat a Vimpelcom nem fogadja el a hálózatában. A RIPE DB kivonata az AS3216-ra:
... megjegyzések: A belső közösségek csak belsőleg vannak hozzárendelve. megjegyzések: Ezek a 3216:0000-3216:4999 és 3216:6000-3216:65535 tartományban találhatók. megjegyzések: és mindig törlésre kerülnek a bejövő frissítésekből a határon. megjegyzések: routerek. ...
A Rostelekom felé (http://lg.ip.rt.ru) a Mail.RU Group hasonló útvonalakat ad át a 12389:8350 közösséggel.
A LG Rostelekom kimenete94.100.176.0/20 a 217.107.65.1-en az eth0.9-en [sr2 2019-06-13] * (100/?) [AS47764i]
Típus: BGP unicast univ
BGP.eredet: IGP
BGP.as_ut: 47764
BGP.következő_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.közösség: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.eredeti_id: 213.59.207.78
BGP.clúster_list: 95.167.88.79 95.167.88.49 95.167.88.17

A RIPE DB nyilvántartása szerint az as12389 objektum esetében ez a közösség azt jelenti, hogy «ne hirdesd az as3216 hálózatban»:... megjegyzések: | 12389:835y AranyTelekom (AS3216) hirdetésekor | ... megjegyzések: | ...y=0 - ne hirdess ...
Hasonlóan a MTS felé (http://lg.mtu.ru):A LG MTS kimeneteBGP routing táblázat bejegyzése a 94.100.176.0/20-hoz, verzió 161717219
Útvonalak: (2 elérhető, legjobb #1, alapértelmezett táblázat)
Többpontos: eBGP
Hirdetve az update-csoportoknak:
6
47764, (fogadva & használt)
195.34.52.77 (metrika 16) a 195.34.52.181-től (195.34.52.181)
Eredet IGP, metrika 0, localpref 140, érvényes, belső, legjobb
Közösség: 8359:2120 8359:2150 8359:5500 8359:55277
Eredeti: 195.34.52.77, Clúster lista: 83.59.83.59
47764, (fogadva & használt)
195.34.52.77 (metrika 16) a 195.34.52.182-től (195.34.52.182)
Eredet IGP, metrika 0, localpref 140, érvényes, belső
Közösség: 8359:2120 8359:2150 8359:5500 8359:55277
Eredeti: 195.34.52.77, Clúster lista: 83.59.2.77

A közösség 8359:2120 azt jelenti:... megjegyzések: 8359:212x a Sovam (Beeline) bejelentésekor ... megjegyzések: x=0 - ne jelentsd be ...
A Mail.RU Group hirdetéseit a Megafon felé nem lehet megnézni — utóbbinak nincs Looking Glassa.

Nézzük meg az AS47541-et (VKONTAKTE-SPB-AS).

A kimenet túl nagy.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Az utolsó átváltás: 2018. április 5. 04:25:09: 1 év, 10 hét, 6 óra, 9 perc ezelőtt

2019. június 14. 10:34:20.791 MSK
BGP útválasztási táblázat bejegyzés 81.211.0.0/17
Verziók:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Utolsó Módosítás: 2019. május 21. 05:20:38.536 1y03w-hoz
Elérhető utak: (6, legjobb #4)
  Hirdetve az update-csoportoknak (több mint egy peer esetén):
    0.2 
  Hirdetve peer-eknek (egyedi update csoportokban):
    188.93.60.188   
  Út #1: Fogadva by speaker 0
  Nem hirdetve egyik peernek sem
  1299 1273 3216 3216
    87.240.191.235 (metrika 31) 87.240.191.235-tól (87.240.191.235)
      Eredet IGP, metrika 5000, helyi preferencia 150, érvényes, belső
      Fogadott Út ID 0, Helyi Út ID 0, verzió 0
      Közösség: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Út #2: Fogadva by speaker 0
  Nem hirdetve egyik peernek sem
  1299 1273 3216 3216
    87.240.191.248 (metrika 31) 87.240.191.248-tól (87.240.191.248)
      Eredet IGP, metrika 5000, helyi preferencia 150, érvényes, belső
      Fogadott Út ID 0, Helyi Út ID 0, verzió 0
      Közösség: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Út #3: Fogadva by speaker 0
  Nem hirdetve egyik peernek sem
  174 6762 3216 3216
    87.240.191.249 (metrika 31) 87.240.191.249-tól (87.240.191.249)
      Eredet IGP, metrika 5000, helyi preferencia 150, érvényes, belső
      Fogadott Út ID 0, Helyi Út ID 0, verzió 0
      Közösség: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Út #4: Fogadva by speaker 0
  Hirdetve az update-csoportoknak (több mint egy peer esetén):
    0.2 
  Hirdetve peer-eknek (egyedi update csoportokban):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 149.6.169.113-tól (38.28.1.236)
      Eredet IGP, metrika 5000, helyi preferencia 150, érvényes, külső, legjobb, csoport-legjobb
      Fogadott Út ID 0, Helyi Út ID 0, verzió 913059757
      Közösség: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Eredet-AS érvényesség: nem található
  Út #5: Fogadva by speaker 0
  Nem hirdetve egyik peernek sem
  1273 1273 3216 3216
    195.89.114.197 195.89.114.197-tól (195.2.1.107)
      Eredet IGP, metrika 5005, helyi preferencia 150, érvényes, külső
      Fogadott Út ID 0, Helyi Út ID 0, verzió 0
      Közösség: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Eredet-AS érvényesség: nem található
  Út #6: Fogadva by speaker 0
  Nem hirdetve egyik peernek sem
  3356 3356 3216 3216 3216
    213.242.69.69 213.242.69.69-tól (4.69.177.130)
      Eredet IGP, metrika 5000, helyi preferencia 150, érvényes, külső
      Fogadott Út ID 0, Helyi Út ID 0, verzió 0
      Közösség: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Eredet-AS érvényesség: nem található

Az AS-PATH jelzi az AS174-et — Cogent (Mail.RU uplink, Tier1), majd az AS6762-t — Telecom Italia (Vimpelcom uplink). A helyi preferencia mindenhol 150, de ez vonatkozik minden külső kapcsolatra, függetlenül attól, hogy a megírt politikákra.

Nézzük az AS47542-t (VKONTAKTE-MSK-CDN-AS).

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Közösségek: 
Elfogadva Legjobb

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Közösségek: 
Elfogadva
Inaktív-ok: Belső > Külső > Külső belsőn keresztül

És a második routerből:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Csak az alapértelmezett útvonalak (0.0.0.0/0). Ezt a helyzetet egy Mail.RU Group munkatársa magyarázta el. kapzsiság, ezért köszönet illeti őt. Röviden: a VKontakte moszkvai hálózati szegmense gyorsítótárazó (nem generáló), amelynek feladata a népszerű, keresett tartalom betöltési sebességének optimalizálása. Gondoskodás a felhasználókról, igen.

Ha nincs útvonal egy adott hálózához, az azt jelenti, hogy ezt a hálózatot nem szolgálják ki a gyorsítótárazó szerverek. Ezért a betöltési sebesség optimalizálása nem működik, és a felhasználók szenvednek. De itt fontos hangsúlyozni — a felhasználók nemcsak a sajátjaik, hanem a Vympelcomé is.

Következtetések:

A Vympelcom részéről a Mail.RU Group felé irányuló forgalom természetesen oszlik el. Mesterséges átirányításokat nem észleltek a Local Preference manipulációk révén.
A Mail.RU Group részéről észlelhetőek a Vympelcom prefixeivel kapcsolatos manipulációk.. A Vympelcom irányába lévő meglévő útvonalak prioritásai alacsonyabbak a külföldi Tier1 szolgáltatók irányelveivel összehasonlítva.
A Oroszországi szolgáltatóknak (MTS, Rostelekom, RETN.NET) továbbított útvonalak esetében a Mail.RU Group BGP közösségi vezérlőket adott hozzá a Vympelcom felé való terjedésük korlátozására.

Miért tartja a Mail.RU Group a tengeren át vezető útvonalakat prioritásosabbnak? Miért tiltanak a Mail.RU Group rövid belföldi kapcsolatokat a Vympelcommal?

Olcsóbb számukra? Forgatni a forgalmat a külföldi csatornákon és a tirvannak valutával fizetni?
Vagy van egy vágy arra, hogy a forgalmat messzebb terelje, hogy ne legyen olyan kényelmes megszerezni, mi?
Ez a hálózati mérnök számára ismeretlen...

Forrás: habr.com