
Një konflikt korporativ ka lindur më 10.06.2019 për shkak të rritjes së kostos së dërgimit të SMS-ve për përdoruesit e rrjetit Vimpelcom nga Mail.RU Group. Si masë kundër, Mail.RU Group ndaloi "shërbimin" e kanaleve të drejtpërdrejta IP-ruse drejt rrjetit Vimpelcom.
Më poshtë është një analizë e shkurtër e situatës nga këndvështrimi i një inxhinieri të rrjetit.
Update: 14.06.2019 18:45 â theksi nĂ« rrugĂ«t ruse nĂ« drejtim tĂ« rrjetit Vimpelcom, janĂ« korrigjuar pĂ«rfundimet, Ă«shtĂ« shtuar njĂ« shpjegim. Serghei Kubasov (CIO Vkontakte).
Update: 14.06.2019 19:48 â Ă«shtĂ« shtuar njĂ« pĂ«rshkrim i mĂ«nyrĂ«s sĂ« kufizimit tĂ« shpĂ«rndarjes sĂ« rrugĂ«ve pĂ«rmes "rrugĂ«s" ruse tĂ« shkurtĂ«r pĂ«rmes Rostelecom, MTS, RETN.NET.
Hyrjet:
Vimpelcom ka njĂ« sistem autonom AS3216, tĂ« gjitha tĂ« tjerat (8402 â interneti shtĂ«piak, 16345 â interneti mobil) janĂ« tĂ« vendosura pas 3216.
Mail.RU Group â sistemet autonomĂ« AS47541, AS47542 dhe AS47764. Gjeneratori kryesor i pĂ«rmbajtjes Ă«shtĂ« 47542, e njohur si CDN VKONTAKTE (filma, muzikĂ«). TĂ« gjitha sistemet autonome janĂ« tĂ« pavarura nga njĂ«ra-tjetra (nĂ« pozitat e njĂ« sistemi autonom tĂ« jashtĂ«m).
Fillimisht do të shikojmë situatën nga këndvështrimi i rrjetit Vimpelcom. Për këtë na ndihmon .
ShikojmĂ« sistemin e parĂ« autonom â AS47541.
2914 47541
79.104.32.251 (metric 10500) (79.104.32.251)
Origjin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
Marrë Mënyra ID 0, Mënyra Lokale ID 1, version 2865394342
Komuniteti: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078 AS-PATH pĂ«rmban dy sisteme autonome â 2914 (NTT) dhe 47541 (VKONTAKTE-SPB-AS).
Metrika localpref është vendosur në 87, që sipas përshkrimit në RIPE DB për objektin AS3216 përkon me ndarjen ndërkombëtare.
âŠ
remarks: Rrugët e partnerëve ndërkombëtarë marrin preferencë lokale në
remarks: diapazonin 81-89.
âŠ
Kjo informacion e konfirmojnĂ« dhe komunitetet 3216:3000 dhe 3216:3103 (burimi â ):
âŠ
remarks: 3216:3000 Marrë nga një uplink ose partner ndërkombëtar, konkretisht:
âŠ
remarks: 3216:3103 AMS-IX
âŠ
Pra, rruga drejt VKontakte Vimpelcom e sheh përmes nyjes evropiane.
Le tĂ« shikojmĂ« njĂ« tjetĂ«r autonom tĂ« Vkontakte â 47542 (VKONTAKTE-MSK-CDN-AS).
E gjitha është e ngjashme.
2914 47541
79.104.32.251 (metric 10500) (79.104.32.251)
Origjin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
Marrë Mënyra ID 0, Mënyra Lokale ID 1, version 2865394338
Komuniteti: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078Si është situata vetë me Mail.ru? Le të shikojmë në AS47764 (mailru-as).
3356 47764
194.67.0.215 (metric 10501) (194.67.0.215)
Origjin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
Marrë Mënyra ID 0, Mënyra Lokale ID 1, version 2867605667
Komuniteti: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 Vimpelcom e sheh Mail.ru përmes as3356 (uplink Level3, operator Tier1). Kjo informacion konfirmohet dhe localpref 77:
âŠ
remarks: Rrugët e Uplink kanë preferencë lokale në intervalin 71-79.
remarks: Përditësimi i fundit: Shkurt 2012...
dhe komuniteti (3216:3000 dhe 3216:3007):
âŠ
remarks: 3216:3000 Marrë nga një uplink ose partner ndërkombëtar, konkretisht:
âŠ
remarks: 3216:3007 Level 3 Communications
âŠ
Nga informacioni i marrë, duket se trafiku nga rrjeti Vimpelcom në VKontakte dhe MailRu shpërndahet përmes nyjeve evropiane sipas rrugëve që janë marrë përmes protokollit BGP. Nuk ka rrugë alternative përmes nyjeve brenda Rusisë në Looking Glass. Nuk janë gjetur masa për ridrejtimin artificiaal të trafikut përmes rrugëve qartësisht më të këqija.
Por si e sheh Mail.ru Group rrjetin e Vimpelcomit?
Le të përdorim .
Nga routerët e AS47764 (mailru-as):
Path #6: Marrë nga folësi 0
Reklamuar te partnerët (në grupe unike përditësimi):
188.93.60.188
1299 1299 1273 3216 3216
217.20.147.250 (metrik 100) nga 217.20.147.250 (217.20.147.253)
Origjina IGP, metrika 500, localpref 200, e vlefshme, e brendshme, më e mira, më e mira në grup
Marrë ID Rruga 0, ID Rruga Lokale 0, version 1172721494
Komuniteti: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077AS-PATH përmban AS1299 (Telia, operator Tier1, uplink Mail.RU) dhe as1273 (Vodafon, operator Tier1, uplink Vimpelcom).
LocalPreference 200 â standardi pĂ«r nyjet e jashtme tĂ« Mail.ru (https://net.mail.ru/bgp.html), dhe MED 500 i korrespondon gjithçkaje qĂ« nuk Ă«shtĂ« marrĂ« nga nyja direkte, jo nga IX-Ă«t, jo nga peering.
Por pse nuk ka rrugë lokale përmes operatorëve rusë të komunikimit???
Ka, por përparësia e tyre është "jostandardizuar"!
Këtu është rruga përmes Rostelekom (as12389):
Path #1: Marrë nga folësi 0
Nuk është reklamuar te asnjë partner
12389 3216
46.61.178.149 nga 46.61.178.149 (213.59.207.79)
Origjina IGP, metrika 500, localpref 199, e vlefshme, e jashtme
Marrë ID Rruga 0, ID Rruga Lokale 0, version 0
Komuniteti: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
Validiteti i Origjinës-AS: nuk u gjetJa përmes MegaFon (as31133):
Path #2: Marrë nga folësi 0
Nuk është reklamuar te asnjë partner
31133 3216
78.25.77.41 nga 78.25.77.41 (10.222.253.97)
Origjina IGP, metrika 500, localpref 199, e vlefshme, e jashtme
Marrë ID Rruga 0, ID Rruga Lokale 0, version 0
Komuniteti: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
Validiteti i Origjinës-AS: nuk u gjetJa përmes RETN.NET:
Path #3: Marrë nga folësi 0
Nuk është reklamuar te asnjë partner
9002 9002 3216
87.245.253.24 nga 87.245.253.24 (87.245.225.1)
Origjina IGP, metrika 500, localpref 199, e vlefshme, e jashtme
Marrë ID Rruga 0, ID Rruga Lokale 0, version 0
Komuniteti: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
Validiteti i Origjinës-AS: nuk u gjetDhe madje përmes MTS!
Path #5: Marrë nga folësi 0
Nuk është reklamuar te asnjë partner
8359 3216
212.188.61.105 nga 212.188.61.105 (195.34.52.77)
Origjina IGP, metrika 500, localpref 199, e vlefshme, e jashtme
Marrë ID Rruga 0, ID Rruga Lokale 0, version 0
Komuniteti: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
Validiteti i Origjinës-AS: nuk u gjetMetrika localpref në këto rrugë ruse është e ulët, dmth rrugët janë përkeqësuar në krahasim me ato ndërkombëtare!
Për më tepër, nga Mail.Ru Group ka ndalime të përhapjes së prefikseve të saj në Vimpelcom përmes operatorëve rusë!
RETN.NET (http://lg.retn.net/):
Në njoftimet nga Mail.RU Group qëndron komuniteti 3216:65535.
Dalja nga LG RETN.NETinet.0: 762737 destinacione, 1734826 rrugë (762708 aktive, 222780 në mbajtje, 277 të fshehura)
94.100.176.0/20 (1 hyrje, 1 e njoftuar)
*BGP Preference: 170/-201
âŠ
âŠ
AS path: 47764 I
AS path: E regjistruar
Komunitetet: 3216:65535 9002:64667 9002:65530
âŠ
Rrugët e markeduar me këtë komunitet Vimpelcom nuk i pranon në rrjetin e saj. Një përmbledhje nga RIPE DB për AS3216:
...
shënime: Komunitetet e brendshme janë caktuar vetëm brenda.
shënime: Ato janë në intervalin 3216:0000-3216:4999 dhe 3216:6000-3216:65535.
shënime: dhe gjithmonë fshihen nga përditësimet e ardhshme në kufi.
shënime: routerët.
...
Në drejtim të Rostelecom (http://lg.ip.rt.ru) Mail.RU Group jep rrugë të ngjashme me komunitetin 12389:8350.
Dalja nga LG Rostelekom94.100.176.0/20 përmes 217.107.65.1 në eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i]
Tipi: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
Sipas regjistrimeve në RIPE DB për objektin as12389 ky komunitet do të thotë «mos njofto në rrjetin as3216»:...
shënime: | 12389:835y Kur reklamot për GoldenTelecom (AS3216) |
...
shënime: | ...y=0 - mos reklamoni |
...
Po ashtu në drejtim të MTS (http://lg.mtu.ru):Dalja nga LG MTSBGP routing table entry për 94.100.176.0/20, versione 161717219
Paths: (2 të disponueshme, më e mira #1, tabela e paracaktuar)
Multipath: eBGP
Njoftuar për grupet e përditësimit:
6
47764, (pranuar & përdorur)
195.34.52.77 (metrika 16) nga 195.34.52.181 (195.34.52.181)
Origjina IGP, metrika 0, localpref 140, e vlefshme, e brendshme, më e mira
Komuniteti: 8359:2120 8359:2150 8359:5500 8359:55277
Origjinatori: 195.34.52.77, lista e grupeve: 83.59.83.59
47764, (pranuar & përdorur)
195.34.52.77 (metrika 16) nga 195.34.52.182 (195.34.52.182)
Origjina IGP, metrika 0, localpref 140, e vlefshme, e brendshme
Komuniteti: 8359:2120 8359:2150 8359:5500 8359:55277
Origjinatori: 195.34.52.77, lista e grupeve: 83.59.2.77
Komuniteti 8359:2120 do të thotë:...
vërejtje: 8359:212x kur njoftoni në Sovam (Beeline)
...
vërejtje: x=0 - mos njoftoni
...
Nuk mund tĂ« shikojmĂ« njoftimet e Mail.RU Group nĂ« drejtim tĂ« MegaFon â i fundit nuk ka Looking Glass.
Le të shohim AS47541 (VKONTAKTE-SPB-AS).
Dalja është shumë e madhe.
Router: a9922-e-5
Command: show ip bgp 81.211.56.202
Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago
Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
Process bRIB/RIB SendTblVer
Speaker 913059757 913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
Advertised to update-groups (with more than one peer):
0.2
Advertised to peers (in unique update groups):
188.93.60.188
Path #1: Received by speaker 0
Not advertised to any peer
1299 1273 3216 3216
87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
Origin IGP, metric 5000, localpref 150, valid, internal
Received Path ID 0, Local Path ID 0, version 0
Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
Path #2: Received by speaker 0
Not advertised to any peer
1299 1273 3216 3216
87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
Origin IGP, metric 5000, localpref 150, valid, internal
Received Path ID 0, Local Path ID 0, version 0
Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
Path #3: Received by speaker 0
Not advertised to any peer
174 6762 3216 3216
87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
Origin IGP, metric 5000, localpref 150, valid, internal
Received Path ID 0, Local Path ID 0, version 0
Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
Path #4: Received by speaker 0
Advertised to update-groups (with more than one peer):
0.2
Advertised to peers (in unique update groups):
188.93.60.188
174 6762 3216 3216
149.6.169.113 from 149.6.169.113 (38.28.1.236)
Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
Received Path ID 0, Local Path ID 0, version 913059757
Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
Origin-AS validity: not-found
Path #5: Received by speaker 0
Not advertised to any peer
1273 1273 3216 3216
195.89.114.197 from 195.89.114.197 (195.2.1.107)
Origin IGP, metric 5005, localpref 150, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
Origin-AS validity: not-found
Path #6: Received by speaker 0
Not advertised to any peer
3356 3356 3216 3216 3216
213.242.69.69 from 213.242.69.69 (4.69.177.130)
Origin IGP, metric 5000, localpref 150, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
Origin-AS validity: not-foundAS-PATH tregon AS174 â Cogent (aplink Mail.RU, Tier1), mĂ« pas AS6762 â Telecom Italia (aplink Vimpelcom). Preferenca lokale kudo 150, por kĂ«shtu nĂ« tĂ« gjitha lidhjet e jashtme, pavarĂ«sisht nga .
Le të shohim AS47542 (VKONTAKTE-MSK-CDN-AS).
Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202
0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I
Communities:
Accepted Best
0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I
Communities:
Accepted
Inactive-reason: Interior > Exterior > Exterior via InteriorDhe nga routeri i dytë:
Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202
0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I
Communities:
Accepted Best
0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I
Communities:
Accepted
Inactive-reason: Interior > Exterior > Exterior via InteriorVetëm rrugët e paracaktuara (0.0.0.0/0). Këtë situatë e shpjegoi një punonjës i Mail.RU Group , për të cilin i japim falënderime. Në mënyrë të shkurtër: segmenti i Moskës të rrjetit VKontakte është një server në kujtesë (dhe jo një gjenerues), detyra e të cilit është optimizimi i shpejtësisë së ngarkesës së përmbajtjes popullore. Kujdesi për përdoruesit, po.
NĂ«se nuk ka njĂ« rrugĂ« pĂ«r njĂ« rrjet tĂ« caktuar, kjo do tĂ« thotĂ« se ky rrjet nuk mbulohet nga serverĂ«t nĂ« kujtesĂ«. Pra, optimizimi i shpejtĂ«sisĂ« sĂ« ngarkesĂ«s nuk funksionon dhe pĂ«rdoruesit vuajnĂ«. Por kĂ«tu duhet theksuar â pĂ«rdoruesit jo vetĂ«m tĂ« vetit, por edhe tĂ« Vimpelcom.
Konkluzione:
- Nga ana e Vimpelcom, trafiku drejt Mail.RU Group shpërndahet natyrshëm. Nuk janë zbuluar redirectime artificiale përmes manipulimeve të Preferencës Lokale.
- Nga ana e Mail.RU Group vihen re manipulime me prefiksat e Vimpelcom.. Për rrugët ekzistuese drejt rrjetit të Vimpelcom përmes operatorëve rusë, prioritetet janë ulur në krahasim me rrugët përmes operatorëve të huaj Tier1.
- Për rrugët që iu dërgohen operatorëve rusë (MTS, Rostelecom, RETN.NET) nga Mail.RU Group janë shtuar komunitetet menaxhuese BGP për të kufizuar shpërndarjen e tyre drejt Vimpelcom.
Pse Mail.RU Group vendos rrugët përmes Evropës si më të privilegjuara? Pse Mail.RU Group ndalon lidhshmërinë e brendshme të shkurtër me Vimpelcom?
A është kështu më lirë? Të kalosh trafikun përmes kanaleve të huaja dhe të paguash tirvanët me monedhë?
Ose ka një dëshirë për ta dërguar trafikun sa më larg, që të mos e ketë të lehtë për ta tërheqin, a?
Kjo nuk i dihet inxhinierit tĂ« rrjetitâŠ
Burimi: habr.com
