Желі қосылымына корпоративтік қақтығыстың проекциясы

10.06.2019 жылдың XNUMX маусымында Mail.RU Group компаниясының VimpelCom желісінің пайдаланушыларына SMS жеткізу құнының өсуіне байланысты корпоративтік жанжал туындады. Жауап ретінде Mail.RU Group тікелей ресейлік IP арналарына VimpelCom желісіне «қызмет көрсетуді» тоқтатты.

Төменде желі инженері тұрғысынан жағдайдың қысқаша талдауы берілген.

Жаңарту: 14.06.2019 18:45 - VimpelCom желісіне ресейлік бағыттарға баса назар аударылды, қорытындылар түзетілді, түсініктеме қосылды Сергей Кубасов (ВКонтакте CIO).
Жаңарту: 14.06.2019 19:48 - Ростелеком, МТС, RETN.NET арқылы «қысқа» ресейлік бағыт бойынша маршруттардың таралуын шектеу әдісінің сипаттамасы қосылды.

Кіріспе:
VimpelCom-да AS3216 автономды жүйесі бар, қалғандарының барлығы (8402 – үйдегі интернет, 16345 – мобильді интернет) 3216-ның артында орналасқан.

Mail.RU Group - AS47541, AS47542 және AS47764 автономды жүйелері. Негізгі мазмұн генераторы 47542 деп аталады. CDN VKONTAKTE (фильмдер, музыка). Барлық автономды жүйелер бір-бірінен тәуелсіз (сыртқы автономды жүйе тұрғысынан).

Алдымен VimpelCom желісінен жағдайды қарастырайық. Бұл үшін ол бізге көмектеседі VimpelCom көзілдірігі.

Бірінші автономды жүйені қарастырайық - AS47541.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH құрамында екі автономды жүйе бар - 2914 (NTT) және 47541 (VKONTAKTE-SPB-AS).
Localpref метрикасы 87 мәніне орнатылған, ол AS3216 нысаны үшін RIPE DB сипаттамасына сәйкес халықаралық теңдестіруге сәйкес келеді.

...
ескертулер: Халықаралық теңдесті маршруттар жергілікті артықшылықты алады
ескертулер: диапазон 81-89.
...

Дәл осындай ақпаратты 3216:3000 және 3216:3103 қауымдастықтары растайды (көзі: AS3216 үшін RIPE DB):

...
ескертпелер: 3216:3000 Халықаралық жоғары байланыс немесе теңдесінен алынған, атап айтқанда:
...
ескертулер: 3216:3103 AMS-IX
...

Яғни, VimpelCom «ВКонтакте» желісін еуропалық торап арқылы көреді.

Басқа ВКонтакте желісін қарастырайық - 47542 (VKONTAKTE-MSK-CDN-AS).

Бәрі бірдей.

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Mail.ru-ның өзі ше? AS47764 (mailru-as) нұсқасын қарастырайық.

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

VimpelCom Mail.ru сайтын as3356 (жоғары байланыс Level3, Tier1 операторы) арқылы көреді. Бұл ақпаратты localpref 77 растайды:

...
ескертулер: Uplink бағыттары 71-79 диапазонында жергілікті артықшылықтарға ие болады.
ескертулер: Соңғы жаңарту: 2012 жылдың ақпаны…

және қауымдастық (3216:3000 және 3216:3007):

...
ескертпелер: 3216:3000 Халықаралық жоғары байланыс немесе теңдесінен алынған, атап айтқанда:
...
ескертулер: 3216:3007 3-деңгей Коммуникациялар
...

Алынған ақпараттан VimpelCom желісінен ВКонтакте мен MailRu-ға трафик BGP хаттамасы арқылы алынған маршруттар бойынша еуропалық түйіспелер арқылы таратылатыны анық. Looking Glass-та ішкі ресейлік байланыстар арқылы балама маршруттар жоқ. Әлбетте, нашар маршруттар арқылы қозғалысты жасанды түрде қайта бағыттау шаралары табылмады.

Mail.ru Group VimpelCom желісін қалай көреді?
Пайдаланайық Майловтың «Көз әйнек»..

AS47764 (mailru-as) маршрутизаторларынан:

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH құрамында AS1299 (Telia, Tier1 операторы, Mail.RU байланысы) және as1273 (Vodafon, Tier1 операторы, VimpelCom байланысы).

LocalPreference 200 Mail.ru сыртқы қосылымдарының стандарты болып табылады (https://net.mail.ru/bgp.html), ал MED 500 IX-тен емес, пирингтерден емес, тікелей қосылымнан алынбайтынның барлығына сәйкес келеді. .

Бірақ неге ресейлік байланыс операторлары арқылы жергілікті маршруттар жоқ???
Олар бар, бірақ олардың басымдығы «стандартты емес»!
Міне, Ростелеком арқылы маршрут (as12389):

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

Мұнда Megafon (as31133) арқылы:

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

Мұнда RETN.NET арқылы:

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

Тіпті МТС арқылы!

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

Бұл ресейлік бағыттар үшін localpref метрикасы бағаланбаған, яғни маршруттар шетелдіктермен салыстырғанда нашар!

Сонымен қатар, Mail.Ru Group тарапынан тыйымдар бар ресейлік операторлар арқылы VimpelCom компаниясына префикстеріңізді тарату!

RETN.NET (http://lg.retn.net/):
Mail.RU Group хабарландырулары қауымдастық 3216:65535 көрсетеді.
LG RETN.NET сайтынан шығуinet.0: 762737 бағыт, 1734826 бағыт (762708 белсенді, 222780 ұстау, 277 жасырын)
94.100.176.0/20 (1 жазба, 1 жарияланды)
*BGP артықшылығы: 170/-201
...
...
AS жолы: 47764 I
AS жолы: жазылған
Қауымдастықтар: 3216:65535 9002:64667 9002:65530
...

Vimpelcom өз желісінде мұндай қауымдастық белгілеген маршруттарды қабылдамайды. AS3216 бойынша RIPE DB үзіндісі:
...
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
Ростелеком (http://lg.ip.rt.ru) бағытында Mail.RU Group 12389:8350 қауымдастығының ұқсас бағыттарын береді.
LG Ростелекомның қорытындысыeth0.9 [sr2 2019-06-13] * (100/?) [AS47764i] құрылғысындағы 217.107.65.1 арқылы 94.100.176.0/20
Түрі: BGP бірыңғай тарату құрылғысы
BGP.шығу: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.бірлестігі: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17

as12389 нысанына арналған RIPE DB жазбаларына сәйкес, бұл қауымдастық «as3216 желісіне жарнамаламау» дегенді білдіреді:...
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
...
remarks: | ...y=0 - do not advertise |
...
Сол сияқты МТС (http://lg.mtu.ru):LG MTS-тен шығу94.100.176.0/20 үшін BGP маршруттау кестесінің жазбасы, 161717219 нұсқасы
Жолдар: (2 қолжетімді, ең жақсы №1, кесте әдепкі)
Көп жол: eBGP
Жаңарту топтарына жарияланған:
6
47764, (алынған және пайдаланылған)
195.34.52.77 (16-метрика) 195.34.52.181 (195.34.52.181)
Түпнұсқа IGP, метрика 0, localpref 140, жарамды, ішкі, ең жақсы
Қауымдастық: 8359:2120 8359:2150 8359:5500 8359:55277
Оригинатор: 195.34.52.77, Кластер тізімі: 83.59.83.59
47764, (алынған және пайдаланылған)
195.34.52.77 (16-метрика) 195.34.52.182 (195.34.52.182)
Түпнұсқа IGP, метрика 0, localpref 140, жарамды, ішкі
Қауымдастық: 8359:2120 8359:2150 8359:5500 8359:55277
Оригинатор: 195.34.52.77, Кластер тізімі: 83.59.2.77

Қауымдастық 8359:2120 мынаны білдіреді:...
remarks: 8359:212x when announcing to Sovam (Beeline)
...
remarks: x=0 - do not announce
...
Сіз Megafon бағыты бойынша Mail.RU Group хабарландыруларына қарай алмайсыз - соңғысында Looking Glass жоқ.

AS47541 (VKONTAKTE-SPB-AS) нұсқасын қарастырайық.

Шығару тым үлкен.

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH AS174 - Cogent (Mail.RU uplink, Tier1), содан кейін AS6762 - Telecom Italia (VimpelCom uplink) көрсетеді. Жергілікті артықшылық барлық жерде 150, бірақ бұл барлық сыртқы буындарға қатысты, қарамастан жазбаша саясаттар.

AS47542 (VKONTAKTE-MSK-CDN-AS) нұсқасын қарастырайық.

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Ал екінші маршрутизатордан:

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

Тек әдепкі бағыттар (0.0.0.0/0). Бұл жағдайды Mail.RU Group қызметкері түсіндірді сараңдық, бұл үшін мен оған алғыс айтамын. Қысқаша айтқанда: ВКонтакте желісінің Мәскеу сегменті - бұл кэштеу (генерацияланбайтын) сегмент, оның міндеті танымал, сұранысқа ие мазмұнды жүктеу жылдамдығын оңтайландыру болып табылады. Пайдаланушыларға қамқорлық, иә.

Егер белгілі бір желіге маршрут болмаса, онда бұл желі серверлерді кэштеу арқылы қызмет көрсетпейді. Бұл жүктеу жылдамдығын оңтайландыру жұмыс істемейді және пайдаланушылар зардап шегеді. Бірақ бұл жерде пайдаланушылар тек біздің ғана емес, сонымен қатар VimpelCom компаниясының пайдаланушылары екенін атап өту керек.

Қорытынды:

1. VimpelCom компаниясынан Mail.RU Group бағытына трафик табиғи түрде бөлінеді. Жергілікті басымдылық манипуляциялары арқылы ешқандай жасанды қайта бағыттаулар анықталмады
2. Mail.RU Group VimpelCom префикстерімен манипуляцияларды бақылайды. Ресейлік операторлар арқылы VimpelCom желісіне баратын қолданыстағы бағыттар шетелдік Tier1 операторлары арқылы өтетін бағыттармен салыстырғанда төмен басымдыққа ие.
3. BGP қауымдастығының менеджерлері Mail.RU Group ресейлік операторларға (МТС, Ростелеком, RETN.NET) жіберілетін маршруттарға олардың VimpelCom компаниясына таралуын шектеу үшін қосылды.

Mail.RU тобы неліктен Еуропа арқылы өтетін бағыттарға басымдық береді? Неліктен Mail.RU Group VimpelCom компаниясымен қысқа ресейлік байланыстарға тыйым салады?

Оларға арзанырақ па? Шетелдік арналар арқылы трафикті жүргізіп, тирвандарға шетел валютасымен төлейсіз бе?
Немесе трафикті одан әрі жылжытқыңыз келеді, сондықтан оны алу соншалықты ыңғайлы емес, иә?
Бұл желі инженеріне белгісіз...

Ақпарат көзі: www.habr.com