🥇将企业冲突投射到网络连接上

将企业冲突投射到网络连接上
10.06.2019 年 XNUMX 月 XNUMX 日，由于 Mail.RU Group 向 VimpelCom 网络用户发送短信的成本增加，引发了一场企业冲突。作为回应，Mail.RU Group 停止向 VimpelCom 网络“提供”直接俄罗斯 IP 通道。

下面从网络工程师的角度简单分析一下情况。

更新: 14.06.2019/18/45 XNUMX:XNUMX - 强调通往 VimpelCom 网络的俄罗斯航线，更正结论，添加解释 谢尔盖·库巴索夫（CIO VKontakte）.
更新： 14.06.2019/19/48 XNUMX:XNUMX - 添加了一种方法的描述，用于限制通过 Rostelecom、MTS、RETN.NET 的“短”俄罗斯路线沿线的路线传播。

简介：
VimpelCom 有一个自治系统 AS3216，所有其他系统（8402 - 家庭互联网，16345 - 移动互联网）位于 3216 后面。

Mail.RU Group - 自治系统 AS47541、AS47542 和 AS47764。主要内容生成器是所谓的47542。 CDN VKONTAKTE（电影、音乐）。所有自治系统都是相互独立的（从外部自治系统的角度来看）。

首先我们来看一下VimpelCom网络的情况。为此，它将帮助我们窥视玻璃 Vimpelcom.

让我们看看第一个自治系统——AS47541。

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH 包含两个自治系统 - 2914 (NTT) 和 47541 (VKONTAKTE-SPB-AS)。
localpref 度量设置为 87，根据对象 AS3216 的 RIPE DB 中的描述，该值对应于国际对等互连。

...
备注：国际同行航线获得本地优先
备注：范围81-89。
...

社区 3216:3000 和 3216:3103 也确认了相同的信息（来源： AS3216 的 RIPE 数据库):

...
备注：3216:3000 从国际上行链路或同行收到，具体为：
...
备注：3216:3103 AMS-IX
...

也就是说，VimpelCom 看到通过欧洲交界处到 VKontakte 的路线。

让我们看看另一个 VKontakte 网络 - 47542 (VKONTAKTE-MSK-CDN-AS)。

一切都一样。

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Mail.ru 本身怎么样？让我们看看 AS47764 (mailru-as)。

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom 通过 as3356（上行链路 Level3、Tier1 运营商）查看 Mail.ru。此信息已由 localpref 77 确认：

...
备注：上行链路的路由获得本地优先级，范围为71-79。
备注：最后更新：2012 年 XNUMX 月……

和社区（3216:3000 和 3216:3007）：

...
备注：3216:3000 从国际上行链路或同行收到，具体为：
...
备注：3216:3007 3 级通信
...

从收到的信息可以清楚地看出，从 VimpelCom 网络到 VKontakte 和 MailRu 的流量是根据通过 BGP 协议收到的路由通过欧洲路口进行分配的。在 Looking Glass 中没有通过俄罗斯国内航线的替代路线。没有发现任何措施可以人为地通过明显更差的路线重新引导交通。

Mail.ru Group 如何看待 VimpelCom 的网络？
让我们使用麦洛夫的《镜子》.

从 AS47764 (mailru-as) 的路由器：

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH 包含 AS1299（Telia、Tier1 运营商、Mail.RU 上行链路）和 as1273（Vodafon、Tier1 运营商、VimpelCom 上行链路）。

LocalPreference 200 是 Mail.ru (https://net.mail.ru/bgp.html) 外部连接的标准，MED 500 对应于不是从直接连接、不是从 IX、不是从对等互连接收到的所有内容。

但为什么没有通过俄罗斯电信运营商的本地路由？？？
它们是存在的，但它们的优先级是“非标准”！
以下是通过 Rostelecom (as12389) 的路线：

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

此处来自 Megafon (as31133)：

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

此处来自 RETN.NET：

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

甚至通过 MTS！

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

这些俄罗斯航线的 localpref 指标被低估了，也就是说，这些航线与国外航线相比更差！

另外， Mail.Ru 集团有禁令 通过俄罗斯运营商将您的前缀分配给 VimpelCom！

RETN.NET（http://lg.retn.net/）：
Mail.RU Group 的公告显示社区 3216:65535。
从 LG RETN.NET 退出inet.0：762737 个目的地，1734826 个路线（762708 个活动，222780 个保留，277 个隐藏）
94.100.176.0/20（1 个条目，1 个已公布）
*BGP 首选项：170/-201
...
...
AS路径：47764我
AS路径：已记录
社区：3216:65535 9002:64667 9002:65530
...

VimpelCom 不接受其网络上由此类社区标记的路由。摘自 AS3216 上的 RIPE DB：
... remarks: Internal comminuties are assigned only internally. remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535 remarks: and are always deleted from incoming updates at the border remarks: routers. ...
在 Rostelecom (http://lg.ip.rt.ru) 方向，Mail.RU Group 提供了来自社区 12389:8350 的类似路线。
退出 LG Rostelecom94.100.176.0/20 通过 217.107.65.1 在 eth0.9 上 [sr2 2019-06-13] * (100/?) [AS47764i]
类型：BGP 单播
BGP.起源：IGP
BGP.as_path：47764
BGP.next_hop：213.59.207.78
BGP.med： 0
BGP.local_pref：850
BGP.社区：(12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id：213.59.207.78
BGP.cluster_list：95.167.88.79 95.167.88.49 95.167.88.17

根据 as12389 对象的 RIPE DB 条目，该社区的意思是“不向 as3216 网络做广告”：... remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) | ... remarks: | ...y=0 - do not advertise | ...
对于 MTS (http://lg.mtu.ru) 也是如此：从 LG MTS 退出94.100.176.0/20、版本 161717219 的 BGP 路由表条目
路径：（2 个可用，最佳 #1，表默认）
多路径：eBGP
发布到更新组：
6
47764，（已收到并使用）
195.34.52.77（公制 16）来自 195.34.52.181 (195.34.52.181)
原始 IGP，指标 0，本地偏好 140，有效，内部，最佳
社区：8359:2120 8359:2150 8359:5500 8359:55277
发起者：195.34.52.77，集群列表：83.59.83.59
47764，（已收到并使用）
195.34.52.77（公制 16）来自 195.34.52.182 (195.34.52.182)
原始 IGP，度量 0，localpref 140，有效，内部
社区：8359:2120 8359:2150 8359:5500 8359:55277
发起者：195.34.52.77，集群列表：83.59.2.77

社区 8359:2120 的含义是：... remarks: 8359:212x when announcing to Sovam (Beeline) ... remarks: x=0 - do not announce ...
您无法按照 Megafon 的方向查看 Mail.RU Group 的公告 - 后者没有 Looking Glass。

我们来看看 AS47541 (VKONTAKTE-SPB-AS)。

输出太大了。

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH 指向 AS174 - Cogent（Mail.RU 上行链路，Tier1），然后指向 AS6762 - Telecom Italia（VimpelCom 上行链路）。局部偏好在任何地方都是 150，但这适用于所有外部关节，无论书面政策.

我们来看看 AS47542 (VKONTAKTE-MSK-CDN-AS)。

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

从第二个路由器：

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

仅默认路由 (0.0.0.0/0)。 Mail.RU集团的一名员工对这种情况进行了解释贪婪，为此我感谢他。简而言之：VKontakte 网络的莫斯科部分是一个缓存（而不是生成）部分，其任务是优化流行、按需内容的加载速度。照顾用户，是的。

如果没有到某个网络的路由，则缓存服务器不会为该网络提供服务。这意味着下载速度优化不起作用，用户会受到影响。但这里需要强调的是，用户不仅仅是我们自己，还有VimpelCom的用户。

结论：

从 VimpelCom 出发，流向 Mail.RU Group 的流量是自然分配的。未检测到通过本地偏好操作进行的人为重定向
Mail.RU Group 正在观察使用 VimpelCom 前缀的操纵行为。与通过外国一级运营商的路由相比，通过俄罗斯运营商通往 VimpelCom 网络的现有路由的优先级较低。
BGP 社区管理器已添加到由 Mail.RU Group 传输到俄罗斯运营商（MTS、Rostelecom、RETN.NET）的路由中，以限制其向 VimpelCom 的传播

为什么 Mail.RU Group 优先考虑经过欧洲的路线？为什么 Mail.RU Group 禁止俄罗斯国内与 VimpelCom 进行短距离连接？

对他们来说便宜吗？通过国外渠道增加流量并用外币支付给Tirvans？
或者是否希望将车流推得更远，这样接车就不那么方便了，是吗？
这对于网络工程师来说是未知的......

来源： habr.com