🥇將企業衝突投射到網路連線上

將企業衝突投射到網路連線上
10.06.2019 年 XNUMX 月 XNUMX 日，由於 Mail.RU Group 向 VimpelCom 網路用戶發送簡訊的成本增加，引發了一場企業衝突。作為回應，Mail.RU Group 停止向 VimpelCom 網路「提供」直接俄羅斯 IP 通道。

以下從網路工程師的角度簡單分析一下狀況。

更新狀態: 14.06.2019/18/45 XNUMX:XNUMX - 強調通往 VimpelCom 網路的俄羅斯航線，更正結論，加入解釋 謝爾蓋·庫巴索夫（CIO VKontakte）.
更新狀態： 14.06.2019/19/48 XNUMX:XNUMX - 新增了一種方法的描述，用於限制通過 Rostelecom、MTS、RETN.NET 的「短」俄羅斯路線沿線的路線傳播。

簡介：
VimpelCom 有一個自治系統 AS3216，所有其他系統（8402 - 家庭互聯網，16345 - 行動互聯網）位於 3216 後面。

Mail.RU Group - 自治系統 AS47541、AS47542 和 AS47764。主要內容產生器是所謂的47542。 CDN VKONTAKTE（電影、音樂）。所有自治系統都是相互獨立的（從外部自治系統的角度來看）。

首先我們來看看VimpelCom網路的情況。為此，它將幫助我們窺視玻璃 Vimpelcom.

讓我們來看看第一個自治系統－AS47541。

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394342
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

AS-PATH 包含兩個自治系統 - 2914 (NTT) 和 47541 (VKONTAKTE-SPB-AS)。
localpref 度量設定為 87，根據物件 AS3216 的 RIPE DB 中的描述，該值對應於國際對等互連。

...
備註：國際同業航線獲得本地優先
備註：範圍81-89。
...

社區 3216:3000 和 3216:3103 也確認了相同的資訊（資料來源： AS3216 的 RIPE 資料庫):

...
備註：3216:3000 從國際上行或同業收到，具體為：
...
備註：3216:3103 AMS-IX
...

也就是說，VimpelCom 看到經由歐洲交界處到 VKontakte 的路線。

讓我們看看另一個 VKontakte 自治網絡 - 47542 (VKONTAKTE-MSK-CDN-AS)。

一切都一樣。

 2914 47541
    79.104.32.251 (metric 10500) (79.104.32.251)
      Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
      Received Path ID 0, Local Path ID 1, version 2865394338
      Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078

Mail.ru 本身怎麼樣？讓我們來看看 AS47764 (mailru-as)。

 3356 47764
    194.67.0.215 (metric 10501) (194.67.0.215)
      Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
      Received Path ID 0, Local Path ID 1, version 2867605667
      Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077

VimpelCom 透過 as3356（上行鏈路 Level3、Tier1 運營商）查看 Mail.ru。此資訊已由 localpref 77 確認：

...
備註：上行鏈路的路由獲得本地優先級，範圍為71-79。
備註：最後更新：2012 年 XNUMX 月…

和社區（3216:3000 和 3216:3007）：

...
備註：3216:3000 從國際上行或同業收到，具體為：
...
備註：3216:3007 3 級通信
...

從收到的資訊可以清楚地看出，從 VimpelCom 網路到 VKontakte 和 MailRu 的流量是根據透過 BGP 協定收到的路由通過歐洲路口進行分配的。在 Looking Glass 中沒有通過俄羅斯國內航線的替代路線。沒有發現任何措施可以人為地通過明顯更差的路線重新引導交通。

Mail.ru Group 如何看待 VimpelCom 的網絡？
讓我們充分利用麥洛夫的《鏡子》.

從 AS47764 (mailru-as) 的路由器：

  Path #6: Received by speaker 0
  Advertised to peers (in unique update groups):
    188.93.60.188   
  1299 1299 1273 3216 3216
    217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
      Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1172721494
      Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077

AS-PATH 包含 AS1299（Telia、Tier1 運營商、Mail.RU 上行鏈路）和 as1273（Vodafon、Tier1 運營商、VimpelCom 上行鏈路）。

LocalPreference 200 是 Mail.ru (https://net.mail.ru/bgp.html) 外部連接的標準，MED 500 對應於不是從直接連接、不是從 IX、不是從對等互連接收到的所有內容。

但為什麼沒有通過俄羅斯電信業者的本地路由？
它們是存在的，但它們的優先順序是“非標準”！
以下是經由 Rostelecom (as12389) 的路線：

  Path #1: Received by speaker 0
  Not advertised to any peer
  12389 3216
    46.61.178.149 from 46.61.178.149 (213.59.207.79)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
      Origin-AS validity: not-found

此處來自 Megafon (as31133)：

  Path #2: Received by speaker 0
  Not advertised to any peer
  31133 3216
    78.25.77.41 from 78.25.77.41 (10.222.253.97)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
      Origin-AS validity: not-found

此處來自 RETN.NET：

  Path #3: Received by speaker 0
  Not advertised to any peer
  9002 9002 3216
    87.245.253.24 from 87.245.253.24 (87.245.225.1)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
      Origin-AS validity: not-found

甚至透過 MTS！

  Path #5: Received by speaker 0
  Not advertised to any peer
  8359 3216
    212.188.61.105 from 212.188.61.105 (195.34.52.77)
      Origin IGP, metric 500, localpref 199, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
      Origin-AS validity: not-found

這些俄羅斯航線的 localpref 指標被低估了，也就是說，這些航線與國外航線相比更差！

另外， Mail.Ru 集團有禁令 透過俄羅斯運營商將您的前綴分配給 VimpelCom！

RETN.NET（http://lg.retn.net/）：
Mail.RU Group 的公告顯示社區 3216:65535。
從 LG RETN.NET 退出inet.0：762737 個目的地，1734826 個路線（762708 個活動，222780 個保留，277 個隱藏）
94.100.176.0/20（1 個條目，1 個已公佈）
*BGP 首選項：170/-201
...
...
AS路徑：47764我
AS路徑：已記錄
社區：3216:65535 9002:64667 9002:65530
...

VimpelCom 不接受其網路上由此類社群標記的路由。摘自 AS3216 上的 RIPE DB：
... remarks: Internal comminuties are assigned only internally. remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535 remarks: and are always deleted from incoming updates at the border remarks: routers. ...
在 Rostelecom (http://lg.ip.rt.ru) 方向，Mail.RU Group 提供了來自社區 12389:8350 的類似路線。
退出 LG Rostelecom94.100.176.0/20 通過 217.107.65.1 在 eth0.9 [sr2 2019-06-13] * (100/?) [AS47764i] 類型：BGP 單播 univ
BGP.起源：IGP
BGP.as_path：47764
BGP.next_hop：213.59.207.78
BGP.med: 0
BGP.local_pref：850
BGP.社區：(12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000.
BGP.originator_id：213.59.207.78
BGP.cluster_list：95.167.88.79 95.167.88.49 95.167.88.17

根據 as12389 物件的 RIPE DB 條目，該社群的意思是「不向 as3216 網路做廣告」：... remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) | ... remarks: | ...y=0 - do not advertise | ...
對於 MTS (http://lg.mtu.ru) 也是如此：從 LG MTS 退出94.100.176.0/20、版本 161717219 的 BGP 路由表條目
路徑：（2 個可用，最佳 #1，表預設）
多路徑：eBGP
發佈到更新群組：
6
47764，（已收到並使用）
195.34.52.77（公制 16）來自 195.34.52.181 (195.34.52.181)
原 IGP，指標 0，本地偏好 140，有效，內部，最佳
社區：8359:2120 8359:2150 8359:5500 8359:55277
發起者：195.34.52.77，群集清單：83.59.83.59
47764，（已收到並使用）
195.34.52.77（公制 16）來自 195.34.52.182 (195.34.52.182)
原始 IGP，度量 0，localpref 140，有效，內部
社區：8359:2120 8359:2150 8359:5500 8359:55277
發起者：195.34.52.77，群集清單：83.59.2.77

社區 8359:2120 的意思是：... remarks: 8359:212x when announcing to Sovam (Beeline) ... remarks: x=0 - do not announce ...
您無法按照 Megafon 的方向查看 Mail.RU Group 的公告 - 後者沒有 Looking Glass。

我們來看看 AS47541 (VKONTAKTE-SPB-AS)。

輸出太大了。

 Router: a9922-e-5
Command: show ip bgp 81.211.56.202


Last switch-over Thu Apr  5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago

Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker          913059757   913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  Path #1: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #2: Received by speaker 0
  Not advertised to any peer
  1299 1273 3216 3216
    87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
  Path #3: Received by speaker 0
  Not advertised to any peer
  174 6762 3216 3216
    87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
      Origin IGP, metric 5000, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
  Path #4: Received by speaker 0
  Advertised to update-groups (with more than one peer):
    0.2 
  Advertised to peers (in unique update groups):
    188.93.60.188   
  174 6762 3216 3216
    149.6.169.113 from 149.6.169.113 (38.28.1.236)
      Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
      Received Path ID 0, Local Path ID 0, version 913059757
      Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
      Origin-AS validity: not-found
  Path #5: Received by speaker 0
  Not advertised to any peer
  1273 1273 3216 3216
    195.89.114.197 from 195.89.114.197 (195.2.1.107)
      Origin IGP, metric 5005, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
      Origin-AS validity: not-found
  Path #6: Received by speaker 0
  Not advertised to any peer
  3356 3356 3216 3216 3216
    213.242.69.69 from 213.242.69.69 (4.69.177.130)
      Origin IGP, metric 5000, localpref 150, valid, external
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
      Origin-AS validity: not-found

AS-PATH 指向 AS174 - Cogent（Mail.RU 上行鏈路，Tier1），然後指向 AS6762 - Telecom Italia（VimpelCom 上行鏈路）。局部偏好在任何地方都是 150，但這適用於所有外部關節，無論書面政策.

讓我們來看看 AS47542 (VKONTAKTE-MSK-CDN-AS)。

 Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.222  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.251  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

從第二個路由器：

 Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202


0.0.0.0/0                LP:151       MED:        NH:87.240.191.224  AS path: 47541 I
Communities: 
Accepted Best

 
0.0.0.0/0                LP:151       MED:        NH:95.142.204.250  AS path: 47541 I
Communities: 
Accepted
Inactive-reason: Interior > Exterior > Exterior via Interior

僅預設路由 (0.0.0.0/0)。 Mail.RU集團的一名員工對這種情況進行了解釋貪婪，為此我感謝他。簡而言之：VKontakte 網路的莫斯科部分是一個快取（而不是生成）部分，其任務是優化流行、按需內容的載入速度。照顧用戶，是的。

如果沒有到某個網路的路由，則快取伺服器不會為該網路提供服務。這意味著下載速度優化不起作用，用戶會受到影響。但這裡要強調的是，使用者不只是我們自己，還有VimpelCom的使用者。

結論：

從 VimpelCom 出發，流向 Mail.RU Group 的流量是自然分配的。未偵測到透過本地偏好操作進行的人為重定向
Mail.RU Group 正在觀察使用 VimpelCom 前綴的操縱行為。與透過外國一級營運商的路由相比，透過俄羅斯營運商通往 VimpelCom 網路的現有路由的優先順序較低。
BGP 社群管理器已新增至由 Mail.RU Group 傳輸到俄羅斯營運商（MTS、Rostelecom、RETN.NET）的路由中，以限制其向 VimpelCom 的傳播

為什麼 Mail.RU Group 優先考慮經過歐洲的路線？為什麼 Mail.RU Group 禁止俄羅斯國內與 VimpelCom 進行短距離連接？

對他們來說便宜嗎？透過國外管道增加流量並用外幣支付給Tirvans？
或者是否希望將車流推得更遠，這樣接車就不那麼方便了，是嗎？
這對網路工程師來說是未知的...

來源： www.habr.com

將企業衝突投射到網路連線上

添加評論 取消回复

添加評論取消回复