我敢肯定，所有 Habr 讀者都至少曾經在國外的在線商店訂購過商品，然後去俄羅斯郵局接收包裹。 您能想像在組織後勤方面這項任務的規模嗎？ 將買家數量乘以購買數量，想像一下我們幅員遼闊的國家的地圖，上面有 40 萬多個郵局……順便說一下，2018 年，俄羅斯郵政處理了 345 億個國際包裹。
在本文中，我們將告訴您郵政面臨的問題以及 LANIT-Integration 團隊如何解決這些問題，為數據中心創建新的 IT 基礎架構。
俄羅斯郵政現代化物流中心之一
項目前
由於來自中國、西歐和北美的外國商店的包裹數量急劇增加，俄羅斯郵政物流設施的負荷增加。 因此，建立了新一代的物流中心，使用大容量分揀機。 它們需要計算基礎設施的支持。
數據中心基礎設施已經過時，無法為企業信息系統的運行提供必要的性能和可靠性。 此外，俄羅斯郵政缺乏推出新服務的計算能力。
客戶數據中心及其問題
俄羅斯郵政數據中心服務於 40 多個對象，000 個地區辦事處。 包括電子商務服務在內的數十種全天候業務服務在數據中心運行。
今天，企業已經使用系統來存儲、分析和處理大數據。 對於此類系統，人工智能和機器學習算法的使用起著重要作用。 迄今為止，企業最重要的案例之一是物流流程管理的優化和郵局客戶服務的加速。
升級項目啟動前，主備數據中心約有3000台虛擬機，存儲信息量超過2PB。 數據中心有一個複雜的流量路由結構，與根據安全級別劃分為不同的部分相關聯。
隨著應用的發展和新業務的推出，數據中心網絡設備現有的帶寬已經變得不足。 需要過渡到具有新速度的接口：10 Gb / s，而不是 1 Gb / s 的訪問速度和 40 Gb / s 的核心級別，具有設備和通信通道的完全冗餘。
信息安全部門要求將基礎設施劃分為流量和應用程序信息安全級別較高的部分（PN - 專用網絡和 DMZ - 非軍事區）。 防火牆 (ITU) 通過了不需要過濾的流量。 交換機上的 VRF 未用於此類流量。 ITU 的規則不是最理想的（每個數據中心都有數万條規則）。
不可能在數據中心之間無縫遷移虛擬機 (VM)，同時保持 IP 地址和段間流量的最佳路徑，包括企業數據網絡 (CDTN)。
MSTP用於冗餘，部分端口被阻塞（雙機熱備）。 核心和接入交換機不是故障轉移集群，也沒有使用接口聚合 (LAG)。
隨著第三個數據中心的出現，需要新的架構和設備配置來運行數據中心之間的環（提出了EVPN）。
數據中心的開發沒有單一的概念，以項目的形式記錄並與客戶的所有部門達成一致。 當前的網絡操作文檔不完整且已過時。
客戶期望
項目組有以下任務：
- 準備構建第三數據中心的網絡和服務器基礎設施的架構和開發概念；
- 對客戶現有網絡進行運營審計；
- 將每個數據中心的網絡核心容量擴展超過 1500 個 10/40 Gb/s 以太網端口（總共 4500 個端口）；
- 確保三個數據中心之間環路的運行，並有可能將每個網段的速度提高到 80 Gb/s，以便將來自不同數據中心的客戶計算資源整合到一個 IT 系統中；
- 提供所有網元100%雙倍備用，實現99,995%水平的目標Uptime；
- 最小化虛擬機之間的流量延遲以加速業務應用程序；
- 統計、分析並進一步優化數據中心的流量過濾規則（最初約有80條規則）；
- 開發目標架構以確保將客戶的關鍵業務應用程序無縫遷移到三個數據中心中的任何一個。
因此，我們有一些工作要做。
Оборудование
讓我們仔細看看我們在項目中使用了哪些設備。
防火牆（NGWF）USG9560：
- 按 VSYS 劃分；
- 高達 720 Gbps；
- 多達 720 億個同時會話；
- 8個插槽。
路由器NE40E-X8：
- 高達 7,08 Tbit/s 的交換容量；
- 高達 2,880 Mpps 的轉發性能；
- 8個線卡插槽（LPU）；
- 每個 MPU 最多 10M BGP IPv4 路由；
- 每個 MPU 最多 1500K OSPF IPv4 路由；
- 高達 3000K - IPv4 FIB（取決於 LPU）。
CE12800 系列交換機：
- 設備虛擬化：VS（1:16虛擬化）、Cluster Switch System（CSS）、Super Virtual Fabric（SVF）；
- 網絡虛擬化：M-LAG、TRILL、VXLAN與VXLAN橋接、VXLAN中的QinQ、EVN（以太網虛擬網絡）；
- 從 VRP V2 開始，包括 EVPN 支持；
- M-LAG - Cisco Nexus 的 vPC（虛擬端口通道）模擬；
- 虛擬生成樹協議 (VSTP) - 與 Cisco PVST 兼容。
CE12804
CE12808
Программноеобеспечение
在項目中我們使用了：
- 將其他廠商防火牆的配置文件轉換為新設備的命令格式；
- 我們自己設計的腳本來優化和轉換防火牆的配置。
配置文件轉換轉換器外觀
數據中心間通信方案（EVPN VXLAN）
設置設備的細微差別
CE12808
- EVPN（標準）代替EVN（華為專有）用於數據中心之間的通信：
○ L2 over L3 在控制平面中使用 iBGP；
○ 通過 iBGP EVPN 系列（MAC 路由，類型 2）進行 MAC 訓練和通告；
○ 為廣播/未知單播流量自動構建 VXLAN 隧道（包含多播路由，類型 3）。 - VS上的兩種劃分模式：
○ 基於端口（port-mode port）或基於ASIC（port-mode group，顯示設備port-map）；
○ port split dimension interface 40GE ONLY works in Admin VS (regardless of port-mode).
USG9560
- 除以 VSYS 的可能性，
- VSYS 動態路由和路由洩漏之間是不可能的！
CE12804
所有 Active GW (VRRP Master/Master/Master)，在數據中心之間進行 MAC VRRP 過濾
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
數據中心間資源交互方案（VXLAN EVPN和All Active GW）
項目複雜性
主要困難是需要使用計算基礎設施備份現有應用程序。 客戶有 100 多個不同的應用程序，其中一些是將近 10 年前編寫的。 例如，如果 Yandex 可以輕鬆關閉數百個虛擬機而不傷害最終用戶，那麼在俄羅斯郵政，這種方法將需要從頭開始開發許多應用程序，並改變企業信息系統的架構。 我們在計算基礎設施的聯合審計階段解決了遷移和優化過程中出現的問題。 所有對企業來說新的網絡技術（例如 EVPN）都已經在實驗室進行了預測試。
項目成果
項目團隊包括專家 ，客戶及其合作夥伴在計算基礎設施的運營中。 來自供應商（Check Point 和華為）的專門支持團隊也成立了。 該項目耗時兩年。 這是這段時間所做的事情。
- 制定了數據中心網絡、企業數據傳輸網絡 (CSTN) 和數據中心之間的環路的發展戰略，並與客戶的所有部門達成一致。
- 提高服務可用性。 客戶的業務注意到了這一點，並由於引入了新服務而導致流量增加得更多。
- 超過 40 條規則已從 FWSM/ASA 遷移和優化到 USG 000。UGG 9560 上的不同 ASA 上下文已合併到單個安全策略中。
- 通過使用CE1/CE10，數據中心端口吞吐量從40G提升到12800/6850G。 這使得消除接口過載和數據包丟失成為可能。
- 電信級路由器NE40E-X8全面覆蓋客戶數據中心和KSPD的需求，兼顧未來業務發展。
- 已為 USG 9560 請求八項新功能請求。其中七項已實施並包含在當前版本的 VRP 中。 1 FR 由華為研發實現。 這是一個用於八個機箱的集群，能夠配置必要的功能以在不同步會話的情況下同步配置。 如果到其中一個數據中心的流量延遲太高（阿德勒 - 莫斯科沿主要路線 1300 公里，沿備用路線 2800 公里），則需要。
與俄羅斯其他郵政公司相比，該項目無與倫比。
數據中心網絡基礎設施的現代化為企業開展數字化業務開闢了新的機遇。
- 為個人和法人實體提供個人賬戶和移動應用程序。
- 與電子商店整合以提供貨物運送服務。
- 履行是貨物的存儲，電子商店訂單的形成和交付。
- 擴大訂單發佈點，包括使用合作夥伴網絡。
- 與承包商的具有法律意義的文件流。 這將消除紙質文件的緩慢和昂貴的交付。
- 接受電子形式的掛號信，並以電子和紙質形式交付（在盡可能靠近最終收件人的地方打印項目）。 在公共服務門戶網站上提供電子掛號信服務。
- 提供遠程醫療服務的平台。
- 使用簡單的電子簽名簡化掛號郵件的驗收和投遞。
- 郵局網絡數字化。
- 處理自助服務（終端和包裹機）。
- 創建用於管理快遞服務的數字平台和用於快遞服務客戶的新移動應用程序。
來和我們一起工作吧！
來源： www.habr.com