我相信所有哈布尔读者都至少曾经在国外的网上商店订购过商品，然后去俄罗斯邮局接收过包裹。 从组织物流的角度来看，您能想象这项任务的规模吗？ 将买家数量乘以购买数量，想象一下我们幅员辽阔的国家的地图，上面有超过 40 万个邮局……顺便说一句，2018 年，俄罗斯邮政处理了 345 亿个国际包裹。
在本文中，我们将告诉您 Pochta 面临的问题以及 LANIT 集成团队如何解决这些问题，为数据中心创建新的 IT 基础设施。
俄罗斯邮政现代物流中心之一
项目实施前
由于来自中国、西欧和北美的国外商店的包裹数量急剧增加，俄罗斯邮政物流设施的负荷增加。 因此，建造了使用高性能分拣机的新一代物流中心。 他们需要计算基础设施的支持。
数据中心基础设施陈旧，无法提供企业信息系统运行所需的性能和可靠性。 此外，俄罗斯邮政还缺乏推出新服务的计算能力。
客户数据中心及其问题
俄罗斯邮政数据中心为 40 多个设施和 000 个地区部门提供服务。 数据中心运营数十种 85/XNUMX 商业服务，包括电子商务服务。
如今，企业使用系统来存储、分析和处理大数据。 对于此类系统，人工智能和机器学习算法的使用起着重要作用。 如今，企业最重要的案例之一就是优化物流流程管理并加速邮局客户服务。
现代化项目启动前，主备数据中心约有3000台虚拟机，存储信息量超过2PB。 数据中心具有复杂的流量路由结构，并根据安全级别划分为各个部分。
随着应用的发展和新业务的引入，数据中心网络设备现有带宽已经不足。 需要过渡到新速度的接口：10 Gbit/s，而不是接入层的 1 Gbit/s 和核心层的 40 Gbit/s，并具有设备和通信通道的完全冗余。
信息安全部门收到了将基础设施划分为具有高水平的流量和应用信息安全性的部分（PN - 专用网络和 DMZ - 非军事区）的要求。 通过不需要过滤的防火墙 (FWU) 的流量。 交换机上的 VRF 未用于此流量。 防火墙上的规则不是最优的（每个数据中心有数万条规则）。
在数据中心之间无缝迁移虚拟机 (VM)，同时保持 IP 地址和各网段（包括企业数据网络 (CDN)）之间流量的最佳路径是不可能的。
采用MSTP进行备份，部分端口被阻塞（热备）。 核心交换机和接入交换机没有组合成故障转移集群，也没有使用接口聚合（LAG）。
随着第三个数据中心的出现，需要新的架构和设备配置来运行数据中心之间的环（提出了EVPN）。
数据中心的开发没有统一的概念，没有以项目的形式记录并得到客户各部门的认可。 当前的网络操作文档不完整且过时。
客户期望
项目团队面临以下任务：
- 准备第三数据中心网络和服务器基础设施建设的架构和开发构想；
- 对客户现有网络进行运营审计；
- 扩展网络核心容量，每个数据中心增加1500多个10/40 Gbps以太网端口（总共4500个端口）；
- 确保三个数据中心之间的环运行，能够将每个部分的速度提高到 80 Gbit/s，以便将客户来自不同数据中心的计算资源整合到单个 IT 系统中；
- 提供所有网元100%双备，实现99,995%水平的正常运行时间目标；
- 最大限度地减少虚拟机之间的流量延迟，以加快业务应用程序的速度；
- 对数据中心的流量过滤规则进行统计、分析和后续优化（最初大约有80万条规则）；
- 开发目标架构，以确保客户的关键业务应用程序无缝迁移到三个数据中心中的任何一个。
所以我们有一些事情要做。
Оборудование
让我们仔细看看我们在该项目中使用了哪些设备。
防火墙（NGWF）USG9560：
- 除以VSYS；
- 高达 720 Gbps；
- 高达 720 亿个同时会话；
- 8 个插槽。
路由器NE40E-X8：
- 高达 7,08 Tbit/s 的交换容量；
- 高达 2,880 Mpps 的转发性能；
- 8个线卡（LPU）插槽；
- 每个 MPU 最多 10M BGP IPv4 路由；
- 每个 MPU 最多 1500K OSPF IPv4 路由；
- 高达 3000K – IPv4 FIB（取决于 LPU）。
CE12800系列交换机：
- 设备虚拟化：VS（1:16虚拟化）、集群交换系统（CSS）、超级虚拟光纤网（SVF）；
- 网络虚拟化：M-LAG、TRILL、VXLAN与VXLAN桥接、VXLAN中的QinQ、EVN（以太网虚拟网络）；
- 从VRP V2开始，包含EVPN支持；
- M-LAG – Cisco Nexus 的 vPC（虚拟端口通道）模拟；
- 虚拟生成树协议 (VSTP) – 与 Cisco PVST 兼容。
CE12804
CE12808
Программноеобеспечение
项目中我们使用了：
- 将其他厂商的防火墙配置文件转换为新设备的命令格式；
- 用于优化和转换防火墙配置的专有脚本。
用于转换配置文件的转换器的外观
数据中心间通信组织方案（EVPN VXLAN）
设置设备的细微差别
CE12808
- EVPN（标准）代替EVN（华为专有）用于数据中心之间的通信：
○ 在控制平面中使用 iBGP 的 L2 over L3；
○ MAC 训练及其通过 iBGP EVPN 系列的通告（MAC 路由，类型 2）；
○ 自动构建广播/未知单播流量的 VXLAN 隧道（包含多播路由，类型 3）。 - VS上的两种划分模式：
○ 基于端口（port-mode port）或基于ASIC（port-mode group、显示设备port-map）；
○ 端口分割维度接口 40GE 仅在 Admin VS 中工作（无论端口模式如何）。
USG9560
- 通过 VSYS 划分的可能性，
- VSYS 之间不可能进行动态路由和路由泄漏！
CE12804
数据中心之间具有 MAC VRRP 过滤的所有 Active GW（VRRP Master/Master/Master）
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
数据中心间资源交互方案（VXLAN EVPN和All Active GW）
项目困难
主要困难是需要使用计算基础设施备份现有应用程序。 该客户有 100 多个不同的应用程序，其中一些是近 10 年前编写的。 例如，如果对于 Yandex，您可以轻松关闭数百个虚拟机而不会对最终用户造成伤害，那么对于 Russian Post，这种方法将需要从头开始开发大量应用程序并更改企业信息系统的架构。 我们在计算基础设施联合审计阶段解决了迁移和优化过程中出现的问题。 所有对企业来说新的网络技术（如EVPN）都经过了实验室的初步测试。
项目结果
项目团队包括专家 、客户及其合作伙伴参与计算基础设施的运营。 供应商（Check Point 和华为）还组建了专门的支持团队。 该项目花了两年时间。 这就是这段时间所做的事情。
- 数据中心网络、企业数据网络（CDTN）和数据中心之间的环的开发策略已经制定并与客户的所有部门达成一致。
- 服务的可用性有所提高。 客户的业务注意到了这一点，并由于引入新服务而导致流量的更大增长。
- 超过 40 条规则已从 FWSM/ASA 迁移并优化到 USG 000。UGG 9560 上的不同 ASA 上下文已合并为单个安全策略。
- 通过CE1/CE10的使用，数据中心端口吞吐量从40G提升至12800/6850G。 这使得消除接口过载和数据包丢失成为可能。
- 电信级路由器NE40E-X8全面覆盖了客户数据中心和数据转发中心的需求，同时兼顾了未来的业务发展。
- USG 9560 已请求八项新功能请求。其中七项已实施并包含在当前版本的 VRP 中。 1 FR - 用于华为研发实施。 这是一个八机箱集群，能够配置配置同步所需的功能，而无需会话同步。 如果其中一个数据中心的交通延迟太高（阿德勒 - 莫斯科沿主线 1300 公里，沿备用线 2800 公里），则需要这样做。
与其他俄罗斯邮政公司相比，该项目无可比拟。
数据中心网络基础设施的现代化为企业发展数字化服务开辟了新的机遇。
- 为个人和法人实体提供个人账户和移动应用程序。
- 与电子商店整合，提供送货服务。
- 履行 - 货物存储、电子商店订单的形成和交付。
- 扩大订单提货点，包括使用联属网络。
- 与交易对手之间具有法律意义的文件流。 这将消除纸质文档发送缓慢且成本高昂的情况。
- 接受电子形式的挂号信，并以电子和纸质形式交付（尽可能靠近最终收件人打印项目）。 在公共服务门户网站上提供电子挂号信服务。
- 提供远程医疗服务的平台。
- 使用简单的电子签名简化挂号邮件的接收和投递。
- 邮局网络数字化。
- 重新设计自助服务（终端和包裹终端）。
- 为管理快递服务创建数字平台，并为快递服务客户创建新的移动应用程序。
来和我们一起工作吧！
来源： habr.com