3. Extreme交换机的企业网络设计

朋友们下午好！ 今天我将继续这个系列致力于 极限开关 有关企业网络设计的文章。

在这篇文章中，我将尽量简短：

• 描述设计企业网络的模块化方法
• 考虑企业网络最重要的模块之一——核心网（ip-campus）的建设类型
• 描述保留关键网络节点的选项的优点和缺点
• 使用抽象示例来设计/更新小型企业网络
• 选择Extreme交换机来实现设计的网络
• 使用光纤和 IP 寻址

本文对刚开始“网络员”之旅的网络工程师和企业网络管理员更感兴趣，而不是在电信运营商或具有地理分布网络的大公司工作多年的经验丰富的工程师。

无论如何，有兴趣的可以参考cat。

模块化网络设计方法

我将以一种相当流行的模块化网络设计方法开始我的文章，它允许您将网络的各个部分组装成一个完整的图片。

首先，有一点抽象 - 我经常将这种方法想象为放大地理地图，当国家在第一个近似值中可见，区域在第二个近似值中，城市在第三个近似值中可见时，等等。

作为一个例子，考虑这个例子：

• 第一个近似 - 整个企业网络是一组不同级别的：
  • 骨干或校园
  • 边界层
  • 电信运营商级别
  • 偏远地区

• 第二个近似值 - 每个级别都详细划分为单独的模块
  • 核心网络或园区包括：
    • 描述企业网络及其级别的 3 级或 2 级模块 - 访问、分发和/或核心
    • 描述数据中心的模块——数据处理中心（本质上是基础设施的服务器部分）

  • 边界层又包括：
    • 互联网连接模块
    • WAN和MAN模块，负责连接地理上分布的企业对象
    • 用于构建 VPN 隧道和远程访问的模块
    • 通常，许多小型企业将其中几个模块甚至全部组合在一个模块中

  • 提供商级别：
    • 这一级别包括“与外界”的连接——暗光纤（从运营商租用光纤）、通信通道（以太网、G.703 等）、互联网接入。

  • 远程级别：
    • 大多数情况下，这些是企业的分支机构，分布在一个城市、地区、国家甚至大陆内。
    • 该区域还可能包括一个备份数据中心，它重复主数据中心的工作
    • 当然，最近越来越受欢迎 - 远程工作人员（远程工作）

• 第三种近似 - 每个模块都分为更小的模块或级别。 以校园网为例：
  • 3层网络分为：
    • 访问权限
    • 分布级别
    • 内核级

  • 在更复杂的情况下，数据中心可以分为：
    • 2级或3级网络部分
    • 服务器部分

  我将尝试在下面的简化图中显示以上所有内容：

  
  
  从上图可以看出，模块化方法有助于将整体画面细化和构建为将来可以使用的组件元素。

  出于本文的目的，我将重点关注校园企业级别并对其进行更详细的描述。

  IP-CAMPUS网络类型

  当我在供应商工作时，尤其是后来作为集成商工作时，我面临着客户网络不同的“成熟度”。 我使用“成熟度”这个词并不是无缘无故的，因为在很多情况下，网络结构会随着公司本身的发展而增长，这在原则上是很自然的。

  在位于一栋大楼内的小公司中，企业网络可能仅由 1 个充当防火墙的边缘路由器、多个接入交换机和几个服务器组成。

  我将这样的网络称为“单层”网络 - 绝对没有明确的网络核心层，分布层转移到边缘路由器（具有防火墙、VPN 和可能的代理功能），接入交换机既为员工计算机提供服务，也为员工计算机提供服务。服务器。

  
  
  当企业不断发展（员工、服务和服务器数量增加）时，通常需要：

  • 增加网络中交换机的数量和接入端口
  • 增加服务器容量
  • 对抗广播域——实现网络分段和分段之间的路由
  • 处理导致员工停机的网络故障，因为这会给管理带来额外的财务成本（员工闲置，工资发了，但工作没有完成）
  • 在处理故障的过程中，考虑关键网络节点的冗余——路由器、交换机、服务器和服务
  • 加强安全策略，防止商业风险的出现，再次保证网络运行更加稳定

  所有这些导致工程师（网络管理员）迟早会考虑网络的正确构建并得出 2 级模型。

  该模型已经明确区分了2个级别——访问级别和分发级别，这也是核心级别（collapsed-core）。

  组合的分布层和内核层执行以下功能：

  • 聚合来自接入交换机的链路
  • 引入网段路由 - 用户和设备太多，无法放入 24/XNUMX 网络中，即使放入，广播风暴也会导致持续故障（特别是当用户通过创建环路来帮助它们时）
  • 提供相邻交换机段之间的通信（通过更快的链路）
  • 提供用户及其设备和服务器场之间的通信，此时服务器场也开始分为一个单独的网段 - 数据中心。
  • 开始与接入交换机一起在某种程度上提供企业此时开始拥有的安全策略。 公司在成长，商业风险也越来越大（这里我指的不仅是商业秘密、接入政策差异化等方面的规定，还包括网络和员工的基本停机）。

  因此，网络迟早会成长为 2 层模型：

  
  
  该模型对接入层交换机（聚合来自用户和网络设备（打印机、接入点、VoIP 设备、IP 电话、IP 摄像机等）的链路）以及分布层交换机和内核提出了特殊要求。

  接入交换机必须更智能、更有能力满足网络性能、安全性和灵活性要求，并且必须：

  • 具有不同类型的接入端口和中继端口 - 最好能够预留流量增长和端口数量
  • 具有足够的交换能力和吞吐量
  • 具有必要的安全功能，可以满足当前的安全策略（理想情况下，可以满足其进一步需求的增长）
  • 能够为难以到达的网络设备供电，并能够使用电源（PoE、PoE+）远程重新启动它们
  • 能够预留自己的电源，以便在需要的地方使用
  • （如果可能）具有进一步功能增长的潜力 - 这是接入交换机最终转变为分配交换机的常见示例

  配电开关还需满足以下要求：

  • 无论是针对接入交换机的中继下行链路端口，还是针对相邻分布交换机的对等接口（以及将来可能针对内核的上行链路接口）
  • 就 L2 和 L3 功能而言
  • 在安全功能方面
  • 在确保容错方面（冗余、集群和电源冗余）
  • 在平衡流量时提供灵活性方面
  • （如果可能的话）具有进一步增长功能的潜力（随着时间的推移，聚合设备转变为核心）
  • 在某些情况下，在分布交换机上使用 PoE、PoE+ 端口可能比较合适。

  更进一步：如果管理层奉行企业积极成长和发展的政策，未来网络也将继续发展——企业可以开始租用邻近的建筑物、建造自己的建筑物或吸收较小的竞争对手，从而增加员工的工作岗位数量。 与此同时，网络也在不断增长，这就需要：

  • 为员工提供工作场所 - 需要带有接入端口的新接入交换机
  • 用于聚合来自接入交换机的链路的新分配交换机的可用性
  • 建设新的通信线路并对现有通信线路进行现代化改造

  因此，流量增加的原因如下：

  • 由于接入端口的增加以及相应的网络用户的增加
  • 由于选择企业网络作为传输的相邻子系统（电话、安全、工程系统等）的流量增加。
  • 由于引入了额外的服务 - 随着人员的增长，出现了需要某些软件的新部门
  • 数据中心计算能力不断增强以满足基础设施和应用程序需求
  • 对网络和信息的安全要求正在不断增长 - 著名的 CIA 三合会（笑话），但认真地说，CIA - 机密性、完整性和可用性：
    • 在这方面，对于网络的关键级别——配电和数据中心，出现了额外的容错和冗余要求。
    • 同样，由于引入了新的安全系统（例如 RKVI 等），流量有所增加。

  迟早，流量、服务和用户数量的增长将导致需要引入额外的网络层——核心，它将使用高速通信链路执行数据包的高速交换/路由。

  此时，企业可以迁移到3级网络模型：

  
  
  正如您在上图中看到的，在这样的网络中存在一个核心层，它聚合来自分布交换机的高速链路。 因此，内核交换机还面临以下要求：

  • 接口带宽 - 1GE、2.5GE、10GE、40GE、100GE
  • 交换机性能（交换容量和转发性能）
  • 接口类型 - 1000BASE-T、SFP、SFP+、QSFP、QSFP+
  • 接口数量和组数
  • 冗余能力（堆叠、集群、控制板冗余（与模块化交换机相关）、电源冗余等）
  • 功能性

  在这个级别的网络上，肯定需要进行技术改造：

  • 内核节点和链接的冗余（非常非常非常理想）
  • 分布级节点和链路的冗余（取决于重要性）
  • 接入交换机和分布级之间的通信链路冗余（如有必要）
  • 动态路由协议简介
  • 核心层以及分布层和访问层的流量平衡（如有必要）
  • 实施附加服务 - 运输和安全服务（如有必要）

  和法律，定义企业的网络安全策略，它在以下方面补充了一般安全策略：

  • 接入和分配交换机上某些安全功能的实施和配置要求
  • 网络设备的访问、监控和管理要求（远程访问协议、允许管理的网段、日志设置等）
  • 预订要求
  • 形成最低所需备件套件的要求

  在本节中，我简要描述了网络和企业的演变，从几台交换机和几十名员工到几十（甚至数百台交换机）和数百（甚至数千）直接工作的员工在企业网络中（毕竟还有生产部门和工程网络）。
  显然，现实中企业的这种“奇迹”和快速发展是不会发生的。
  企业和网络从最初的第一级发展到我所描述的第三级通常需要数年时间。

  我为什么要写这些不言而喻的道理？ 然后，我想在这里提到一个术语ROI——投资回报率（return/return on Investment），并考虑它直接涉及网络设备选择的一面。

  在选择设备时，网络工程师和他们的管理人员通常会根据两个因素来选择设备：设备的当前价格以及当前解决特定任务所需的最低技术功能（稍后我将讨论购买设备以实现冗余） ）。

  同时，很少考虑设备进一步“增长”的可能性。 如果出现设备在功能或性能方面已经耗尽的情况，那么将来会购买更强大、功能更强大的设备，而旧设备则按照“以旧换新”的原则移交给仓库或网络上的某个地方。 （顺便说一下，这也导致了大型设备动物园的出现，并购买了一堆与其配合使用的信息系统）。

  因此，无需购买部分附加许可证。 功能和性能比新的高性能设备便宜得多，但您必须购买新硬件并支付过高的费用，原因如下：

  • 网络通常增长缓慢，网络中的功能扩展或交换机性能可能足以维持很长一段时间
  • 外国供应商的设备与外币（美元或欧元）挂钩已不是什么秘密。 说实话，美元或欧元的增长（或者卢布的周期性小幅贬值，这取决于你如何看待）导致了这样一个事实：10年前的美元和现在的美元与XNUMX年的美元完全不同。卢布的观点

  总结以上所有内容，我想指出，现在购买功能更广泛的网络设备可以在未来节省开支。
  在这里，我考虑了在投资网络和基础设施的背景下购买设备的成本。

  因此，许多供应商（不仅仅是Extreme）都坚持“按需付费”的原则，将大量功能打包到设备中，并提供提高接口性能的机会，然后通过购买单独的许可证来激活这些功能。 他们还提供具有各种接口和处理器卡的模块化交换机，并且能够持续增加其数量和性能。

  关键节点冗余

  在本文的这一部分中，我将简要描述核心、数据中心或分布交换机等重要网络节点的冗余的基本原理。 我想首先了解常见的预订类型 - 堆叠和集群。

  每种方法都有其优点和缺点，我想谈谈。

  下面是比较这两种方法的一般汇总表：

  
  

  • 管理 — 从表中可以看出，在这方面，堆叠具有优势，因为从管理角度来看，多台交换机的堆叠表现为一台具有大量端口的交换机。 例如，您只能通过堆叠管理一台交换机，而不是通过集群管理 8 台不同的交换机。
  • 距离 - 目前，严格来说，集群的优势还不是那么明显，因为通过堆叠端口或双用途端口来堆叠交换机的技术已经出现（例如，Extreme的SummitStack-V、Cisco的VSS等），这也取决于收发器的类型。 在这里，基于以下原则的集群具有优势：在堆叠时，您可以选择使用常规堆叠端口，这些端口通常使用有限长度（0.5、1、1.5、3 或 5 米）的特殊电缆进行连接。
  • 软件更新 - 在这里我们看到集群比堆叠具有优势，要点如下 - 在堆叠期间更新设备的软件版本时，您更新主交换机上的软件，随后主交换机承担将新软件放置在主交换机上的角色堆叠的备用成员交换机。 一方面，这使您的工作更加轻松，但更新软件通常需要设备的硬件重新启动，这会导致整个堆栈重新启动，从而导致其运行以及与之相关的所有服务在一段时间内中断时间=重启时间。 这对于核心和数据中心通常非常关键。 通过集群，您拥有两台彼此独立的设备，您可以在这两台设备上依次更新软件。 在这种情况下，可以避免服务中断。
  • 设置配置 - 当然，堆叠在这里具有优势，因为在管理的情况下，您只需要编辑一台设备及其配置文件的设置。 对于集群，配置文件的数量将等于集群节点的数量。
  • 容错 — 这里两种技术大致相当，但集群仍然具有轻微的优势。 原因如下——如果我们从运行进程和协议的角度来考虑堆栈，我们会看到以下内容：
    • 有一个主交换机，所有主要进程和协议都在其上运行（例如，动态路由协议 - OSPF）
    • 还有其他从交换机运行着在堆栈中工作所需的主进程并为通过它们的流量提供服务
    • 当主交换机发生故障时，下一个优先级从交换机检测到主交换机故障
    • 它将自身初始化为主机并启动在主机上运行的所有进程（包括我们观察到的 OSPF 协议）
    • 进程启动一段时间后（通常很短），OSPF 协议本身开始工作
    • 因此，如果其中一个节点发生故障，OSPF 在集群期间的工作速度将比堆叠时快一些（在堆叠的从交换机上启动和初始化进程和协议所需的时间）。 尽管我应该指出，现代堆栈协议和交换机工作得非常快，切换堆栈时流量中断的持续时间通常不到一秒，但名义上集群在这个参数上仍然获胜。

  • 复杂性 ——从表中可以看出，堆叠在复杂性方面胜出。 这是“控制”和“设置配置”项的直接结果。 单个节点的配置和管理时间要少得多。 此外，在集群时，您通常必须配置额外的路由协议或网关预留协议 - VRRP、HSRP 等。
  • 更换单位 ——堆叠在这里有明显的优势。 通常，要更换堆叠中的交换机，需要执行最低限度的必要硬件设置，例如：
    • 将新交换机的软件更新到堆叠软件版本（这可以在交换机到达备件包时立即完成）
    • 配置一些基本的堆叠命令（对于某些类型的交换机，甚至可能不需要）
    • 移除发生故障的堆叠交换机并连接新的堆叠交换机
    • 连接电源和跳线

  • 弹性 — 我自己认为这是主要参数之一。 一般来说，弹性是一个复杂的特性，它是指物体在载荷的影响下发生变化并在消失后恢复到原来形状的性质。 奇怪的是，对于聚类来说，即使考虑到 4:3 的分数，有利于堆叠的特征，它也会更高。 这都是关于人的因素。 是的，是的，不要感到惊讶——统一控制、设置配置和轻量级复杂性等堆叠参数的优势也在于人为因素发挥作用时堆叠的弱点。

  在我的IT工作中，我遇到过很多这样的情况（坦白说，我自己也犯过同样的错误，尤其是在早期），工程师在配置设备堆栈时，会因为输入错误的命令或启用/禁用设备上的某个功能而导致整个堆栈崩溃，需要手动重启。值得一提的是，PuTTY应用程序的拥趸们…… Windows （哦，这个右键复制功能）。

  事实上，这两种技术都相当不错（尤其是与无冗余相比），并且各有优缺点，但对于核心级别和高负载的数据中心，我仍然更愿意使用集群。

  虽然这只是我的意见。 许多在专业水平上从事网络支持多年的专业工程师可以同等地使用这两种技术——这一切都取决于经验和资格。

  除了堆叠和预留网络节点的技术外，预留部分网络节点本身以及节点之间的连接也有一般原则：

  通过网络节点内的保留，我的意思是：

  • 电源冗余 - 安装 2 个相互重复的电源（最好连接到第一个电源类别）可以让您的生活更加轻松。
  • 控制板的冗余——在更大程度上适用于模块化交换机，它提供了多个彼此重复的控制板的连接。
  • 接口卡冗余 - 也主要适用于模块化交换机。

  连接/链路的保留基本上意味着存在重叠的电缆路线（或在开放空间的情况下的无线电链路）：

  • 分布在建筑物内的不同电缆井和通道上
  • 领土上 2 个或更多建筑物、城市、地区或国家层面的地理分布（所谓的体积环）

  同时，在构建备份通信链路时，需要遵循一些对设备的建议：

  • 在模块化交换机的接口卡重复的情况下，或者在存在堆叠的情况下，有必要在单元之间分配链路——在模块化交换机的情况下是接口卡，在堆叠的情况下是交换机。
  • 建议使用通信聚合协议（LACP、MLT、PAgP 等）将链路组合成组并平衡它们之间的负载。
  • 使用支持 ECMP（等价多路径）协议的路由器 - 当多个数据包沿一条路由传送时，这些数据包不会经过一条最佳路径（和接口），而是分布在多个最佳路径（和几个接口），它们是由路由协议度量的相等性决定的，而路由协议度量又负责填充最终的路由表。

  现在，按照承诺，我将描述一个来自我的实践的真实案例以及几年前发生的保留关键节点时的保存原理：

  • 一家公司（我称之为 X）拥有标准的 3 层网络模型：
    • 具有多个核心
    • 几十个聚合
    • 数千个接入交换机
    • 数万用户

  • 该网络的构建相当复杂：
    • 具有一堆动态路由协议和协议 - OSPF、MP-BGP、MPLS、PIM、IGMP、IPv6 等。
    • 一系列服务 - 互联网接入、L2 和 L3 VPN、VoIP、IPTV、租用线路等。

  • 但网络中存在一个瓶颈——边界路由器结合了BGP边界器的功能并终止了一些用户服务
  • 是的，它的成本相当于飞机机翼（几百万卢布）
  • 是的，当时它是最著名的网络供应商系列中的顶级设备之一
  • 是的，它必须非常可靠 - 具有出色的 MTBF 评级
  • 是的，它有 4 个电源，根据 2x2 方案组装，并从不同的 UEPS 和输入连接。

  但这一切并没有改变它是网络单点故障的事实。

  有一天，对我和我的同事来说，这根本不是一件好事，这个路由器死了很长时间（后来我们发现通过UEPS的电源线出现了某种故障，导致2个电源输出在在这种情况下，其中一个块烧毁了连接到设备公共数据总线的 RP 路由器模块和接口卡）。

  我们没有备用板 - RP 和接口卡，但与 NBD 计划下的合作伙伴之一签订了更换设备或其组件的合同。

  遗憾的是，当时合作伙伴库存只有接口卡，没有RP板，几天后（3天后）就到了。

  因此，网络中单点故障的存在（即使有支持合同和设备更换）会导致以下财务成本：

  • 公司服务中归因于或与此边界相关的份额约为 60-70%
  • 据后来计算，当时每天的利润约为900万卢布（大约）
  • 因此，理论上，在 3 天的停机时间内，利润损失为 1 万 620 万卢布至 1 万 890 万卢布

  当然，净损失较小，因为大多数用户的补偿不是以金钱的形式，而是以服务的形式返还，但它们仍然存在：

  • 对企业用户的部分补偿
  • 这增加了公司员工在这 3-4 天里全力工作的成本——加班、夜班、增加班次等。
  • 声誉损失，这也很重要
  • 最重要的是——管理层、员工和客户的神经

  因此，公司政策进行了修订：

  • 根据 NBD 条款拒绝更换合同
  • 留下常规服务合同
  • 购买了一台备用路由器，成本约为 1 - 1.3 万卢布，以保留主路由器 90% 的功能

  随后，增购设备和主设备的预留，使得外部链路、流量和用户之间的负载得以平衡，为公司进一步发生事故提供了安全余地。

  企业网络设计实例

  在本文的这一部分中，我将尝试概述计算企业骨干网络时的要点。 我不会向您介绍整个 PPDIOO（准备-规划-设计-实施-操作-优化）技术，而只会概述其要点：

  • 准备/准备 - 您需要与管理层一起决定要实现的网络现代化目标 - 提高容错能力、引入新服务或技术。 在这里，我将跳过技术和组织限制的定义，因为我假设您是组织的员工，并且有大量时间来克服这些限制。 我将回到下面的预算主题。
  • 规划 - 在这里，您必须构建当前网络的完整描述（如果您还不知道），即描述现在的网络：
    • 设备数量和类型
    • 端口数量和类型
    • 建筑物内部和建筑物之间的现有电缆路线和交换方案
    • 电源电路
    • L2 和 L3 寻址
    • 构建 Wi-Fi 网络地图，指示接入点和控制器
    • 描述您的服务器场
    • 建议描述您的所有服务以及它们之间的联系
    • 如果您已经以一种或另一种形式实施了网络安全策略和网络访问控制策略，请务必在设计时考虑到它
    • 我会立即指出，第二步本质上是一个完整的网络清单，从电缆基础设施和电源电路开始，到服务（应用程序及其端口）结束。 这一步非常非常耗时，有时甚至很乏味。 如果您或您的前任没有维护文档，甚至没有基本的监控系统，那么是时候考虑一​​下了。 网络往往会随着时间的推移以不同的速度发生变化，只有维护最新的文档或监控系统才能帮助您跟踪其状况并促进其管理。 但这已经适用于操作步骤。

  • 设计 - 有了上一步中获得的对网络的全面了解，您终于坐下来思考如何实现网络现代化。 下面我将尝试演示一个网络计算的小例子。

  对于我自己来说，我编制了一个包含初始数据的小列表，这些数据将指导我计算和设计核心网络。

  让我们将“准备”步骤想象为我们可用的内容和计划执行的操作的列表：

  • 有一个相当大的企业，大概有700-800个工作岗位（这里我指的是那些需要访问企业网络的员工）
  • 企业境内有多座独立建筑物：
  • 主要建筑物：
    • 建筑物数量 - 2 座。
    • 建筑物的楼层数 - 7 层。
    • 一栋大楼每层电信机柜数量 - 3 个（共 21 个）
    • 大楼内员工人数 =~ 250 人

  • 附加外壳：
    • 建筑物数量 - 10 座。
    • 建筑物/车间的楼层数 - 2 层。
    • 大楼内电信机柜的数量 - 3 个。
    • 大楼内员工人数 =~ 20 人

  • 当前的网络核心级别（顺便说一下，我不止一次遇到过的一种非常常见的方案，以这种或那种形式以及端口的组成）：
    • 2 个 L2 开关：
      • 1Gb RJ-45 端口 - 24 个
      • 1Gb SFP 端口 - 4 个。
    • 第一个 L1 开关：
      • 1Gb SFP 端口 - 24 个。
    • 核心拓扑-环
    • 使用光纤启用交换机之间的点对点链路
    • 交换机位于带机柜的小型服务器机房内
  • 当前分配级别：
    • 与网络核心层相结合，对接入交换机的链路进行聚合
    • L3 寻址位于边界路由器和/或防火墙上
  • 当前访问级别：
    • 具有 2 个 16 Mb RJ-100 接入端口和 45 个千兆上行链路组合端口 RJ-2/SFP 的 L45 交换机
    • 开关位于地板上的柜子中
    • 接入交换机拓扑结构：
      • 星型（中心辐射型 - 中心辐射型），核心/分布交换机位于中间
      • 梁/辐条是楼层开关的分支 - 链中的 3 件
    • 有非托管访问交换机
    • 另外 9 个案例中的交换机通过媒体转换器（光电信号转换器）连接
  • 当前的电缆基础设施：
    • 建筑物之间的电缆系统：
      • 两栋主楼之间有一根容量为2芯光纤的光缆
      • 其中一栋附加建筑（安装核心交换机的地方）与每栋主建筑之间有 1 根光缆，每栋建筑容量为 8 根光纤
      • 添加之间有1根光缆。 容量为4纤的案例和已安装核心交换机的案例（其分布如下图所示）
      • 所有电缆中的光纤类型 - 单模/SMF
      • 采用2纤单模SFP光模块
      • 部分线缆端接于单独房间（跨厅/服务器机房）的光交叉连接 (ODF)，部分线缆端接于楼层 SHTO

    • 建筑物内的电缆系统：
      • 服务器机房和楼层第一个机柜之间有混合电缆结构：
      • Cat5e 铜缆 - 10 根（或 100 对电缆）
      • 用于 4 或 8 根光纤的多模/MMF 光纤电缆 - 1 件。
      • 用于地板机柜之间 4 根光纤的多模/MMF 光纤电缆
      • 地柜和接入插座之间的铜 Cat5e 电缆
    • 当前数据中心：
      • 服务器有多台，例如6台
      • 在第一主楼的核心交换机中包含 1Gb 端口
      • 所有企业应用程序都托管在服务器上
    • L2、L3 寻址和路由：
      • 网络有多个 VLAN - 每栋建筑 2,3 个
      • 服务器分配到单独的 /24 网络
      • 对于内部需求，使用灰色 B 类网络，包含在范围 - 172.16.0.0/16 中
      • L3 地址在边界路由器和/或防火墙处终止
      • 使用静态路由
    • 附加信息：
      • 电话：
        • 在建筑物和某些建筑物中，使用旧式数字 PBX（不是 IP-PBX）部署传统电话
        • 有必要在新建筑物中安装电话，而无需铺设一定容量的昂贵铜缆线路和在建筑物内建立重复的电话SCS
        • 随着时间的推移，计划在整个企业引入 IP 电话，将其与 CRM 系统相结合，并将所有员工转移到该系统上
      • 港口容量：
        • 需要分析当前中继端口和接入端口的容量，至少预留25-30%以备将来需要
        • 分析接入端口和干线链路当前吞吐量是否充足
        • 为相关系统（视频监控和电话）的设备提供 PoE/PoE+ 接入端口
      • 中央电视台：
        • 计划使用企业网络作为视频监控网络的传输
        • 需要为CCTV摄像机提供PoE端口
      • 无线系统：
        • 未来计划引入无线基础设施以方便员工移动
        • 需要为接入点提供PoE端口
      • 预算、时间和设备要求：
        • 充分利用可用设备
        • 设计网络时，提前N年考虑网络扩容的可能性
        • 在设计网络时，请考虑对各种安全功能的支持 - 以下是功能列表，从端口安全开始，到使用 802.1x 的用户身份验证和授权结束。
        • 尽可能多地预留首要的关键网络节点——核心和数据中心，并提供预留次要节点——分布节点的可能性
        • 项目预算必须为多个阶段提供一致的融资
        • 预算金额——每个企业根据其财务指标自行确定
        • 截止日期 - 在最理想的情况下，不会有明显的截止日期，因为这是一个由员工实施的公司内部项目，否则他们会相对舒适 - 例如，1年（或更长）。 在更糟糕的情况下，可能需要 3 个月到 XNUMX 个月。
      • 解决当前网络问题：
        • 数据包丢失
        • 或多或少智能接入交换机上的 DHCP 问题与使用 STP 系列协议来对抗接入端口上的环路相关。
        • 消除员工每个 VLAN 中存在的 DHCP 服务器接口
        • 与办公室内托管/非托管交换机的未经授权的切换以及各种设备与其连接相关的交换环路的发生
        • 这样的例子不胜枚举……

      步骤规划 - 正如我已经写过的，当前网络状态的特征取决于高质量监控系统的存在及其文档化程度。 在此步骤中，您必须：

      • 至少绘制现有网络以供进一步分析
      • 从设备收集数据：
        • 中继端口上的流量
        • 端口错误
        • 交换机和路由器上的 CPU 负载和内存消耗
        • 通过VLAN和IP地址描述L2-L3方案
      • 提出电缆路线图：
        • 光纤交叉连接的光纤电路和接线图
        • 服务器机房和楼层之间的铜缆分布图
        • 楼层和房间之间的铜缆分布图
        • 检查服务器机房和机柜中是否存在光纤交叉连接和配线架
      • 检查服务器和地板柜中的电源电路
      • 检查关键节点是否有 UPS 和电池
      • 分析所有数据

      根据准备阶段的数据，我得出了一个大概的逻辑图：

      
      
      接下来，按照模块化的方式，需要突出企业的层级和模块：

      
      
      我不会在本文中涉及边缘，但会简要回顾每个 Campus 模块的基本主题：

      • 访问权限 - 此级别应提供：
        • 用户访问网络所需的端口数量
        • 执行安全策略 - 过滤流量和协议
        • 使用 VLAN 的广播域压缩和网络分段
        • 为语音流量实施单独的 VLAN
        • 服务质量支持
        • 支持PoE接入端口
        • IP 多播支持
        • 上游通信链路的容错以及分布级别（理想）
      • 分配 - 在这个级别应确保以下内容：
        • 连接接入交换机所需的端口数量
        • 接入交换机链路的聚合和冗余
        • IP路由
        • 包过滤
        • 服务质量支持
        • 链路、设备和电源级别的容错（非常理想）
      • 核心应提供：
        • 高速交换和数据包路由
        • 连接分布交换机所需的端口数量
        • 支持IP路由和动态路由协议，网络快速融合
        • 服务质量支持
        • 保护对设备和控制平面的访问的安全功能
        • 硬件和电源级别的容错（必需）
      • 数据中心-该模块的网络层必须提供：
        • 高速通信链路
        • 连接服务器所需的端口数量
        • 服务器和数据中心交换机之间以及数据中心交换机和网络核心之间的通信链路冗余（必需）
        • 设备和电源冗余（必需）
        • 服务质量支持

      接下来，我们需要计算我们的端口和通信链路并确定要求。
      访问级别-端口计算表

      因此，我们获得了建筑物内接入端口分布的数据。 现在您需要分析访问级别要求和注释并概述解决方案选项。
      访问级别 - 要求和解决方案选项

      接下来，我们将统计以下级别的端口和通信链路：

      分布级别

      内核级

      数据中心级

      计算时，我们得到以下结果：

      • 访问权限 — 需要 24 和 48 端口接入交换机，最好具有 1Gb 接入端口和具有 PoE 支持和广泛功能的光学上行链路 SFP 端口：
        • 它们总共将提供 504 个接入端口，原则上，如果决定每个工作站使用 2 个端口（IP 电话和数据端口），这些端口将满足备用端口的需求。
        • 每层可使用一台具有PoE功能的48端口交换机，提供满足以下要求的接入端口：
          • 储备 - 主要建筑上约 102 个备用端口（22%）。 对于其他建筑物，则多一点 - 25%。
          • 视频监控
          • 无线网络
      • 分布级别 — 交换机需要具有一组从 12 到 48 个端口的 SFP 端口，其中至少有 2 个 SFP+ 端口，具有堆叠功能和扩展功能，以及冗余电源。
      • 内核级 — 需要具有 12 至 24 个 SFP/SFP+ 端口的高速交换机，支持堆叠和集群以及 MC-LAG 支持。 我应该指出，也可以使用路由工具来平衡流量。 最新一代的 L3 交换机和路由器支持 ECMP，可在 4 个或更多具有相同度量的路由上进行流量平衡。
      • 数据中心级 — 需要具有 8 至 24 个 SFP/SFP+ 端口的交换机，支持堆叠和集群，并支持 MC-LAG。

      目标网络图最终是 这样

      选择Extreme交换机进行项目实施

      好吧，现在我们已经到了主要的事情 - 选择交换机来实施我们的项目的时刻。 以下 Extreme 开关适用于最终的目标电路：

      Уровень
      是否提供样品
      端口
      使用说明

      核心
      x620-16x-底座 *

      x670-G2-48x-4q-底座*
      16 个 10GE SFP+
       
       
       
      48x10GE SFP+ 和 4x40GE QSFP+
      对于基本的内核需求：

      • 高速链接
      • 高级路由和安全功能
      • 额外的备用电源电源
      • 堆叠和集群支持

      满足最低要求时，x620 系列交换机即可。
      如果您对端口数量和更广泛的功能有更多要求，则应考虑 x670-G2 系列交换机。

      数据中心

      x620-16x-底座*

      x590-24x-1q-2c*

      x670-G2-48x-4q-底座*

      16 个 10GE SFP+
       
       
       
      24x10GE SFP, 1xQSFP+, 2xQSFP28
       
       
      48x10GE SFP+ 和 4x40GE QSFP+

      满足基本数据中心需求：

      • 高速链接
      • 额外的备用电源电源
      • 堆叠和集群支持

      满足最低要求时，x620 系列交换机即可。
      如果需要扩展端口数量和更广泛的功能，值得考虑 x670-G2 和 x590-24x-1q-2c 系列交换机。

      分配

      X460-G2-24x-10GE4-Base*

      X460-G2-48x-10GE4-Base*

      24 个 1GE SFP、8 个 1000 RJ-45、4 个 10GE SFP+
       
       
       
      48 个 1GE SFP、4 个 10GE SFP+

      对于基本的分发需求：

      • 所需光口数量
      • 额外的备用电源电源
      • 堆叠和集群支持
      • 所需的 L3 功能

      x460-G2 系列交换机是理想选择。 冗余电源能够扩展和添加 10G、CX（用于堆叠）和 QSFP+ 端口，使其成为端口高达 1 Gb 的分布层的理想交换机。

      访问

      X440-G2-24p-10GE4*

      X440-G2-24t-10GE4*

      X440-G2-48t-10GE4*

      X440-G2-48p-10GE4*

      24x1000BASE-T（4 x SFP 组合）、4x10GE SFP+（PoE 预算 380 W）
       
      24 个 1000BASE-T（4 个 SFP 组合）、4 个 10GE SFP+
       
       
      24 个 1000BASE-T（4 个 SFP 组合）、4 个 10GE SFP+ 组合端口
       
      48x1000BASE-T（4 x SFP 组合），4x10GE SFP+ 组合端口（PoE 预算 740 W）

      对于访问需求：

      • 所需的接入端口数量
      • PoE/PoE+ 支持
      • 功能和扩展端口的能力
      • 额外的好处是支持开箱即用堆叠 10Gb 端口

      我建议关注这条线，因为它在端口、性能和功能方面都很灵活。

      *所选开关的规格可以在该系列的第一篇文章中找到 - Extreme开关回顾

      我可以在这里结束这篇文章，但我想强调任何工程师在开发或升级网络时都会遇到的另外两个方面：

      • 使用电缆线路 - 光纤和铜线
      • IP寻址

      使用纤维

      上面我给出了需要达到的目标方案。 为了实现它，需要以下数量的设备连接：

      通信链路数量

      从表中可以看出，保证网络层面（核心模块、数据中心、2栋楼分布）容错所需的最少光纤数量为10根。

      在网络表征阶段，我们发现建筑物之间的电缆中只有 8 根光纤。 遇到这种情况怎么办？

      我给出几个解决方案：

      • 第一个明显的步骤是使用 1 号楼 - 1 号楼和 1 号楼 - 2 号楼之间的电缆中的自由光纤（如表中所示 - 每根电缆中仅使用 2 根光纤中的 8 根）。 为此，在情况 1 的交叉连接之间安装光交叉连接就足够了，如有必要，可以使用具有光预算储备的 SFP 模块。
      • 第二步是使用 CWDM 技术 - 在单根光纤内复用载波波长。 该技术比 DWMD 便宜得多，并且实施起来非常简单。 基本上，要求是针对一定长度和预算的光纤和 SFP/SFP+ 收发器的质量。 正如我在上一篇文章中所说，交换机识别第三方收发器的能力可以极大地使我们的生活变得更轻松，并减少额外光缆建设的资本成本。
      • 第三步是考虑通过铺设额外光缆来增加光纤的可能性。

      接下来，我们查看已安装分配交换机和其他交换机的建筑物之间的光纤数量。 2-10号楼。 在这里，也并非一切都那么清楚：

      • 首先，没有足够的光纤来实现我们的目标方案 - 每个交换机 2 根光纤（我们记得，每个案例有 4 个 OB 的电缆）
      • 其次，即使建筑物之间有足够数量的光纤，但建筑物内部使用的是MMF光纤，这不允许我们简单地连接SMF和MMF光纤（我指的是建筑物之间的距离超过300-400米）

      在这种情况下，可以考虑以下选项：

      • 为每个 SMF 交换机提供光纤：
        • 如果距离允许，您可以在交换机之间延伸额外的长跳线。 我们曾经使用 30-50 m 长的跳线。
        • 在机柜之间铺设相对便宜的低容量 SMF 光缆
        • 作为最后的手段，使用各种 SMF-MMF 转换器
      • 为了最大限度地减少建筑物之间使用的光纤量，您可以：
        • 使用 x440-G2 接入交换机的堆叠功能 - 同时对地板上的每个交换机使用 1 个 SMF 光纤，这将允许您在每侧使用 6 根光纤和端口，而不是 3 根光纤和端口
        • 使用 2 根光纤连接分支中的第一个交换机和最后一个交换机。 聚合边缘接入交换机上的链路并在生成的环中使用 STP 协议。

      IP寻址

      这里我将给出我们电路的近似寻址计算。

      目前我们有几个 B 类网络 - 172.16.0.0/16。 在计算IP地址空间时，我会考虑以下因素：

      • 第二个八位位组的 4 位将指示建筑物 - 172.16.0.0/12。
      • 八位字节 3 将指示建筑物的楼层号。
      • 八位字节 3 = 255 将分配给点对点设备链路和控制网络。
      • 每层有一个管理VLAN来管理交换机。
      • 每台交换机一个用户 VLAN（平均 24 个端口）。
      • 每台交换机一个语音 VLAN（平均 24 个端口）。
      • 每层一个视频监控系统的VLAN。
      • 每层楼一个用于 Wi-Fi 设备的 VLAN。

      我最终得到了这样的表格：
      网络172.16.0.0/14
      网络172.20.0.0/14

      在上表中，我一方面给出了跨建筑物和楼层的网络的大致分布，另一方面给出了网络（用户、管理和服务）的大致分布。

      事实上，选择灰色网络172.16.0.0/12并不是最优的，因为它限制了我们建筑物的网络数量（从16到31），而且还有远程办公室也需要切割网络块，也许更理想的选择是使用 10.0.0.0/8 网络，或共享 172.16.0.0/12 网络（例如，用于服务需求和服务器）和 10.0.0.0/8（用于用户网络）。

      一般来说，分配 IP 网络的方法也是模块化的，建议在分布层以及远程分支机构的边界路由器上遵守将子网汇总为一个汇总网络的规则。 这样做有几个原因：

      • 最小化路由器上的路由表
      • 最大限度地减少路由协议的服务流量（当嵌套子网不可用时，各种更新消息）
      • 简化 L3 网络的管理并提高其可读性

      尽管对于前两点，值得注意的是，现代路由器的功能比2-15年前的路由器高得多，并且允许它们在RAM中包含大型路由表，并且价格与通信通道容量的比率与 E20/T1 流（G.1）广泛使用时的价格相比有所下降。

      结论

      朋友们，在这篇文章中我试图尽可能简单地谈谈设计校园网络的基本原则。 是的，有相当多的材料，尽管我没有触及以下主题：

      • 企业边界的组织（这与交换机、边界、防火墙、IPS/IDS 系统、DMZ、VPN 等不同）
      • Wi-Fi 网络的组织
      • VoIP网络的组织
      • 数据中心的组织
      • 安全性（这也是它自己独立的世界，从数量和要求上来说，它并不逊色于纯网络基础设施的设计，有时甚至超越它）
      • 电力工程
      • 这样的例子不胜枚举

      事实上，设计和构建企业网络是一项相当艰苦的任务，需要大量的时间和资源。

      但我希望我的文章能够帮助您初步评估和理解如何完成这项任务。

      这不是最后一篇文章 极进网络，敬请关注（Telegram, Facebook, VK, TS 解决方案博客)!

来源： habr.com