3. Extreme交換器的企業網路設計

朋友們下午好！ 今天我將繼續這個系列致力於 極限開關 有關企業網路設計的文章。

在這篇文章中，我將盡量簡短：

• 描述設計企業網路的模組化方法
• 考慮企業網路最重要的模組之一—核心網（ip-campus）的建置類型
• 描述保留關鍵網路節點的選項的優點和缺點
• 使用抽象範例來設計/更新小型企業網絡
• 選擇Extreme交換器來實現設計的網絡
• 使用光纖和 IP 位址

本文對剛開始「網路員」之旅的網路工程師和企業網路管理員更感興趣，而不是在電信業者或具有地理分佈網路的大公司工作多年的經驗豐富的工程師。

無論如何，有興趣的可以參考cat。

模組化網路設計方法

我將以一種相當流行的模組化網路設計方法開始我的文章，它允許您將網路的各個部分組裝成一個完整的圖片。

首先，有一點抽象 - 我經常將這種方法想像為放大地理地圖，當國家在第一個近似值中可見，區域在第二個近似值中，城市在第三個近似值中可見時，等等。

作為一個例子，考慮這個例子：

• 第一個近似 - 整個企業網路是一組不同層級的：
  • 骨幹或校園
  • 邊界層
  • 電信營運商級別
  • 偏遠地區

• 第二個近似值 - 每個等級都詳細劃分為單獨的模組
  • 核心網路或園區包括：
    • 描述企業網路及其層級的 3 級或 2 級模組 - 存取、分發和/或核心
    • 描述資料中心的模組－資料處理中心（本質上是基礎架構的伺服器部分）

  • 邊界層又包括：
    • 網路連線模組
    • WAN和MAN模組，負責連接地理上分佈的企業對象
    • 用於建置 VPN 隧道和遠端存取的模組
    • 通常，許多小型企業將其中幾個模組甚至全部組合在一個模組中

  • 提供者層級：
    • 此等級包括「與外界」的連接 - 暗光纖（向營運商租用光纖）、通訊通道（乙太網路、G.703 等）、網路存取。

  • 遠端等級：
    • 大多數情況下，這些是企業的分支機構，分佈在一個城市、區域、國家甚至大陸內。
    • 該區域還可能包括一個備份資料中心，它重複主資料中心的工作
    • 當然，最近越來越受歡迎 - 遠端工作人員（遠端工作）

• 第三種近似 - 每個模組都分為較小的模組或等級。以校園網為例：
  • 3層網路分為：
    • 存取權限
    • 分佈級
    • 核心級

  • 在更複雜的情況下，資料中心可以分為：
    • 2級或3級網路部分
    • 伺服器部分

  我將嘗試在下面的簡化圖中顯示以上所有內容：

  
  
  從上圖可以看出，模組化方法有助於將整體圖景細化和建構為將來可以使用的組件元素。

  出於本文的目的，我將重點放在校園企業層級並對其進行更詳細的描述。

  IP-CAMPUS網路類型

  當我在供應商工作時，尤其是後來作為整合商工作時，我面臨著客戶網路不同的「成熟度」。 我使用「成熟度」這個詞並不是無緣無故的，因為在很多情況下，網路結構會隨著公司本身的發展而成長，這在原則上是很自然的。

  在位於一棟大樓內的小公司中，企業網路可能僅由 1 個充當防火牆的邊緣路由器、多個存取交換器和幾個伺服器組成。

  我將這樣的網路稱為「單層」網路- 絕對沒有明確的網路核心層，分佈層轉移到邊緣路由器（具有防火牆、VPN 和可能的代理功能），存取交換器既為員工電腦提供服務，也為員工電腦提供服務。伺服器。

  
  
  當企業不斷發展（員工、服務和伺服器數量增加）時，通常需要：

  • 增加網路中交換器的數量和接入端口
  • 增加伺服器容量
  • 對抗廣播域－實現網路分段與分段之間的路由
  • 處理導致員工停機的網路故障，因為這會為管理帶來額外的財務成本（員工閒置，薪資發了，但工作沒有完成）
  • 在處理故障的過程中，考慮關鍵網路節點的冗餘—路由器、交換器、伺服器和服務
  • 加強安全策略，防止商業風險的出現，再次確保網路運作更加穩定

  所有這些導致工程師（網路管理員）遲早會考慮網路的正確建置並得出 2 級模型。

  這個模型已經明確區分了2個級別－存取級別和分發級別，這也是核心級別（collapsed-core）。

  組合的分佈層和內核層執行以下功能：

  • 聚合來自存取交換器的連結
  • 引入網段路由 - 用戶和設備太多，無法放入 24/XNUMX 網路中，即使放入，廣播風暴也會導致持續故障（特別是當用戶透過建立環路來幫助它們時）
  • 提供相鄰交換器段之間的通訊（透過更快的連結）
  • 提供使用者及其設備和伺服器場之間的通信，此時伺服器場也開始分為一個單獨的網段 - 資料中心。
  • 開始與接取交換器一起在某種程度上提供企業此時開始擁有的安全策略。 公司在成長，商業風險也越來越大（這裡我指的不僅是商業機密、接取政策差異化等方面的規定，還包括網路和員工的基本停機）。

  因此，網路遲早會成長為 2 層模型：

  
  
  此模型對存取層交換器（聚合來自用戶和網路設備（印表機、存取點、VoIP 設備、IP 電話、IP 攝影機等）的連結）以及分佈層交換器和核心提出了特殊要求。

  接入交換器必須更智慧、更有能力滿足網路效能、安全性和靈活性要求，且必須：

  • 具有不同類型的存取連接埠和中繼連接埠 - 最好能夠預留流量成長和連接埠數量
  • 具有足夠的交換能力和吞吐量
  • 具有必要的安全功能，可以滿足當前的安全策略（理想情況下，可以滿足其進一步需求的成長）
  • 能夠為難以到達的網路設備供電，並能夠使用電源（PoE、PoE+）遠端重新啟動它們
  • 能夠預留自己的電源，以便在需要的地方使用
  • （如果可能）具有進一步功能成長的潛力 - 這是接入交換器最終轉變為分配交換器的常見範例

  配電開關還需滿足以下要求：

  • 無論是針對接入交換器的中繼下行鏈路端口，還是針對相鄰分佈交換器的對等接口（以及將來可能針對核心的上行鏈路接口）
  • 就 L2 和 L3 功能而言
  • 在安全功能方面
  • 在確保容錯方面（冗餘、叢集和電源冗餘）
  • 在平衡流量時提供靈活性方面
  • （如果可能的話）具有進一步增長功能的潛力（隨著時間的推移，聚合設備轉變為核心）
  • 在某些情況下，在分佈交換器上使用 PoE、PoE+ 連接埠可能比較合適。

  更進一步：如果管理層奉行企業積極成長和發展的政策，未來網絡也將繼續發展——企業可以開始租用鄰近的建築物、建造自己的建築物或吸收較小的競爭對手，從而增加員工的工作崗位數量。 同時，網路也在不斷成長，這就需要：

  • 提供員工工作場所 - 需要有存取埠的新接入交換機
  • 用於聚合來自存取交換器的連結的新分配交換器的可用性
  • 建造新的通訊線路並對現有通訊線路進行現代化改造

  因此，流量增加的原因如下：

  • 由於接入連接埠的增加以及相應的網路用戶的增加
  • 由於選擇企業網路作為傳輸的相鄰子系統（電話、安全、工程系統等）的流量增加。
  • 由於引入了額外的服務 - 隨著人員的增長，出現了需要某些軟體的新部門
  • 資料中心運算能力不斷增強以滿足基礎設施和應用程式需求
  • 對網路和資訊的安全要求正在不斷增長 - 著名的 CIA 三合會（笑話），但認真地說，CIA - 機密性、完整性和可用性：
    • 在這方面，對於網路的關鍵層級——配電和資料中心，出現了額外的容錯和冗餘要求。
    • 同樣，由於引入了新的安全系統（例如 RKVI 等），流量增加。

  遲早，流量、服務和用戶數量的成長將導致需要引入額外的網路層——核心，它將使用高速通訊鏈路執行封包的高速交換/路由。

  此時，企業可以遷移到3級網路模型：

  
  
  正如您在上圖中看到的，在這樣的網路中存在一個核心層，它會聚合來自分佈交換器的高速連結。 因此，內核交換器還面臨以下要求：

  • 介面頻寬 - 1GE、2.5GE、10GE、40GE、100GE
  • 交換器效能（交換容量和轉送效能）
  • 介面類型 - 1000BASE-T、SFP、SFP+、QSFP、QSFP+
  • 介面數量和組數
  • 冗餘能力（堆疊、叢集、控制板冗餘（與模組化交換器相關）、電源冗餘等）
  • 功能性

  在這個層級的網路上，肯定需要進行技術改造：

  • 核心節點和連接的冗餘（非常非常非常理想）
  • 分佈級節點和鏈路的冗餘（取決於重要性）
  • 存取交換器和分佈級之間的通訊鏈路冗餘（如有必要）
  • 動態路由協定簡介
  • 核心層以及分佈層和存取層的流量平衡（如有必要）
  • 實施附加服務 - 運輸和安全服務（如有必要）

  和法律，定義企業的網路安全策略，它在以下方面補充了一般安全策略：

  • 在存取和分配交換器上某些安全功能的實施和配置要求
  • 網路設備的存取、監控和管理要求（遠端存取協定、允許管理的網段、日誌設定等）
  • 預訂要求
  • 形成最低所需備件套件的要求

  在本節中，我簡要描述了網路和企業的演變，從幾台交換器和數十名員工到幾十（甚至數百台交換器）和數百（甚至數千）直接工作的員工在企業網路中（畢竟還有生產部門和工程網絡）。
  顯然，現實中企業的這種「奇蹟」和快速發展是不會發生的。
  企業和人脈從最初的第一級發展到我所描述的第三級通常需要數年時間。

  我為什麼要寫這些不言而喻的道理？ 然後，我想在這裡提到一個術語ROI——投資回報率（return/return on Investment），並考慮它直接涉及網路設備選擇的一面。

  在選擇設備時，網路工程師和他們的管理人員通常會根據兩個因素來選擇設備：設備的當前價格以及當前解決特定任務所需的最低技術功能（稍後我將討論購買設備以實現冗餘） ）。

  同時，很少考慮設備進一步「成長」的可能性。 如果出現設備在功能或性能方面已經耗盡的情況，那麼將來會購買更強大、功能更強大的設備，而舊設備則按照“以舊換新”的原則移交給倉庫或網絡上的某個地方。 （順便說一下，這也導致了大型設備動物園的出現，並購買了一堆與其配合使用的資訊系統）。

  因此，無需購買部分附加許可證。功能和性能比新的高性能設備便宜得多，但您必須購買新硬體並支付過高的費用，原因如下：

  • 網路通常成長緩慢，網路中的功能擴展或交換器效能可能足以維持很長一段時間
  • 外國供應商的設備與外幣（美元或歐元）掛鉤已不是秘密。 老實說，美元或歐元的成長（或盧布的周期性小幅貶值，這取決於你如何看待）導致了這樣一個事實：10年前的美元和現在的美元與XNUMX年的美元完全不同。盧布的觀點

  總結以上所有內容，我想指出，現在購買功能更廣泛的網路設備可以在未來節省開支。
  在這裡，我考慮了在投資網路和基礎設施的背景下購買設備的成本。

  因此，許多供應商（不僅僅是Extreme）都堅持「按需付費」的原則，將大量功能打包到設備中，並提供提高介面效能的機會，然後透過購買單獨的許可證來啟動這些功能。 他們還提供具有各種介面和處理器卡的模組化交換機，並且能夠持續增加其數量和性能。

  關鍵節點冗餘

  在本文的這一部分中，我將簡要描述核心、資料中心或分佈交換器等重要網路節點的冗餘的基本原理。 我想先了解常見的預訂類型 - 堆疊和叢集。

  每種方法都有其優點和缺點，我想談談。

  以下是比較這兩種方法的一般總結表：

  
  

  • 管理 — 從表中可以看出，在這方面，堆疊具有優勢，因為從管理的角度來看，多台交換器的堆疊表現為一台具有大量連接埠的交換器。例如，您只能透過堆疊管理一台交換機，而不是透過叢集管理 8 台不同的交換器。
  • 距離 - 目前，嚴格來說，叢集的優勢還不是那麼明顯，因為透過堆疊連接埠或雙用途連接埠來堆疊交換器的技術已經出現（例如，Extreme的SummitStack-V、Cisco的VSS等），這也取決於收發器的類型。 在這裡，基於以下原則的叢集具有優勢：在堆疊時，您可以選擇使用常規堆疊端口，這些端口通常使用有限長度（0.5、1、1.5、3 或 5 公尺）的特殊電纜進行連接。
  • 軟體更新 - 在這裡我們看到叢集比堆疊具有優勢，要點如下 - 在堆疊期間更新設備的軟體版本時，您更新主交換器上的軟體，隨後主交換器承擔將新軟體放置在主交換器上的角色堆疊的備用成員交換機。 一方面，這使您的工作更加輕鬆，但更新軟體通常需要設備的硬體重新啟動，這會導致整個堆疊重新啟動，從而導致其運行以及與之相關的所有服務在一段時間內中斷時間=重啟時間。 這對於核心和資料中心通常非常關鍵。 透過集群，您擁有 2 台彼此獨立的設備，您可以在這兩台設備上依序更新軟體。 在這種情況下，可以避免服務中斷。
  • 設定配置 — 當然，堆疊在這裡具有優勢，因為在管理的情況下，您只需要編輯一台設備及其設定檔的設定。 對於集群，配置檔案的數量將等於集群節點的數量。
  • 容錯 — 這裡兩種技術大致相當，但集群仍具有輕微的優勢。 原因如下－如果我們從運行進程和協定的角度來考慮堆疊，我們會看到以下內容：
    • 有一個主交換機，所有主要進程和協定都在其上運行（例如，動態路由協定 - OSPF）
    • 還有其他從交換器運行著在堆疊中工作所需的主進程並為通過它們的流量提供服務
    • 當主交換器發生故障時，下一個優先權從交換器偵測到主交換器故障
    • 它將自身初始化為主機並啟動在主機上運行的所有進程（包括我們觀察到的 OSPF 協定）
    • 進程啟動一段時間後（通常很短），OSPF 協定本身開始工作
    • 因此，如果其中一個節點發生故障，OSPF 在叢集期間的工作速度將比堆疊時快一些（在堆疊的從交換器上啟動和初始化進程和協定所需的時間）。 儘管我應該指出，現代堆疊協定和交換器工作得非常快，切換堆疊時流量中斷的持續時間通常不到一秒，但名義上叢集在這個參數上仍然獲勝。

  • 複雜性 ——從表中可以看出，堆疊在複雜性方面勝出。 這是“控制”和“設定配置”項目的直接結果。 單一節點的配置和管理時間要少得多。 此外，在叢集時，您通常必須設定額外的路由協定或網關預留協定 - VRRP、HSRP 等。
  • 更換單位 ——堆疊在這裡有明顯的優勢。 通常，要更換堆疊中的交換機，需要執行最低限度的必要硬體設置，例如：
    • 將新交換器的軟體更新到堆疊軟體版本（這可以在交換器到達備件包時立即完成）
    • 配置一些基本的堆疊命令（對於某些類型的交換機，甚至可能不需要）
    • 移除故障的堆疊交換器並連接新的堆疊交換機
    • 連接電源和跳線

  • 彈性 — 我自己認為這是主要參數之一。 一般來說，彈性是一個複雜的特性，它是指物體在負載的影響下變化並在消失後恢復到原來形狀的性質。 奇怪的是，對於聚類來說，即使考慮到 4:3 的分數，有利於堆疊的特徵，它也會更高。 這都是關於人的因素。 是的，是的，不要感到驚訝——統一控制、設定配置和輕量級複雜性等堆疊參數的優勢也掩蓋了人為因素發揮作用時堆疊的弱點。

  在我的IT工作中，我遇到過很多這樣的情況（坦白說，我自己也犯過同樣的錯誤，尤其是在早期），工程師在配置設備堆疊時，會因為輸入錯誤的命令或啟用/禁用設備上的某個功能而導致整個堆疊崩潰，需要手動重啟。值得一提的是，PuTTY應用程式的擁躉們… Windows （哦，這個右鍵複製功能）。

  事實上，這兩種技術都相當不錯（尤其是與無冗餘相比），而且各有優缺點，但對於核心等級和高負載的資料中心，我仍然更願意使用叢集。

  雖然這只是我的意見。 許多在專業水平上從事網路支援多年的專業工程師可以同等地使用這兩種技術 - 這一切都取決於經驗和資格。

  除了堆疊和預留網路節點的技術外，預留部分網路節點本身以及節點之間的連接也有一般原則：

  透過網路節點內的保留，我的意思是：

  • 電源冗餘 - 安裝 2 個相互重複的電源（最好連接到第一個電源類別）可以讓您的生活更輕鬆。
  • 控制板的冗餘性－在更大程度上適用於模組化交換機，它提供了多個相互重複的控制板的連接。
  • 介面卡冗餘 - 也主要適用於模組化交換器。

  連接/鏈路的保留基本上意味著存在重疊的電纜路線（或在開放空間的情況下的無線電鏈路）：

  • 分佈在建築物內的不同電纜井和通道上
  • 領土上 2 個或更多建築物、城市、區域或國家層級的地理分佈（所謂的體積環）

  同時，在建立備份通訊鏈路時，需要遵循一些對設備的建議：

  • 在模組化交換器的介面卡重複的情況下，或者在存在堆疊的情況下，有必要在單元之間分配鏈路－在模組化交換器的情況下為介面卡，在堆疊的情況下為交換器。
  • 建議使用通訊聚合協定（LACP、MLT、PAgP 等）將連結組合成群組並平衡它們之間的負載。
  • 使用支援 ECMP（等價多路徑）協定的路由器 - 當多個資料包沿著一條路由傳送時，這些資料包不會經過一條最佳路徑（和介面），而是分佈在多個最佳路徑（和幾個介面），它們是由路由協定度量的相等性決定的，而路由協定度量負責填入最終的路由表。

  現在，按照承諾，我將描述一個來自我的實踐的真實案例以及幾年前發生的保留關鍵節點時的保存原理：

  • 一家公司（我稱之為 X）擁有標準的 3 層網路模型：
    • 具有多個核心
    • 數十個聚合
    • 數千台接入交換機
    • 數萬用戶

  • 這個網路的建構相當複雜：
    • 具有一堆動態路由協定和協定 - OSPF、MP-BGP、MPLS、PIM、IGMP、IPv6 等。
    • 一系列服務 - 網路存取、L2 和 L3 VPN、VoIP、IPTV、租用線路等。

  • 但網路中存在一個瓶頸－邊界路由器結合了BGP邊界器的功能並終止了一些使用者服務
  • 是的，它的成本相當於飛機機翼（幾百萬盧布）
  • 是的，當時它是最著名的網路供應商系列中的頂級設備之一
  • 是的，它必須非常可靠 - 具有出色的 MTBF 評級
  • 是的，它有 4 個電源，根據 2x2 方案組裝，並從不同的 UEPS 和輸入連接。

  但這一切並沒有改變它是網路單點故障的事實。

  有一天，對我和我的同事來說，這根本不是一件好事，這台路由器死了很長一段時間（後來我們發現透過UEPS的電源線出現了某種故障，導致2個電源輸出在在這種情況下，其中一個區塊燒毀了連接到裝置公共資料匯流排的RP 路由器模組和介面卡）。

  我們沒有備用板 - RP 和介面卡，但與 NBD 計劃下的合作夥伴之一簽訂了更換設備或其組件的合約。

  遺憾的是，當時合作夥伴庫存只有介面卡，沒有RP板，幾天後（3天後）就到了。

  因此，網路中存在單點故障（即使有支援合約和設備更換）會導致以下財務成本：

  • 公司服務中歸因於或與此邊界相關的份額約為 60-70%
  • 根據後來計算，當時每天的利潤約為900萬盧布（約）
  • 因此，理論上，在 3 天的停機時間內，利潤損失為 1 萬 620 萬盧布至 1 萬 890 萬盧布

  當然，淨損失較小，因為大多數用戶的補償不是以金錢的形式，而是以服務的形式返還，但它們仍然存在：

  • 企業用戶的部分補償
  • 這增加了公司員工在這 3-4 天全力工作的成本——加班、夜班、增加班次等。
  • 聲譽損失，這也很重要
  • 最重要的是──管理階層、員工和顧客的神經

  因此，公司政策進行了修訂：

  • 根據 NBD 條款拒絕更換合約
  • 留下常規服務合約
  • 購買了一台備用路由器，成本約為 1 - 1.3 萬盧布，以保留主路由器 90% 的功能

  隨後，增購設備和主設備的預留，使得外部連結、流量和使用者之間的負載得以平衡，為公司進一步發生事故提供了安全空間。

  企業網路設計實例

  在本文的這一部分中，我將嘗試概述計算企業骨幹網路時的要點。 我不會向您介紹整個 PPDIOO（準備-規劃-設計-實施-操作-優化）技術，而只會概述其要點：

  • 準備/準備 - 您需要與管理層一起決定要實現的網路現代化目標 - 提高容錯能力、引入新服務或技術。 在這裡，我將跳過技術和組織限制的定義，因為我假設您是組織的員工，並且有大量時間來克服這些限制。 我將回到下面的預算主題。
  • 規劃 - 在這裡，您必須建立當前網路的完整描述（如果您還不知道），即描述現在的網路：
    • 設備數量和類型
    • 連接埠數量和類型
    • 建築物內部和建築物之間的現有電纜路線和交換方案
    • 電源電路
    • L2 和 L3 尋址
    • 建立 Wi-Fi 網路地圖，指示存取點和控制器
    • 描述您的伺服器叢集
    • 建議描述您的所有服務以及它們之間的聯繫
    • 如果您已經以一種或另一種形式實施了網路安全策略和網路存取控制策略，請務必在設計時考慮到它
    • 我會立即指出，第二步本質上是一個完整的網路清單，從電纜基礎設施和電源電路開始，到服務（應用程式及其連接埠）結束。 這一步非常非常耗時，有時甚至很乏味。 如果您或您的前任沒有維護文檔，甚至沒有基本的監控系統，那麼是時候考慮一下了。 網路往往會隨著時間的推移以不同的速度變化，只有維護最新的文件或監控系統才能幫助您追蹤其狀況並促進其管理。 但這已經適用於操作步驟。

  • 設計 - 有了上一個步驟中獲得的對網路的全面了解，您終於坐下來思考如何實現網路現代化。 下面我將嘗試示範一個網路計算的小例子。

  對於我自己來說，我編制了一個包含初始數據的小列表，這些數據將指導我計算和設計核心網路。

  讓我們將「準備」步驟想像為我們可用的內容和計劃執行的操作的清單：

  • 有一個相當大的企業，大概有700-800個工作機會（這裡我指的是那些需要存取企業網路的員工）
  • 企業境內有多棟獨立建築：
  • 主要建築物：
    • 建築物數 - 2 座。
    • 建築物的樓層數 - 7 層。
    • 一棟大樓每層電信機櫃數量 - 3 個（共 21 個）
    • 大樓內員工人數 =~ 250 人

  • 附加外殼：
    • 建築物數 - 10 座。
    • 建築物/車間的樓層數 - 2 層。
    • 大樓內電信機櫃的數量 - 3 個。
    • 大樓內員工人數 =~ 20 人

  • 目前的網路核心層級（順便說一下，我不只一次遇到的非常常見的方案，以這種或那種形式以及連接埠的組成）：
    • 2 個 L2 開關：
      • 1Gb RJ-45 埠 - 24 個
      • 1Gb SFP 連接埠 - 4 個。
    • 第一個 L1 開關：
      • 1Gb SFP 連接埠 - 24 個。
    • 核心拓樸-環
    • 使用光纖啟用交換器之間的點對點鏈路
    • 交換器位於有機櫃的小型伺服器機房內
  • 目前分配等級：
    • 與網路核心層結合，對接取交換器的連結進行聚合
    • L3 位址位於邊界路由器和/或防火牆上
  • 目前存取等級：
    • 具有 2 個 16 Mb RJ-100 存取埠和 45 個千兆上行鏈路組合埠 RJ-2/SFP 的 L45 交換機
    • 開關位於地板上的櫃子中
    • 接入交換器拓撲結構：
      • 星型（中心輻射型 - 中心輻射型），核心/分佈交換器位於中間
      • 梁/輻條是樓層開關的分支 - 鏈中的 3 件
    • 有非託管訪問交換機
    • 另外 9 個案例中的交換器透過媒體轉換器（光電訊號轉換器）連接
  • 目前的電纜基礎設施：
    • 建築物之間的電纜系統：
      • 兩棟主樓之間有一條容量為2芯光纖的光纜
      • 其中一棟附加建築（安裝核心交換器的地方）與每棟主建築之間有 1 根光纜，每棟建築容量為 8 根光纖
      • 添加之間有1根光纜。 容量為4纖的案例及已安裝核心交換器的案例（其分佈如下圖所示）
      • 所有電纜中的光纖類型 - 單模/SMF
      • 採用2纖單模SFP光模組
      • 部分線纜端接於單獨房間（跨廳/伺服器機房）的光交叉連接 (ODF)，部分線纜端接於樓層 SHTO

    • 建築物內的電纜系統：
      • 伺服器機房和樓層第一個機櫃之間採用混合電纜結構：
      • Cat5e 銅纜 - 10 條（或 100 對纜線）
      • 用於 4 或 8 條光纖的多模/MMF 光纖電纜 - 1 件。
      • 用於地板機櫃之間 4 條光纖的多模/MMF 光纖電纜
      • 地櫃和接入插座之間的銅 Cat5e 電纜
    • 目前資料中心：
      • 伺服器有多台，例如6台
      • 在第一主樓的核心交換器中包含 1Gb 端口
      • 所有企業應用程式都託管在伺服器上
    • L2、L3 位址與路由：
      • 網路有多個 VLAN - 每棟建築 2,3 個
      • 伺服器分配到單獨的 /24 網路
      • 對於內部需求，使用灰色 B 類網絡，包含在範圍 - 172.16.0.0/16 中
      • L3 位址在邊界路由器和/或防火牆終止
      • 使用靜態路由
    • 附加資訊：
      • 電話：
        • 在建築物和某些建築物中，使用舊式數位 PBX（不是 IP-PBX）部署傳統電話
        • 有必要在新建築物中安裝電話，而無需鋪設一定容量的昂貴銅纜線路和在建築物內建立重複的電話SCS
        • 隨著時間的推移，計劃在整個企業引入 IP 電話，將其與 CRM 系統結合，並將所有員工轉移到該系統上
      • 港口容量：
        • 需分析目前幹線和接取埠的容量，至少預留25-30%以備將來需要
        • 分析接入埠和乾線鏈路目前吞吐量是否足夠
        • 為相關係統（視訊監控和電話）的設備提供 PoE/PoE+ 連接埠
      • 中央電視台：
        • 計劃使用企業網路作為視訊監控網路的傳輸
        • 需要為CCTV攝影機提供PoE端口
      • 無線系統：
        • 未來計劃引入無線基礎設施以方便員工移動
        • 需要為接入點提供PoE端口
      • 預算、時間和設備要求：
        • 充分利用可用設備
        • 設計網路時，提前N年考慮網路擴容的可能性
        • 在設計網路時，請考慮對各種安全功能的支援 - 以下是功能列表，從連接埠安全性開始，到使用 802.1x 的使用者身份驗證和授權結束。
        • 盡可能保留首要的關鍵網路節點——核心和資料中心，並提供保留次要節點——分佈節點的可能性
        • 專案預算必須為多個階段提供一致的融資
        • 預算金額－每個企業根據其財務指標自行決定
        • 截止日期 - 在最理想的情況下，不會有明顯的截止日期，因為這是一個由員工實施的公司內部項目，否則他們會相對舒適 - 例如，1年（或更長）。 在更糟糕的情況下，可能需要 3 個月到 XNUMX 個月。
      • 解決目前網路問題：
        • 資料包遺失
        • 或多或少智慧型接取交換器上的 DHCP 問題與使用 STP 系列協定來對抗存取連接埠上的迴路有關。
        • 消除員工每個 VLAN 中存在的 DHCP 伺服器介面
        • 與辦公室內託管/非託管交換機的未經授權的切換以及各種設備與其連接相關的交換環路的發生
        • 這樣的例子不勝枚舉…

      步驟規劃 - 正如我已經寫過的，當前網路狀態的特徵取決於高品質監控系統的存在及其文檔化程度。在此步驟中，您必須：

      • 至少繪製現有網路以便進一步分析
      • 從設備收集數據：
        • 中繼埠上的流量
        • 連接埠錯誤
        • 交換器和路由器上的 CPU 負載和記憶體消耗
        • 透過 VLAN 和 IP 位址描述 L2-L3 方案
      • 提出電纜路線圖：
        • 光纖交叉連接的光纖電路和接線圖
        • 伺服器機房和樓層之間的銅纜分佈圖
        • 樓層與房間之間的銅纜分佈圖
        • 檢查伺服器機房和機櫃中是否有光纖交叉連接和配線架
      • 檢查伺服器和地板櫃中的電源電路
      • 檢查關鍵節點是否有 UPS 和電池
      • 分析所有數據

      根據準備階段的數據，我得到了一個大概的邏輯圖：

      
      
      接下來，按照模組化的方式，需要突顯企業的層級和模組：

      
      
      在本文中，我不會涉及 Edge，但會簡要回顧每個 Campus 模組的基本主題：

      • 存取權限 - 此等級應提供：
        • 使用者存取網路所需的連接埠數量
        • 執行安全性策略 - 過濾流量和協議
        • 使用 VLAN 的廣播域壓縮和網路分段
        • 為語音流量實施單獨的 VLAN
        • 服務品質支持
        • 支援PoE接入埠
        • IP 多播支援
        • 上游通訊鏈路的容錯以及分佈層級（理想）
      • 分配 - 在這個層級應確保以下內容：
        • 連接接入交換器所需的連接埠數量
        • 存取交換器鏈路的聚合和冗餘
        • IP路由
        • 包過濾
        • 服務品質支持
        • 連結、設備和電源等級的容錯（非常理想）
      • 核心應提供：
        • 高速交換和資料包路由
        • 連接分佈交換器所需的連接埠數量
        • 支援IP路由和動態路由協議，網路快速融合
        • 服務品質支持
        • 保護對設備和控制平面的存取的安全功能
        • 硬體和電源層級的容錯（必需）
      • 資料中心-此模組的網路層必須提供：
        • 高速通訊鏈路
        • 連接伺服器所需的連接埠數量
        • 伺服器和資料中心交換器之間以及資料中心交換器和網路核心之間的通訊鏈路冗餘（必需）
        • 設備和電源冗餘（必需）
        • 服務品質支持

      接下來，我們需要計算我們的連接埠和通訊鏈路並確定要求。
      訪問級別-連接埠計算表

      因此，我們獲得了建築物內接入連接埠分佈的數據。 現在您需要分析存取等級要求和註釋並概述解決方案選項。
      存取等級 - 要求和解決方案選項

      接下來，我們將統計以下層級的連接埠和通訊鏈路：

      分佈級

      核心級

      資料中心級

      計算時，我們得到以下結果：

      • 存取權限 — 需要 24 和 48 連接埠存取交換機，最好具有 1Gb 接入連接埠和具有 PoE 支援和廣泛功能的光學上行鏈路 SFP 連接埠：
        • 它們總共將提供 504 個接入端口，原則上，如果決定每個工作站使用 2 個端口（IP 電話和數據端口），這些端口將滿足備用端口的需求。
        • 每層可使用一台具有PoE功能的48埠交換機，提供符合下列要求的存取埠：
          • 儲備 - 主要建築上約 102 個備用連接埠（22%）。 對於其他建築物，則多一點 - 25%。
          • 視頻監控
          • 無線網絡
      • 分佈級 — 交換器需要具有一組從 12 到 48 個端口的 SFP 端口，其中至少有 2 個 SFP+ 端口，具有堆疊功能和擴展功能，以及冗餘電源。
      • 核心級 — 需要具有 12 至 24 個 SFP/SFP+ 連接埠的高速交換機，支援堆疊和叢集以及 MC-LAG 支援。 我應該指出，也可以使用路由工具來平衡流量。 最新一代的 L3 交換器和路由器支援 ECMP，可在 4 個或更多具有相同度量的路由之間進行流量平衡。
      • 資料中心級 — 需要具有 8 至 24 個 SFP/SFP+ 連接埠的交換機，支援堆疊和集群，並支援 MC-LAG。

      目標網路圖最終是 這樣

      選擇Extreme交換器進行專案實施

      好吧，現在我們已經到了主要的事情 - 選擇交換機來實施我們的專案的時刻。 以下 Extreme 開關適用於最終的目標電路：

      Уровень
      模型
      港口
      描述

      核心
      x620-16x-底座 *

      x670-G2-48x-4q-底座*
      16 個 10GE SFP+
       
       
       
      48x10GE SFP+ 與 4x40GE QSFP+
      對於基本的核心需求：

      • 高速連結
      • 進階路由和安全功能
      • 額外的備用電源電源
      • 堆疊和集群支持

      滿足最低要求時，x620 系列交換器即可。
      如果您對連接埠數量和更廣泛的功能有更多要求，則應考慮 x670-G2 系列交換器。

      資料中心

      x620-16x-底座*

      x590-24x-1q-2c*

      x670-G2-48x-4q-底座*

      16 個 10GE SFP+
       
       
       
      24x10GE SFP, 1xQSFP+, 2xQSFP28
       
       
      48x10GE SFP+ 與 4x40GE QSFP+

      滿足基本資料中心需求：

      • 高速連結
      • 額外的備用電源電源
      • 堆疊和集群支持

      滿足最低要求時，x620 系列交換器即可。
      如果需要擴展連接埠數量和更廣泛的功能，值得考慮 x670-G2 和 x590-24x-1q-2c 系列交換器。

      分配

      X460-G2-24x-10GE4-Base*

      X460-G2-48x-10GE4-Base*

      24 個 1GE SFP、8 個 1000 RJ-45、4 個 10GE SFP+
       
       
       
      48 個 1GE SFP、4 個 10GE SFP+

      對於基本的分發需求：

      • 所需光口數量
      • 額外的備用電源電源
      • 堆疊和集群支持
      • 所需的 L3 功能

      x460-G2 系列交換器是理想選擇。 冗餘電源能夠擴展和添加 10G、CX（用於堆疊）和 QSFP+ 端口，使其成為端口高達 1 Gb 的分佈層的理想交換器。

      訪問

      X440-G2-24p-10GE4*

      X440-G2-24t-10GE4*

      X440-G2-48t-10GE4*

      X440-G2-48p-10GE4*

      24x1000BASE-T（4 x SFP 組合）、4x10GE SFP+（PoE 預算 380 W）
       
      24 個 1000BASE-T（4 個 SFP 組合）、4 個 10GE SFP+
       
       
      24 個 1000BASE-T（4 個 SFP 組合）、4 個 10GE SFP+ 組合端口
       
      48x1000BASE-T（4 x SFP 組合），4x10GE SFP+ 組合連接埠（PoE 預算 740 W）

      對於訪問需求：

      • 所需的接入連接埠數量
      • PoE/PoE+ 支持
      • 功能和擴展端口的能力
      • 額外的好處是支援開箱即用堆疊 10Gb 端口

      我建議注意這條線，因為它在連接埠、效能和功能方面都很靈活。

      *所選開關的規格可以在系列的第一篇文章中找到 - Extreme開關回顧

      我可以在這裡結束這篇文章，但我想強調任何工程師在開發或升級網路時都會遇到的另外兩個方面：

      • 使用電纜線路 - 光纖和銅線
      • IP尋址

      使用纖維

      上面我給了需要達成的目標方案。 為了實現它，需要以下數量的設備連接：

      通訊鏈路數量

      從表中可以看出，確保網路層面（核心模組、資料中心、2棟建築分佈）容錯所需的最少光纖數量為10根。

      在網路表徵階段，我們發現建築物之間的電纜中只有 8 條光纖。 遇到這種情況怎麼辦？

      我給出幾個解決方案：

      • 第一個明顯的步驟是使用1 號樓- 1 號樓和1 號樓- 2 號樓之間的電纜中的自由光纖（如表中所示- 每根電纜中僅使用2 根光纖中的8根）。 為此，在情況 1 的交叉連接之間安裝光交叉連接就足夠了，如果需要，可以使用具有光預算儲備的 SFP 模組。
      • 第二步是使用 CWDM 技術 - 在一根光纖內復用載波波長。 該技術比 DWMD 便宜得多，而且實施起來非常簡單。 基本上，要求是針對一定長度和預算的光纖和 SFP/SFP+ 收發器的品質。 正如我在上一篇文章中所說，交換器識別第三方收發器的能力可以極大地使我們的生活變得更輕鬆，並減少額外光纜建設的資本成本。
      • 第三步是考慮透過鋪設額外光纜來增加光纖的可能性。

      接下來，我們查看已安裝分配交換器和其他交換器的建築物之間的光纖數量。 2-10號樓。 在這裡，也並非一切都那麼清楚：

      • 首先，沒有足夠的光纖來實現我們的目標方案 - 每個交換器 2 根光纖（我們記得，每個案例有 4 個 OB 的電纜）
      • 其次，即使建築物之間有足夠數量的光纖，但建築物內部使用的是MMF光纖，這不允許我們簡單地連接SMF和MMF光纖（我指的是建築物之間的距離超過300-400米）

      在這種情況下，可以考慮以下選項：

      • 為每個 SMF 交換器提供光纖：
        • 如果距離允許，您可以在交換器之間延伸額外的長跳線。 我們曾經使用 30-50 m 長的跳線。
        • 在機櫃之間鋪設相對便宜的低容量 SMF 光纜
        • 作為最後的手段，使用各種 SMF-MMF 轉換器
      • 為了最大限度地減少建築物之間使用的光纖量，您可以：
        • 使用 x440-G2 接入交換機的堆疊功能 - 同時對地板上的每個交換機使用 1 個 SMF 光纖，這將允許您在每側使用 6 根光纖和端口，而不是 3 根光纖和端口
        • 使用 2 根光纖連接分支中的第一個交換器和最後一個交換器。聚合邊緣存取交換器上的連結並在產生的環中使用 STP 協定。

      IP尋址

      這裡我將給出我們電路的近似尋址計算。

      目前我們有幾個 B 類網路 - 172.16.0.0/16。 在計算IP位址空間時，我會考慮以下因素：

      • 第二個八位組的 4 位將指示建築物 - 172.16.0.0/12。
      • 八位元組 3 將指示建築物的樓層號碼。
      • 八位元位元組 3 = 255 將分配給點對點設備鏈路和控製網路。
      • 每層有一個管理VLAN來管理交換器。
      • 每台交換器一個用戶 VLAN（平均 24 個連接埠）。
      • 每台交換器一個語音 VLAN（平均 24 個連接埠）。
      • 每層一個視訊監控系統的VLAN。
      • 每層樓一個用於 Wi-Fi 裝置的 VLAN。

      我最終得到了這樣的表格：
      網路172.16.0.0/14
      網路172.20.0.0/14

      在上表中，我一方面給出了跨建築物和樓層的網路的大致分佈，另一方面給出了網路（使用者、管理和服務）的大致分佈。

      事實上，選擇灰色網路172.16.0.0/12並不是最優的，因為它限制了我們建築物的網路數量（從16到31），而且還有遠端辦公室也需要切割網路塊，也許更理想的選擇是使用10.0.0.0/8 網絡，或共享172.16.0.0/12 網路（例如，用於服務需求和伺服器）和10.0.0.0/8（用於用戶網絡）。

      一般來說，分配 IP 網路的方法也是模組化的，建議在分佈層以及遠端分支機構的邊界路由器上遵守將子網路匯總為一個匯總網路的規則。 這樣做有幾個原因：

      • 最小化路由器上的路由表
      • 盡量減少路由協定的服務流量（當嵌套子網路不可用時，各種更新訊息）
      • 簡化 L3 網路的管理並提高其可讀性

      儘管對於前兩點，值得注意的是，現代路由器的功能比2-15年前的路由器高得多，並且允許它們在RAM中包含大型路由表，並且價格與通信通道容量的比率與E20/T1流（G.1）廣泛使用時的價格相比有所下降。

      結論

      朋友們，在這篇文章中我試著盡可能簡單地談談設計校園網路的基本原則。 是的，有相當多的材料，儘管我沒有觸及以下主題：

      • 企業邊界的組織（這與交換器、邊界、防火牆、IPS/IDS 系統、DMZ、VPN 等不同）
      • Wi-Fi 網路的組織
      • VoIP網路的組織
      • 資料中心的組織
      • 安全性（這也是它自己獨立的世界，從數量和要求上來說，它並不遜色於純粹的網路基礎設施的設計，有時甚至超越它）
      • 電力工程
      • 這樣的例子不勝枚舉

      事實上，設計和建構企業網路是一項相當艱苦的任務，需要大量的時間和資源。

      但我希望我的文章能幫助您初步評估和理解如何完成這項任務。

      這不是最後一篇文章 極限網絡，敬請關注（Telegram, Facebook, VK, TS 解決方案博客)!

來源： www.habr.com