信息安全已經從電信中分離出來，成為一個獨立的行業，有自己的特色，有自己的設備。 但是，在電信和 infobez 的交界處有一類鮮為人知的設備—— 網絡數據包代理 (Network Packet Broker)，它們也是負載平衡器、專用/監控交換機、流量聚合器、安全交付平台、網絡可見性等。 作為此類設備的俄羅斯開發商和製造商，我們真的很想告訴您更多有關它們的信息。
解決的範圍和任務
網絡數據包代理是在信息安全系統中發現最大用途的專用設備。 因此，與交換機、路由器等相比，設備類別相對較新，在常見的網絡基礎設施中很少見。 開發此類設備的先驅是美國公司 Gigamon。 目前，這個市場上有更多的參與者（包括來自著名測試系統製造商 IXIA 的類似解決方案），但只有一小部分專業人士仍然知道此類設備的存在。 如上所述，即使使用術語也沒有明確的確定性：名稱範圍從“網絡透明系統”到簡單的“平衡器”。
在開發網絡數據包代理時，我們面臨這樣一個事實，即除了分析功能開發方向和在實驗室/測試區進行測試外，還需要同時向潛在消費者解釋此類設備的存在，因為不是每個人都知道它。
即使在 15-20 年前，網絡上的流量也很少，而且大部分都是不重要的數據。 但 幾乎重複 ：互聯網連接速度每年增加 50%。 流量也在穩步增長（圖中顯示了 Cisco 的 2017 年預測，來源 Cisco Visual Networking Index：Forecast and Trends, 2017–2022）：
隨著速度的提高，信息流通的重要性（這既是商業機密又是臭名昭著的個人數據）和基礎設施的整體性能都在增加。
相應地，信息安全產業應運而生。 業界對此做出了一系列的流量分析（DPI）設備的響應，從DDOS攻擊防禦系統到信息安全事件管理系統，包括IDS、IPS、DLP、NBA、SIEM、Antimailware等。 通常，這些工具中的每一個都是安裝在服務器平台上的軟件。 而且每個程序（分析工具）都安裝在自己的服務器平台上：軟件廠商不同，在L7上分析需要大量的計算資源。
在構建信息安全系統時，需要解決一些基本任務：
- 如何將流量從基礎設施轉移到分析系統？ （現代基礎設施中最初為此開發的 SPAN 端口無論是數量還是性能都不夠）
- 如何在不同的分析系統之間分配流量？
- 當分析器的一個實例的性能不足以處理進入它的整個流量時，如何擴展系統？
- 如何監控40G/100G接口（不久的將來還會監控200G/400G），因為分析工具目前只支持1G/10G/25G接口？
以及以下相關任務：
- 如何最大程度地減少不需要處理但到達分析工具並消耗其資源的不適當流量？
- 如何處理封裝的數據包和帶有硬件服務標記的數據包，其準備分析結果要么是資源密集型的，要么根本無法實現？
- 如何從分析中排除不受安全策略約束的部分流量（例如，頭部流量）。
眾所周知，需求創造供給，針對這些需求，網絡小包經紀商開始發展起來。
網絡數據包代理的一般描述
網絡數據包代理在數據包級別工作，在這一點上它們類似於普通交換機。 與交換機的主要區別在於網絡數據包代理中流量的分配和聚合規則完全由設置決定。 網絡數據包代理沒有構建轉發表（MAC 表）和與其他交換機（如 STP）交換協議的標準，因此其中可能的設置和可理解字段的範圍要廣得多。 代理可以使用輸出負載平衡功能將流量從一個或多個輸入端口平均分配到給定範圍的輸出端口。 您可以設置複製、過濾、分類、去重和修改流量的規則。 這些規則可以應用於網絡數據包代理的不同輸入端口組，也可以在設備本身中依次應用。 數據包代理的一個重要優勢是能夠以全流率處理流量並保持會話的完整性（在將流量平衡到多個相同類型的 DPI 系統的情況下）。
保持會話的完整性就是將傳輸層（TCP/UDP/SCTP）會話的所有數據包都傳送到一個端口。 這很重要，因為 DPI 系統（通常是在連接到數據包代理輸出端口的服務器上運行的軟件）分析應用程序級別的流量內容，並且一個應用程序發送/接收的所有數據包必須到達同一實例分析儀。 如果一個會話的數據包丟失或分佈在不同的 DPI 設備中，那麼每個單獨的 DPI 設備將處於類似於閱讀整個文本而不是閱讀其中的單個單詞的情況。 而且，很可能文本不會理解。
因此，專注於信息安全系統，網絡數據包代理具有幫助將 DPI 軟件系統連接到高速電信網絡並減少其負載的功能：它們預過濾、分類和準備流量以簡化後續處理。
此外，由於網絡數據包代理提供範圍廣泛的統計數據並且經常連接到網絡中的各個點，因此它們在診斷網絡基礎設施本身的健康問題方面也佔有一席之地。
網絡數據包代理的基本功能
“專用/監控交換機”這個名稱源於基本目的：從基礎設施（通常使用無源光學 TAP 分路器和/或 SPAN 端口）收集流量並將其分發到分析工具中。 流量在不同類型的系統之間鏡像（複製），並在相同類型的系統之間平衡。 基本功能通常包括按高達 L4 的字段（MAC、IP、TCP/UDP 端口等）進行過濾，以及將多個輕負載通道聚合為一個（例如，用於在一個 DPI 系統上進行處理）。
此功能為基本任務提供了解決方案——將 DPI 系統連接到網絡基礎設施。 來自不同製造商的代理，僅限於基本功能，每 32U 提供最多 100 個 1G 接口的處理（更多接口物理上不適合 1U 前面板）。 然而，它們不允許減輕分析工具的負載，對於復雜的基礎設施，它們甚至無法提供基本功能的要求：分佈在多個隧道（或配備 MPLS 標籤）上的會話對於不同的實例可能是不平衡的analyzer 並且一般不在分析範圍內。
除了添加 40/100G 接口並因此提高性能之外，網絡數據包代理還在提供根本性的新功能方面積極發展：從嵌套隧道報頭的平衡到流量解密。 不幸的是，這樣的模型不能吹噓以 TB 為單位的性能，但它們可以構建一個真正高質量和技術上“漂亮”的信息安全系統，其中保證每個分析工具只接收它需要的最合適形式的信息進行分析。
網絡數據包代理的高級功能
1. 上文提到的 隧道流量中的嵌套標頭平衡。
它為什麼如此重要？ 考慮 3 個可能一起或單獨至關重要的方面：
- 在存在少量隧道的情況下確保統一平衡。 如果在信息安全系統的連接點只有 2 個隧道，則不可能在保持會話的同時通過 3 個服務器平台上的外部報頭使它們失衡。 同時，網絡中的流量傳輸不均衡，每條隧道指向單獨的處理設施，對後者的性能要求過高；
- 確保多會話協議（例如 FTP 和 VoIP）的會話和流的完整性，其數據包最終進入不同的隧道。 網絡基礎設施的複雜性不斷增加：冗餘、虛擬化、簡化管理等等。 一方面，這增加了數據傳輸方面的可靠性，另一方面，它使信息安全系統的工作複雜化。 即使分析器有足夠的性能來處理帶有隧道的專用通道，問題也無法解決，因為一些用戶會話數據包是通過另一個通道傳輸的。 此外，如果他們仍然試圖在某些基礎設施中處理會話的完整性，那麼多會話協議可以採用完全不同的方式；
- 在存在 MPLS、VLAN、單個設備標籤等的情況下進行平衡。 不是真正的隧道，但是儘管如此，具有基本功能的設備可以理解此流量而不是 IP 並通過 MAC 地址進行平衡，再次違反平衡的一致性或會話完整性。
網絡數據包代理解析外部報頭並按順序跟踪指針直到嵌套的 IP 報頭和已經在其上的餘額。 結果，有更多的流（相應地，它可以更均勻地不平衡並且在更多平台上），並且 DPI 系統接收所有會話數據包和多會話協議的所有關聯會話。
2.交通改造。
就其功能而言，它是最廣泛的功能之一，其子功能和使用選項的數量很多：
- 刪除有效負載，在這種情況下，只有數據包標頭會傳遞給解析器。 這與分析工具或數據包內容不起作用或無法分析的流量類型有關。 例如，對於加密流量，參數交換數據（誰、與誰、何時、多少）可能是感興趣的，而有效載荷實際上是垃圾，佔用分析器的通道和計算資源。 當有效載荷從給定的偏移量開始被切斷時，變化是可能的——這為分析工具提供了額外的範圍；
- 去隧道，即刪除指定和識別隧道的標頭。 目標是減少分析工具的負載並提高其效率。 去隧道可以基於每個數據包的固定偏移量或動態報頭分析和偏移量確定；
- 去除部分包頭：MPLS標籤、VLAN、第三方設備的特定字段；
- 屏蔽部分header，例如屏蔽IP地址，保證流量匿名；
- 向數據包添加服務信息：時間戳、輸入端口、流量類別標籤等。
3.重複數據刪除 – 清除傳輸到分析工具的重複流量數據包。 由於連接到基礎設施的特殊性，重複數據包最常發生 - 流量可以通過多個分析點並從每個分析點進行鏡像。 還有就是重發不完整的TCP數據包，但是如果數量很多，那麼這些更多的是監控網絡質量的問題，而不是網絡中的信息安全問題。
4.高級過濾功能 – 從在給定偏移處搜索特定值到在整個包中進行簽名分析。
5.NetFlow/IPFIX生成 – 收集關於通過流量的廣泛統計數據並將其傳輸到分析工具。
6.解密SSL流量， 前提是證書和密鑰首先加載到網絡數據包代理中。 然而，這使您可以顯著卸載分析工具。
還有更多功能，有用的和營銷的，但也許列出了主要的功能。
將檢測系統（入侵、DDOS 攻擊）開發到系統中以進行預防，以及引入主動 DPI 工具，需要將切換方案從被動（通過 TAP 或 SPAN 端口）轉變為主動（“中斷” ). 這種情況增加了對可靠性的要求（因為這種情況下的故障會導致整個網絡的中斷，而不僅僅是失去對信息安全的控制）並導致光耦合器被光旁路取代（為了解決了網絡性能對系統信息安全性能的依賴性問題），但其主要功能和要求保持不變。
從設計和電路到嵌入式軟件，我們開發了具有 100G、40G 和 10G 接口的 DS Integrity 網絡數據包代理。 此外，與其他數據包代理不同，嵌套隧道標頭的修改和平衡功能是在我們的硬件中以全端口速度實現的。
來源： www.habr.com