信息安全已经从电信中分离出来，成为一个独立的行业，有自己的特点和自己的设备。 但有一类鲜为人知的设备位于电信和信息领域的交界处 - 网络数据包代理 （网络数据包代理），它们也是负载均衡器、专用/监控交换机、流量聚合器、安全交付平台、网络可视性等。 作为此类设备的俄罗斯开发商和制造商，我们真的很想告诉您更多有关它们的信息。
范围和要解决的任务
网络数据包代理是在信息安全系统中用途最广泛的专用设备。 因此，与交换机、路由器等相比，该设备类别相对较新，并且在常见网络基础设施中很少。 开发此类设备的先驱是美国 Gigamon 公司。 目前，该市场的参与者明显增多（包括来自知名测试系统制造商 IXIA 的类似解决方案），但只有一小部分专业人士仍然知道此类设备的存在。 如上所述，即使使用术语，也没有明确的确定性：名称范围从“网络透明系统”到简单的“平衡器”。
在开发网络数据包代理时，我们面临这样的事实：除了分析功能的开发方向和在实验室/测试区进行测试之外，还需要同时向潜在消费者解释此类设备的存在，因为并不是每个人都知道这一点。
即使在15-20年前，网络上的流量也很少，而且大多是不重要的数据。 但 几乎重复 ：互联网连接速度每年增加 50%。 流量也在稳步增长（图表显示了思科 2017 年的预测，来源思科视觉网络指数：预测和趋势，2017-2022）：
随着速度的提高，信息流通的重要性（这既是商业秘密，也是臭名昭著的个人数据）和基础设施的整体性能也在不断增加。
相应地，信息安全产业应运而生。 业界为此推出了全系列的流量分析（DPI）设备，从DDOS攻击防御系统到信息安全事件管理系统，包括IDS、IPS、DLP、NBA、SIEM、Antimailware等。 通常，这些工具中的每一个都是安装在服务器平台上的软件。 而且，每个程序（分析工具）都安装在自己的服务器平台上：软件厂商不同，在L7上进行分析需要大量的计算资源。
在构建信息安全体系时，需要解决一些基本任务：
- 如何将流量从基础设施转移到分析系统？ （现代基础设施中最初为此开发的SPAN端口无论是数量还是性能都不够）
- 如何在不同的分析系统之间分配流量？
- 当分析器的一个实例的性能不足以处理进入其中的全部流量时，如何扩展系统？
- 由于分析工具目前仅支持 40G/100G/200G 接口，如何监控 400G/1G 接口（不久的将来还会监控 10G/25G）？
以及以下相关任务：
- 如何最大限度地减少不需要处理但进入分析工具并消耗其资源的不当流量？
- 如何处理封装的数据包和带有硬件服务标记的数据包，这些数据包的分析准备工作要么占用大量资源，要么根本无法实现？
- 如何从分析中排除部分不受安全策略管制的流量（例如头部的流量）。
众所周知，需求创造供给，针对这些需求，网络数据包经纪人开始发展。
网络数据包代理的一般描述
网络数据包代理在数据包级别工作，在这一点上它们与普通交换机类似。 与交换机的主要区别在于，网络数据包代理中流量的分配和聚合规则完全由设置决定。 网络数据包代理没有构建转发表（MAC 表）和与其他交换机（例如 STP）交换协议的标准，因此其中可能的设置和可理解字段的范围要广泛得多。 代理可以通过输出负载平衡功能将流量从一个或多个输入端口均匀分配到给定范围的输出端口。 您可以设置复制、过滤、分类、重复数据删除和修改流量的规则。 这些规则可以应用于网络数据包代理的不同输入端口组，也可以一个接一个地顺序应用于设备本身。 数据包代理的一个重要优势是能够以全速率处理流量并保持会话的完整性（在平衡到多个相同类型的 DPI 系统的流量的情况下）。
保持会话的完整性是将传输层（TCP/UDP/SCTP）会话的所有数据包传输到一个端口。 这很重要，因为 DPI 系统（通常是在连接到数据包代理输出端口的服务器上运行的软件）在应用程序级别分析流量内容，并且一个应用程序发送/接收的所有数据包必须到达该应用程序的同一实例。分析仪。 如果一个会话的数据包丢失或分布在不同的 DPI 设备之间，则每个单独的 DPI 设备将处于类似于读取的不是整个文本，而是其中的单个单词的情况。 而且，很可能文本无法理解。
因此，网络数据包代理专注于信息安全系统，具有帮助将 DPI 软件系统连接到高速电信网络并减少其负载的功能：它们对流量进行预过滤、分类和准备，以简化后续处理。
此外，由于网络数据包代理提供广泛的统计数据，并且通常连接到网络中的各个点，因此它们在诊断网络基础设施本身的健康问题方面也占有一席之地。
网络数据包代理的基本功能
“专用/监控交换机”这个名称源于其基本目的：从基础设施收集流量（通常使用无源光学 TAP 分路器和/或 SPAN 端口）并将其分配给分析工具。 不同类型系统之间流量镜像（复制），同一类型系统之间流量均衡。 基本功能通常包括按高达 L4 的字段（MAC、IP、TCP/UDP 端口等）进行过滤，以及将多个轻负载通道聚合为一个通道（例如，用于在一个 DPI 系统上进行处理）。
此功能为基本任务（将 DPI 系统连接到网络基础设施）提供了解决方案。 来自不同制造商的代理，仅限于基本功能，每 32U 提供多达 100 1G 接口的处理（1U 前面板上实际上无法容纳更多接口）。 然而，它们不允许减少分析工具的负载，并且对于复杂的基础设施，它们甚至无法提供基本功能的要求：分布在多个隧道（或配备 MPLS 标签）上的会话对于不同的实例可能是不平衡的。分析器，并且通常会退出分析。
除了添加 40/100G 接口并提高性能之外，网络数据包代理还积极开发提供全新功能：从平衡嵌套隧道标头到流量解密。 不幸的是，此类模型无法夸耀太比特级的性能，但它们使得构建真正高质量且技术上“美丽”的信息安全系统成为可能，其中每个分析工具都保证只以最合适的形式接收其所需的信息进行分析。
网络数据包代理的高级功能
1. 上文提到的 隧道流量中的嵌套标头平衡。
它为什么如此重要？ 考虑三个可能共同或单独重要的方面：
- 确保存在少量隧道时的均匀平衡。 如果信息安全系统的连接点只有 2 个隧道，则在维持会话的同时，不可能通过 3 个服务器平台上的外部标头使它们不平衡。 同时，网络中的流量传输不均匀，每个隧道到单独的处理设施的方向将要求后者的性能过高；
- 确保多会话协议（例如 FTP 和 VoIP）的会话和流的完整性，其数据包最终位于不同的隧道中。 网络基础设施的复杂性不断增加：冗余、虚拟化、管理简化等等。 一方面，这增加了数据传输方面的可靠性，另一方面，也使信息安全系统的工作变得复杂。 即使分析仪具有足够的性能来处理具有隧道的专用通道，该问题仍然无法解决，因为一些用户会话数据包是通过另一个通道传输的。 此外，如果他们仍然试图照顾某些基础设施中会话的完整性，那么多会话协议可能会采取完全不同的方式；
- 在存在 MPLS、VLAN、单个设备标签等的情况下进行平衡不是真正的隧道，但尽管如此，具有基本功能的设备可以将这种流量理解为不作为 IP 并通过 MAC 地址进行平衡，这再次违反了平衡或会话完整性的一致性。
网络数据包代理解析外部标头并按顺序跟踪指针直至嵌套的 IP 标头并在其上进行平衡。 因此，流量显着增加（因此，它可以在更多数量的平台上更均匀地不平衡），并且 DPI 系统接收所有会话数据包和多会话协议的所有关联会话。
2.交通改造。
就其功能而言，它是最广泛的函数之一，子函数的数量及其使用选项很多：
- 删除有效负载，在这种情况下，仅将数据包标头传递给解析器。 这与分析工具或数据包内容不起作用或无法分析的流量类型相关。 例如，对于加密流量，参数交换数据（谁、与谁、何时以及多少）可能令人感兴趣，而有效负载实际上是占用分析器的通道和计算资源的垃圾。 当有效载荷从给定的偏移量开始被切断时，可能会出现变化——这为分析工具提供了额外的范围；
- 去隧道，即删除指定和标识隧道的标头。 目标是减少分析工具的负载并提高其效率。 解隧道可以基于每个数据包的固定偏移或动态标头分析和偏移确定；
- 去除一些数据包头：MPLS标签、VLAN、第三方设备的特定字段；
- 屏蔽部分标头，例如屏蔽IP地址以保证流量匿名化；
- 向数据包添加服务信息：时间戳、输入端口、流量类别标签等。
3. 重复数据删除 – 清理传输到分析工具的重复流量数据包。 由于连接到基础设施的特殊性，重复数据包最常发生 - 流量可以通过多个分析点并从每个分析点进行镜像。 还有不完整的TCP数据包的重发，但如果有很多，那么这些更多的是监控网络质量的问题，而不是其中的信息安全问题。
4. 高级过滤功能 – 从在给定偏移处搜索特定值到整个包的签名分析。
5. NetFlow/IPFIX生成 – 收集有关过往交通的广泛统计数据并将其传输到分析工具。
6. SSL流量解密， 前提是证书和密钥首先加载到网络数据包代理中。 尽管如此，这可以让您显着卸载分析工具。
还有更多的功能，有用的和营销的，但主要的也许已经列出了。
将检测系统（入侵、DDOS 攻击）开发为预防系统，以及主动 DPI 工具的引入，需要将交换方案从被动（通过 TAP 或 SPAN 端口）更改为主动（“中断”） ）。 这种情况增加了对可靠性的要求（因为这种情况下的故障会导致整个网络的中断，而不仅仅是信息安全的失控），并导致光耦合器被光旁路取代（为了解决网络性能对系统信息安全性能的依赖问题），但主要功能和要求保持不变。
我们开发了 DS Integrity 网络数据包代理，具有从设计、电路到嵌入式软件的 100G、40G 和 10G 接口。 此外，与其他数据包代理不同，嵌套隧道标头的修改和平衡功能是在我们的硬件中以全端口速度实现的。
来源： habr.com