在本文中，我们将告诉您我们的客户使用戴尔 R730xd 服务器平台实施了哪些基础设施解决方案，以及为什么租用该平台的价格如此之高 与乌克兰和俄罗斯有良好的沟通渠道，以及 ，已经以一定的价格提供了布局和连接 已成为现实。 我们将分享基于这些平台的可能的解决方案，使用私有 VLAN、10G 本地网络和 CISCO 的硬件防火墙，并根据要求提供给我们的客户。 此外，按照最佳传统，我们将为 Habrahabr 读者提供免费使用 Dell R730xd 服务器一段时间的奖励。
最近，我们收到越来越多的关于建设各种企业基础设施的请求，不幸的是，这与我们提供非常高质量的解决方案的事实没有太大关系，而是与这些解决方案的价格和水平有关。荷兰和美国提供了安全和法治，但遗憾的是，乌克兰和俄罗斯往往无法做到这一点。 不幸的是，这种解决方案的成本只是“天文数字”，因为“长期资金”的概念对于后苏联国家来说原则上是陌生的，在其他风险的背景下或由于缺乏必要的基础设施和水平认证。
一个很好的例子就是硬件价格的差异。 例如， 戴尔R730xd平台， 为我们的客户购买的， 基本配置中，2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 价格约为 9000 欧元。 不言而喻，在乌克兰或俄罗斯租用该服务器毫无疑问价格低廉，因为租赁成本是基于12-18个月内平台成本的回收。 这意味着，不包括住宿、电力和通讯渠道费用的最低可能租金价格将在500-800美元/月的范围内，具体取决于提供商的风险程度和商业计划。 您还需要找到一个具有所需认证级别和通信渠道的良好数据中心。 好吧，不要忘记考虑到在某些非法调查行动中非法扣押设备的风险，这些行动可能是由于竞争和在特定地区开展业务的具体情况而引起的。
因此，我们的提案引起了极大的兴趣也就不足为奇了，特别是因为我们提供拟议服务器的数据中心拥有许多对企业部门必要且重要的证书 - , , , и .
现在让我们看一下初学者和小型项目以及在隔离区或数据中心的办公室构建解决方案的相当大的系统集成商可能感兴趣的几个案例。
使用 Red Hat Ceph 构建数据仓库时 Dell R730xd 平台的优势
众所周知，数据存储和处理的需求不断增长，而且速度不断加快。 如果几年前拥有 1TB 存储就足够了，可提供数百 IOPS，那么现在需求已增加到数万 IOPS 和 PB 空间。 这些对容量和性能的需求在一定程度上是由于非结构化数据量的增加而推动的，这些非结构化数据包括音乐、图像、视频、数据库备份、日志文件和其他档案、财务和医疗数据（称为“大数据”的数据）。 更不用说由于互联网和新的互联网资源的扩散和扩展而对数据存储的需求不断增长。 因此，面对所有这些电力需求，客户对高可靠性和高性能的期望比以往任何时候都更高。
虽然 IT 公司正在努力解决管理 PB 甚至 EB 数据的问题，但云存储模型在现代数据中心中变得越来越普遍。 越来越多的新软件系统正在被编写，允许您以最佳方式配置云环境与硬件的交互；Ceph 就是其中之一。
Ceph 是一个开源分布式存储系统，旨在提供高性能、可靠性和可扩展性。 Ceph在分布式计算机集群上实现对象存储，并提供存储对象、块和文件的接口。 Ceph 提供完全分布式存储，无单点故障，并且可扩展至 PB 级别。 Ceph 复制数据，从而提供容错能力。 该系统的设计不仅提供独立恢复，还提供管理，这有助于避免不必要的维护成本。 由于 Ceph 使用由软件控制的通用硬件，并且可以通过应用程序编程接口 (API) 获得管理功能，因此它被归类为软件定义存储 (SDS)。
红帽 Ceph 存储是一款即用型存储系统，软件定义存储，开放、适应性强、可扩展且随处受支持。 将开源开发的创新与红帽的技术核心和支持相结合。 该解决方案提供与 OpenStack 的紧密集成，并从头开始设计，为云环境和其他工作负载提供下一代存储。
在这里，我们将查看在戴尔服务器（特别是我们出租的 Dell PowerEdge R730xd）上实施此解决方案的示例，并考虑基于这些平台构建存储的优势。 此信息对于想要探索在 Dell PowerEdge 服务器上使用红帽 Ceph 存储的优势以及必须使用经过验证的最佳实践来设计和规划实施的架构师、工程师和 IT 管理员可能有用。
但一开始：
关于平台本身的一些信息，我们提供哪些选项以及为什么它具有成本效益？
Dell PowerEdge R730xd 是迄今为止适合企业任务及其他任务的最佳平台之一，它赢得了许多不同的奖项，并且是一种非常有效的存储解决方案，因为它可以以合理的价格提供高密度存储。
PowerEdge R730xd 提供三种机箱配置，具有不同的外形尺寸和驱动器组合，以及可选的后扩展单元：
- 24 个用于 SAS、SATA 或近线 SAS 驱动器的前置 2,5 英寸托架，以及 2 个可选的 2,5 英寸后托架。 2,5 英寸机箱前端可选择支持最多 4 个戴尔 PCIe Express 闪存驱动器。
- 12 个前置 3,5 英寸 SAS、SATA 或近线 SAS 驱动器托架，带有 4 个可选内部 3,5 英寸热插拔驱动器托架，以及后部两个可选 2,5 英寸驱动器托架。
- 18 个前置 1,8 英寸 SATA 托架，8 个 3,5 英寸 SAS、SATA 或近线 SAS 驱动器托架，以及后部 2 个可选的 2,5 英寸托架。
似乎每个机箱都适合其类型的任务。 这是肯定的。 但它们真的同样具有成本效益吗？
我们选择了第二种方案，以便在具有 12 个驱动器托架的机箱上满足尽可能广泛的用户的需求。 因为我们认为这是最有效的。 这就是原因。 该解决方案的经济效率已经体现在其多功能性上 - 各种外形尺寸的驱动器可以安装在该机箱中，并且购买成本更便宜，而且重要的是，您可以在使用多个互连平台处理数据时获得更高的生产力而不仅仅是存储密度高而生产率明显较低的一种。
我们相信，通过将几个类似的平台连接成一个多千兆位本地网络（可以使用双端口十千兆位 Intel X20-T540 卡，将每个节点以 2 Gbit/s 或更高的速度连接到本地网络，我们另外提供），与具有更高存储密度的平台相比，我们可以获得明显更好的结果和性能。 这对于使用这些平台来处理数据库的基础设施尤其重要。 唉，由于驱动器数量较多，控制器可能会严重过载，而且 xd 版本中的附加控制器不可用。 当使用具有 12 个托架和本地多千兆位网络的平台时，可以实现的性能会更高，而解决方案也将更加分布式和可靠。 一句话——性价比高！
结构设计特点、显卡的使用
Dell PowerEdge R730xd 平台尺寸仅为 2U，最多支持 2 个 Intel Xeon E5-2600 v3 及更高处理器，也就是说，在使用 36 核处理器时，它允许您最多获得 18 个核心。 我们选择了中间选项，但最新一代 - 12 核 E5-2650 v4 处理器（总共 24 个核心可供您使用，考虑到多线程 - 48 个核心），因为事实证明它是成本最高的-有效的。 所以，在第四代中，实现了更高效的处理器指令，例如负责数据加密的AES，比相同处理器但第三代的效率提高了70%。 同时，处理器和平台可以支持高达 1,54 TB 的 RAM，这在某些非常特殊的情况下非常重要。 我们选择了最受欢迎、价格和运行速度最实惠的选项 - 128GB DDR4 RAM，并根据订户的要求提供升级的可能性。
R730xd的前面板上有6个系统状态指示灯，可以通知您各种问题，因此您可以及时采取适当的措施来避免很多关键问题。 RAM 的 DIMM 插槽直接位于主板上。 R730xd 支持注册纠错 DIMM 以及 LRDIMM（低负载双列直插内存模块），这是一种相对较新的服务器内存类型。 但我们不使用它，因为当目标是提高运行速度时，LRDIMM 仅对大量内存有用。
内部双 SD 模块 (IDSDM) 允许客户部署戴尔的容错虚拟化技术，该技术为嵌入式虚拟机管理程序提供故障转移冗余。 尽管 PowerEdge R730 支持 GPU，这在虚拟办公环境（虚拟桌面）以及高性能计算和协作处理方面非常有用，但 R730xd 不支持 GPU，因为无法为显卡提供适当的冷却。 然而，到目前为止，我们对这项服务的需求很少，并且只有一个订阅者为服务器订购了视频卡。 正是出于这个原因，我们没有批量订购 R730 平台，但可以根据要求交付，并配备推荐的卡之一。
因此，不幸的是，租用解决方案的价格不会那么有吸引力，并且会增加超过 2 倍，具体取决于付款期限和合同期限。 我们建议通过我们在荷兰的供应商自己购买卡，价格如下，并且仅来自此推荐列表（这些是我们提出请求时戴尔本身的建议），也许这些信息对某人有用：
NVIDIA Tesla M10 GPU CusKit：2,884.98 欧元
NVIDIA Tesla M40 GPU：4,913.33 欧元
NVIDIA Tesla M40 24GB GPU，定制套件：6,458.95 欧元
NVIDIA M60 GPU，无源，需要 GRID 2.0 软件才能实现 VDI 功能，定制套件：5,094.95 欧元
许可证：
Nvidia GRID vApps 订阅许可证 3 年，1 个 CCU：20 欧元
Nvidia GRID vPC 订阅许可证 3 年，1 个 CCU：95 欧元
Nvidia GRID vWS 订阅许可证 3 年，1 个 CCU：480 欧元
因此，如果您准备好签订至少 2 年的合同来租用 Dell R730 服务器（不是 xd，这就是该解决方案昂贵得多的原因） - 请联系 [电子邮件保护]，我们将很高兴为您提供帮助！ 使用上面推荐的其中一款显卡，在 DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU 配置和 2 年合同中，每年的费用约为 6816 美元，而不是 2988 美元每年，本文中讨论的 Dell R730xd+ 平台将需要支付显卡和许可证的费用，因为这是非常特殊的设备。
然而，即使这个价格也比乌克兰和俄罗斯的数据中心为此类解决方案提供的价格更具吸引力，如果他们想提供此类解决方案的话……奇怪的是，在与戴尔合作的荷兰直接成立， 从我们的客户下订单的那一刻起，带视频卡的服务器承诺的交货时间几乎是两个月（客户同意等待，因为市场上根本没有替代品），由于该产品的特殊性强 戴尔根本没有库存。 尽管如此，不到一个月的时间就完成了交付。 感谢数据中心供应部门和戴尔人员的效率。 但对我来说，这种经历仍然不寻常，因为标准的戴尔 R730xd 平台在几天内即可交付。
PERC 控制器控制和功能
该服务器可以通过方便的 iDRAC8（集成戴尔远程访问控制器 8）和戴尔生命周期控制器进行管理，从而减少管理任务所花费的时间，降低出错的可能性，提高安全性并提高 IT 环境的整体效率。
对于我们的订户，通过 RMI（远程管理接口）提供对 iDRAC8 的访问，出于安全目的，只能从专用数据中心网络访问该接口，我们通过开放 VPN 隧道免费提供访问权限。 登录后，iDRAC 将显示系统概览以及通过 iKVM 的虚拟控制台视图。
我要特别注意监控；iDRAC8允许您获取最近一小时、一天或一周的功耗统计数据并限制最大功耗：
iDRAC 温度监控和记录系统允许您从温度传感器收集数据并确定其所在的范围。 因此，处理器在一年中仅 10% 的时间处于警告温度范围被认为是可接受的，而 1% 的时间处于严重温度范围则被认为是可接受的。 临界带内的时间也会影响警告带内的允许时间。 温度数据采集从系统出厂后开机时开始，且不可重置。
第13代戴尔PowerEdge服务器配备了PERC9控制器，其中之前在PERC8控制器中使用的LSI CacheCade技术已被更高效的技术——SanDisk的DAS Cache所取代。
在综合测试中，在 HDD+SSD 混合配置的情况下，DAS Cache 显着提高了 HDD 阵列的性能。 因此，在 RAID5（选择 6 级以提供最大容量）的 6 个 HDD 阵列和 5 个 SSD RAID10（4 + 1 热备 SSD 以最大化阵列性能）的情况下，使用 DAS Cache 时的性能该阵列是5个HDD RAID6 + DAS Cache在指定的SSD阵列上结果显示接近SSD阵列本身的性能：
因此，在熟悉了该平台之后，我们现在可以看看该平台在构建存储设施时的优势。
是什么让 Dell R730xd 平台成为数据仓库部署（尤其是 Red Hat Ceph）的最佳选择？
红帽 Ceph 存储环境使用行业标准服务器来实现可扩展性、弹性和性能。 数据保护方法在解决方案的成本中起着关键作用。 Ceph允许用户针对不同的存储池选择不同的安全方法。
复制存储池生成存储对象的完整副本，是快速恢复和数据操作的理想选择。 对于复制存储池，当三个数据副本驻留在三个独立的 Ceph 节点上时，Ceph 默认复制因子为 XNUMX。
防腐蚀存储池提供具有奇偶校验的单一数据副本，这在需要长期数据存储时非常有用，并且具有成本效益。
PowerEdge R730xd 是一款极其灵活且可扩展的两单元机架服务器，可提供高性能处理和各种工作负载优化的本地存储选项，包括混合层。 该开发包括广泛的配置，非常适合 Ceph。
— R730xd 能够为小型和大型企业创建高效的基础设施解决方案。
— R730xd 通过自动化部署功能缩短了调试时间，从而减少了用户输入并减少了人为错误。
“PowerEdge 服务器通过 iDRAC Quick Sync 和 iDRAC Direct 等创新管理工具提高数据中心 IT 性能，提供全面的系统运行状况可视性和快速部署。
“PowerEdge 服务器优化了功耗，提供了更好的每瓦性能以及对功耗和冷却的更精确控制。
Dell PowerEdge R730xd 通过以下方式提供确保最大生产力的优势：
— 通过使用最新技术和动态本地存储来提高应用程序效率。
“前端存取存储支持多种驱动器，从低成本 SATA HDD 到超快 2.5 英寸 SSD，以及 PowerEdge Express Flash NVMe PCIe SSD 等超低延迟驱动器，可轻松快速地进行扩展。
- 由于在 PERC 控制器中使用了新的缓存技术，R730xd 非常适合混合存储设计，从而提高了 Ceph 解决方案的成本效率。
使用 Red Hat Ceph Storage 实施基础架构的示例由 5 台 Dell R730xd 服务器组成，如下所示：
在对 Dell R730xd 平台的各种配置进行独立测试时，获得了以下结果：
我们的平台版本显示出非常好的结果，在阅读的情况下，也许是最好的。 如果我们考虑到我们大量订购这些平台的事实，因此我们可以提供比其他平台选项低 2 倍以上的价格 - 事实证明，就阅读和写作而言，它是最好的整合的成本效益参数。 最后，没有什么可以阻止您构建由 7-8 个平台（而不是 5 个）组成的集群。同时，您还可以获得更高的容错能力。
构建此类基础设施时是否需要 10G 交换机？ 不，不是必需的，我们的一个客户使用以下本地网络连接方案构建了一个基础设施，尽管是由 3 台服务器组成的：
这让他节省了相当多的费用 - 每月 350 美元的交换机租金，因为 10 千兆位交换机相当昂贵，而我们只提供最好的 - Arista 7050tx-48-r。 我们认为多端口解决方案没有任何意义。
Dell R730xd 平台原则上有哪些功能？
不久前，微软对这些平台在构建少量节点的数据仓库的情况下的性能进行了有趣的测试。
我们使用 4 个 Dell R730xd 节点，使用 100 端口 Arista DCS-32CX-7060S 32Gb 交换机联合成一个本地 100Gb 网络，运行 EOS 版本 4.15.3FX-7060X.1。
使用的节点配置如下：
2 个至强 E5-2660v3 2.6Ghz (10c20t)
256GB DRAM（16 个 16GB DDR4 2133 MHz DIMM）
4x 三星 PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
戴尔HBA330
4 个英特尔 S3710 800GB SATA 固态硬盘
12x 希捷 4TB 企业级容量 3.5 英寸 SATA 硬盘
2x Mellanox ConnectX-4 100Gb（双端口 100Gb PCIe 3.0 x16）
Mellanox FW 诉。 12.14.2036年XNUMX月XNUMX日
Mellanox ConnectX-4 驱动程序 v. 1.35.14894
设备 PSID MT_2150110033
单端口连接/适配器
使用VMFleet，每个节点上拉起20个虚拟机，即总共80个虚拟机。 每个虚拟机配置有 1vCPU。 然后使用 VMFleet 运行 DISKSPD 实用程序来测试 80 个节点中每个节点上的存储性能，该实用程序免费提供 。 测试参数如下 - 1 个线程，512 个 I/O 操作的顺序读取 4KiB。
正如您在上图中所看到的，我们成功实现了每秒 60 GB 的令人难以置信的结果，大约相当于每秒下载 5 个压缩形式的维基百科英文版本 (11.5GiB)。 每个虚拟机的速度约为每秒一张 CD - 750 MB。
该测试完美地展示了当计算、存储和网络三个组件达到平衡时解决方案的效率，从而最大限度地减少不平衡系统中可能出现的潜在瓶颈。
其他制造商的平台怎么样？
戴尔 R730xd 与 HP ProLiant DL380 的比较
为了比较性能，我们选择了比我们提供的租赁服务更弱的硬件 - 配备 E5-2620v3 处理器的服务器，而不是 E5-2650v4，后者的生产力明显更高。 用于此比较的主要测试方法是测量 IOPS 数。 使用了几种不同的工作负载模拟，即全读和30%读/70%写（类比OLTP系统，事务性系统，处理小事务，但流量很大，客户端需要保证最短的响应时间）。
经过多次测试，消除隐藏因素对系统性能的负面影响。 首先，我们仅使用 HDD 存储 (730x380TB HDD RAID5) 在 Dell R1xd 和 HP ProLiant DL5 上运行一些基本测试，以提供基准性能基准。 然后，在戴尔服务器上使用 5x1TB HDD RAID-5 存储（使用安装在 SAS SSD（2xSAS 480GB 三星 SSD RAID1）上的 DAS 缓存）以及使用 HPE SmartCache 和一组类似的存储驱动器的 HP 服务器上运行相同的测试集和缓存。 最后，最后一组测试在戴尔服务器上运行，使用 NVMe PCIe SSD 驱动器上的 DAS Cache（软件 RAID 中的 2x400GB Samsung NVMe），以显示在读写密集型情况下缓存对应用程序性能提升的最大贡献。 由于智能缓存不支持 NVMe 驱动器进行缓存，因此未在 HP 服务器上执行类似的测试。
系统配置：
戴尔 PowerEdge R730xd（第 13 代）
HP ProLiant DL380（第 9 代）
服务器
CPU：x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz；
内存：32GB DDR4。
CPU：x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz；
内存：32GB DDR4。
操作系统/软件
Windows 2012 R2 SP1；
闪迪 DAS 缓存 v1.4。
Windows 2012 R2 SP1；
HPE 智能缓存。
存储/缓存
5x1TB 硬盘 RAID5；
2xSAS 480GB 三星 SSD RAID1；
2x400GB 三星 NVMe 软件 RAID。
5x1TB 硬盘 RAID5；
2xSAS 480GB 三星 SSD RAID1。
测试
模拟OLTP读写工作负载；
300GB数据库大小；
4 个同步 IOMETER 工作线程，队列深度为 32。
模拟OLTP读写工作负载；
300GB数据库大小；
4 个同步 IOMETER 工作线程，队列深度为 32。
在不同的块大小（4 和 8 KB）下进行了多次随机读/写测试。 对于每个块大小，依次在 100% 读取操作、70% 读取操作和 30% 写入操作下进行测试。 与使用缓存进行性能加速相关的测试运行了 900 秒（15 分钟），以便为缓存提供足够的时间来完全运行并产生更准确的结果。
以 IOPS（每秒输入/输出操作数）为单位的性能测量：
正在测试的服务器/配置
4KB RR
100% 阅读
4KB RR
70% 读取 30% 写入
8KB RR
100% 阅读
8KB RR
70% 读取 30% 写入
戴尔 R730xD（无缓存）
1650
974
1540
1040
HP ProLiant DL380（无缓存）
1370
628
1322
630
戴尔 R730xD
带 DAS 缓存
138884
66483
98368
56641
惠普ProLiant DL380
带智能缓存
41273
33534
35984
39396
戴尔 R730xD
DAS 缓存和
NVMe PCIe 固态硬盘
264750
158157
257150
104490
以处理器利用率百分比衡量性能：
正在测试的服务器/配置
4KB RR
100% 阅读
4KB RR
70% 读取 30% 写入
8KB RR
100% 阅读
8KB RR
70% 读取 30% 写入
戴尔 R730xD（无缓存）
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380（无缓存）
0,8%
0,5%
0,8%
0,5%
戴尔 R730xD
带 DAS 缓存
13%
8,8%
11,34%
7,83%
惠普ProLiant DL380
带智能缓存
6%
6%
5%
5%
戴尔 R730xD
DAS 缓存和
NVMe PCIe 固态硬盘
16%
10,1%
16%
5,78%
测试结果显示，与 HPE SmartCache 相比，使用 SanDisk DAS 缓存时，Dell R730xd 平台的性能显着提升，并且 NVMe PCIe SSD 支持提供了更大的优势。 在 OLTP 模拟中，与 HPE SmartCache 相比，由于使用 SanDisk DAS Cache 和 SAS SSD，R730xd 的 IOPS 提高了 3 倍；由于使用 SanDisk DAS Cache + NVMe PCIe SSD，IOPS 提高了 6 倍。 SanDisk DAS Cache 更高的 CPU 利用率，以及 SanDisk DAS Cache + NVMe PCIe SSD 更高的 CPU 利用率，仅仅是更高的 IOPS 计数的结果。 相反，显示了处理器资源的更优化消耗。
因此，如果在利用率为 6% 的 HP 中，IOPS 的结果为 41，即每 1 IOPS 消耗 0,15% 的处理器资源，那么在 Dell R730xd 的情况下，我们的消耗为 16%，为 264，这提供更高效的指标 — 每 0,06 IOPS 占用 1000% 的处理器资源。
也就是说，在处理器利用率方面，戴尔也表现得更好（2,5倍），尽管它的处理器利用率值高出%，但是，正如我们能够验证的那样，这只是处理的结果操作数量显着增加，因此生产率更高。
因此，无论是在性能还是成本效益方面，戴尔 R730xd 平台都比 HP ProLiant DL380 高效得多（很多倍）。
Geekbanch 3 测试配备 E730-5 v2640 处理器的 Dell R4xd 的结果或为什么处理器指令和控制器缓存很重要
正如我们在上面看到的， 只有平衡计算能力、存储和网络这三个组成部分，我们才能取得最大成果，因为不平衡系统中可能出现的潜在瓶颈被最小化。
但同样极其重要的是平台处理器对大量指令的支持及其效率。 我在上面已经提到，在某些情况下，看似微不足道的代际差异可能会发挥相当重要的作用。 因此，根据独立测试的结果，我们提供的E5-2650 v4在加密（AES指令）的情况下比E70-5 v2650有效3%。
那么来自低成本而非高端市场的竞争对手提供的“美味”解决方案又如何呢？ 为什么我们的解决方案更好？ 为什么我们的解决方案如此优质？ 答案很简单—— 我们的服务器过去和现在都是平衡的。 即使它们之前的频率较低或内存量较小，它们也总是根据上述三个参数进行平衡。 包括一个可靠的数据中心，拥有企业部门所需的证书，以及出色的外部通信渠道，可提供从荷兰到欧洲其他国家、俄罗斯和乌克兰甚至俄罗斯和乌克兰的最小延迟
但现在我们在这些指标上都给出了有竞争力的报价，同时在10个地点，荷兰9个，美国5个地点，但先不说我们，我们看测试。 不幸的是，此测试目前仅适用于我们平台的 E2640-4 v10 版本（12 核，而不是 XNUMX 核）。
当然，它不是很客观，因为它没有考虑到平台的所有优势，同样是我们谈到的SanDisk DAS缓存，在特定的情况下，真实的性能指标可能比合成的要好得多案例，很多！ 但还是可以得到一些了解的。
让我们注意许多指示。 最有指示性的可能是已经提到的 AES，在大约相同的频率下，第一个核心的值之间的差异可能高达 1 倍，具体取决于处理器，比较的其余指令显示出值的差异数次至1000次。
你可以自己 并进行比较，但不要忘记该测试并不完全具有指示性，因为它没有考虑整个硬件，而是主要表征处理器。
尽管如此，我希望这些结果在分析特定解决方案的有效性时对您有用。
使用 Dell R730xd 服务器作为裸机，效果更好！
我们的一些客户决定放弃使用 VMware 云解决方案，转而使用裸机解决方案（铁服务器），戴尔 R730xd 平台在这方面为他们提供了很大帮助。 我们在这里谈论的不仅是公共云，还包括私有云。
为什么人们越来越多地做出这样的决定？ 关于公有云，一切都或多或少是清楚的。 我自己认为公共云是一个大营销，如果有东西落在那里（所有的云迟早都会落下），它会落在那里很长一段时间。 一个例子是同样著名的亚马逊，它曾一度搁置了几天的时间，并提供了一项重要的服务，用于收集遥测医疗数据，包括使用起搏器的患者的心脏状况数据，这些数据由医生、几名医生进行监测。人们死了......最近，当我们的公司 Bitrix 躺下时，事实证明，原因是员工在关闭某些机器时，由于拼写错误，关闭了不必要的节点，影响管理节点，导致虚拟机因集群规模过大而在 5 小时内重新启动...但这不是唯一可能的问题；可能会出现由于使用而突然遇到“瓶颈”的情况云被其他一些项目所影响，或者缺乏快速管理其基础设施以满足您自己的需求的能力。
当谈到私有云时，理论上，虚拟化可以简化可用性和灾难恢复。 实际上，在很多情况下这根本没有意义：
如果节点出现技术问题，15-30 分钟的停机时间是可以接受的。
并非所有项目都需要大约 100% 的正常运行时间，除了习惯于支付一美元并要求 100% 正常运行的小学生。 对于某些项目来说，99,9% 的正常运行时间保证不仅仅是一个可接受的选择。 因为 0,1% 是每月最多 44 分钟的不可用时间，这种情况可能因各种计划外原因而发生 - 由于硬件故障或网络不可用。 我们保证标准解决方案的网络正常运行时间为 99,99%，每月仅允许 4 分钟不可用。 如果服务器连接到2个经过不同通信节点的独立通道，并且其流量由独立的核心处理，则保证的网络正常运行时间将增加数倍。 根据认证，这甚至可以满足银行的正常运行时间要求，每年大约 40 分钟的不可用时间是可以接受的。 事实上，无法使用的时期极为罕见。 在数据中心工作的5年里，从未出现过由于网络或电力问题而导致所有服务器同时不可用的情况。 即使荷兰发生全球停电，许多其他数据中心都无法使用——有些忘记给柴油机加油，有些没有足够的 UPS 电源，在我们的数据中心，只有不到 3% 的服务器短暂不可用。一段的时间。 客户向我们租用的一些服务器，甚至是相当过时、看似过时的硬件，比新品牌的解决方案更容易出现故障，甚至三年没有重新启动过一次，就像三年来从未丢失过网络一样。 。 3 年内不能使用 30 分钟是否可以接受？ 甚至对于银行来说也不止于此。
一个合理的问题出现了，为什么要多付钱呢？ 不言而喻，您不应依赖偶然性，而应始终从合理保留的原则出发。 我发现的主要规则如下： 保留费用不应超过由于缺乏保留而在一段时间内无法使用时可能发生的损失。 也就是说，如果保证的正常运行时间允许每月有 40 分钟的不可用时间，而在这样的时间内不可用，损失将达到数百甚至上千美元 - 只需租用额外的解决方案即可增加正常运行时间保证没有意义。 因为实际上，服务器不会每个月有 40 分钟不可用；40 分钟不可用是保证，是最坏的情况。 正如实践所示，这不是每月实施的。
这样，服务器就可以很重要，但不会成为关键任务，并且当项目所有者不介意手动将负载切换到另一台专用服务器时，我们可以避免构建故障转移集群和共享故障转移存储的复杂性。
工作期间生产力低下是不可接受的。 我们的许多客户正是出于这个原因选择戴尔的裸机解决方案；在标准操作期间使用完整的硬件要便宜得多，利润也更高，而且正如我们已经讨论过的，这实际上不会受到无法访问的影响，而不是为云支付过高的费用选项和云中相同的性能，这将比专用解决方案花费数倍。 云和集群根本无法满足资源需求，对于此类客户来说不具有成本效益。
订户不想为功能有限的服务支付大量费用。 我们的客户大多数是小公司，他们没有自己的技术部门，也没有资金来购买自己的硬件。 购买硬件对他们来说可能是一个真正的打击，并且无法提供足够的性能，因为随着时间的推移，硬件往往会过时，即使在 3 年后，当公司发展壮大并且有更好的东西出现时，扔掉昂贵的硬件也是一种耻辱。需要。 如果您从我们这里租用戴尔 R730xd，如果您选择签订一年合同的租赁选项，您有机会随时或一年后切换到另一台服务器。 此外，还有机会节省 VMware 许可证的费用。
使用 Dell R730xd 服务器作为数据库服务器
我们的许多使用这些数据库服务器的客户都喜欢上了这个平台。 不仅因为，与戴尔 R730 不同，xd 版本可以提供对 NVMe PCIe SSD 驱动器的支持，从而提供最小的延迟，这对于此类解决方案极其重要。 而且还因为即使使用我们向客户提供的传统 2,5 英寸 SSD，该控制器也非常高效。
当然，戴尔R730xd也有一个缺点——只有1个控制器，而拥有730个驱动器的戴尔R26则使用2个硬件控制器。 但这并不是一个严重的问题，因为我们选择了具有 12 个驱动器托架的平台，因此在使用该平台和大量 SSD 时，您不会遇到控制器性能不足的瓶颈。 而能够安装 NVMe PCIe SSD 的优势完全弥补了这一缺点。
如上所述，并不是每个人都需要复杂的数据库集群；这个平台能够提供的性能更为重要。 我们的一位客户就是这样做的，放弃了过度的虚拟化和构建复杂的集群，租用了带有专用驱动器的 VPS，用于从主 Dell R730xd 服务器进行数据库备份： 当然，如果主节点出现问题，性能会有所下降，需要手动切换，但在预算有限的情况下，这是一个非常划算的解决方案。
我们并不鼓励每个人都进行这样的储蓄；在某些情况下甚至是非常合理的。 然而，通过每月仅增加 230 美元的预算，您就可以负担得起相同的 E5-2650 v4 节点，并将它们连接在 20 Gigabit 本地网络中，原则上，这将允许您构建一个延迟可接受的小型集群即使不使用 PCIe NVMe SSD 驱动器。
解决方案本身如下所示（带有一组基本驱动器）：
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – 289 美元/月
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – 289 美元/月
增加其数量来提高生产率并不总是有意义的。 因此，在数据库测试中，我们发现8个SSD的解决方案仅比4个SSD的解决方案效率高35%。
至于推荐的 RAID 级别，在某些情况下 RAID5 可能是最佳选择。 当然，RAID10 提供了更好的性能，但如果驱动器速度太快以至于在 RAID10 中使用它们会导致控制器成为瓶颈怎么办？ 在这种情况下，使用热备用驱动器构建硬件 RAID 阵列 RAID5 比 RAID10 更有利可图（如果目标不是损失一半的 SSD 配额）。
我需要启用控制器缓存还是禁用它更好？ RAID 控制器的内存量非常有限，使用 SSD 时 1GB 是多少？ 在使用快速 SSD 的情况下，启用读缓存是没有意义的，因为通过用读操作填充内存，这不会变得更快，因为 SSD 已经足够快了，我们没有留下足够的写缓存，并且众所周知，在廉价的 SSD 中，瓶颈是写操作，由于超额配置不足和 100% 的可用配额利用率（可能下降十倍）导致性能下降。 因此，我们建议仅启用写入缓存。 从而确保该解决方案的最大效率。
NTFS 块大小真的很重要吗？ 对于大多数存储，64KB 被认为是实现最大性能的最佳块大小。 但我们经常遇到这样的情况：客户端已经在使用数据库服务器，并且使用标准 NTFS 集群大小为 4KB 的初始配置。 要解决此问题，您需要重新格式化驱动器，但在一般情况下差异真的那么大吗？ 您是否需要让自己面临与迁移相关的可能的停机和不便？
Dell R730xd服务器中的控制器即使在4个SSD驱动器和启用写入缓存的情况下也能提供如此好的性能（非常重要的一点，应该禁用读取缓存，因为它没有提供任何优势，而只会降低写入操作的效率）如上所述），即使使用 4KB 的标准块大小，我们也能获得非常好的性能指标，非常好。
尽管如此，如果订阅者没有考虑到某些事情，我们总是愿意见面并准备在一段时间内为他们提供类似的平台来开展工作。
RAMdrive 仍然比 SSD 驱动器更快。 如果您的查询可以在 TempDB 中处理，例如排序或合并，那么使用 RAMdisk（一种将部分 RAM 转换为存储的程序）可能非常值得。 因此，通过比较 RAID8 中 10 个 SSD 驱动器与 RAMdrive 的速度，我们发现队列深度为 4 的 4K 写入操作大约快 32 倍，这完全模仿了 TempDB 文件的操作。 即使将 8 个 SSD 组合成 RAID0，也无法击败 RAMdrive 的结果。
RAID5在8个SSD驱动器的情况下可以比RAID10更有效。 队列深度为 4 的 32K 读取速度大约快 40%，考虑到 RAID5 的特性，这并不奇怪。 在其他测试中，RAID5 在性能上胜出，例如，顺序写入时效率为 20%，仅在队列深度较大（在我们的示例中为 4）的 32K 写入操作中表现较差，结果效率低了 30%。 因此，在某些情况下使用 RAID5 非常经济合理。
更多存储空间并不总是意味着更快。 当我们处理随机的小操作时，向阵列添加超过一定限制的驱动器根本不会提高性能。 看来是为什么呢？ 事实证明，一切都取决于控制器的功能，控制器被迫将数据写入一大堆驱动器。 这就是我们购买最多 12 个驱动器的平台的原因，以减少出现瓶颈的可能性。 但是，您需要查看每个项目内的操作强度，有时 4 个较大的驱动器（例如 960GB）可能比一堆 480GB 驱动器更好且更具成本效益的解决方案。
使用 Dell R730xd 服务器作为 Aerospike NoSQL 数据服务器
Aerospike 是一个开源 NoSQL 数据库，针对速度和可扩展性进行了闪存优化。 Aerospike 旨在为读取请求和繁重的写入负载提供极低的延迟，从而满足需要能够处理大量 I/O 操作的现代业务需求。 Aerospike 直接管理其集群节点上的本地存储，无论源介质的文件系统是 DRAM、闪存还是传统硬盘。 这使得关键数据能够存储在最快的介质上，而快速处理至关重要，而 Aerospike 数据库的分布式特性可确保在集群节点发生故障时的高度可靠性。
戴尔第 13 代 PowerEdge R730xd 服务器采用最新的 E5-2650 v4 处理器和快速 DDR4 SDRAM，提供令人难以置信的计算能力。 使用 NVMe SSD（例如三星 SM1715）的能力可以帮助在高负载节点中以最小的延迟获得巨大的性能。 这使得即使在非常大的数据库中也能够符合现代 SLA 对一笔交易处理时间的要求，并具有可靠的防欺诈保护水平，使得该解决方案即使对于有时进行交易的金融部门和银行转账也是可以接受的几个小时甚至几天之内。
对于银行业，我们可以提供基于这些平台的解决方案，在集群节点之间具有 40 和 100 Gbit/s 的本地网络并使用适当的交换机。
在 DMZ 网络中使用 Dell R730xd 服务器
我们很高兴为我们的订户提供最高的安全标准。 我们提供这些服务器的数据中心拥有许多认证： , , , и .
但为了满足同一谷歌的要求，一些客户需要建设所谓的非军事化网络（DMZ网络）——安全性更高的网络，这意味着存在硬件防火墙，限制对设备的访问，并允许您将必要的组件隐藏在防火墙后面，进一步提高安全性。
当立即订购这样的解决方案时，一切都很好，但是在过程中几乎没有停机时间的情况下实施过渡是非常困难的，最近我们的一位客户就遇到了这种情况，其项目是处理来自不同国家的公民的签证申请即使在几个小时内无法访问也可能导致数万美元的损失。 但我们找到了解决方案，按照客户的意愿，去开会，把额外的设备放到柜子里，移动不太重要的设备，并按照方案打开防火墙，这样他就可以在不停机的情况下进行迁移。
曾经/成为
也许这个方案对进行此类迁移的人也有用，因为数据中心的工程师并不总是希望看到明显的东西，而是坚持 2 小时的停机时间在防火墙后面进行切换，但我恳请您 -如果需要，请提前订购硬件防火墙。 我们很灵活并且总是愿意适应，但在某些情况下我们的能力可能有限。
在未来的出版物中，我们将尝试进行一些额外的测试并分享使用这些平台的额外经验，这将进一步加深对选择最有效解决方案的理解。 毕竟，令人惊讶的是，在数据库负载较高的情况下，两个 SSD 驱动器的 RAID0 可能会比单独的写入驱动器慢，这就是为什么我们不时收到 NVMe PCIe SSD 请求的原因到时间了。 我们很可能会展示实施解决方案的最有效方案，分享在一个 RAID 控制器内构建多个 RAID 阵列有效时的额外经验，并展示在哪些情况下两个独立的 10 个驱动器的 RAID4 阵列将优于一个 RAID10 阵列的 8 个驱动器。 1. TempDB 使用 RAID5 以及其他所有内容使用 RAIDXNUMX 什么时候会有效。 当您的预算有限时，怎么能没有 NVMe PCIe SSD呢？
戴尔 R730xd：Habrahabr 读者的福利
我们希望为您提供最好的产品，并为此竭尽全力，为 Dell R730xd 提供独特的价格：
- 在荷兰
- 在美国
配置可以非常多样化，例如， 以下内容可在荷兰立即激活：:
戴尔 R730xd 2 个英特尔 Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 电视 -*249 美元
戴尔 R730xd 2 个英特尔 Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 电视 -*249 美元
戴尔 R730xd 2 个英特尔 Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 电视 — *249 美元
戴尔 R730xd 2 个英特尔 Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 电视 — *249 美元
他们可以每月支付 1 美元以上的价格使用诚实的专用 120Gbps Unmetered（不包括流量）。 另外还有机会购买防火墙、网卡、交换机并构建多千兆位本地网络。 但价格条件适用于一年的合同。
我们希望改善这种情况，并为短期付款和无合同租赁提供奖金，使报价更加实惠。 任何在荷兰订购并支付任何建议选项为期 1 个月的人，我们将提供 完全相同的服务器 1 个月完全免费，或者我们将重新计算订购的配置，并以与年度合同相同的价格（249 美元/月而不是 369 美元/月）计算订购的服务器，并将差额返回到余额中。 为此，只需在评论中留下您的订单号即可。 对于那些尚未成熟的专用解决方案的人，我们提供在荷兰或美国的这些平台上租用任何带有专用驱动器的 VPS (KVM)，例如， ，付费1、4、1、3个月分别可获得6-12个月的使用奖励，请在评论中注明订单号。 现在建设基础设施变得更加容易！
来源： habr.com