亲爱的哈布罗夫斯克居民，美好的一天！
我想继续我的组装“乡村超级计算机”的故事。 我将解释为什么这样称呼——原因很简单。 我自己住在一个村庄里。 这个名字是对那些在互联网上大喊“莫斯科环路之外没有生命！”，“俄罗斯村庄已经变成酒鬼，正在消亡！”的人的轻微嘲讽。 所以，在某些地方这可能是真的，但我将是这个规则的例外。 我不喝酒，不抽烟，我做的事情不是每个“城市狂人”都能负担得起的。 但让我们回到我们的羊，或者更准确地说，回到服务器，在文章第一部分的末尾，它已经“显示出生命的迹象”。
主板放在桌子上，我浏览了 BIOS，将其设置为我喜欢的，为了简单起见，我快速关闭了 Ubuntu 16.04 桌面，并决定将显卡连接到“超级机器”。 但手边唯一的东西是一台 GTS 250，上面装有一个巨大的非原装风扇。 我将其安装在靠近电源按钮的 PCI-E 16x 插槽中。
“我用一包 Belomor (c) 拍的”所以请不要因为照片质量而责怪我。 我更愿意评论他们捕捉到的内容。
首先，事实证明，当安装在插槽中时，即使是短视频卡也会将主板靠在内存插槽上，在这种情况下，它无法安装，甚至必须降低闩锁。 其次，显卡的铁安装条覆盖了电源按钮，因此必须将其拆除。 顺便说一句，电源按钮本身由一个双色 LED 照明，当一切正常时，该 LED 会呈绿色亮起；如果出现任何问题、短路、电源保护已跳闸或 +12VSB 电源，则呈橙色闪烁供应量过高或过低。
事实上，这款主板的设计并不是将显卡“直接”插入其 PCI-E 16x 插槽；它们都连接到转接卡。 要在电源按钮附近的插槽中安装扩展卡，有角立板，一个低角立板用于安装短卡，直至第一个处理器散热器的长度，一个高角立板带有额外的 +12V 电源连接器，用于安装显卡位于标准低 1U 冷却器“上方”。 它可以包括大型显卡，如 GTX 780、GTX 980、GTX 1080 或专用 GPGPU 卡 Nvidia Tesla K10-K20-K40 或“计算卡”Intel Xeon Phi 5110p 等。
但在 GPGPU 立管中，EdgeSlot 中包含的卡可以直接连接，只需使用与高角立管上相同的连接器再次连接额外电源即可。 对于感兴趣的人，在 eBay 上，这款灵活的转接卡被称为“Dell PowerEdge C8220X PCI-E GPGPU DJC89”，售价约为 2.5-3 千卢布。 带有额外电源的转角立管要少得多，我必须通过 Whisper 协商从专门的服务器零件商店购买它们。 每人花费七千。
我马上就会说，“risky Guys (tm)”甚至可以将一对 GTX 980 连接到带有中国 16x 柔性立管的主板上，就像“That Same Forum”上的一个人所做的那样；顺便说一句，中国人做得相当不错这是在 PCI-E 16x 2.0 上使用 Thermaltek 柔性转接卡风格的好工艺，但如果有一天导致您烧坏服务器主板上的电源电路，您只能怪自己。 我没有冒险使用昂贵的设备，而是使用了带有额外电源的原装转接卡和一个中国柔性转接卡，认为“直接”连接一张卡不会烧毁板子。
然后，期待已久的用于连接额外电源的连接器到了，我在 EdgeSlot 中为我的立管做了一个尾巴。 相同的连接器但具有不同的引脚排列，用于为主板提供额外的电源。 该连接器就在同一个 EdgeSlot 连接器旁边，那里有一个有趣的引脚分配。 如果转接卡有 2 条线 +12 和 2 个公共端，则该板有 3 条线 +12 和 1 个公共端。
这实际上与 GPGPU Riser 卡中包含的 GTS 250 相同。 顺便说一句，额外的电源是从我的电源的 CPU 的第二个 +12V 电源连接器提供给转接卡和主板的。 我决定这样做会更正确。
童话故事很快就讲完了，但包裹却慢慢地从中国和全球其他地方抵达俄罗斯。 因此，“超级计算机”的组装存在很大的缺口。 但最终带有无源散热器的 Nvidia Tesla K20M 服务器到达了我的手中。 而且，它绝对是零，从存储开始，密封在原盒中，在原包装中，并附有保修文件。 痛苦开始了：如何冷却呢？
首先，从英国购买了一个带有两个小“涡轮”的定制冷却器，如图所示，带有自制的纸板扩散器。
结果证明它们完全是垃圾。 它们发出很大的噪音，安装座根本不合适，它们吹得很弱，振动很大，我担心部件会从特斯拉板上掉下来！ 为什么它们几乎立即被扔进垃圾桶？
顺便说一句，在 Tesla 下的照片中，您可以看到处理器上安装了 LGA 2011 1U 服务器铜散热器，该散热器是从 Aliexpress 购买的 Coolerserver 的蜗牛。 非常好的冷却器，虽然有点吵。 它们完美契合。
但实际上，当我在等待特斯拉的新冷却器时，这次从澳大利亚订购了一个带 1012D 打印支架的大型 BFB3EN 蜗牛，它来到了服务器存储系统。 服务器主板有一个 mini-SAS 连接器，通过该连接器输出 4 个 SATA 和另外 2 个 SATA 连接器。 所有 SATA 标准 2.0 但这适合我。
集成到芯片组中的英特尔 C602 RAID 还不错，主要是它跳过了 SSD 的 TRIM 命令，而许多廉价的外部 RAID 控制器都没有这样做。
在 eBay 上我买了一条一米长的迷你 SAS 转 4 SATA 电缆，在 Avito 上我买了一个带有 5,25 英寸托架的热插拔推车，可容纳 4 x 2,5 英寸 SAS-SATA。 因此，当电缆和篮子到达时，其中安装了 4 TB 希捷，BIOS 中内置了 5 个设备的 RAID4，我开始安装服务器 Ubuntu...并遇到磁盘分区程序不允许我的事实在 raid 上创建交换分区。
我正面解决了这个问题 - 我从 DNS 购买了华硕 HYPER M.2 x 2 MINI 和 M.4 SSD Samsung 2 EVO 960 Gb 适配器，并决定应分配最大速度设备用于交换，因为系统可以正常工作计算负载较高，且内存仍明显小于数据大小。 而且250GB内存比这个SSD还要贵。
同样的适配器在低角立管中安装了 SSD。
预期问题 - “为什么不将整个系统放在 M.2 上，并拥有比 SATA 上的 raid 更高的最大访问速度？” - 我来回答。 首先，1 TB 或更多 M2 SSD 对我来说太贵了。 其次，即使将BIOS更新到最新版本2.8.1后，服务器仍然不支持加载M.2 NVE设备。 我做了一个实验，系统将 /boot 设置为 USB FLASH 64 Gb，将其他所有内容设置为 M.2 SSD，但我不喜欢它。 尽管从原则上来说，这样的组合是相当可行的。 如果大容量 M.2 NVE 变得更便宜，我可能会回到这个选项，但目前 SATA RAID 作为存储系统非常适合我。
当我决定磁盘子系统并提出 2 个 SSD Kingston 240 Gb RAID1 “/” + 4 个 HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” 的组合时，它是是时候继续我的 GPU 实验了我已经有一辆特斯拉和一个澳大利亚冷却器，刚刚运来，里面有一只“邪恶”的蜗牛，在 2.94V 下可消耗 12A 的电流，第二个插槽被 M.2 占据，第三个插槽我借了一台 GT 610“用于实验”。
在照片中，所有 3 个设备均已连接，M.2 SSD 通过灵活的 Thermaltech 显卡转接卡连接，可在 3.0 总线上正常工作，不会出现错误。 它是这样的，由许多单独的“丝带”制成，类似于制作 SATA 电缆的丝带。 由单片扁平电缆制成的 PCI-E 16x 转接卡，有点像旧的 IDE-SCSI 转接卡，是一场灾难，它们会因相互干扰而出现错误。 正如我已经说过的，中国人现在也生产类似于Thermtek的立管，但更短。
结合Tesla K20 + GT 610，我尝试了很多东西，同时我发现当连接外部显卡并在BIOS中将输出切换到它时，vKVM不起作用，这并没有真正起作用让我心烦意乱。 不管怎样，我不打算在这个系统上使用外部视频，特斯拉上没有视频输出，一旦你记住了没有 GUI 的命令行是什么，通过 SSH 的远程管理面板并且没有 X-owls 就可以很好地工作。 但 IPMI + vKVM 极大地简化了远程服务器的管理、重新安装和其他问题。
总的来说，这款主板的IPMI非常棒。 一个单独的 100 Mbit 端口，能够重新配置数据包注入到 10 Gbit 端口之一，用于电源管理和服务器控制的内置 Web 服务器，直接从中下载 vKVM Java 客户端以及用于远程安装磁盘的客户端或用于重新安装的图像...唯一的事情是客户端与旧的 Java Oracle 相同，Linux 不再支持它，对于远程管理面板，我必须购买一台带有 Win XP SP3 的笔记本电脑古代蟾蜍。 好吧，客户端很慢，管理面板之类的已经足够了，但是你不能远程玩游戏，FPS 很小。 而且与IPMI集成的ASPEED视频很弱，只有VGA。
在和服务器打交道的过程中，我学到了很多东西，从戴尔学到了很多专业服务器硬件领域的知识。 我一点也不后悔，而且我花的时间和金钱也很值得。 有关实际组装框架与所有服务器组件的教育故事将在稍后继续。
第 3 部分链接：
来源： habr.com