親愛的哈布羅夫斯克居民，美好的一天！
我想繼續我的組裝「鄉村超級電腦」的故事。 我將解釋為什麼這樣稱呼──原因很簡單。 我自己住在一個村莊裡。 這個名字是對那些在互聯網上大喊“莫斯科環路之外沒有生命！”，“俄羅斯村莊已經變成酒鬼，正在消亡！”的人的輕微嘲諷。 所以，在某些地方這可能是真的，但我將是這個規則的例外。 我不喝酒，不抽煙，我做的事情不是每個「城市狂人」都能負擔得起的。 但讓我們回到我們的羊，或者更準確地說，回到伺服器，在文章第一部分的末尾，它已經「顯示出生命的跡象」。
主機板放在桌子上，我瀏覽了 BIOS，根據自己的喜好進行了設置，為了簡單起見，我快速關閉了 Ubuntu 16.04 桌面，並決定將顯示卡連接到「超級機器」。 但手邊唯一的東西是一台 GTS 250，上面裝有一個巨大的非原廠風扇。 我將其安裝在靠近電源按鈕的 PCI-E 16x 插槽。
「我用一包 Belomor (c) 拍的」所以請不要因為照片品質而責怪我。 我更願意評論他們捕捉到的內容。
首先，事實證明，當安裝在插槽中時，即使是短視訊卡也會將主機板靠在記憶體插槽上，在這種情況下，它無法安裝，甚至必須降低閂鎖。 其次，顯示卡的鐵安裝條覆蓋了電源按鈕，因此必須將其拆除。 順便說一句，電源按鈕本身由一個雙色 LED 照明，當一切正常時，該 LED 會呈綠色亮起；如果出現任何問題、短路、電源保護已跳閘或 +12VSB 電源，則呈橙色閃爍供應量過高或過低。
事實上，這款主機板的設計並不是將顯示卡「直接」插入其 PCI-E 16x 插槽；它們都連接到轉接卡。 要在電源按鈕附近的插槽中安裝擴充卡，有角立板，一個低角立板用於安裝短卡，直至第一個處理器散熱器的長度，一個高角立板帶有額外的+12V電源連接器，用於安裝顯示卡位於標準低 1U 冷卻器「上方」。 它可以包括大型顯示卡，如 GTX 780、GTX 980、GTX 1080 或專用 GPGPU 卡 Nvidia Tesla K10-K20-K40 或「計算卡」Intel Xeon Phi 5110p 等。
但在 GPGPU 立管中，EdgeSlot 中包含的卡片可以直接連接，只需使用與高角立管上相同的連接器再次連接額外電源即可。 對於有興趣的人，在 eBay 上，這款靈活的轉接卡被稱為“Dell PowerEdge C8220X PCI-E GPGPU DJC89”，售價約為 2.5-3 千盧布。 帶有額外電源的轉角立管要少得多，我必須透過 Whisper 協商從專門的伺服器零件商店購買它們。 每人花費七千。
我馬上就會說，「risky Guys (tm)」甚至可以將一對GTX 980 連接到帶有中國16x 柔性立管的主機板上，就像「That Same Forum」上的一個人所做的那樣；順便說一句，中國人做得相當不錯這是在 PCI-E 16x 2.0 上使用 Thermaltek 柔性轉接卡風格的好工藝，但如果有一天導致您燒壞伺服器主機板上的電源電路，您只能怪自己。 我沒有冒險使用昂貴的設備，而是使用了帶有額外電源的原始轉接卡和一個中國柔性轉接卡，認為“直接”連接一張卡不會燒毀板子。
然後，期待已久的用於連接額外電源的連接器到了，我在 EdgeSlot 中為我的立管做了一個尾巴。 相同的連接器但具有不同的引腳排列，用於為主機板提供額外的電源。 該連接器就在同一個 EdgeSlot 連接器旁邊，那裡有一個有趣的引腳分配。 如果轉接卡有 2 條線 +12 和 2 個公共端，則該板有 3 條線 +12 和 1 個公共端。
這實際上與 GPGPU Riser 卡中包含的 GTS 250 相同。 順便說一句，額外的電源是從我的電源的 CPU 的第二個 +12V 電源連接器提供給轉接卡和主機板的。 我決定這樣做會更正確。
童話故事很快就講完了，但包裹卻慢慢地從中國和全球其他地方抵達俄羅斯。 因此，「超級電腦」的組裝存在著很大的缺口。 但最終帶有被動散熱器的 Nvidia Tesla K20M 伺服器到達了我的手中。 而且，它絕對是零，從存儲開始，密封在原盒中，在原始包裝中，並附有保固文件。 痛苦開始了：如何冷卻？
首先，從英國購買了一個帶有兩個小“渦輪”的定製冷卻器，如圖所示，帶有自製的紙板擴散器。
結果證明它們完全是垃圾。 它們發出很大的噪音，安裝座根本不合適，它們吹得很弱，振動很大，我擔心零件會從特斯拉板上掉下來！ 為什麼它們幾乎立即被丟進垃圾桶？
順便說一句，在 Tesla 下的照片中，您可以看到處理器上安裝了 LGA 2011 1U 伺服器銅散熱器，該散熱器是從 Aliexpress 購買的 Coolerserver 的蝸牛。 非常好的冷卻器，雖然有點吵。 它們完美契合。
但實際上，當我在等待特斯拉的新冷卻器時，這次從澳洲訂購了一個帶有 1012D 列印支架的大型 BFB3EN 蝸牛，它來到了伺服器儲存系統。 伺服器主機板有一個 mini-SAS 連接器，透過該連接器輸出 4 個 SATA 和另外 2 個 SATA 連接器。 所有 SATA 標準 2.0 但這適合我。
整合到晶片組中的英特爾 C602 RAID 還不錯，主要是它跳過了 SSD 的 TRIM 命令，而許多廉價的外部 RAID 控制器都沒有這樣做。
在 eBay 上我買了一條一米長的迷你 SAS 轉 4 SATA 電纜，在 Avito 上我買了一個帶有 5,25 英寸托架的熱插拔推車，可容納 4 x 2,5 英寸 SAS-SATA。 因此，當電纜和籃子到達時，其中安裝了 4 TB 希捷，BIOS 中內置了 5 個設備的 RAID4，我開始安裝伺服器 Ubuntu...並遇到磁碟分割程式不允許我的事實在raid 上創建交換分區。
我正面解決了這個問題 - 我從 DNS 購買了華碩 HYPER M.2 x 2 MINI 和 M.4 SSD Samsung 2 EVO 960 Gb 適配器，並決定應分配最大速度設備用於交換，因為系統可以正常工作計算負載較高，且記憶體仍明顯小於資料大小。 而且250GB記憶體比這SSD還要貴。
同樣的轉接器在低角立管中安裝了 SSD。
預期問題 - “為什麼不將整個系統放在 M.2 上，並擁有比 SATA 上的 raid 更高的最大訪問速度？” - 我來回答。 首先，1 TB 或更多 M2 SSD 對我來說太貴了。 其次，即使將BIOS更新到最新版本2.8.1後，伺服器仍不支援載入M.2 NVE設備。 我做了一個實驗，系統將 /boot 設定為 USB FLASH 64 Gb，將其他所有內容設為 M.2 SSD，但我不喜歡它。 儘管從原則上來說，這樣的組合是相當可行的。 如果大容量 M.2 NVE 變得更便宜，我可能會回到這個選項，但目前 SATA RAID 作為儲存系統非常適合我。
當我決定磁碟子系統並提出 2 個 SSD Kingston 240 Gb RAID1 “/” + 4 個 HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” 的組合時，它是是時候繼續我的GPU 實驗了我已經有一輛特斯拉和一個澳洲冷卻器，剛剛運來，裡面有一隻「邪惡」的蝸牛，在2.94V 下可消耗12A 的電流，第二個插槽被M.2 佔據，第三個插槽我借了一台GT 610「用於實驗」。
在照片中，所有 3 個裝置均已連接，M.2 SSD 透過靈活的 Thermaltech 顯示卡轉接卡連接，可在 3.0 總線上正常工作，不會出現錯誤。 它是這樣的，由許多單獨的“絲帶”製成，類似於製作 SATA 電纜的絲帶。 由單片扁平電纜製成的 PCI-E 16x 轉接卡，有點像舊的 IDE-SCSI 轉接卡，是一場災難，它們會因相互幹擾而出現錯誤。 正如我已經說過的，中國人現在也生產類似Thermtek的立管，但更短。
結合Tesla K20 + GT 610，我嘗試了很多東西，同時我發現當連接外部顯示卡並在BIOS中將輸出切換到它時，vKVM不起作用，這並沒有真正起作用讓我心煩意亂。 不管怎樣，我不打算在這個系統上使用外部視頻，Tesla 上沒有視頻輸出，一旦你記住了沒有 GUI 的命令行是什麼，通過 SSH 的遠程管理面板並且沒有 X-owls 就可以很好地工作。 但 IPMI + vKVM 大大簡化了遠端伺服器的管理、重新安裝和其他問題。
總的來說，這款主機板的IPMI非常棒。 一個單獨的 100 Mbit 端口，能夠將資料包注入重新配置到 10 Gbit 端口之一，用於電源管理和伺服器控制的內建 Web 伺服器，直接從中下載 vKVM Java 用戶端以及用於遠端安裝磁碟的客戶端或用於重新安裝的映像...唯一的事情是客戶端與舊的Java Oracle 相同，Linux 不再支援它，對於遠端管理面板，我必須購買一台帶有Win XP SP3 的筆記型電腦古代蟾蜍。 好吧，客戶端很慢，管理面板之類的已經足夠了，但是你不能遠端玩遊戲，FPS 很小。 而且與IPMI整合的ASPEED影片很弱，只有VGA。
在和伺服器打交道的過程中，我學到了很多東西，從戴爾學到了很多專業伺服器硬體領域的知識。 我一點也不後悔，而且我花的時間和金錢也很值得。 有關實際組裝框架與所有伺服器組件的教育故事將在稍後繼續。
第 3 部分連結：
來源： www.habr.com