eBay、Aliexpress、コンピューター ショップのスペアパーツを使って「村のスーパーコンピューター」を組み立てる物語。 パート2

親愛なるハブロフスク住民の皆さん、こんにちは！

見逃した方のためにストーリー前半へのリンクを貼っておきます

「村のスパコン」を組み立てる話の続きをしたいと思います。 なぜそのように呼ばれるかについて説明します。理由は簡単です。 私自身も村に住んでいます。 そしてその名前は、インターネット上で「モスクワ環状道路の先には生命はない！」「ロシアの村は酔っ払いになって消滅しつつある！」と叫ぶ人々を軽く揶揄したものだ。 したがって、これはどこかで真実であるかもしれませんが、私はルールの例外になります。 私は酒も吸いませんし、すべての「都会のクラッカー」が買えるわけではないことをしています。 しかし、私たちの羊、より正確にはサーバーに戻りましょう。記事の最初の部分の終わりには、サーバーはすでに「生命の兆候を示していました」。

ボードはテーブルの上に置かれていたので、BIOS を調べて好みに合わせて設定し、簡単にするために Ubuntu 16.04 デスクトップを急いで終了し、ビデオ カードを「スーパー マシン」に接続することにしました。 しかし、手元にあったのは、オリジナルではない巨大なファンが取り付けられた GTS 250 だけでした。 これを電源ボタンの近くの PCI-E 16x スロットに取り付けました。





「ベロモアのパックで撮りました (c)」ので、写真の品質について私を責めないでください。 むしろ、そこに写っているものについてコメントしたいと思います。

まず、スロットに取り付けると、短いビデオカードでもボードがメモリスロットに寄りかかり、この場合は取り付けることができず、ラッチも下げる必要があることがわかりました。 次に、ビデオ カードの鉄製の取り付けストリップが電源ボタンを覆っているため、取り外す必要がありました。 ちなみに、電源ボタン自体は 12 色の LED で照らされており、すべてが正常な場合は緑色に点灯し、問題がある場合、短絡および電源保護が作動した場合、または +XNUMXVSB 電源が切れた場合はオレンジ色に点滅します。供給が多すぎるか低すぎる。

実際、このマザーボードは、ビデオ カードを PCI-E 16x スロットに「直接」組み込むように設計されておらず、すべてライザーに接続されています。 電源ボタン近くのスロットに拡張カードを取り付けるには、コーナー ライザー、最初のプロセッサーのラジエーターの長さまでの短いカードを取り付けるための低いライザー、およびプロセッサー ラジエーターを取り付けるための追加の +12 V 電源コネクタを備えた高いコーナー ライザーがあります。標準の低 1U クーラーの「上」のビデオ カード。 GTX 780、GTX 980、GTX 1080 などの大型ビデオ カード、または特殊な GPGPU カード Nvidia Tesla K10-K20-K40 または「コンピューティング カード」Intel Xeon Phi 5110p などを含めることができます。

ただし、GPGPU ライザーでは、EdgeSlot に含まれるカードを直接接続できます。ハイ コーナー ライザーと同じコネクタに追加の電源を再度接続するだけです。 興味のある方のために、eBay では、このフレキシブル ライザーは「Dell PowerEdge C8220X PCI-E GPGPU DJC89」と呼ばれ、価格は約 2.5 ～ 3 ルーブルです。 追加の電源を備えたコーナー ライザーは非常に珍しいため、Whisper を通じて専門のサーバー パーツ ストアから入手できるように交渉する必要がありました。 7個あたりXNUMX千円もしました。

すぐに言っておきますが、「危険な奴ら (tm)」は、ある人が「That Same Forum」でやったように、GTX 980 のペアを中国製フレキシブル ライザー 16x のボードに接続することさえできます。 Thermaltek フレキシブル ライザーのスタイルで PCI-E 16x 2.0 上で動作する優れた工芸品ですが、いつかこれが原因でサーバー ボードの電源回路が焼き切れた場合、責任を負うのは自分だけです。 私は高価な機器を危険にさらさず、追加の電力を備えたオリジナルのライザーと中国製のフレキシブルライザーを XNUMX つ使用し、XNUMX 枚のカードを「直接」接続してもボードが焼けることはないと考えました。

その後、追加の電源を接続するための待望のコネクタが到着し、EdgeSlot でライザーのテールを作成しました。 また、マザーボードに追加の電力を供給するために、ピン配置が異なる同じコネクタが使用されます。 このコネクタは、同じ EdgeSlot コネクタのすぐ隣にあり、そこに興味深いピン配置があります。 ライザーに 2 本のワイヤ +12 と 2 コモンがある場合、ボードには 3 本のワイヤ +12 と 1 コモンがあります。

これは実際には、GPGPU ライザーに含まれているのと同じ GTS 250 です。 ちなみに、追加の電源は、私の電源のCPUの12番目の+XNUMXV電源コネクタからライザーとマザーボードに供給されます。 そうする方が正しいだろうと判断しました。

おとぎ話はすぐに語られますが、荷物は中国や世界中の他の場所からゆっくりとロシアに到着します。 そのため、「スーパーコンピュータ」の組み立てには大きな穴があった。 しかし、ついにパッシブラジエーターを備えた Nvidia Tesla K20M サーバーが私の元に届きました。 さらに、保管から完全にゼロで、元の箱、元のパッケージに密封され、保証書が付いています。 そして苦しみが始まりました：それをどうやって冷やすか？

まず、XNUMX つの小さな「タービン」を備えたカスタム クーラーをイギリスから購入しました。写真は自家製のボール紙ディフューザーです。

そしてそれらは完全にクソだったことが判明した。 かなりの騒音が発生し、マウントはまったくフィットせず、弱音を発し、コンポーネントが Tesla ボードから落ちてしまうのではないかと心配するほどの振動を与えました。 なぜすぐにゴミ箱に捨てられたのでしょうか?

ちなみに、Teslaの下の写真では、Aliexpressから購入したCoolerserverのカタツムリを備えたプロセッサに取り付けられたLGA 2011 1Uサーバーの銅製ラジエーターが見えます。 非常にまともなクーラーですが、少しうるさいです。 完璧にフィットします。

しかし実際には、テスラ用の新しいクーラーを待っている間に、今回は 1012D プリントされたマウントを備えた大きな BFB3EN カタツムリをオーストラリアから注文し、サーバー ストレージ システムに届きました。 サーバー ボードには、4 つの SATA コネクタとさらに 2 つの SATA コネクタが出力される mini-SAS コネクタがあります。 すべてSATA標準2.0ですが、それが私には合っています。

チップセットに統合された Intel C602 RAID は悪くはありません。主な点は、SSD の TRIM コマンドをスキップすることですが、多くの安価な外部 RAID コントローラーはこれを実行しません。

eBay では長さ 4 メートルの mini-SAS - 5,25 SATA ケーブルを購入し、Avito では 4 x 2,5 インチ SAS-SATA 用の 4 インチ ベイを備えたホットスワップ カートを購入しました。 ケーブルとバスケットが到着すると、5 テラバイトの Seagate がインストールされ、BIOS には 4 つのデバイス用の RAIDXNUMX が構築され、サーバー Ubuntu のインストールを開始しました...そして、ディスク パーティショニング プログラムが許可していないという事実に遭遇しました。 RAID 上にスワップ パーティションを作成します。

私は問題を正面から解決しました。DNS から ASUS HYPER M.2 x 2 MINI と M.4 SSD Samsung 2 EVO 960 Gb アダプターを購入し、システムは動作するため、最大速度のデバイスをスワップに割り当てる必要があると判断しました。計算負荷が高く、メモリは依然としてデータ サイズよりも明らかに少ないです。 そして、250GBのメモリはこのSSDよりも高価でした。

これと同じアダプターに SSD が低いコーナーライザーに取り付けられています。

「システム全体を M.2 にして、最大アクセス速度を SATA の RAID より高速にしたらどうですか?」という質問を予想します。 - 答えます。 まず、1TB以上のM2 SSDは私にとっては高すぎます。 次に、BIOS を最新バージョン 2.8.1 に更新した後でも、サーバーは M.2 NVE デバイスのロードをサポートしていません。 システムが /boot を USB FLASH 64 Gb に設定し、その他すべてを M.2 SSD に設定する実験を行いましたが、気に入りませんでした。 ただし、原則として、このような組み合わせは非常に有効です。 大容量の M.2 NVE が安くなったら、このオプションに戻るかもしれませんが、今のところストレージ システムとしての SATA RAID は私に非常に適しています。
ディスク サブシステムを決定し、2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" の組み合わせを思いつきました。 GPU を使った実験を続ける時間です私はすでに Tesla を所有していましたが、オーストラリアのクーラーが 2.94V で 12A も消費する「邪悪な」カタツムリとともに到着しました。2 番目のスロットは M.610 で占有され、XNUMX 番目のスロットには「実験用」に GT XNUMX を借りました。

この写真では 3 つのデバイスがすべて接続されており、M.2 SSD はビデオ カード用の柔軟な Thermaltech ライザーを介して接続されており、3.0 バス上でエラーなく動作します。 これは、SATA ケーブルに似た多数の個別の「リボン」から作られたものです。 モノリシック フラット ケーブルで作られた PCI-E 16x ライザーは、昔の IDE-SCSI のものと似ていますが、相互干渉によるエラーが発生するという悲惨な結果になります。 そして、すでに述べたように、現在中国ではサーマルテック社のライザーと同様のライザーも製造していますが、より短いです。

Tesla K20 + GT 610 と組み合わせて、さまざまなことを試してみましたが、同時に、外部ビデオ カードを接続して BIOS で出力をそれに切り替えると、vKVM が機能しないことがわかりました。私を動揺させた。 とにかく、このシステムでは外部ビデオを使用するつもりはありませんでした。Teslas にはビデオ出力がありません。また、GUI を使用しないコマンド ラインがどのようなものかを少し覚えてしまえば、SSH 経由で X-owl を使用しないリモート管理パネルはうまく機能します。 。 ただし、IPMI + vKVM を使用すると、リモート サーバーの管理、再インストール、その他の問題が大幅に簡素化されます。

一般に、このボードの IPMI は優れています。 独立した 100 M ビット ポート、10 ギガビット ポートの 3 つへのパケット インジェクションを再構成する機能、電源管理とサーバーの制御のための内蔵 Web サーバー、Web サーバーからの vKVM Java クライアントの直接ダウンロード、およびディスクのリモート マウント用クライアントまたは再インストール用のイメージ...唯一のことは、クライアントが古いJava Oracleと同じであるということです。Java OracleはLinuxではサポートされなくなり、リモート管理パネルを使用するには、これを備えたWin XP SPXNUMXを搭載したラップトップを購入する必要がありました。古代のヒキガエル。 まあ、クライアントは遅いし、管理パネルなどには十分ですが、リモートでゲームをプレイすることはできず、FPS は小さいです。 また、IPMI と統合された ASPEED ビデオは弱く、VGA のみです。

サーバーを扱う過程で、デルからプロフェッショナル サーバー ハードウェアの分野で多くのことを学び、多くのことを学びました。 時間もお金も十分に費やしたので、まったく後悔していません。 すべてのサーバー コンポーネントを備えたフレームを実際に組み立てる教育的な話は、後ほど続きます。

パート 3 へのリンク: habr.com/ru/post/454480

出所： habr.com