Selamat siang, warga Khabrovsk yang terkasih!
Saya ingin melanjutkan cerita saya tentang merakit “superkomputer desa”. Dan saya akan menjelaskan mengapa disebut demikian—alasannya sederhana. Saya sendiri tinggal di desa. Dan nama tersebut sedikit mengolok-olok mereka yang berteriak di Internet, “Tidak ada kehidupan di luar Jalan Lingkar Moskow!”, “Desa Rusia telah menjadi pemabuk dan sedang sekarat!” Jadi, ini mungkin benar, tetapi saya akan menjadi pengecualian dari aturan tersebut. Saya tidak minum minuman keras, saya tidak merokok, saya melakukan hal-hal yang tidak semua “kerupuk kota” mampu melakukannya. Tapi mari kita kembali ke domba kita, atau lebih tepatnya, ke server, yang di akhir bagian pertama artikel sudah “menunjukkan tanda-tanda kehidupan”.
Papan tergeletak di atas meja, saya membuka BIOS, mengaturnya sesuai keinginan saya, mematikan Desktop Ubuntu 16.04 untuk kesederhanaan dan memutuskan untuk menghubungkan kartu video ke "mesin super". Namun satu-satunya yang ada hanyalah GTS 250 dengan kipas non-asli yang besar dan kuat. Yang saya pasang di slot PCI-E 16x dekat tombol power.
“Saya mengambilnya dengan sebungkus Belomor (c)” jadi mohon jangan salahkan saya atas kualitas fotonya. Saya lebih suka mengomentari apa yang terekam di dalamnya.
Pertama, ternyata ketika dipasang di sebuah slot, bahkan kartu video pendek pun menyandarkan papan pada slot memori, yang dalam hal ini tidak dapat dipasang dan bahkan kaitnya harus diturunkan. Kedua, strip pemasangan besi pada kartu video menutupi tombol daya, sehingga harus dilepas. Ngomong-ngomong, tombol powernya sendiri diterangi oleh LED dua warna, yang menyala hijau jika semuanya beres dan berkedip oranye jika ada masalah, korsleting dan proteksi catu daya tersandung atau daya +12VSB pasokan terlalu tinggi atau terlalu rendah.
Faktanya, motherboard ini tidak dirancang untuk menyertakan kartu video “langsung” ke dalam slot PCI-E 16x; semuanya terhubung ke riser. Untuk memasang kartu ekspansi di slot dekat tombol daya, terdapat penambah sudut, yang rendah untuk memasang kartu pendek hingga panjang radiator prosesor pertama, dan yang sudut tinggi dengan tambahan konektor daya +12V untuk memasang a kartu video "di atas" pendingin standar 1U rendah. Ini dapat mencakup kartu video besar seperti GTX 780, GTX 980, GTX 1080 atau kartu GPGPU khusus Nvidia Tesla K10-K20-K40 atau “kartu komputasi” Intel Xeon Phi 5110p dan sejenisnya.
Namun pada riser GPGPU, kartu yang termasuk dalam EdgeSlot dapat dihubungkan secara langsung, hanya dengan menghubungkan kembali daya tambahan dengan konektor yang sama seperti pada high corner riser. Bagi yang berminat, di eBay riser fleksibel ini disebut "Dell PowerEdge C8220X PCI-E GPGPU DJC89" dan harganya sekitar 2.5-3 ribu rubel. Corner riser dengan catu daya tambahan jauh lebih jarang dan saya harus bernegosiasi untuk mendapatkannya dari toko suku cadang server khusus melalui Whisper. Harganya 7 ribu per buah.
Saya akan langsung mengatakan, "orang-orang yang berisiko (tm)" bahkan dapat menghubungkan sepasang GTX 980 ke papan dengan riser fleksibel Cina 16x, seperti yang dilakukan seseorang di "Forum yang Sama"; omong-omong, orang Cina membuat cukup kerajinan bagus yang bekerja pada PCI-E 16x 2.0 dengan gaya riser fleksibel Thermaltek, tetapi jika suatu hari ini menyebabkan Anda membakar sirkuit daya di papan server, Anda sendirilah yang harus disalahkan. Saya tidak mengambil risiko peralatan mahal dan menggunakan riser asli dengan daya tambahan dan satu riser fleksibel Tiongkok, dengan asumsi bahwa menghubungkan satu kartu “secara langsung” tidak akan membakar papan.
Kemudian konektor yang telah lama ditunggu-tunggu untuk menghubungkan daya tambahan tiba dan saya membuat ekor untuk riser saya di EdgeSlot. Dan konektor yang sama, tetapi dengan pinout yang berbeda, digunakan untuk menyuplai daya tambahan ke motherboard. Konektor ini tepat di sebelah konektor EdgeSlot yang sama, ada pinout yang menarik di sana. Jika riser memiliki 2 kabel +12 dan 2 kabel umum, maka papan memiliki 3 kabel +12 dan 1 kabel umum.
Ini sebenarnya adalah GTS 250 yang sama yang disertakan dalam riser GPGPU. Omong-omong, daya tambahan disuplai ke riser dan motherboard - dari konektor daya +12V kedua pada CPU catu daya saya. Saya memutuskan bahwa akan lebih tepat melakukan ini.
Dongeng ini diceritakan dengan cepat, tetapi perlahan-lahan paket-paket itu sampai ke Rusia dari Tiongkok dan tempat-tempat lain di seluruh dunia. Oleh karena itu, terdapat kesenjangan besar dalam perakitan “superkomputer”. Namun akhirnya server Nvidia Tesla K20M dengan radiator pasif hadir di tangan saya. Apalagi benar-benar nol, dari penyimpanan, disegel dalam kotak aslinya, dalam kemasan aslinya, dengan kertas garansi. Dan penderitaan pun dimulai: bagaimana cara mendinginkannya?
Pertama, pendingin khusus dengan dua “turbin” kecil dibeli dari Inggris, ini dia di foto, dengan diffuser karton buatan sendiri.
Dan ternyata mereka benar-benar omong kosong. Mereka mengeluarkan banyak suara, dudukannya tidak pas sama sekali, bertiup lemah dan memberikan getaran sehingga saya takut komponennya akan jatuh dari papan Tesla! Mengapa mereka langsung dibuang ke tempat sampah?
Omong-omong, di foto di bawah Tesla Anda dapat melihat radiator tembaga server LGA 2011 1U dipasang pada prosesor dengan siput dari Coolerserver yang dibeli dari Aliexpress. Pendingin yang sangat baik, meskipun sedikit bising. Mereka sangat cocok.
Tapi sebenarnya, sambil menunggu pendingin baru untuk Tesla, kali ini setelah memesan siput BFB1012EN berukuran besar dari Australia dengan dudukan cetak 3D, ia masuk ke sistem penyimpanan server. Papan server memiliki konektor mini-SAS yang melaluinya 4 konektor SATA dan 2 konektor SATA lainnya dikeluarkan. Semua standar SATA 2.0 tapi itu cocok untuk saya.
RAID intel C602 yang terintegrasi ke dalam chipset tidak buruk dan yang terpenting adalah ia melewatkan perintah TRIM untuk SSD, yang tidak dilakukan oleh banyak pengontrol RAID eksternal yang murah.
Di eBay saya membeli kabel mini-SAS ke 4 SATA sepanjang satu meter, dan di Avito saya membeli keranjang hot-swap dengan rongga 5,25″ untuk 4 x 2,5″ SAS-SATA. Jadi ketika kabel dan keranjang tiba, Seagate 4 terabyte dipasang di dalamnya, RAID5 untuk 4 perangkat dibangun di BIOS, saya mulai menginstal server Ubuntu... dan menemukan fakta bahwa program partisi disk tidak mengizinkan saya untuk membuat partisi swap pada serangan itu.
Saya memecahkan masalah secara langsung - Saya membeli adaptor ASUS HYPER M.2 x 2 MINI dan M.4 SSD Samsung 2 EVO 960 Gb dari DNS dan memutuskan bahwa kecepatan maksimum perangkat harus dialokasikan untuk swap, karena sistem akan bekerja dengan beban komputasi yang tinggi, dan memorinya jelas masih lebih kecil dari ukuran data. Dan memori 250 GB lebih mahal dari SSD ini.
Adaptor yang sama dengan SSD dipasang di riser sudut rendah.
Mengantisipasi pertanyaan - “Mengapa tidak membuat seluruh sistem pada M.2 dan memiliki kecepatan akses maksimum lebih tinggi daripada serangan pada SATA?” - aku akan menjawab. Pertama, SSD M1 2 TB atau lebih terlalu mahal bagi saya. Kedua, bahkan setelah memperbarui BIOS ke versi terbaru 2.8.1, server masih tidak mendukung pemuatan perangkat M.2 NVE. Saya melakukan percobaan di mana sistem menyetel/boot ke USB FLASH 64 Gb dan yang lainnya ke SSD M.2, tetapi saya tidak menyukainya. Meskipun, pada prinsipnya, kombinasi seperti itu cukup bisa diterapkan. Jika M.2 NVE berkapasitas tinggi menjadi lebih murah, saya dapat kembali ke opsi ini, tetapi untuk saat ini SATA RAID sebagai sistem penyimpanan cukup cocok untuk saya.
Ketika saya memutuskan subsistem disk dan menghasilkan kombinasi 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” itu saatnya melanjutkan eksperimen saya dengan GPU Saya sudah memiliki Tesla dan pendingin Australia baru saja tiba dengan siput "jahat" yang memakan sebanyak 2.94A pada 12V, slot kedua ditempati oleh M.2 dan untuk slot ketiga saya meminjam GT 610 "untuk eksperimen".
Di sini, di foto, ketiga perangkat terhubung, dan SSD M.3 melalui riser Thermaltech fleksibel untuk kartu video yang bekerja pada bus 2 tanpa kesalahan. Ini seperti ini, terbuat dari banyak “pita” individual yang mirip dengan yang digunakan untuk membuat kabel SATA. Riser PCI-E 3.0x yang terbuat dari kabel datar monolitik, seperti IDE-SCSI lama, adalah bencana, mereka akan mengalami kesalahan karena saling campur tangan. Dan seperti yang sudah saya katakan, sekarang orang Cina juga membuat riser yang mirip dengan Thermaltek, tetapi lebih pendek.
Dalam kombinasi dengan Tesla K20 + GT 610, saya mencoba banyak hal, pada saat yang sama saya menemukan bahwa ketika menghubungkan kartu video eksternal dan mengalihkan output ke dalamnya di BIOS, vKVM tidak berfungsi, yang sebenarnya tidak benar-benar membuatku kesal. Bagaimanapun, saya tidak berencana untuk menggunakan video eksternal pada sistem ini, tidak ada output video di Teslas, dan panel admin jarak jauh melalui SSH dan tanpa X-owls berfungsi dengan baik setelah Anda mengingat sedikit apa itu baris perintah tanpa GUI. . Namun IPMI + vKVM sangat menyederhanakan manajemen, instalasi ulang, dan masalah lain dengan server jarak jauh.
Secara umum IPMI dewan ini bagus. Port 100 Mbit terpisah, kemampuan untuk mengkonfigurasi ulang injeksi paket ke salah satu dari port 10 Gbit, server Web bawaan untuk manajemen daya dan kontrol server, mengunduh klien vKVM Java langsung darinya dan klien untuk pemasangan disk jarak jauh atau gambar untuk instalasi ulang... Satu-satunya hal adalah kliennya sama dengan Java Oracle yang lama, yang tidak lagi didukung di Linux dan untuk panel admin jarak jauh saya harus mendapatkan laptop dengan Win XP SP3 dengan ini sangat Kodok kuno. Yah, clientnya lemot, cukup untuk panel admin dan sebagainya, tapi tidak bisa main game dari jarak jauh, FPSnya kecil. Dan video ASPEED yang terintegrasi IPMI lemah hanya VGA saja.
Dalam proses menangani server, saya banyak belajar dan belajar banyak di bidang hardware server profesional dari Dell. Yang tidak saya sesali sama sekali, begitu pula waktu dan uang yang dihabiskan dengan baik. Kisah edukasi tentang perakitan frame dengan semua komponen server akan dilanjutkan nanti.
Tautan ke bagian 3:
Sumber: www.habr.com