Selamat hari, penduduk Khabrovsk yang dikasihi!
Saya ingin meneruskan cerita saya tentang memasang "superkomputer kampung". Dan saya akan menerangkan mengapa ia dipanggil sedemikian-sebabnya mudah. Saya sendiri tinggal di kampung. Dan nama itu adalah sedikit trolling mereka yang menjerit di Internet "Tiada kehidupan di luar Jalan Lingkaran Moscow!", "Kampung Rusia telah menjadi pemabuk dan semakin mati!" Jadi, di suatu tempat ini mungkin benar, tetapi saya akan menjadi pengecualian kepada peraturan itu. Saya tidak minum, saya tidak merokok, saya melakukan perkara yang tidak semua "keropok bandar" mampu. Tetapi mari kita kembali kepada domba kita, atau lebih tepat lagi, ke pelayan, yang pada akhir bahagian pertama artikel itu sudah "menunjukkan tanda-tanda kehidupan."
Papan itu terletak di atas meja, saya memanjat BIOS, menetapkannya mengikut keinginan saya, melepaskan Ubuntu 16.04 Desktop untuk kesederhanaan dan memutuskan untuk menyambungkan kad video ke "mesin super". Tetapi satu-satunya perkara yang ada ialah GTS 250 dengan kipas bukan asli yang besar. Yang saya pasang dalam slot PCI-E 16x berhampiran butang kuasa.
"Saya mengambilnya dengan sebungkus Belomor (c)" jadi tolong jangan salahkan saya atas kualiti foto itu. Saya lebih suka mengulas tentang apa yang ditangkap pada mereka.
Pertama, ternyata apabila dipasang dalam slot, walaupun kad video pendek meletakkan papan pada slot memori, di mana dalam kes ini ia tidak boleh dipasang dan juga selak perlu diturunkan. Kedua, jalur pelekap besi kad video meliputi butang kuasa, jadi ia terpaksa ditanggalkan. By the way, butang kuasa itu sendiri diterangi oleh LED dua warna, yang menyala hijau apabila semuanya teratur dan berkelip oren jika terdapat sebarang masalah, litar pintas dan perlindungan bekalan kuasa telah tersandung atau kuasa +12VSB bekalan terlalu tinggi atau terlalu rendah.
Malah, papan induk ini tidak direka untuk memasukkan kad video "secara langsung" ke dalam slot PCI-E 16xnya; semuanya disambungkan kepada riser. Untuk memasang kad pengembangan dalam slot berhampiran butang kuasa, terdapat penaik sudut, yang rendah untuk memasang kad pendek sehingga panjang radiator pemproses pertama, dan satu sudut tinggi dengan penyambung kuasa +12V tambahan untuk memasang kad video "di atas" penyejuk 1U rendah standard. Ia boleh termasuk kad video besar seperti GTX 780, GTX 980, GTX 1080 atau kad GPGPU khusus Nvidia Tesla K10-K20-K40 atau "kad pengkomputeran" Intel Xeon Phi 5110p dan seumpamanya.
Tetapi dalam riser GPGPU, kad yang disertakan dalam EdgeSlot boleh disambungkan terus, hanya dengan menyambung semula kuasa tambahan dengan penyambung yang sama seperti pada riser sudut tinggi. Bagi mereka yang berminat, di eBay riser fleksibel ini dipanggil "Dell PowerEdge C8220X PCI-E GPGPU DJC89" dan berharga kira-kira 2.5-3 ribu rubel. Penaik sudut dengan bekalan kuasa tambahan adalah lebih jarang dan saya terpaksa berunding untuk mendapatkannya dari kedai alat ganti pelayan khusus melalui Whisper. Mereka berharga 7 ribu setiap satu.
Saya akan katakan dengan serta-merta, "lelaki berisiko (tm)" malah boleh menyambungkan sepasang GTX 980 ke papan dengan riser fleksibel Cina 16x, seperti yang dilakukan oleh seorang pada "Forum Yang Sama"; omong-omong, orang Cina membuat agak kraf yang baik yang berfungsi pada PCI-E 16x 2.0 dalam gaya Thermaltek flexible risers, tetapi jika ini satu hari menyebabkan anda terbakar litar kuasa pada papan pelayan, anda hanya akan dipersalahkan. Saya tidak mengambil risiko peralatan mahal dan menggunakan riser asli dengan kuasa tambahan dan satu fleksibel Cina, memikirkan bahawa menyambungkan satu kad "secara langsung" tidak akan membakar papan.
Kemudian penyambung yang lama ditunggu-tunggu untuk menyambungkan kuasa tambahan tiba dan saya membuat ekor untuk riser saya di EdgeSlot. Dan penyambung yang sama, tetapi dengan pinout yang berbeza, digunakan untuk membekalkan kuasa tambahan kepada papan induk. Penyambung ini betul-betul di sebelah penyambung EdgeSlot yang sama ini, terdapat pinout yang menarik di sana. Jika riser mempunyai 2 wayar +12 dan 2 biasa, maka papan itu mempunyai 3 wayar +12 dan 1 biasa.
Ini sebenarnya adalah GTS 250 yang sama yang disertakan dalam riser GPGPU. By the way, kuasa tambahan dibekalkan kepada riser dan motherboard - dari penyambung kuasa +12V kedua CPU bekalan kuasa saya. Saya memutuskan bahawa adalah lebih tepat untuk melakukan ini.
Kisah dongeng menceritakan dirinya dengan cepat, tetapi perlahan-lahan bungkusan itu tiba ke Rusia dari China dan tempat lain di seluruh dunia. Oleh itu, terdapat jurang yang besar dalam pemasangan "superkomputer". Tetapi akhirnya pelayan Nvidia Tesla K20M dengan radiator pasif tiba kepada saya. Selain itu, ia benar-benar sifar, dari penyimpanan, dimeterai dalam kotak asalnya, dalam pakej asalnya, dengan kertas jaminan. Dan penderitaan bermula: bagaimana untuk menyejukkannya?
Pertama, penyejuk tersuai dengan dua "turbin" kecil telah dibeli dari England, ini adalah dalam foto, dengan penyebar kadbod buatan sendiri.
Dan mereka ternyata benar-benar omong kosong. Mereka membuat banyak bunyi, pelekap tidak sesuai sama sekali, mereka bertiup lemah dan memberikan getaran sedemikian rupa sehingga saya takut bahawa komponen akan jatuh dari papan Tesla! Mengapa mereka dibuang ke dalam tong sampah dengan serta-merta?
Dengan cara ini, dalam foto di bawah Tesla anda dapat melihat radiator tembaga pelayan LGA 2011 1U dipasang pada pemproses dengan siput dari Coolerserver yang dibeli dari Aliexpress. Penyejuk yang sangat baik, walaupun sedikit bising. Mereka sesuai dengan sempurna.
Tetapi sebenarnya, semasa saya sedang menunggu penyejuk baharu untuk Tesla, kali ini setelah memesan siput BFB1012EN besar dari Australia dengan pelekap bercetak 3D, ia datang ke sistem storan pelayan. Papan pelayan mempunyai penyambung mini-SAS yang melaluinya 4 SATA dan 2 lagi penyambung SATA dikeluarkan. Semua standard SATA 2.0 tetapi itu sesuai dengan saya.
Intel C602 RAID yang disepadukan ke dalam chipset tidak buruk dan perkara utama ialah ia melangkau arahan TRIM untuk SSD, yang tidak dilakukan oleh banyak pengawal RAID luaran yang murah.
Di eBay saya membeli kabel mini-SAS hingga 4 SATA sepanjang meter, dan pada Avito saya membeli troli hot-swap dengan ruang 5,25β³ untuk 4 x 2,5β³ SAS-SATA. Oleh itu, apabila kabel dan bakul tiba, 4 terabait Seagate telah dipasang di dalamnya, RAID5 untuk 4 peranti telah dibina dalam BIOS, saya mula memasang pelayan Ubuntu... dan terserempak dengan fakta bahawa program pembahagian cakera tidak membenarkan saya untuk mencipta partition swap pada serbuan.
Saya menyelesaikan masalah secara langsung - Saya membeli penyesuai ASUS HYPER M.2 x 2 MINI dan M.4 SSD Samsung 2 EVO 960 Gb daripada DNS dan memutuskan bahawa peranti kelajuan maksimum harus diperuntukkan untuk pertukaran, kerana sistem akan berfungsi dengan beban pengiraan yang tinggi, dan ingatan masih jelas kurang daripada saiz data. Dan memori 250 GB lebih mahal daripada SSD ini.
Penyesuai yang sama ini dengan SSD dipasang pada riser sudut rendah.
Menjangkakan soalan - "Mengapa tidak menjadikan keseluruhan sistem pada M.2 dan mempunyai kelajuan akses maksimum lebih tinggi daripada serbuan pada SATA?" - Saya akan menjawab. Pertama, 1 TB atau lebih M2 SSD terlalu mahal untuk saya. Kedua, walaupun selepas mengemas kini BIOS kepada versi terkini 2.8.1, pelayan masih tidak menyokong memuatkan peranti M.2 NVE. Saya melakukan percubaan di mana sistem menetapkan /but ke USB FLASH 64 Gb dan segala-galanya kepada M.2 SSD, tetapi saya tidak menyukainya. Walaupun, pada dasarnya, gabungan sedemikian agak boleh dilaksanakan. Jika NVE M.2 berkapasiti tinggi menjadi lebih murah, saya mungkin kembali kepada pilihan ini, tetapi buat masa ini SATA RAID sebagai sistem storan sesuai dengan saya.
Apabila saya memutuskan subsistem cakera dan menghasilkan gabungan 2 x SSD Kingston 240 Gb RAID1 β/β + 4 x HDD Seagate 1 Tb RAID5 β/homeβ + M.2 SSD Samsung 960 EVO 250 Gb βswapβ ia masa untuk meneruskan percubaan saya dengan GPU Saya sudah mempunyai Tesla dan penyejuk Australia yang baru tiba dengan siput "jahat" yang memakan sebanyak 2.94A pada 12V, slot kedua telah diduduki oleh M.2 dan untuk yang ketiga saya meminjam GT 610 "untuk eksperimen."
Di sini dalam foto semua 3 peranti disambungkan, dan M.2 SSD adalah melalui riser Thermaltech yang fleksibel untuk kad video yang berfungsi pada bas 3.0 tanpa ralat. Ia seperti ini, diperbuat daripada banyak "reben" individu yang serupa dengan kabel SATA yang dibuat. Penaik PCI-E 16x yang diperbuat daripada kabel rata monolitik, seperti IDE-SCSI lama, adalah bencana, mereka akan mengalami ralat akibat gangguan bersama. Dan seperti yang telah saya katakan, orang Cina kini juga membuat riser serupa dengan Thermaltek, tetapi lebih pendek.
Dalam kombinasi dengan Tesla K20 + GT 610, saya mencuba banyak perkara, pada masa yang sama saya mendapati bahawa apabila menyambungkan kad video luaran dan menukar output kepadanya dalam BIOS, vKVM tidak berfungsi, yang tidak benar-benar marahkan saya. Bagaimanapun, saya tidak bercadang untuk menggunakan video luaran pada sistem ini, tiada output video pada Teslas, dan panel pentadbir jauh melalui SSH dan tanpa X-owls berfungsi dengan baik apabila anda mengingati sedikit apa itu baris arahan tanpa GUI . Tetapi IPMI + vKVM sangat memudahkan pengurusan, pemasangan semula dan isu lain dengan pelayan jauh.
Secara umum, IPMI lembaga ini hebat. Port 100 Mbit yang berasingan, keupayaan untuk mengkonfigurasi semula suntikan paket ke salah satu daripada port 10 Gbit, pelayan Web terbina dalam untuk pengurusan kuasa dan kawalan pelayan, memuat turun klien Java vKVM terus daripadanya dan klien untuk pemasangan jauh cakera atau imej untuk pemasangan semula... Satu-satunya perkara ialah pelanggan adalah sama dengan Java Oracle lama, yang tidak lagi disokong di Linux dan untuk panel pentadbir jauh saya terpaksa mendapatkan komputer riba dengan Win XP SP3 dengan ini. Katak purba. Nah, pelanggan lambat, ada cukup untuk panel pentadbir dan semua itu, tetapi anda tidak boleh bermain permainan dari jauh, FPS adalah kecil. Dan video ASPEED yang diintegrasikan dengan IPMI adalah lemah, hanya VGA.
Dalam proses berurusan dengan pelayan, saya banyak belajar dan banyak belajar dalam bidang perkakasan pelayan profesional daripada Dell. Yang saya tidak menyesal sama sekali, serta masa dan wang yang dibelanjakan dengan baik. Kisah pendidikan tentang benar-benar memasang bingkai dengan semua komponen pelayan akan diteruskan kemudian.
Pautan ke bahagian 3:
Sumber: www.habr.com