ขอให้เป็นวันดีชาว Khabrovsk ที่รัก!
ฉันอยากจะเล่าเรื่องราวของฉันเกี่ยวกับการประกอบ “ซูเปอร์คอมพิวเตอร์ในหมู่บ้าน” ต่อไป และฉันจะอธิบายว่าทำไมมันถึงเรียกอย่างนั้น เหตุผลนั้นง่ายมาก ฉันเองอาศัยอยู่ในหมู่บ้าน และชื่อนี้ก็ล้อเลียนผู้ที่ตะโกนทางอินเทอร์เน็ตว่า "ไม่มีชีวิตใดเลยนอกจากถนนวงแหวนมอสโก!", "หมู่บ้านรัสเซียกลายเป็นคนขี้เมาและกำลังจะตาย!" ดังนั้นบางทีสิ่งนี้อาจเป็นเรื่องจริง แต่ฉันจะเป็นข้อยกเว้นสำหรับกฎนี้ ฉันไม่ดื่ม ฉันไม่สูบบุหรี่ ฉันทำสิ่งต่าง ๆ ที่ “แครกเกอร์ในเมือง” ทุกคนไม่สามารถจ่ายได้ แต่กลับมาที่แกะของเราหรือถ้าให้เจาะจงกว่านั้นคือไปที่เซิร์ฟเวอร์ซึ่งในตอนท้ายของส่วนแรกของบทความได้ "แสดงสัญญาณแห่งชีวิต" แล้ว
บอร์ดวางอยู่บนโต๊ะ ฉันปีนเข้าไปใน BIOS ตั้งค่าตามความชอบของฉัน ถอด Ubuntu 16.04 Desktop เพื่อความเรียบง่ายและตัดสินใจเชื่อมต่อการ์ดแสดงผลกับ "ซุปเปอร์แมชชีน" แต่สิ่งเดียวที่มีอยู่คือ GTS 250 ที่มีพัดลมที่ไม่ใช่ของแท้ติดอยู่ ซึ่งผมติดตั้งไว้ในสล็อต PCI-E 16x ใกล้กับปุ่มเปิดปิด
“ฉันถ่ายรูปนี้มาพร้อมกับ Belomor (c) หนึ่งห่อ” ดังนั้นโปรดอย่าตำหนิฉันในเรื่องคุณภาพของภาพถ่ายเลย ฉันอยากจะแสดงความคิดเห็นเกี่ยวกับสิ่งที่ถูกจับได้
ประการแรกปรากฎว่าเมื่อติดตั้งในช่องแม้แต่การ์ดแสดงผลสั้น ๆ ก็วางบอร์ดไว้กับช่องเสียบหน่วยความจำซึ่งในกรณีนี้จะไม่สามารถติดตั้งได้และแม้แต่สลักก็ต้องลดระดับลง ประการที่สองแถบยึดเหล็กของการ์ดแสดงผลปิดปุ่มเปิดปิดดังนั้นจึงต้องถอดออก อย่างไรก็ตาม ปุ่มเปิดปิดนั้นส่องสว่างด้วยไฟ LED สองสี ซึ่งจะสว่างเป็นสีเขียวเมื่อทุกอย่างเป็นไปตามลำดับและจะกะพริบเป็นสีส้มหากมีปัญหาใด ๆ ไฟฟ้าลัดวงจรและตัวป้องกันแหล่งจ่ายไฟสะดุดหรือไฟ +12VSB อุปทานสูงหรือต่ำเกินไป
ที่จริงแล้ว เมนบอร์ดนี้ไม่ได้รับการออกแบบมาให้รวมการ์ดแสดงผล "โดยตรง" ลงในสล็อต PCI-E 16x โดยทั้งหมดเชื่อมต่อกับไรเซอร์ ในการติดตั้งการ์ดเอ็กซ์แพนชันในช่องใกล้กับปุ่มเปิด/ปิด จะมีตัวยกมุม ตัวยกแบบต่ำสำหรับติดตั้งการ์ดแบบสั้นจนถึงความยาวของหม้อน้ำโปรเซสเซอร์ตัวแรก และตัวยกมุมสูงที่มีขั้วต่อไฟ +12V เพิ่มเติมสำหรับการติดตั้ง การ์ดแสดงผล "เหนือ" ตัวทำความเย็น 1U ต่ำมาตรฐาน อาจรวมถึงการ์ดแสดงผลขนาดใหญ่เช่น GTX 780, GTX 980, GTX 1080 หรือการ์ด GPGPU เฉพาะทาง Nvidia Tesla K10-K20-K40 หรือ "การ์ดคอมพิวเตอร์" Intel Xeon Phi 5110p และอื่นๆ ที่คล้ายกัน
แต่ในตัวยก GPGPU การ์ดที่รวมอยู่ใน EdgeSlot สามารถเชื่อมต่อได้โดยตรง โดยการเชื่อมต่อพลังงานเพิ่มเติมอีกครั้งด้วยขั้วต่อเดียวกันกับที่ตัวยกมุมสูงเท่านั้น สำหรับผู้ที่สนใจบน eBay ตัวยกที่ยืดหยุ่นนี้เรียกว่า "Dell PowerEdge C8220X PCI-E GPGPU DJC89" และมีราคาประมาณ 2.5-3 พันรูเบิล ไรเซอร์เข้ามุมที่มีแหล่งจ่ายไฟเพิ่มเติมนั้นหายากกว่ามาก และฉันต้องเจรจาเพื่อซื้อมันจากร้านอะไหล่เซิร์ฟเวอร์เฉพาะทางผ่าน Whisper ราคาอันละ 7 พัน
ฉันจะพูดทันทีว่า "พวกเสี่ยง (tm)" ยังสามารถเชื่อมต่อ GTX 980 คู่หนึ่งเข้ากับบอร์ดด้วยไรเซอร์แบบยืดหยุ่นของจีน 16x ได้เหมือนที่คน ๆ หนึ่งทำใน "That Same Forum" อย่างไรก็ตาม คนจีนทำค่อนข้างมาก งานฝีมือที่ดีที่ทำงานบน PCI-E 16x 2.0 ในรูปแบบของตัวยกแบบยืดหยุ่นของ Thermaltek แต่หากวันหนึ่งทำให้คุณสูญเสียวงจรไฟฟ้าบนบอร์ดเซิร์ฟเวอร์คุณจะต้องตำหนิตัวเองเท่านั้น ฉันไม่ได้เสี่ยงกับอุปกรณ์ราคาแพงและใช้ไรเซอร์ดั้งเดิมที่มีกำลังเพิ่มเติมและตัวยกแบบจีนที่ยืดหยุ่นหนึ่งตัวโดยคิดว่าการเชื่อมต่อการ์ดใบเดียว "โดยตรง" จะไม่ทำให้บอร์ดไหม้
จากนั้นตัวเชื่อมต่อที่รอคอยมานานสำหรับการเชื่อมต่อพลังงานเพิ่มเติมก็มาถึง และฉันก็สร้างส่วนท้ายสำหรับไรเซอร์ของฉันใน EdgeSlot และตัวเชื่อมต่อเดียวกัน แต่มี pinout ที่แตกต่างกันนั้นใช้เพื่อจ่ายไฟเพิ่มเติมให้กับเมนบอร์ด ตัวเชื่อมต่อนี้อยู่ติดกับตัวเชื่อมต่อ EdgeSlot เดียวกันนี้ มี pinout ที่น่าสนใจอยู่ที่นั่น หากไรเซอร์มีสายไฟ 2 เส้น +12 และ 2 เส้นร่วม แสดงว่าบอร์ดมีสายไฟ 3 เส้น +12 และ 1 เส้นร่วม
จริงๆ แล้วนี่คือ GTS 250 แบบเดียวกับที่รวมอยู่ในไรเซอร์ GPGPU อย่างไรก็ตาม มีการจ่ายไฟเพิ่มเติมให้กับไรเซอร์และมาเธอร์บอร์ด - จากขั้วต่อไฟ +12V ตัวที่สองของ CPU ของแหล่งจ่ายไฟของฉัน ฉันตัดสินใจว่าการทำเช่นนี้จะถูกต้องมากกว่า
เทพนิยายบอกตัวเองอย่างรวดเร็ว แต่พัสดุก็มาถึงรัสเซียจากประเทศจีนและที่อื่น ๆ ทั่วโลกอย่างช้าๆ ดังนั้นจึงมีช่องว่างขนาดใหญ่ในการประกอบ "ซูเปอร์คอมพิวเตอร์" แต่ในที่สุดเซิร์ฟเวอร์ Nvidia Tesla K20M ที่มีพาสซีฟเรดิเอเตอร์ก็มาถึงฉัน ยิ่งไปกว่านั้น ไม่เป็นศูนย์อย่างแน่นอน ตั้งแต่การจัดเก็บ โดยปิดผนึกอยู่ในกล่องเดิม ในบรรจุภัณฑ์เดิม พร้อมเอกสารการรับประกัน และความทุกข์ก็เริ่มขึ้น: จะทำให้เย็นลงได้อย่างไร?
ขั้นแรกซื้อเครื่องทำความเย็นแบบกำหนดเองพร้อม "กังหัน" ขนาดเล็กสองตัวจากอังกฤษ นี่คือในภาพพร้อมตัวกระจายกระดาษแข็งแบบโฮมเมด
และพวกเขาก็กลายเป็นเรื่องไร้สาระโดยสิ้นเชิง พวกเขาส่งเสียงดังมาก ตัวยึดไม่พอดีเลย พวกมันพัดเบา ๆ และทำให้เกิดการสั่นสะเทือนมากจนฉันกลัวว่าส่วนประกอบจะหลุดออกจากบอร์ด Tesla! ทำไมพวกเขาถึงถูกโยนลงถังขยะแทบจะในทันที?
อย่างไรก็ตามในภาพใต้ Tesla คุณสามารถเห็นหม้อน้ำทองแดงของเซิร์ฟเวอร์ LGA 2011 1U ที่ติดตั้งบนโปรเซสเซอร์ด้วยหอยทากจาก Coolerserver ที่ซื้อจาก Aliexpress เครื่องทำความเย็นที่ดีมากแม้ว่าจะมีเสียงดังเล็กน้อย มันเข้ากันได้อย่างลงตัว
แต่จริงๆ แล้ว ขณะที่ฉันกำลังรอเครื่องทำความเย็นตัวใหม่สำหรับ Tesla คราวนี้ฉันได้สั่งซื้อหอยทาก BFB1012EN ขนาดใหญ่จากออสเตรเลียพร้อมตัวยึดที่พิมพ์แบบ 3 มิติ ก็มาถึงระบบจัดเก็บข้อมูลของเซิร์ฟเวอร์ บอร์ดเซิร์ฟเวอร์มีขั้วต่อ mini-SAS ซึ่งมีขั้วต่อ SATA 4 ตัวและ SATA อีก 2 ตัวที่ใช้เอาต์พุต มาตรฐาน SATA ทั้งหมด 2.0 แต่นั่นเหมาะกับฉัน
Intel C602 RAID ที่รวมอยู่ในชิปเซ็ตนั้นไม่เลวเลยและสิ่งสำคัญคือข้ามคำสั่ง TRIM สำหรับ SSD ซึ่งตัวควบคุม RAID ภายนอกราคาไม่แพงจำนวนมากไม่ทำ
บน eBay ฉันซื้อสายเคเบิล mini-SAS เป็น 4 SATA ยาวหนึ่งเมตร และที่ Avito ฉันซื้อรถเข็นแบบ hot-swap ที่มีช่องขนาด 5,25″ สำหรับ SAS-SATA ขนาด 4 x 2,5″ ดังนั้นเมื่อสายเคเบิลและตะกร้ามาถึง มีการติดตั้ง Seagates 4 เทราไบต์ในนั้น RAID5 สำหรับอุปกรณ์ 4 ตัวถูกสร้างขึ้นใน BIOS ฉันเริ่มติดตั้งเซิร์ฟเวอร์ Ubuntu... และพบกับความจริงที่ว่าโปรแกรมแบ่งพาร์ติชันดิสก์ไม่อนุญาตให้ฉัน เพื่อสร้างพาร์ติชั่นสลับในการจู่โจม
ฉันแก้ไขปัญหาโดยตรง - ฉันซื้ออะแดปเตอร์ ASUS HYPER M.2 x 2 MINI และ M.4 SSD Samsung 2 EVO 960 Gb จาก DNS และตัดสินใจว่าควรจัดสรรอุปกรณ์ความเร็วสูงสุดเพื่อสลับเนื่องจากระบบจะทำงาน ด้วยภาระการคำนวณที่สูง และหน่วยความจำยังคงน้อยกว่าขนาดข้อมูลอย่างเห็นได้ชัด และหน่วยความจำ 250 GB ก็แพงกว่า SSD นี้
อะแดปเตอร์เดียวกันกับที่ติดตั้ง SSD ไว้ในตัวยกมุมต่ำ
คาดการณ์คำถาม - “ทำไมไม่สร้างทั้งระบบบน M.2 และมีความเร็วการเข้าถึงสูงสุดสูงกว่าการโจมตีบน SATA” - ฉันจะตอบ ประการแรก M1 SSD ขนาด 2 TB ขึ้นไปนั้นแพงเกินไปสำหรับฉัน ประการที่สอง แม้หลังจากอัปเดต BIOS เป็นเวอร์ชันล่าสุด 2.8.1 แล้ว เซิร์ฟเวอร์ก็ยังไม่รองรับการโหลดอุปกรณ์ M.2 NVE ฉันทำการทดลองโดยให้ระบบตั้งค่า /boot เป็น USB FLASH 64 Gb และตั้งค่าอย่างอื่นเป็น M.2 SSD แต่ฉันไม่ชอบมัน แม้ว่าโดยหลักการแล้วการรวมกันดังกล่าวค่อนข้างใช้ได้ผล หาก M.2 NVE ความจุสูงราคาถูกลง ฉันอาจกลับมาใช้ตัวเลือกนี้ แต่สำหรับตอนนี้ SATA RAID เนื่องจากระบบจัดเก็บข้อมูลเหมาะกับฉันค่อนข้างดี
เมื่อฉันตัดสินใจเลือกระบบย่อยของดิสก์และเกิดมาพร้อมกับ 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” มันคือ ถึงเวลาทดลองใช้ GPU ต่อไป ฉันมี Tesla อยู่แล้วและตู้ทำความเย็นของออสเตรเลียเพิ่งมาพร้อมกับหอยทาก "ชั่วร้าย" ที่กินไฟได้มากถึง 2.94A ที่ 12V ช่องที่สองถูกครอบครองโดย M.2 และช่องที่สามฉันยืม GT 610 "สำหรับการทดลอง"
ในภาพนี้ อุปกรณ์ทั้ง 3 เครื่องเชื่อมต่อกัน และ M.2 SSD นั้นผ่านตัวยก Thermaltech ที่ยืดหยุ่นสำหรับการ์ดวิดีโอที่ทำงานบนบัส 3.0 โดยไม่มีข้อผิดพลาด มีลักษณะเช่นนี้ สร้างขึ้นจาก "ริบบิ้น" หลายอันคล้ายกับที่ใช้ทำสายเคเบิล SATA ตัวยก PCI-E 16x ที่ทำจากสายแบนเสาหิน เช่นเดียวกับ IDE-SCSI รุ่นเก่านั้นเสียหาย พวกเขาจะประสบกับข้อผิดพลาดเนื่องจากการรบกวนซึ่งกันและกัน และอย่างที่ฉันได้กล่าวไปแล้ว ตอนนี้ชาวจีนก็ทำไรเซอร์คล้ายกับ Thermaltek แต่สั้นกว่า
เมื่อใช้ร่วมกับ Tesla K20 + GT 610 ฉันลองหลายอย่างในเวลาเดียวกันฉันพบว่าเมื่อเชื่อมต่อการ์ดแสดงผลภายนอกและสลับเอาต์พุตไปที่ BIOS vKVM ไม่ทำงานซึ่งไม่ได้จริงๆ ทำให้ฉันเซ็ง. อย่างไรก็ตาม ฉันไม่ได้วางแผนที่จะใช้วิดีโอภายนอกบนระบบนี้ ไม่มีเอาต์พุตวิดีโอบน Tesla และแผงการดูแลระบบระยะไกลผ่าน SSH และไม่มี X-owls ก็ใช้งานได้ดีเมื่อคุณจำได้เล็กน้อยว่าบรรทัดคำสั่งที่ไม่มี GUI คืออะไร . แต่ IPMI + vKVM ช่วยให้การจัดการ การติดตั้งใหม่ และปัญหาอื่นๆ เกี่ยวกับเซิร์ฟเวอร์ระยะไกลง่ายขึ้นอย่างมาก
โดยทั่วไป IPMI ของบอร์ดนี้ยอดเยี่ยมมาก พอร์ต 100 Mbit แยกต่างหาก ความสามารถในการกำหนดค่าการฉีดแพ็คเก็ตใหม่ให้กับหนึ่งในพอร์ต 10 Gbit ซึ่งเป็นเว็บเซิร์ฟเวอร์ในตัวสำหรับการจัดการพลังงานและการควบคุมเซิร์ฟเวอร์ การดาวน์โหลดไคลเอนต์ vKVM Java โดยตรงจากมันและไคลเอนต์สำหรับการติดตั้งดิสก์ระยะไกล หรืออิมเมจสำหรับการติดตั้งใหม่... สิ่งเดียวคือไคลเอนต์เหมือนกับ Java Oracle รุ่นเก่าซึ่งไม่รองรับใน Linux อีกต่อไปและสำหรับแผงการดูแลระบบระยะไกลฉันต้องซื้อแล็ปท็อปที่มี Win XP SP3 ด้วยสิ่งนี้ คางคกโบราณ ไคลเอนต์ทำงานช้า มีเพียงพอสำหรับแผงผู้ดูแลระบบและทั้งหมดนั้น แต่คุณไม่สามารถเล่นเกมจากระยะไกลได้ FPS มีขนาดเล็ก และวิดีโอ ASPEED ที่รวมเข้ากับ IPMI นั้นอ่อนแอเพียง VGA เท่านั้น
ในกระบวนการจัดการกับเซิร์ฟเวอร์ ฉันได้เรียนรู้มากมายและได้เรียนรู้มากมายในด้านฮาร์ดแวร์เซิร์ฟเวอร์ระดับมืออาชีพจาก Dell ซึ่งฉันไม่เสียใจเลยรวมถึงเวลาและเงินที่ใช้ไปอย่างดี เรื่องราวการศึกษาเกี่ยวกับการประกอบเฟรมด้วยส่วนประกอบเซิร์ฟเวอร์ทั้งหมดจะดำเนินต่อไปในภายหลัง
ลิงค์ไปยังส่วนที่ 3:
ที่มา: will.com