शुभ दिन, प्रिय खाबरोवाइट्स!
मैं "ग्राम सुपरकंप्यूटर" को असेंबल करने के बारे में अपनी कहानी जारी रखना चाहता हूं। और मैं समझाऊंगा कि इसका ऐसा नाम क्यों रखा गया - कारण सरल है। मैं स्वयं देहात में रहता हूँ। और यह नाम उन लोगों के लिए एक हल्का ट्रोलिंग है जो इंटरनेट पर चिल्लाते हैं "मॉस्को रिंग रोड से परे कोई जीवन नहीं है!", "रूसी गांव ने खुद को पी लिया है और मर रहा है!" तो, कहीं न कहीं ऐसा हो सकता है, और मैं इस नियम का अपवाद बनूंगा। मैं शराब नहीं पीता, मैं धूम्रपान नहीं करता, मैं ऐसे काम करता हूं जो हर "शहरवासी" नहीं कर सकता। लेकिन आइए अपनी भेड़ों, या यूँ कहें कि सर्वर पर वापस जाएँ, जो लेख के पहले भाग के अंत में पहले से ही "जीवन के लक्षण दिखा रहा था।"
बोर्ड मेज पर पड़ा हुआ था, मैं BIOS में गया, इसे अपनी पसंद के अनुसार सेट किया, सरलता के लिए Ubuntu 16.04 डेस्कटॉप को हटा दिया और एक वीडियो कार्ड को "सुपर-मशीन" से कनेक्ट करने का निर्णय लिया। लेकिन हाथ में केवल एक जीटीएस 250 था जिस पर एक भारी-भरकम गैर-देशी पंखा चिपका हुआ था। जिसे मैंने पावर बटन के पास PCI-E 16x स्लॉट में स्थापित किया।
"मैंने बेलोमोर के एक पैकेट पर शूटिंग की", इसलिए कृपया फोटो की गुणवत्ता पर ध्यान न दें। मैं उस पर टिप्पणी करना पसंद करूंगा जो उनमें कैद है।
सबसे पहले, यह पता चला कि जब एक स्लॉट में स्थापित किया जाता है, तो एक छोटा वीडियो कार्ड भी मेमोरी स्लॉट पर टिका होता है, जिसमें, इस मामले में, इसे स्थापित नहीं किया जा सकता है, और आपको कुंडी भी नीचे करनी पड़ती है। दूसरे, वीडियो कार्ड की आयरन माउंटिंग प्लेट पावर बटन को कवर करती है, इसलिए इसे हटाना पड़ा। वैसे, पावर बटन स्वयं एक दो-रंग एलईडी द्वारा प्रकाशित होता है जो सब कुछ क्रम में होने पर हरे रंग की रोशनी देता है और यदि कोई समस्या है, शॉर्ट सर्किट और पीएसयू सुरक्षा काम कर रही है या + 12VSB बिजली की आपूर्ति है तो नारंगी रंग में चमकती है। बहुत ऊँचा या बहुत नीचा।
वास्तव में, इस मदरबोर्ड को वीडियो कार्ड को इसके पीसीआई-ई 16x स्लॉट से "सीधे" कनेक्ट करने के लिए डिज़ाइन नहीं किया गया है, वे सभी राइजर से जुड़े हुए हैं। स्लॉट में एक विस्तार कार्ड स्थापित करने के लिए, पावर बटन के पास कोने वाले राइजर होते हैं, पहले प्रोसेसर हीटसिंक तक छोटे कार्ड स्थापित करने के लिए एक निचला राइजर होता है, और वीडियो कार्ड स्थापित करने के लिए अतिरिक्त +12V पावर कनेक्टर के साथ एक उच्च कोने वाला होता है। ऊपर" नियमित निम्न 1यू कूलर। इसमें GTX 780, GTX 980, GTX 1080 या विशेष Nvidia Tesla K10-K20-K40 GPGPU कार्ड या Intel Xeon Phi 5110p "कंप्यूटिंग कार्ड" और इसी तरह के बड़े वीडियो कार्ड शामिल हो सकते हैं।
लेकिन जीपीजीपीयू राइजर में, एजस्लॉट में शामिल कार्ड को सीधे चालू किया जा सकता है, केवल हाई एंगल राइजर के समान कनेक्टर के साथ अतिरिक्त पावर कनेक्ट करके। कौन परवाह करता है - eBay पर इस लचीले राइजर को "Dell PowerEdge C8220X PCI-E GPGPU DJC89" कहा जाता है और इसकी कीमत लगभग 2.5-3 हजार रूबल है। अतिरिक्त शक्ति वाले एंगल राइजर बहुत दुर्लभ हैं और मुझे उन्हें शॉपोटम के माध्यम से एक विशेष सर्वर पार्ट्स स्टोर से खरीदने की व्यवस्था करनी पड़ी। वे प्रत्येक 7 हजार पर निकले।
मैं तुरंत कहूंगा, "जोखिम वाले लोग (टीएम)" GTX 980s की एक जोड़ी को चीनी लचीले 16x राइजर के साथ बोर्ड से भी जोड़ सकते हैं, जैसा कि एक व्यक्ति ने "दैट वेरी फोरम" में किया था, चीनी, वैसे, थर्माल्टेक लचीले राइजर की शैली में पीसीआई-ई 16x 2.0 पर काफी अच्छी तरह से काम करने वाले शिल्प बनाएं, लेकिन यदि आप एक बार इससे सर्वर बोर्ड पर पावर सर्किट जला देते हैं, तो आप केवल खुद को दोषी ठहराएंगे। मैंने महंगे उपकरण का जोखिम नहीं उठाया और अतिरिक्त शक्ति वाले मूल राइजर और एक चीनी लचीले राइजर का उपयोग किया, यह मानते हुए कि एक कार्ड को "सीधे" जोड़ने से बोर्ड नहीं जलेगा।
फिर अतिरिक्त बिजली को जोड़ने के लिए लंबे समय से प्रतीक्षित कनेक्टर आ गए और मैंने एजस्लॉट में अपने राइजर के लिए एक पूंछ बनाई। और एक ही कनेक्टर, लेकिन एक अलग पिनआउट के साथ, मदरबोर्ड को अतिरिक्त बिजली की आपूर्ति करने के लिए उपयोग किया जाता है। यह कनेक्टर इसी एजस्लॉट कनेक्टर के ठीक बगल में है, एक दिलचस्प पिनआउट है। यदि राइजर पर 2 तार +12 और 2 कॉमन हैं, तो बोर्ड पर 3 तार +12 और 1 कॉमन हैं।
यह वास्तव में वही GTS 250 है जो GPGPU राइजर में शामिल है। वैसे, मैं अपने पीएसयू के सीपीयू के दूसरे + 12 वी पावर कनेक्टर से राइजर और मदरबोर्ड के लिए अतिरिक्त बिजली लेता हूं। मैंने तय किया कि ऐसा करना ज़्यादा सही होगा.
परियों की कहानी तुरंत प्रभावित करती है, लेकिन धीरे-धीरे चीन और दुनिया के अन्य स्थानों से पार्सल रूस जाते हैं। इसलिए, "सुपरकंप्यूटर" की असेंबली में बड़े अंतराल थे। लेकिन आख़िरकार, एक निष्क्रिय हीटसिंक वाला एनवीडिया टेस्ला K20M सर्वर मेरे पास आया। इसके अलावा, यह भंडारण से पूरी तरह से शून्य है, वारंटी कागजात के साथ, अपने स्वयं के बॉक्स में, अपने पैकेज में सील कर दिया गया है। और पीड़ा शुरू हो गई, इसे कैसे शांत किया जाए?
सबसे पहले, मैंने इंग्लैंड से दो छोटे "टर्बाइन" के साथ एक कस्टम कूलर खरीदा, यहाँ यह फोटो में है, एक होममेड कार्डबोर्ड डिफ्यूज़र के साथ।
और वे पूर्णतया बकवास निकले। उन्होंने बहुत शोर मचाया, माउंट बिल्कुल फिट नहीं हुआ, उन्होंने कमजोर रूप से उड़ाया और इतना कंपन किया कि मुझे डर था कि घटक टेस्ला बोर्ड से गिर जाएंगे! उन्हें लगभग तुरंत ही कूड़ेदान में क्यों भेज दिया गया?
वैसे, टेस्ला के तहत फोटो में, आप एलजीए 2011 1यू सर्वर कॉपर रेडिएटर्स को कूलरसर्वर से एक घोंघे के साथ देख सकते हैं, जिसे अलीएक्सप्रेस से खरीदा गया है, जो प्रोसेसर पर स्थापित है। हालांकि शोर मचाने वाले कूलर काफी उपयुक्त हैं। वे बिल्कुल फिट बैठते हैं.
लेकिन वास्तव में, जब मैं टेस्ला के लिए एक नए कूलर की प्रतीक्षा कर रहा था, इस बार मैंने ऑस्ट्रेलिया से एक 1012D प्रिंटर पर मुद्रित माउंट के साथ एक बड़ा BFB3EN घोंघा ऑर्डर किया, यह सर्वर के स्टोरेज सिस्टम में आ गया। सर्वर बोर्ड में एक मिनी-एसएएस कनेक्टर होता है जिसके माध्यम से 4 SATA और 2 और SATA नियमित कनेक्टर के साथ आउटपुट होते हैं। सभी SATA 2.0 मानक लेकिन यह मेरे लिए उपयुक्त है।
एकीकृत RAID इंटेल C602 चिपसेट खराब नहीं है और, सबसे महत्वपूर्ण बात यह है कि यह SSDs के लिए TRIM कमांड को छोड़ देता है, जो कई सस्ते बाहरी RAID नियंत्रक नहीं कर सकते हैं।
ईबे पर, मैंने एक मीटर लंबी मिनी-एसएएस से 4 एसएटीए केबल खरीदी, और एविटो पर मैंने 5,25 x 4″ एसएएस-एसएटीए के लिए 2,5″ हॉट-स्वैप टोकरी खरीदी। इसलिए जब केबल और टोकरी आई - इसमें 4 टेराबाइट सीगेट्स स्थापित किए गए थे, 5 उपकरणों के लिए RAID4 को BIOS में इकट्ठा किया गया था, मैंने सर्वर उबंटू स्थापित करना शुरू कर दिया ... और इस तथ्य पर ठोकर खाई कि डिस्क विभाजन कार्यक्रम ने मुझे अनुमति नहीं दी थी छापे पर एक स्वैप विभाजन बनाने के लिए.
मैंने समस्या को सीधे हल कर दिया - मैंने DNS PCI-E से M.2 में एक ASUS HYPER M.2 x 4 MINI और M.2 SSD Samsung 960 EVO 250 Gb एडाप्टर खरीदा, तय करें कि आपको इसके लिए सबसे तेज़ डिवाइस का चयन करना होगा स्वैप, चूंकि सिस्टम उच्च कम्प्यूटेशनल लोड के साथ काम करेगा, और मेमोरी अभी भी डेटा के आकार से स्पष्ट रूप से कम है। और मेमोरी इस SSD से 256 GB अधिक महंगी थी।
यहां लो एंगल राइजर में स्थापित एसएसडी वाला वही एडॉप्टर है।
प्रत्याशित प्रश्न - "पूरे सिस्टम को एम.2 पर क्यों नहीं बनाया जाए और इसकी अधिकतम पहुंच गति SATA छापे की तुलना में अधिक क्यों न हो?" - मैं उत्तर दूंगा। सबसे पहले, 1 या अधिक टीबी के लिए, एम2 एसएसडी मेरे लिए बहुत महंगे हैं। दूसरे, BIOS को नवीनतम संस्करण 2.8.1 में अद्यतन करने के बाद भी, सर्वर अभी भी NVE उपकरणों को M.2 में बूट करने का समर्थन नहीं करता है। जब सिस्टम ने USB FLASH 64 Gb पर और बाकी सभी चीज़ों को M.2 SSD पर डाला, तो मुझे अनुभव हुआ, लेकिन मुझे यह पसंद नहीं आया। हालांकि सिद्धांत रूप में ऐसा बंडल काफी कुशल है। यदि बड़ी क्षमता वाले एम.2 एनवीई सस्ते हो जाते हैं, तो मैं इस विकल्प पर वापस लौट सकता हूं, लेकिन अभी स्टोरेज सिस्टम के रूप में SATA RAID मेरे लिए काफी उपयुक्त है।
जब मैंने डिस्क सबसिस्टम पर निर्णय लिया, तो मैं 2 x SSD किंग्स्टन 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "स्वैप" के संयोजन के साथ आया। अब जीपीयू के साथ अपने प्रयोग जारी रखने का समय आ गया है। मेरे पास पहले से ही एक टेस्ला थी और अभी-अभी एक ऑस्ट्रेलियाई कूलर आया है जिसमें एक "दुष्ट" घोंघा है जो 2.94V पर 12A तक खा रहा है, दूसरे स्लॉट पर M.2 का कब्जा था और तीसरे के लिए मैंने "प्रयोगों के लिए" GT 610 उधार लिया था।
यहां फोटो में सभी 3 डिवाइस जुड़े हुए हैं, और वीडियो कार्ड के लिए लचीले थर्मलटेक राइजर के माध्यम से एम.2 एसएसडी जुड़ा हुआ है जो 3.0 बस पर त्रुटियों के बिना काम करता है। यह इस प्रकार है, कई अलग-अलग "रिबन" से, जिनकी समानता में SATA केबल बनाए जाते हैं। PCI-E 16x राइजर एक अखंड फ्लैट केबल से बने होते हैं, पुराने IDE-SCSI की तरह - भट्ठी में, वे आपसी हस्तक्षेप के कारण त्रुटियों से आपको परेशान करते हैं। और जैसा कि मैंने कहा, चीनी अब टर्मलटेक जैसे राइजर भी बनाते हैं, लेकिन छोटे।
टेस्ला K20 + GT 610 के संयोजन में, मैंने बहुत सी चीजों की कोशिश की, साथ ही यह पता लगाया कि जब एक बाहरी वीडियो कार्ड जुड़ा होता है और आउटपुट उस पर स्विच किया जाता है, तो vKVM BIOS में काम नहीं करता है, जो नहीं हुआ वास्तव में मुझे परेशान किया. वैसे भी, मैंने इस सिस्टम पर बाहरी वीडियो का उपयोग करने की योजना नहीं बनाई थी, टेस्लास पर कोई वीडियो आउटपुट नहीं है, और एसएसएच के माध्यम से और एक्स-उल्लू के बिना रिमोट एडमिन पैनल ठीक काम करता है जब आपको थोड़ा याद आता है कि जीयूआई के बिना कमांड लाइन क्या है। लेकिन आईपीएमआई + वीकेवीएम रिमोट सर्वर के साथ प्रबंधन, पुनर्स्थापना और अन्य चीजों को बहुत सरल बनाता है।
सामान्य तौर पर, यह आईपीएमआई बोर्ड बहुत खूबसूरत है। एक अलग 100 एमबी पोर्ट, 10 जीबी पोर्ट में से एक में पैकेट इंजेक्शन को पुन: कॉन्फ़िगर करने की क्षमता, पावर प्रबंधन और सर्वर नियंत्रण के लिए एक अंतर्निहित वेब सर्वर, इससे सीधे वीकेवीएम जावा क्लाइंट डाउनलोड करना और रिमोट माउंटिंग डिस्क या छवियों के लिए क्लाइंट पुनर्स्थापना के लिए ... एकमात्र बात यह है कि पुराने जावा ओरेकल के तहत क्लाइंट, जो अब लिनक्स में समर्थित नहीं है, और रिमोट एडमिन पैनल के लिए, मुझे इस सबसे प्राचीन टॉड के साथ Win XP SP3 वाला एक लैपटॉप लेना पड़ा। खैर, क्लाइंट धीमा है, एडमिन पैनल वगैरह के लिए पर्याप्त है, लेकिन आप दूर से खिलौने नहीं खेल सकते, एफपीएस छोटा है। हाँ, और IPMI के साथ एकीकृत ASPEED वीडियो कमज़ोर है, केवल VGA।
सर्वर से निपटने की प्रक्रिया में, मैंने बहुत कुछ सीखा और डेल से पेशेवर सर्वर हार्डवेयर के क्षेत्र में बहुत कुछ सीखा। जिस बात का मुझे बिल्कुल भी पछतावा नहीं है, साथ ही लाभ के साथ खर्च किए गए समय और धन का भी। सर्वर के सभी घटकों के साथ फ़्रेम की वास्तविक असेंबली के बारे में जानकारीपूर्ण कहानी की निरंतरता बाद में होगी।
भाग 3 से लिंक:
स्रोत: www.habr.com