eBay, Aliexpress आणि संगणक स्टोअरच्या सुटे भागांमधून "गावातील सुपर कॉम्प्युटर" असेंबल करण्याची कथा. भाग 2

शुभ दिवस, प्रिय खाब्रोव्स्क रहिवासी!

कथेच्या पहिल्या भागाची लिंक ज्यांनी चुकवली त्यांच्यासाठी

मला “गावातील सुपर कॉम्प्युटर” असेंबल करण्याबद्दलची माझी कथा पुढे चालू ठेवायची आहे. आणि त्याला असे का म्हटले जाते ते मी समजावून सांगेन - कारण सोपे आहे. मी स्वतः एका गावात राहतो. आणि हे नाव इंटरनेटवर "मॉस्को रिंग रोडच्या पलीकडे जीवन नाही!", "रशियन गाव मद्यधुंद बनले आहे आणि मरत आहे!" त्यामुळे, हे कुठेतरी खरे असेल, पण मी नियमाला अपवाद असेल. मी मद्यपान करत नाही, मी धुम्रपान करत नाही, मी अशा गोष्टी करतो ज्या प्रत्येक "शहरी क्रॅकर" ला परवडत नाहीत. परंतु आपण आपल्या मेंढ्यांकडे, किंवा अधिक तंतोतंत, सर्व्हरकडे परत जाऊया, जे लेखाच्या पहिल्या भागाच्या शेवटी आधीच "जीवनाची चिन्हे दर्शवित आहे."

बोर्ड टेबलावर पडलेला होता, मी BIOS वर चढलो, माझ्या आवडीनुसार ते सेट केले, साधेपणासाठी उबंटू 16.04 डेस्कटॉप बंद केला आणि “सुपर मशीन” ला व्हिडिओ कार्ड कनेक्ट करण्याचा निर्णय घेतला. पण हातात फक्त एकच गोष्ट होती जीटीएस 250 ज्यामध्ये मूळ नसलेला मोठा पंखा जोडलेला होता. जे मी पॉवर बटणाजवळ PCI-E 16x स्लॉटमध्ये स्थापित केले आहे.





"मी ते बेलोमोर (c) च्या पॅकसह घेतले आहे" त्यामुळे कृपया फोटोच्या गुणवत्तेसाठी मला दोष देऊ नका. मी त्याऐवजी त्यांच्यावर काय कॅप्चर केले आहे यावर टिप्पणी करेन.

प्रथम, असे दिसून आले की स्लॉटमध्ये स्थापित केल्यावर, एक लहान व्हिडिओ कार्ड देखील मेमरी स्लॉट्सच्या विरूद्ध बोर्डला विसावतो, या प्रकरणात ते स्थापित केले जाऊ शकत नाही आणि लॅचेस देखील कमी करावे लागतील. दुसरे म्हणजे, व्हिडिओ कार्डची लोखंडी माउंटिंग पट्टी पॉवर बटण झाकते, म्हणून ती काढावी लागली. तसे, पॉवर बटण स्वतःच दोन-रंगाच्या एलईडीद्वारे प्रकाशित केले जाते, जे सर्वकाही व्यवस्थित असताना हिरवे प्रकाश देते आणि काही समस्या असल्यास, शॉर्ट सर्किट आणि वीज पुरवठा संरक्षण ट्रिप झाल्यास किंवा +12VSB पॉवर असल्यास केशरी चमकते. पुरवठा खूप जास्त किंवा खूप कमी आहे.

खरं तर, हा मदरबोर्ड त्याच्या PCI-E 16x स्लॉटमध्ये व्हिडिओ कार्ड्स "थेटपणे" समाविष्ट करण्यासाठी डिझाइन केलेला नाही; ते सर्व राइसरशी जोडलेले आहेत. पॉवर बटणाजवळील स्लॉट्समध्ये विस्तार कार्ड स्थापित करण्यासाठी, कॉर्नर राइसर आहेत, पहिल्या प्रोसेसर रेडिएटरच्या लांबीपर्यंत लहान कार्ड स्थापित करण्यासाठी कमी, आणि उच्च कोपरा एक अतिरिक्त +12V पॉवर कनेक्टर स्थापित करण्यासाठी आहे. व्हिडिओ कार्ड मानक कमी 1U कूलर “वरील”. यामध्ये GTX 780, GTX 980, GTX 1080 किंवा विशेष GPGPU कार्ड Nvidia Tesla K10-K20-K40 किंवा “संगणक कार्ड” Intel Xeon Phi 5110p आणि यासारख्या मोठ्या व्हिडिओ कार्ड्सचा समावेश असू शकतो.

परंतु GPGPU राइजरमध्ये, एजस्लॉटमध्ये समाविष्ट केलेले कार्ड थेट कनेक्ट केले जाऊ शकते, फक्त उच्च कोपऱ्यातील राइसरच्या समान कनेक्टरसह अतिरिक्त पॉवर कनेक्ट करून. स्वारस्य असलेल्यांसाठी, eBay वर या लवचिक राइसरला "Dell PowerEdge C8220X PCI-E GPGPU DJC89" म्हणतात आणि त्याची किंमत सुमारे 2.5-3 हजार रूबल आहे. अतिरिक्त वीज पुरवठ्यासह कॉर्नर राइझर्स खूपच दुर्मिळ आहेत आणि मला ते व्हिस्परद्वारे विशिष्ट सर्व्हर पार्ट्स स्टोअरमधून मिळविण्यासाठी वाटाघाटी करावी लागली. त्यांची किंमत प्रत्येकी 7 हजार आहे.

मी लगेच सांगेन, “जोखमीचे लोक (tm)” अगदी GTX 980 ची जोडी चायनीज फ्लेक्सिबल रायझर्स 16x सह बोर्डला जोडू शकतात, जसे की एका व्यक्तीने “The Same Forum” वर केले होते; तसे, चिनी लोक बरेच काही करतात PCI-E 16x 2.0 वर थर्मलटेक फ्लेक्सिबल रिझर्सच्या शैलीत काम करणारी चांगली हस्तकला, ​​परंतु जर एखाद्या दिवशी तुम्हाला सर्व्हर बोर्डवरील पॉवर सर्किट्स जळून जातील, तर तुम्हाला फक्त स्वतःलाच दोष द्यावा लागेल. मी महागड्या उपकरणांचा धोका पत्करला नाही आणि अतिरिक्त पॉवर आणि एक चायनीज लवचिक असलेले मूळ राइसर वापरले, एक कार्ड “थेट” जोडल्याने बोर्ड जळणार नाही.

नंतर अतिरिक्त उर्जा जोडण्यासाठी दीर्घ-प्रतीक्षित कनेक्टर आले आणि मी एजस्लॉटमध्ये माझ्या राइसरसाठी एक शेपटी बनविली. आणि समान कनेक्टर, परंतु वेगळ्या पिनआउटसह, मदरबोर्डला अतिरिक्त वीज पुरवण्यासाठी वापरला जातो. हा कनेक्टर त्याच एजस्लॉट कनेक्टरच्या अगदी पुढे आहे, तिथे एक मनोरंजक पिनआउट आहे. जर राइजरमध्ये 2 वायर +12 आणि 2 कॉमन असतील, तर बोर्डमध्ये 3 वायर +12 आणि 1 कॉमन असतील.

हे प्रत्यक्षात GPGPU राइजरमध्ये समाविष्ट केलेले समान GTS 250 आहे. तसे, माझ्या पॉवर सप्लायच्या CPU च्या दुसऱ्या +12V पॉवर कनेक्टरमधून - राइझर्स आणि मदरबोर्डला अतिरिक्त वीज पुरवली जाते. मी ठरवले की हे करणे अधिक योग्य आहे.

परीकथा पटकन सांगते, परंतु हळूहळू पार्सल चीन आणि जगभरातील इतर ठिकाणांहून रशियाला येतात. म्हणून, “सुपर कॉम्प्युटर” च्या असेंब्लीमध्ये मोठे अंतर होते. पण शेवटी निष्क्रिय रेडिएटरसह Nvidia Tesla K20M सर्व्हर माझ्याकडे आला. शिवाय, स्टोरेजपासून ते पूर्णपणे शून्य आहे, त्याच्या मूळ बॉक्समध्ये, त्याच्या मूळ पॅकेजमध्ये, वॉरंटी पेपरसह सील केलेले आहे. आणि दुःख सुरू झाले: ते कसे थंड करावे?

प्रथम, दोन लहान "टर्बाइन" असलेले एक सानुकूल कूलर इंग्लंडमधून खरेदी केले गेले होते, ते येथे होममेड कार्डबोर्ड डिफ्यूझरसह फोटोमध्ये आहे.

आणि ते पूर्ण बकवास निघाले. त्यांनी खूप आवाज केला, माउंट अजिबात बसत नाही, ते कमकुवतपणे उडले आणि असे कंपन दिले की मला भीती वाटली की घटक टेस्ला बोर्डवरून खाली पडतील! ते जवळजवळ लगेचच कचऱ्यात का फेकले गेले?

तसे, टेस्ला अंतर्गत फोटोमध्ये आपण एलजीए 2011 1U सर्व्हर कॉपर रेडिएटर्स प्रोसेसरवर स्थापित केलेले कूलरसर्व्हरकडून अॅलीएक्सप्रेस वरून खरेदी केलेल्या गोगलगायीसह पाहू शकता. थोडेसे गोंगाट असले तरी खूप सभ्य कूलर. ते उत्तम प्रकारे बसतात.

पण प्रत्यक्षात, मी टेस्लासाठी नवीन कूलरची वाट पाहत असताना, यावेळी ऑस्ट्रेलियातून 1012D प्रिंटेड माउंटसह एक मोठा BFB3EN गोगलगाय मागवला, तो सर्व्हर स्टोरेज सिस्टमवर आला. सर्व्हर बोर्डमध्ये एक मिनी-एसएएस कनेक्टर आहे ज्याद्वारे 4 SATA आणि 2 अधिक SATA कनेक्टर आउटपुट आहेत. सर्व SATA मानक 2.0 परंतु ते मला अनुकूल आहे.

चिपसेटमध्ये समाकलित केलेला इंटेल C602 RAID वाईट नाही आणि मुख्य गोष्ट अशी आहे की ती SSD साठी TRIM कमांड वगळते, जे बरेच स्वस्त बाह्य RAID नियंत्रक करत नाहीत.

eBay वर मी एक मीटर-लांब मिनी-एसएएस ते 4 SATA केबल विकत घेतली आणि Avito वर मी 5,25 x 4″ SAS-SATA साठी 2,5″ बे असलेली हॉट-स्वॅप कार्ट खरेदी केली. म्हणून जेव्हा केबल आणि टोपली आली तेव्हा त्यात 4 टेराबाइट सीगेट्स स्थापित केले गेले, BIOS मध्ये 5 डिव्हाइसेससाठी RAID4 तयार केले गेले, मी सर्व्हर उबंटू स्थापित करण्यास सुरवात केली... आणि डिस्क विभाजन प्रोग्रामने मला परवानगी दिली नाही या वस्तुस्थितीकडे धाव घेतली. raid वर स्वॅप विभाजन तयार करण्यासाठी.

मी समस्येचे निराकरण केले - मी DNS वरून ASUS HYPER M.2 x 2 MINI आणि M.4 SSD Samsung 2 EVO 960 Gb अॅडॉप्टर विकत घेतले आणि निर्णय घेतला की स्वॅपसाठी जास्तीत जास्त वेगाचे डिव्हाइस वाटप केले जावे, कारण सिस्टम कार्य करेल उच्च संगणकीय लोडसह, आणि मेमरी अजूनही डेटा आकारापेक्षा कमी आहे. आणि 250 GB मेमरी या SSD पेक्षा जास्त महाग होती.

कमी कोपऱ्यातील रिसरमध्ये एसएसडीसह हेच अडॅप्टर स्थापित केले आहे.

प्रश्नांची अपेक्षा करणे - "संपूर्ण प्रणाली M.2 वर का बनवू शकत नाही आणि SATA वर चढाईपेक्षा जास्तीत जास्त प्रवेश गती का नाही?" - मी उत्तर देईन. प्रथम, 1 TB किंवा अधिक M2 SSD माझ्यासाठी खूप महाग आहेत. दुसरे म्हणजे, नवीनतम आवृत्ती 2.8.1 वर BIOS अद्यतनित केल्यानंतर, सर्व्हर अद्याप M.2 NVE उपकरणे लोड करण्यास समर्थन देत नाही. मी एक प्रयोग केला जिथे सिस्टम USB FLASH 64 Gb वर /boot आणि M.2 SSD वर सर्व काही सेट करते, परंतु मला ते आवडले नाही. जरी, तत्वतः, असे संयोजन बरेच कार्य करण्यायोग्य आहे. जर उच्च-क्षमतेचे M.2 NVE स्वस्त झाले, तर मी या पर्यायावर परत येऊ शकेन, परंतु सध्या SATA RAID स्टोरेज सिस्टीम म्हणून माझ्यासाठी योग्य आहे.
जेव्हा मी डिस्क सबसिस्टमवर निर्णय घेतला आणि 2 x SSD किंग्स्टन 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “स्वॅप” चे संयोजन घेऊन आलो GPU सह माझे प्रयोग सुरू ठेवण्याची वेळ माझ्याकडे आधीच टेस्ला होता आणि एक ऑस्ट्रेलियन कूलर नुकताच एक “वाईट” गोगलगाय घेऊन आला होता जो 2.94V वर 12A इतका खातो, दुसरा स्लॉट M.2 ने व्यापला होता आणि तिसऱ्यासाठी मी GT 610 “प्रयोगांसाठी” घेतले होते.

येथे फोटोमध्ये सर्व 3 उपकरणे जोडलेली आहेत आणि M.2 SSD हे व्हिडीओ कार्डसाठी लवचिक थर्मलटेक राइजरद्वारे आहे जे 3.0 बसवर त्रुटींशिवाय कार्य करते. हे असे आहे, ज्यापासून SATA केबल्स बनवल्या जातात त्याप्रमाणेच अनेक वैयक्तिक "रिबन" पासून बनविलेले आहे. एका मोनोलिथिक फ्लॅट केबलपासून बनवलेले PCI-E 16x राइझर्स, जुन्या IDE-SCSI प्रमाणेच, एक आपत्ती आहे, त्यांना परस्पर हस्तक्षेपामुळे त्रुटींचा सामना करावा लागेल. आणि मी आधीच म्हटल्याप्रमाणे, चिनी लोक आता थर्मलटेक प्रमाणेच राइझर बनवतात, परंतु लहान.

टेस्ला के 20 + जीटी 610 च्या संयोजनात, मी बर्‍याच गोष्टींचा प्रयत्न केला, त्याच वेळी मला आढळले की बाह्य व्हिडिओ कार्ड कनेक्ट करताना आणि BIOS मध्ये आउटपुट स्विच करताना, व्हीकेव्हीएम कार्य करत नाही, जे खरोखर झाले नाही. मला अस्वस्थ करा. असं असलं तरी, मी या प्रणालीवर बाह्य व्हिडिओ वापरण्याची योजना आखली नाही, टेस्लासवर कोणतेही व्हिडिओ आउटपुट नाहीत, आणि एसएसएच द्वारे रिमोट अॅडमिन पॅनेल आणि X-उल्लू शिवाय चांगले कार्य करते एकदा तुम्ही थोडे लक्षात ठेवले की GUI शिवाय कमांड लाइन काय असते. . परंतु IPMI + vKVM रिमोट सर्व्हरसह व्यवस्थापन, पुनर्स्थापना आणि इतर समस्या मोठ्या प्रमाणात सुलभ करते.

सर्वसाधारणपणे, या मंडळाचा IPMI उत्तम आहे. एक वेगळा 100 Mbit पोर्ट, 10 Gbit पोर्टपैकी एकावर पॅकेट इंजेक्शन पुन्हा कॉन्फिगर करण्याची क्षमता, पॉवर मॅनेजमेंट आणि सर्व्हरच्या नियंत्रणासाठी बिल्ट-इन वेब सर्व्हर, त्यातून थेट vKVM Java क्लायंट डाउनलोड करणे आणि डिस्कच्या रिमोट माउंटिंगसाठी क्लायंट. किंवा पुनर्स्थापित करण्यासाठी प्रतिमा... फक्त एक गोष्ट म्हणजे क्लायंट जुन्या Java Oracle सारखेच आहेत, जे यापुढे Linux मध्ये समर्थित नाही आणि रिमोट ऍडमिन पॅनेलसाठी मला Win XP SP3 सह लॅपटॉप घ्यावा लागला. प्राचीन टॉड. बरं, क्लायंट धीमा आहे, प्रशासक पॅनेलसाठी पुरेसे आहे आणि ते सर्व, परंतु आपण दूरस्थपणे गेम खेळू शकत नाही, FPS लहान आहे. आणि IPMI सह एकत्रित केलेला ASPEED व्हिडिओ कमकुवत आहे, फक्त VGA.

सर्व्हरशी व्यवहार करण्याच्या प्रक्रियेत, मी डेलकडून व्यावसायिक सर्व्हर हार्डवेअरच्या क्षेत्रात बरेच काही शिकलो आणि शिकलो. ज्याचा मला अजिबात पश्चात्ताप नाही, तसेच वेळ आणि पैसा चांगला खर्च झाला. सर्व सर्व्हर घटकांसह फ्रेम एकत्रित करण्याबद्दलची शैक्षणिक कथा नंतर सुरू ठेवली जाईल.

भाग 3 ची लिंक: habr.com/en/post/454480

स्त्रोत: www.habr.com