2 GB RAM सह मिनी ITX क्लस्टर ट्युरिंग Pi 32

हब्ररी समाजाला सलाम! मी अलीकडे आमच्या पहिल्या आवृत्ती क्लस्टर बोर्ड बद्दल लिहिले [V1]. आणि आज मी तुम्हाला सांगू इच्छितो की आम्ही आवृत्तीवर कसे कार्य केले 2 GB सह ट्युरिंग V32 रँडम memoryक्सेस मेमरी.

स्थानिक विकास आणि स्थानिक होस्टिंग दोन्हीसाठी वापरल्या जाऊ शकणार्‍या मिनी सर्व्हरबद्दल आम्ही उत्कट आहोत. डेस्कटॉप संगणक किंवा लॅपटॉपच्या विपरीत, आमचे सर्व्हर 24/7 काम करण्यासाठी डिझाइन केलेले आहेत; ते द्रुतपणे फेडरेशनमध्ये कनेक्ट केले जाऊ शकतात, उदाहरणार्थ, क्लस्टरमध्ये 4 प्रोसेसर होते आणि 5 मिनिटांनंतर 16 प्रोसेसर होते (अतिरिक्त नेटवर्क उपकरणांशिवाय) आणि हे सर्व कॉम्पॅक्ट फॉर्म फॅक्टरमध्ये, मूक आणि ऊर्जा कार्यक्षम.

आमच्या सर्व्हरचे आर्किटेक्चर बांधकामाच्या क्लस्टर तत्त्वावर आधारित आहे, म्हणजे. आम्ही क्लस्टर बोर्ड बनवतो जे बोर्डवरील इथरनेट नेटवर्क वापरून अनेक संगणकीय मॉड्यूल (प्रोसेसर) जोडतात. गोष्टी सुलभ करण्यासाठी, आम्ही अद्याप आमचे स्वतःचे संगणकीय मॉड्यूल बनवत नाही, परंतु Raspberry Pi Compute Modules वापरत आहोत आणि आम्हाला खरोखर नवीन CM4 मॉड्यूलची आशा होती. परंतु सर्व काही त्यांच्या नवीन फॉर्म फॅक्टरसह योजनांच्या विरोधात गेले आणि मला वाटते की बरेच जण निराश झाले आहेत.

खाली आम्ही V1 ते V2 वर कसे गेलो आणि आम्हाला रास्पबेरी Pi CM4 च्या नवीन फॉर्म फॅक्टरला कसे सामोरे जावे लागले ते खाली दिले आहे.

तर, 7 नोड्ससह क्लस्टर तयार केल्यानंतर, प्रश्न आहेत: पुढे काय? उत्पादनाची किंमत कशी वाढवायची? 8, 10 किंवा 16 नोड्स? कोणते मॉड्यूल उत्पादक? संपूर्ण उत्पादनाचा विचार करताना, आम्हाला लक्षात आले की येथे मुख्य गोष्ट नोड्सची संख्या किंवा निर्माता कोण आहे ही नाही, परंतु एक इमारत ब्लॉक म्हणून क्लस्टर्सचे सार आहे. आम्हाला किमान बिल्डिंग ब्लॉक शोधण्याची गरज आहे

पहिला, एक क्लस्टर असेल आणि त्याच वेळी डिस्क आणि विस्तार कार्ड कनेक्ट करण्याची क्षमता असेल. क्लस्टर युनिट विस्तृत विस्तार क्षमतेसह स्वयंपूर्ण बेस नोड असणे आवश्यक आहे.

दुसरा, जेणेकरुन मोठे क्लस्टर बनवून कमीतकमी क्लस्टर ब्लॉक एकमेकांशी जोडले जाऊ शकतात आणि जेणेकरुन हे बजेट आणि स्केलिंग गतीच्या दृष्टीने प्रभावी होईल. स्केलिंगचा वेग सामान्य संगणकांना नेटवर्कशी जोडण्यापेक्षा जास्त आणि सर्व्हर उपकरणांपेक्षा खूपच स्वस्त असावा.

तिसरे, किमान क्लस्टर युनिट्स अगदी कॉम्पॅक्ट, मोबाइल, ऊर्जा कार्यक्षम, किफायतशीर आणि ऑपरेटिंग परिस्थितीनुसार मागणी नसलेली असावीत. सर्व्हर रॅक आणि त्यांच्याशी जोडलेल्या सर्व गोष्टींमधील हा मुख्य फरक आहे.

आम्ही नोड्सची संख्या ठरवून सुरुवात केली.

नोड्सची संख्या

साध्या तार्किक निर्णयांचा वापर करून, आम्हाला समजले की किमान क्लस्टर ब्लॉकसाठी 4 नोड्स हा सर्वोत्तम पर्याय आहे. 1 नोड एक क्लस्टर नाही, 2 नोड पुरेसे नाहीत (1 मास्टर 1 कार्यकर्ता, ब्लॉकमध्ये स्केलिंगची शक्यता नाही, विशेषत: विषम पर्यायांसाठी), 3 नोड्स ठीक दिसत आहेत, परंतु 2 च्या पॉवर्सचा गुणाकार नाही आणि आत स्केलिंग एक ब्लॉक मर्यादित आहे, 6 नोड्स जवळजवळ 7 नोड्स प्रमाणेच किंमतीला येतात (आमच्या अनुभवानुसार ही आधीच जास्त किंमत आहे), 8 खूप आहेत, मिनी ITX फॉर्म फॅक्टरमध्ये बसत नाहीत आणि PoC साठी आणखी महाग उपाय.

आम्ही प्रत्येक ब्लॉकला चार नोड्स गोल्डन मीन मानतो:

• प्रति क्लस्टर बोर्ड कमी साहित्य, म्हणून स्वस्त उत्पादन
• 4 ने विभाज्य, फक्त 4 ब्लॉक 16 भौतिक प्रोसेसर देतात
• स्थिर योजना 1 मास्टर आणि 3 कामगार
• अधिक विषम भिन्नता, सामान्य-गणना + प्रवेगक-गणना मॉड्यूल्स
• SSD ड्राइव्हस् आणि विस्तार कार्डांसह मिनी ITX फॉर्म फॅक्टर

संगणकीय मॉड्यूल्स

दुसरी आवृत्ती CM4 वर आधारित आहे, आम्हाला वाटले की ती SODIMM फॉर्म फॅक्टरमध्ये रिलीझ केली जाईल. परंतु…
आम्ही SODIMM डोअरबोर्ड बनवण्याचा आणि CM4 थेट मॉड्यूलमध्ये एकत्र करण्याचे ठरवले जेणेकरून वापरकर्ते CM4 बद्दल विचार करू शकत नाहीत.

रास्पबेरी Pi CM4 ला सपोर्ट करणारे ट्युरिंग पाई कॉम्प्युट मॉड्यूल

सर्वसाधारणपणे, मॉड्यूल्सच्या शोधात, 128 एमबी रॅम असलेल्या लहान मॉड्यूल्सपासून ते 8 जीबी रॅमपर्यंत संगणकीय मॉड्यूल्सचे संपूर्ण बाजार उघडले गेले. पुढे 16 GB RAM किंवा अधिक असलेले मॉड्यूल आहेत. क्लाउड नेटिव्ह तंत्रज्ञानावर आधारित एज होस्टिंग ऍप्लिकेशन्ससाठी, 1 GB RAM यापुढे पुरेशी नाही आणि 2, 4 आणि अगदी 8 GB RAM सह मॉड्यूल्सचा अलीकडील उदय वाढीसाठी चांगली जागा प्रदान करतो. आम्ही मशीन लर्निंग ऍप्लिकेशन्ससाठी FPGA मॉड्यूल्ससह पर्यायांचा विचार केला, परंतु सॉफ्टवेअर इकोसिस्टम विकसित न झाल्यामुळे त्यांचे समर्थन पुढे ढकलण्यात आले. मॉड्युल मार्केटचा अभ्यास करत असताना, आम्हाला मॉड्यूल्ससाठी युनिव्हर्सल इंटरफेस तयार करण्याची कल्पना आली आणि V2 मध्ये आम्ही कॉम्प्युटिंग मॉड्यूल्सचा इंटरफेस एकत्र करण्यास सुरुवात करत आहोत. हे आवृत्ती V2 च्या मालकांना इतर उत्पादकांकडून मॉड्यूल कनेक्ट करण्यास आणि विशिष्ट कार्यांसाठी त्यांचे मिश्रण करण्यास अनुमती देईल.

V2 Raspberry Pi 4 Compute Module (CM4) च्या संपूर्ण ओळीचे समर्थन करते, ज्यामध्ये लाइट आवृत्त्या आणि 8 GB RAM सह मॉड्यूल समाविष्ट आहेत

परिघ

मॉड्यूल्सचा विक्रेता आणि नोड्सची संख्या निश्चित केल्यानंतर, आम्ही PCI बसशी संपर्क साधला ज्यावर पेरिफेरल्स आहेत. PCI बस हे परिधीय उपकरणांसाठी एक मानक आहे आणि जवळजवळ सर्व संगणकीय मॉड्यूल्समध्ये आढळते. आमच्याकडे अनेक नोड्स आहेत आणि आदर्शपणे, प्रत्येक नोड PCI डिव्हाइसेस स्पर्धात्मक विनंती मोडमध्ये सामायिक करू शकतो. उदाहरणार्थ, जर ही बसशी जोडलेली डिस्क असेल, तर ती सर्व नोड्ससाठी उपलब्ध आहे. आम्ही मल्टीहोस्ट सपोर्टसह PCI स्विचेस शोधण्यास सुरुवात केली आणि त्यांच्यापैकी कोणीही आमच्या आवश्यकता पूर्ण करत नसल्याचे आढळले. हे सर्व उपाय प्रामुख्याने 1 होस्ट किंवा मल्टी-होस्टपर्यंत मर्यादित होते, परंतु शेवटच्या बिंदूंना समवर्ती विनंत्यांच्या मोडशिवाय. दुसरी समस्या प्रति चिप $50 किंवा त्याहून अधिकची उच्च किंमत आहे. V2 मध्ये, आम्ही PCI स्विचचे प्रयोग पुढे ढकलण्याचे ठरवले (आम्ही विकसित झाल्यावर त्यांच्याकडे परत येऊ) आणि प्रत्येक नोडसाठी भूमिका नियुक्त करण्याचा मार्ग स्वीकारला: पहिल्या दोन नोड्सने मिनी PCI एक्सप्रेस पोर्ट प्रति नोड उघड केला, तिसरा नोड उघड झाला. 2-पोर्ट 6 Gbps SATA कंट्रोलर. इतर नोड्समधून डिस्क्समध्ये प्रवेश करण्यासाठी, तुम्ही क्लस्टरमध्ये नेटवर्क फाइल सिस्टम वापरू शकता. का नाही?

डोकावून पाहू

आम्ही चर्चा आणि चिंतनातून वेळोवेळी किमान क्लस्टर ब्लॉक कसा विकसित झाला याचे काही स्केचेस शेअर करण्याचे ठरवले.

परिणामी, आम्ही 4 260-पिन नोड्स, 2 मिनी PCIe (Gen 2) पोर्ट, 2 SATA (Gen 3) पोर्टसह क्लस्टर युनिटमध्ये आलो. बोर्डमध्ये VLAN सपोर्टसह लेयर-2 मॅनेज्ड स्विच आहे. पहिल्या नोडमध्ये एक मिनी PCIe पोर्ट आहे ज्यामध्ये तुम्ही नेटवर्क कार्ड स्थापित करू शकता आणि दुसरे इथरनेट पोर्ट किंवा 5G मॉडेम मिळवू शकता आणि क्लस्टर आणि इथरनेट पोर्टवरील नेटवर्कसाठी पहिल्या नोडला राउटरमध्ये बदलू शकता.

क्लस्टर बसमध्ये स्पीड कंट्रोलसह प्रत्येक नोडवर सर्व स्लॉट आणि अर्थातच फॅन कनेक्टरद्वारे थेट मॉड्यूल फ्लॅश करण्याची क्षमता समाविष्टीत अधिक कार्ये आहेत.

अर्ज

स्व-होस्ट केलेले अनुप्रयोग आणि सेवांसाठी एज इन्फ्रास्ट्रक्चर

आम्ही V2 ची रचना ग्राहक/व्यावसायिक-ग्रेड एज इन्फ्रास्ट्रक्चरसाठी किमान बिल्डिंग ब्लॉक म्हणून करण्याच्या उद्देशाने केली आहे. V2 सह, तुम्ही जसजसे वाढत जाल तसतसे संकल्पना आणि स्केलचा पुरावा सुरू करणे स्वस्त आहे, हळूहळू एजवर होस्ट करण्यासाठी अधिक किफायतशीर आणि व्यावहारिक अर्थ देणारे अनुप्रयोग स्थलांतरित करणे. मोठे क्लस्टर तयार करण्यासाठी क्लस्टर ब्लॉक एकत्र जोडले जाऊ शकतात. हे कोणत्याही विशिष्ट जोखमींशिवाय हळूहळू केले जाऊ शकते
प्रक्रिया. आज व्यवसायासाठी मोठ्या संख्येने अर्ज आहेत, जे स्थानिक पातळीवर होस्ट केले जाऊ शकते.

एआरएम वर्कस्टेशन

प्रति क्लस्टर 32 जीबी रॅम पर्यंत, पहिला नोड OS च्या डेस्कटॉप आवृत्तीसाठी (उदाहरणार्थ, उबंटू डेस्कटॉप 20.04 LTS) आणि उर्वरित 3 नोड्स संकलन, चाचणी आणि डीबगिंग कार्यांसाठी आणि क्लाउड नेटिव्हच्या विकासासाठी वापरला जाऊ शकतो. एआरएम क्लस्टरसाठी उपाय. उत्पादनातील एआरएम पेरिफेरल इन्फ्रास्ट्रक्चरवर सीआय/सीडीसाठी नोड म्हणून.

CM2 मॉड्यूल्ससह ट्युरिंग V4 क्लस्टर हे आर्किटेक्चरमध्ये जवळजवळ समान आहे (फरक ARMv8 च्या किरकोळ आवृत्त्यांमध्ये आहे) AWS Graviton उदाहरणांवर आधारित क्लस्टरशी. CM4 मॉड्यूल प्रोसेसर ARMv8 आर्किटेक्चर वापरतो; तुम्ही AWS Graviton 1 आणि 2 उदाहरणांसाठी प्रतिमा आणि अनुप्रयोग संकलित करू शकता, जे x86 उदाहरणांपेक्षा खूपच स्वस्त आहेत.

स्त्रोत: www.habr.com