2 जीबी रैम के साथ मिनी आईटीएक्स क्लस्टर ट्यूरिंग पाई 32

हैबर समुदाय को नमस्कार! मैंने हाल ही में हमारे पहले संस्करण क्लस्टर बोर्ड के बारे में लिखा है [V1]. और आज मैं आपको बताना चाहता हूं कि हमने संस्करण पर कैसे काम किया 2 जीबी के साथ ट्यूरिंग वी32 यादृच्छिक अभिगम स्मृति।

हम मिनी सर्वर के शौकीन हैं जिनका उपयोग स्थानीय विकास और स्थानीय होस्टिंग दोनों के लिए किया जा सकता है। डेस्कटॉप कंप्यूटर या लैपटॉप के विपरीत, हमारे सर्वर 24/7 काम करने के लिए डिज़ाइन किए गए हैं, उन्हें जल्दी से फ़ेडरेटेड किया जा सकता है, उदाहरण के लिए, एक क्लस्टर में 4 प्रोसेसर थे, और 5 मिनट के बाद 16 प्रोसेसर थे (कोई अतिरिक्त नेटवर्क उपकरण नहीं) और यह सब एक कॉम्पैक्ट फॉर्म फैक्टर में मौन और ऊर्जा कुशल।

हमारे सर्वर का आर्किटेक्चर निर्माण के क्लस्टर सिद्धांत पर आधारित है, अर्थात। हम क्लस्टर बोर्ड बनाते हैं, जो बोर्ड पर ईथरनेट नेटवर्क का उपयोग करके, कई कंप्यूटिंग मॉड्यूल (प्रोसेसर) को जोड़ते हैं। सरल बनाने के लिए, हम अभी तक अपने स्वयं के कंप्यूटिंग मॉड्यूल नहीं बनाते हैं, लेकिन रास्पबेरी पाई कंप्यूट मॉड्यूल का उपयोग करते हैं और हम वास्तव में नए सीएम 4 मॉड्यूल की आशा करते हैं। लेकिन, उनके नए फॉर्म फैक्टर के साथ सब कुछ योजनाओं के खिलाफ हो गया और मुझे लगता है कि कई लोग निराश हैं।

कट के तहत हम V1 से V2 तक कैसे गए और हमें नए Raspberry Pi CM4 फॉर्म फैक्टर के साथ कैसे बाहर निकलना पड़ा।

तो, 7 नोड्स के लिए क्लस्टर बनाने के बाद, प्रश्न हैं - आगे क्या है? किसी उत्पाद का मूल्य कैसे बढ़ाएं? 8, 10 या 16 नोड्स? कौन से मॉड्यूल निर्माता? समग्र रूप से उत्पाद के बारे में सोचते हुए, हमें एहसास हुआ कि यहां मुख्य बात नोड्स की संख्या या निर्माता कौन है, यह नहीं है, बल्कि बिल्डिंग ब्लॉक के रूप में क्लस्टर का सार है। हमें न्यूनतम बिल्डिंग ब्लॉक की तलाश करनी होगी

पहले, एक क्लस्टर होगा और साथ ही डिस्क और विस्तार बोर्ड को जोड़ने में सक्षम होगा। क्लस्टर ब्लॉक एक आत्मनिर्भर आधार नोड होना चाहिए और विस्तार विकल्पों की एक विस्तृत श्रृंखला के साथ होना चाहिए।

दूसरा, ताकि बड़े आकार के क्लस्टर बनाकर न्यूनतम क्लस्टर ब्लॉकों को एक दूसरे से जोड़ा जा सके और यह बजट और स्केलिंग गति के मामले में कुशल हो। स्केलिंग गति सामान्य कंप्यूटरों को नेटवर्क से जोड़ने की तुलना में तेज़ और सर्वर हार्डवेयर की तुलना में बहुत सस्ती होनी चाहिए।

तिहाई, न्यूनतम क्लस्टर इकाइयां पर्याप्त रूप से कॉम्पैक्ट, मोबाइल, ऊर्जा कुशल, लागत प्रभावी और परिचालन स्थितियों पर मांग न करने वाली होनी चाहिए। यह सर्वर रैक और उनसे जुड़ी हर चीज से प्रमुख अंतरों में से एक है।

हमने नोड्स की संख्या निर्धारित करके शुरुआत की।

नोड्स की संख्या

सरल तार्किक निर्णयों के साथ, हमने महसूस किया कि न्यूनतम क्लस्टर ब्लॉक के लिए 4 नोड्स सबसे अच्छा विकल्प है। 1 नोड एक क्लस्टर नहीं है, 2 नोड पर्याप्त नहीं हैं (1 मास्टर 1 कार्यकर्ता, एक ब्लॉक के भीतर स्केलिंग की कोई संभावना नहीं है, विशेष रूप से विषम विकल्पों के लिए), 3 नोड ठीक दिखते हैं, लेकिन 2 की शक्तियों का गुणज नहीं और भीतर स्केलिंग एक ब्लॉक सीमित है, 6 नोड्स लगभग 7 नोड्स की कीमत पर आते हैं (हमारे अनुभव से यह पहले से ही एक बड़ी लागत मूल्य है), 8 बहुत है, मिनी आईटीएक्स फॉर्म फैक्टर में फिट नहीं होता है और एक और भी महंगा पीओसी समाधान है।

प्रति ब्लॉक चार नोड्स को स्वर्णिम माध्य माना जाता है:

• प्रति क्लस्टर बोर्ड कम सामग्री, इसलिए निर्माण करना सस्ता
• 4 के गुणज, कुल 4 ब्लॉक 16 भौतिक प्रोसेसर देते हैं
• स्थिर सर्किट 1 मास्टर और 3 कर्मचारी
• अधिक विषम विविधताएँ, सामान्य-गणना + त्वरित-गणना मॉड्यूल
• एसएसडी ड्राइव और विस्तार कार्ड के साथ मिनी आईटीएक्स फॉर्म फैक्टर

मॉड्यूल की गणना करें

दूसरा संस्करण CM4 पर आधारित है, हमने सोचा था कि इसे SODIMM फॉर्म फैक्टर में जारी किया जाएगा। लेकिन…
हमने एक SODIMM डॉटरबोर्ड बनाने और CM4 को सीधे मॉड्यूल में असेंबल करने का निर्णय लिया ताकि उपयोगकर्ताओं को CM4 के बारे में सोचना न पड़े।

रास्पबेरी पाई CM4 को सपोर्ट करने वाला ट्यूरिंग पाई कंप्यूट मॉड्यूल

सामान्य तौर पर मॉड्यूल की खोज में 128 एमबी रैम से लेकर 8 जीबी रैम वाले छोटे मॉड्यूल से लेकर कंप्यूटिंग मॉड्यूल का एक पूरा बाजार खुल गया। 16 जीबी रैम और अधिक वाले मॉड्यूल आगे हैं। क्लाउड नेटिव प्रौद्योगिकियों पर आधारित एज एप्लिकेशन होस्टिंग के लिए, 1 जीबी रैम पहले से ही पर्याप्त नहीं है, और 2, 4 और यहां तक ​​कि 8 जीबी रैम के लिए मॉड्यूल की हालिया उपस्थिति विकास के लिए अच्छी जगह प्रदान करती है। उन्होंने मशीन लर्निंग अनुप्रयोगों के लिए एफपीजीए मॉड्यूल के विकल्पों पर भी विचार किया, लेकिन सॉफ्टवेयर पारिस्थितिकी तंत्र विकसित नहीं होने के कारण उनके समर्थन में देरी हुई है। मॉड्यूल बाजार का अध्ययन करते समय, हमारे मन में मॉड्यूल के लिए एक सार्वभौमिक इंटरफ़ेस बनाने का विचार आया, और V2 में हम कंप्यूटिंग मॉड्यूल के इंटरफ़ेस को एकीकृत करना शुरू करते हैं। यह V2 संस्करण के मालिकों को अन्य निर्माताओं से मॉड्यूल कनेक्ट करने और उन्हें विशिष्ट कार्यों के लिए मिश्रण करने की अनुमति देगा।

V2 संपूर्ण रास्पबेरी पाई 4 कंप्यूट मॉड्यूल (CM4) लाइन का समर्थन करता है, जिसमें लाइट संस्करण और 8 जीबी रैम मॉड्यूल शामिल हैं

उपनगर

मॉड्यूल के विक्रेता और नोड्स की संख्या निर्धारित करने के बाद, हमने पीसीआई बस से संपर्क किया जिस पर परिधीय स्थित हैं। पीसीआई बस बाह्य उपकरणों के लिए मानक है और लगभग सभी कंप्यूटिंग मॉड्यूल में पाई जाती है। हमारे पास कई नोड हैं, और आदर्श रूप से, प्रत्येक नोड समवर्ती अनुरोध मोड में पीसीआई उपकरणों को साझा करने में सक्षम होना चाहिए। उदाहरण के लिए, यदि यह बस से जुड़ी एक डिस्क है, तो यह सभी नोड्स के लिए उपलब्ध है। हमने मल्टी-होस्ट समर्थन वाले पीसीआई स्विच की तलाश शुरू की और पाया कि उनमें से कोई भी हमारी आवश्यकताओं के अनुरूप नहीं है। ये सभी समाधान अधिकतर 1 होस्ट या मल्टी होस्ट तक सीमित थे, लेकिन समापन बिंदुओं के समवर्ती अनुरोधों के मोड के बिना। दूसरी समस्या प्रति चिप $50 या अधिक की उच्च लागत है। V2 में, हमने PCI स्विच के साथ प्रयोगों को स्थगित करने का निर्णय लिया (हम बाद में विकसित होने पर उन पर लौटेंगे) और प्रत्येक नोड के लिए एक भूमिका निर्दिष्ट करने के मार्ग पर चले गए: पहले दो नोड्स ने प्रति नोड मिनी पीसीआई एक्सप्रेस पोर्ट को उजागर किया, तीसरे नोड को उजागर 2-पोर्ट 6 जीबीपीएस SATA नियंत्रक। अन्य नोड्स से डिस्क तक पहुंचने के लिए, आप क्लस्टर के भीतर नेटवर्क फ़ाइल सिस्टम का उपयोग कर सकते हैं। क्यों नहीं?

चोरी छिपे देखना

हमने चर्चा और चिंतन के माध्यम से समय के साथ न्यूनतम क्लस्टर ब्लॉक कैसे विकसित हुआ है, इसके कुछ रेखाचित्र साझा करने का निर्णय लिया।

परिणामस्वरूप, हम 4 260-पिन नोड्स, 2 मिनी PCIe (जेन 2) पोर्ट, 2 SATA (जेन 3) पोर्ट के साथ एक क्लस्टर यूनिट में आए। बोर्ड में वीएलएएन समर्थन के साथ एक लेयर-2 प्रबंधित स्विच है। पहले नोड से एक मिनी PCIe पोर्ट हटा दिया गया है, जिसमें आप एक नेटवर्क कार्ड स्थापित कर सकते हैं और दूसरा ईथरनेट पोर्ट या 5G मॉडेम प्राप्त कर सकते हैं और पहले नोड से क्लस्टर और ईथरनेट पोर्ट पर नेटवर्क के लिए राउटर बना सकते हैं।

क्लस्टर बस में अधिक विशेषताएं हैं, जिसमें सभी स्लॉट के माध्यम से मॉड्यूल को सीधे फ्लैश करने की क्षमता और निश्चित रूप से गति नियंत्रण के साथ प्रत्येक नोड पर FAN कनेक्टर शामिल हैं।

आवेदन

स्व-होस्टेड अनुप्रयोगों और सेवाओं के लिए एज इंफ्रास्ट्रक्चर

हमने V2 को उपभोक्ता/वाणिज्यिक-ग्रेड एज इंफ्रास्ट्रक्चर के लिए न्यूनतम बिल्डिंग ब्लॉक के रूप में डिज़ाइन किया है। V2 के साथ, जैसे-जैसे आप बढ़ते हैं, प्रूफ-ऑफ-कॉन्सेप्ट और स्केल शुरू करना सस्ता होता है, धीरे-धीरे उन अनुप्रयोगों को पोर्ट करना जो किनारे पर होस्ट करने के लिए अधिक लागत प्रभावी और व्यावहारिक हैं। बड़े क्लस्टर बनाने के लिए क्लस्टर ब्लॉकों को एक साथ जोड़ा जा सकता है। इसे स्थापित करने के अधिक जोखिम के बिना धीरे-धीरे किया जा सकता है
प्रक्रियाएँ। आज पहले से ही व्यवसाय के लिए बड़ी संख्या में आवेदन आ रहे हैं, जिसे स्थानीय स्तर पर होस्ट किया जा सकता है.

एआरएम वर्कस्टेशन

प्रति क्लस्टर 32 जीबी तक रैम के साथ, पहले नोड का उपयोग ओएस के डेस्कटॉप संस्करण (उदाहरण के लिए, उबंटू डेस्कटॉप 20.04 एलटीएस) के लिए किया जा सकता है और शेष 3 नोड्स का उपयोग संकलन, परीक्षण और डिबगिंग कार्यों, एआरएम के लिए क्लाउड नेटिव समाधान विकसित करने के लिए किया जा सकता है। समूह. उत्पाद में एआरएम एज इंफ्रास्ट्रक्चर पर सीआई/सीडी के लिए एक नोड के रूप में।

CM2 मॉड्यूल के साथ ट्यूरिंग V4 क्लस्टर AWS ग्रेविटॉन उदाहरणों के आधार पर आर्किटेक्चरल रूप से क्लस्टर के लगभग समान है (ARMv8 के छोटे संस्करणों में अंतर)। CM4 मॉड्यूल प्रोसेसर ARMv8 आर्किटेक्चर का उपयोग करता है ताकि आप AWS Graviton 1 और 2 इंस्टेंसेस के लिए छवियां और एप्लिकेशन बना सकें, जिन्हें x86 इंस्टेंसेस की तुलना में बहुत सस्ता माना जाता है।

स्रोत: www.habr.com