ट्युरिंग पाई - स्वयं-होस्ट केलेले अनुप्रयोग आणि सेवांसाठी क्लस्टर बोर्ड

ट्युरिंग पाई हे डेटा सेंटरमधील रॅक रॅकच्या तत्त्वावर तयार केलेल्या सेल्फ-होस्टेड ऍप्लिकेशनसाठी एक उपाय आहे, फक्त कॉम्पॅक्ट मदरबोर्डवर. उपाय स्थानिक विकासासाठी स्थानिक पायाभूत सुविधा तयार करण्यावर आणि अनुप्रयोग आणि सेवांच्या होस्टिंगवर केंद्रित आहे. सर्वसाधारणपणे, हे केवळ काठासाठी AWS EC2 सारखे आहे.

आम्ही, डेव्हलपरच्या एका छोट्या टीमने, काठावर बेअर-मेटल क्लस्टर्स तयार करण्यासाठी एक उपाय तयार करण्याचा निर्णय घेतला आणि प्रकल्पाला ट्युरिंग पाई म्हटले. उत्पादनाची सुरुवात स्क्रॅच प्रोजेक्ट म्हणून झाली, पण आता, त्यांच्या संकल्पनांची चाचणी घेण्यासाठी, रेड हॅट, रॅन्चर (SUSE), टोयोटा कनेक्टेड, सोनी, इलेक्ट्रोलक्स, फेसबुक आणि 10K पेक्षा कमी डेव्हलपर्सच्या प्रेक्षकाच्या डेव्हलपमेंट विभागांनी ते ऑर्डर केले आहे. भरती होत आहे.

पण हे सर्व शोधाने सुरू झाले.

उत्पादन शोध

एकदा मी शोध लावला की आपण काहीही शोधत नाही. या जगात अस्तित्वात असलेल्या सर्व गोष्टी आपण शोधतो. आम्ही शोधतो की काही भाग एकत्र जोडले जाऊ शकतात, उत्पादनांचे नवीन गुणधर्म मिळवू शकतात किंवा आम्ही कायदे शोधतो आणि नंतर ते पुन्हा एकत्र करतो. आपण काहीही शोधू शकत नाही, परंतु आपण संशोधनादरम्यान ते शोधू शकता. माझ्या मते, अविष्कार हा सतत निरीक्षण, प्रयोग आणि शोध + ज्ञानाच्या मिश्रणाचा परिणाम असतो.

गेल्या दशकात, मी हौशी होमलॅब चळवळीला गती मिळताना पाहिली आहे (संसाधन मादक पदार्थ), स्वयं-होस्टेड (संसाधने मादक पदार्थ и अप्रतिम-स्व-होस्ट केलेले), सिंगल-बोर्ड कॉम्प्युटर, रास्पबेरी पाई सारख्या सिंगल-बोर्ड कॉम्प्युटरवर कंटेनर चालवण्याची आवड जसजशी वाढत आहे, तसतसे सिंगल-बोर्ड कॉम्प्युटरचे क्लस्टर एकत्र करण्यासाठी हालचाली वाढत आहेत. कुबर्नेट्सची कल्पना हळूहळू तिकडे सरकत आहे. त्याची हलकी आवृत्ती, k3s, Edge/IoT वर केंद्रित आहे, आधीच दिसली आहे. चिक-फिल-ए ही मोठी फास्ट फूड शृंखला आपल्या स्वयंपाकघरांमध्ये कुबर्नेट्स क्लस्टर्स तैनात करणारी जगातील पहिली आहे kubectl मला सँडविच बनवा.

मी ते स्नोबॉल म्हणून पाहतो, जसे की एक तंत्रज्ञान दुसर्‍याभोवती गुंडाळते, एक अधिक जटिल प्रणाली तयार करते. त्याच वेळी, कोणतीही अनागोंदी नाही, तंत्रज्ञानातील फ्रॅक्टलसारखे. माझ्यासाठी माझ्या आयुष्यातील एका कठीण क्षणी, मी हौशी विकसकांद्वारे सिंगल-बोर्ड संगणकांवर एकत्रित केलेल्या क्लस्टरमधील मूल्य पाहिले आणि क्लस्टर बोर्ड तयार करण्यावर काम करण्यास सुरुवात केली.

आज आमचा क्लस्टर बोर्ड अगदी सोपा आहे आणि ज्यांना क्लाउड नेटिव्ह तंत्रज्ञान आवडते, नवीन गोष्टी शिकतात आणि प्रयोग करतात त्यांच्यासाठी हे मुख्यतः आहे.

बिल्डिंग ब्लॉक्स

तर, उपाय काय आहे, सार काय आहे. मुद्दा म्हणजे कन्स्ट्रक्टर प्रदान करणे, बिल्डिंग ब्लॉक्स (बिल्डिंग ब्लॉक्स) ज्यामधून तुम्ही क्लासिक सर्व्हरपेक्षा स्वस्त पायाभूत सुविधा एकत्र करू शकता, मोठया धातूच्या बॉक्सशिवाय मोबाइल, सर्व्हर रूम, ऊर्जा कार्यक्षम, अटींमध्ये मानकीकृत अशा विशेष ऑपरेटिंग परिस्थितीची मागणी करत नाही. मॉड्यूल्सचे आणि दहापट आणि शेकडो संगणकीय नोड्स (प्रोसेसर) मध्ये द्रुतपणे स्केलिंग करण्याच्या क्षमतेसह.

क्लस्टरबोर्ड

मिनी ITX बोर्ड ऑन-बोर्ड नेटवर्क वापरून अनेक कंप्यूट मॉड्यूल्स जोडतो, परिधीय इंटरफेस आणि मॉड्यूल्सवर नियंत्रण प्रदान करतो

गणना मॉड्यूल

SO-DIMM फॉर्म फॅक्टरमधील एक बोर्ड ज्यामध्ये प्रोसेसर आणि RAM असते, ऑपरेटिंग सिस्टम साठवण्यासाठी वैकल्पिकरित्या फ्लॅश मेमरी

ट्युरिंग V2 साठी प्रक्षेपित कॉन्फिगरेशनपैकी एक

क्लस्टर बोर्ड आणि कॉम्प्युटिंग मॉड्यूल्स एकत्र करून, उदाहरणार्थ, 20+ प्रोसेसर (खाली उदाहरणे), सायलेंट आणि कमी वीज वापरासाठी पायाभूत सुविधा तयार करणे सोपे आहे. क्लस्टर बोर्ड स्वतः वापरलेल्या व्हॉल्यूमची कार्यक्षमता वाढवते. तुलनेसाठी क्लस्टरची उदाहरणे

SBC आधारित*

24 CPU च्या
Afkham Azeez यांनी पोस्ट केलेले

ट्युरिंग पाई आधारित

21 CPU च्या
लेखक th3st0rmtr00p3r

* SBC - सिंगल बोर्ड संगणक

Rancher Labs चे सह-संस्थापक आणि k3s चे लेखक या दृष्टिकोनाबद्दल उदासीन नव्हते.

खाली बिल्डिंग ब्लॉक्सबद्दल अधिक वाचा.

गणना मॉड्यूल

संकल्पनेच्या पुराव्यासाठी, आम्ही रास्पबेरी पाई कॉम्प्युट मॉड्यूल निवडले - हे सुरू करण्यासाठी आदर्श कॉन्फिगरेशन आहे. RPi समुदाय सक्रिय आहे, सॉफ्टवेअरमध्ये कोणतीही समस्या नाही, मॉड्यूल स्वतः SO-DIMM स्वरूपात आहे (6 x 3 सेमी), परवडणारे आहे, बोर्डवर 4-कोर CPU, 1 GB RAM आणि पर्यायी फ्लॅश मेमरी आहे OS आणि इतर सिस्टम गरजांसाठी 8, 16 किंवा 32 GB. हा फॉर्म फॅक्टर अनेकदा औद्योगिक IoT सोल्यूशन्समध्ये वापरला जातो.

रास्पबेरी पाई 1/3/3+ कॉम्प्युट मॉड्यूल

परंतु CM3 मॉडेलमध्ये देखील गंभीर मर्यादा आहेत - कमाल. 1 GB RAM आणि इथरनेट USB HUB द्वारे 100 Mbps पर्यंत कमाल गती. त्यामुळे, ट्युरिंगची दुसरी आवृत्ती रास्पबेरी Pi 4 आणि प्रति मॉड्यूल 8 GB पर्यंत RAM ला सपोर्ट करेल. खाली प्रवेगक संगणन कार्यांसाठी Nvidia Jetson मॉड्यूल्सचे उदाहरण आहे. कदाचित ते दुसऱ्या आवृत्तीमध्ये समर्थित असतील, जर आम्ही काही तांत्रिक समस्या सोडवल्या तर आम्ही मॉड्यूल्स मिक्स करू शकतो.

Nvidia Jetson Compute Modules

मॉड्यूल्समध्ये सर्वात महत्वाचे वैशिष्ट्य आहे, जे पहिल्या दृष्टीक्षेपात स्पष्ट नाही. सामान्य-संगणन ते मशीन लर्निंग-इंटेन्सिव्ह कॉम्प्युटिंगपर्यंतच्या विविध प्रकारच्या कामांसाठी, CPU, RAM आणि eMMC च्या भिन्न संचासह समान स्वरूपाच्या घटकामध्ये इतर मॉड्यूल्स तयार करण्याची क्षमता. हे AWS EC2 उदाहरणांसारखेच आहे, परंतु केवळ काठासाठी. या प्रकरणात, क्लस्टर बोर्ड अपरिवर्तित किंवा किरकोळ बदलांसह राहतो.

क्लस्टरबोर्ड

याला मदरबोर्ड किंवा बेस बोर्ड असेही म्हटले जाऊ शकते, ही एक नवीन दिशा आहे आणि आज अशा प्रकारच्या सोल्यूशन्सचे बरेच उत्पादक नाहीत आणि अजूनही एंट्री लेव्हलवर आहेत, त्यापैकी Pine64, MiniNodes, Clover Pi, Bitscope Blade, PicoCluster (SBC क्लस्टर्स) ). क्लस्टर बोर्ड मॉड्युल्सला नेटवर्कशी जोडतो, पॉवर पुरवतो आणि क्लस्टर मॅनेजमेंट बस (क्लस्टर मॅनेजमेंट बस) पुरवतो, किमान आम्ही ही बस जोडण्याचा निर्णय घेतला आणि तो रुजला आहे असे दिसते.

समोर

परत

बॅकप्लेन बँडविड्थ 12 Gbps
eMMC शिवाय मॉड्यूल्ससाठी SD स्लॉट, उदाहरणार्थ, नोड डेटामध्ये द्रुत प्रवेशासाठी तुम्ही SD सोबत काही मॉड्यूल्स ठेवू शकता

क्लस्टर बोर्ड मॉड्यूल्सचे नेटवर्क कनेक्शन आणि बाह्य नेटवर्कमध्ये प्रवेश सुनिश्चित करण्यासाठी स्विच चिपवर आधारित आहे. वर्तमान आवृत्तीमध्ये आम्ही अव्यवस्थापित स्विच वापरतो कारण पूर्ण संशोधन आणि विकास आयोजित करण्यासाठी वेळ नव्हता, परंतु दुसऱ्या आवृत्तीसाठी आम्ही एक चांगला व्यवस्थापित स्विच निवडला. बोर्डवर नेटवर्क वितरीत करण्यासाठी ते 'मास्टर नोड म्हणून राउटर' मोडमध्ये कॉन्फिगर करणे शक्य आहे; जर उच्च पातळीची सुरक्षा आणि कामगारांना बाहेरील प्रवेशापासून वेगळे करणे आवश्यक असेल, अशा परिस्थितीत ते ठेवणे देखील आवश्यक आहे. मास्टर नोडवर DHCP सर्व्हर.

अर्ज

सध्याची आवृत्ती प्रायोगिक आहे आणि आम्ही क्लस्टर्स काय आहेत हे जाणून घेण्यासाठी, सॉफ्टवेअरसह कार्य करण्यासाठी किंवा संस्थांमध्ये परिकल्पना तपासण्यासाठी, नवीन कल्पना शोधण्यासाठी एंट्री-लेव्हल सोल्यूशन म्हणून स्थान देत आहोत, सर्वसाधारणपणे, ही लाइट आवृत्ती आहे.

प्रारंभ करण्यासाठी, आम्ही Y Combinator वर आमच्याबद्दल वाचलेल्या आणि Ansible for DevOps चे लेखक असलेल्या अद्भुत Jeff Girling कडील मालिकेची शिफारस करतो. तो इतका प्रेरित झाला की त्याने 6 भागांचे पुनरावलोकन केले, सर्वसाधारणपणे क्लस्टरिंगच्या कल्पनेपासून ते बोर्डसोबत काम करण्याच्या व्यावहारिक उदाहरणांपर्यंत, कुबरनेटचा अभ्यास करणे आणि कोणते सॉफ्टवेअर स्थापित केले जाऊ शकते.

क्लस्टरवर k3s स्थापित करण्याबद्दल मालिका

सर्वसाधारणपणे, मी पहिल्यापासून पाहण्याची शिफारस करतो, तेथे सर्वसाधारणपणे क्लस्टरिंग आणि कुबर्नेट्स बद्दल प्रवेशयोग्य भाषेत. आणि समाजातील काही चित्रे

पुढील काय आहे?

सर्व प्रथम, मला खरोखर आशा आहे की ते मनोरंजक होते. ही पूर्णपणे मूळ सामग्री आहे, क्षितिजाच्या पलीकडे पाहण्याचा प्रयत्न. दुसरे म्हणजे, मी ट्युरिंग V2 च्या डिझाइनबद्दल दुसरा भाग लिहिण्याची योजना आखत आहे. उत्पादनाचा शोध कसा झाला, तार्किक निर्णय, मुख्य गुणधर्मांचा शोध जे महत्त्वाचे आहेत. लेखात उत्पादनाचे स्केचेस अगदी सुरुवातीपासून ते शेवटपर्यंत असतील. दुसरा लेख उत्पादन शास्त्रज्ञांसाठी विशेष स्वारस्य असेल, जे कंपन्यांमध्ये उत्पादने आणि त्यांच्या विकासासाठी जबाबदार आहेत.

आणि बहुधा खरोखर एक लांब वाचन असेल.

स्त्रोत: www.habr.com