क्लाउडेरामध्ये काय विशेष आहे आणि ते कसे शिजवायचे

त्यानुसार वितरित संगणन आणि बिग डेटासाठी बाजार आकडेवारी, दर वर्षी 18-19% ने वाढत आहे. याचा अर्थ असा की या हेतूंसाठी सॉफ्टवेअर निवडण्याचा मुद्दा संबंधित आहे. या पोस्टमध्ये, आम्ही वितरीत संगणनाची आवश्यकता का आहे यापासून सुरुवात करू, सॉफ्टवेअर निवडण्याबद्दल अधिक तपशीलात जाऊ, क्लाउडेरा वापरून हडूप वापरण्याबद्दल बोलू आणि शेवटी हार्डवेअर निवडण्याबद्दल आणि त्याचा विविध प्रकारे कार्यप्रदर्शनावर कसा परिणाम होतो याबद्दल बोलू.

नियमित व्यवसायात वितरित संगणन का आवश्यक आहे? येथे सर्व काही एकाच वेळी सोपे आणि जटिल आहे. सोपे - कारण बहुतेक प्रकरणांमध्ये आम्ही माहितीच्या प्रति युनिट तुलनेने सोपी गणना करतो. हे अवघड आहे कारण अशी बरीच माहिती आहे. इतके सारे. परिणामी, ते आवश्यक आहे 1000 थ्रेड्समध्ये टेराबाइट डेटाची प्रक्रिया करा. अशा प्रकारे, वापर प्रकरणे अगदी सार्वत्रिक आहेत: डेटाच्या अगदी मोठ्या अॅरेवर मोठ्या संख्येने मेट्रिक्स विचारात घेणे आवश्यक असेल तेथे गणना वापरली जाऊ शकते.

अलीकडील उदाहरणांपैकी एक: पिझेरिया चेन डोडो पिझ्झा निर्धारित ग्राहक ऑर्डर डेटाबेसच्या विश्लेषणावर आधारित, यादृच्छिक टॉपिंगसह पिझ्झा निवडताना, वापरकर्ते सहसा घटकांच्या फक्त सहा मूलभूत संच आणि काही यादृच्छिक गोष्टींसह कार्य करतात. या अनुषंगाने, पिझ्झरियाने त्याची खरेदी समायोजित केली. याव्यतिरिक्त, ऑर्डरिंग स्टेज दरम्यान वापरकर्त्यांना ऑफर केलेल्या अतिरिक्त उत्पादनांची शिफारस करण्यास ती सक्षम होती, ज्यामुळे नफा वाढला.

दुसरे उदाहरणः विश्लेषण उत्पादनाच्या वस्तूंनी H&M स्टोअरला विक्री पातळी राखून वैयक्तिक स्टोअरमध्ये वर्गीकरण 40% कमी करण्याची परवानगी दिली. खराब विक्री केलेल्या वस्तू वगळून हे साध्य केले गेले आणि गणनामध्ये हंगामीपणा विचारात घेतला गेला.

साधन निवड

या प्रकारच्या संगणनासाठी उद्योग मानक हडूप आहे. का? कारण Hadoop एक उत्कृष्ट, सु-दस्तऐवजीकरण केलेली फ्रेमवर्क आहे (त्याच Habr मध्ये या विषयावरील अनेक तपशीलवार लेख उपलब्ध आहेत), ज्यात उपयुक्तता आणि लायब्ररींचा संपूर्ण संच आहे. तुम्ही संरचित आणि असंरचित दोन्ही डेटाचे प्रचंड संच इनपुट करू शकता आणि सिस्टम स्वतः ते संगणकीय शक्तीमध्ये वितरित करेल. शिवाय, या समान क्षमता कधीही वाढवल्या जाऊ शकतात किंवा अक्षम केल्या जाऊ शकतात - कृतीत तीच क्षैतिज स्केलेबिलिटी.

2017 मध्ये, प्रभावी सल्लागार कंपनी गार्टनर निष्कर्ष काढलाकी हडूप लवकरच अप्रचलित होईल. कारण अगदीच सामान्य आहे: विश्लेषकांचा असा विश्वास आहे की कंपन्या मोठ्या प्रमाणात क्लाउडवर स्थलांतरित होतील, कारण ते संगणकीय शक्ती वापरत असल्याने ते पैसे देण्यास सक्षम असतील. हडूपला "बरी" करू शकणारा दुसरा महत्त्वाचा घटक म्हणजे त्याची गती. कारण Apache Spark किंवा Google Cloud DataFlow सारखे पर्याय MapReduce पेक्षा वेगवान आहेत, जे Hadoop च्या अधोरेखित आहेत.

Hadoop अनेक खांबांवर टिकून आहे, त्यापैकी सर्वात लक्षणीय म्हणजे MapReduce तंत्रज्ञान (सर्व्हर्स दरम्यान गणना करण्यासाठी डेटा वितरित करण्याची प्रणाली) आणि HDFS फाइल सिस्टम. नंतरचे विशेषतः क्लस्टर नोड्समध्ये वितरीत केलेली माहिती संग्रहित करण्यासाठी डिझाइन केलेले आहे: निश्चित आकाराचा प्रत्येक ब्लॉक अनेक नोड्सवर ठेवला जाऊ शकतो आणि प्रतिकृतीबद्दल धन्यवाद, सिस्टम वैयक्तिक नोड्सच्या अपयशासाठी लवचिक आहे. फाइल टेबलऐवजी, नेमनोड नावाचा एक विशेष सर्व्हर वापरला जातो.

MapReduce कसे कार्य करते हे खाली दिलेले चित्र दाखवते. पहिल्या टप्प्यावर, डेटा एका विशिष्ट निकषानुसार विभागला जातो, दुसऱ्या टप्प्यावर तो संगणकीय शक्तीनुसार वितरीत केला जातो आणि तिसऱ्या टप्प्यावर गणना केली जाते.

MapReduce मूळतः Google ने त्याच्या शोध गरजांसाठी तयार केले होते. मग MapReduce मोफत कोड गेला, आणि Apache ने प्रकल्प हाती घेतला. बरं, Google हळूहळू इतर उपायांकडे स्थलांतरित झालं. एक मनोरंजक माहिती: Google कडे सध्या Google क्लाउड डेटाफ्लो नावाचा एक प्रकल्प आहे, जो हडूप नंतरची पुढील पायरी म्हणून स्थित आहे, त्याची त्वरित बदली म्हणून.

बारकाईने पाहिल्यास असे दिसून येते की Google क्लाउड डेटाफ्लो Apache Beam च्या भिन्नतेवर आधारित आहे, तर Apache Beam मध्ये चांगल्या-दस्तऐवजीकरण केलेल्या Apache Spark फ्रेमवर्कचा समावेश आहे, ज्यामुळे आम्हाला सोल्यूशनच्या जवळजवळ समान अंमलबजावणी गतीबद्दल बोलता येते. बरं, अपाचे स्पार्क एचडीएफएस फाइल सिस्टमवर उत्तम प्रकारे कार्य करते, जे त्यास हडूप सर्व्हरवर तैनात करण्याची परवानगी देते.

हडूप आणि स्पार्क विरुद्ध Google क्लाउड डेटाफ्लोसाठी कागदपत्रांची मात्रा आणि तयार समाधाने येथे जोडा आणि साधनाची निवड स्पष्ट होईल. शिवाय, अभियंते स्वतः ठरवू शकतात की कोणता कोड - हडूप किंवा स्पार्कसाठी - त्यांनी कार्य, अनुभव आणि पात्रता यावर लक्ष केंद्रित करून चालवावे.

मेघ किंवा स्थानिक सर्व्हर

क्लाउडमध्ये सामान्य संक्रमणाच्या प्रवृत्तीने हडूप-एज-ए-सर्व्हिस सारख्या मनोरंजक शब्दाला देखील जन्म दिला आहे. अशा परिस्थितीत, कनेक्टेड सर्व्हरचे प्रशासन खूप महत्वाचे बनले आहे. कारण, अरेरे, त्याची लोकप्रियता असूनही, शुद्ध हडूप हे कॉन्फिगर करणे अवघड साधन आहे, कारण बरेच काही व्यक्तिचलितपणे करावे लागेल. उदाहरणार्थ, सर्व्हर वैयक्तिकरित्या कॉन्फिगर करा, त्यांच्या कार्यप्रदर्शनाचे निरीक्षण करा आणि अनेक पॅरामीटर्स काळजीपूर्वक कॉन्फिगर करा. सर्वसाधारणपणे, काम हौशीसाठी आहे आणि कुठेतरी गडबड होण्याची किंवा काहीतरी गहाळ होण्याची मोठी शक्यता असते.

म्हणून, विविध वितरण किट, जे सुरुवातीला सोयीस्कर तैनाती आणि प्रशासन साधनांसह सुसज्ज आहेत, खूप लोकप्रिय झाले आहेत. स्पार्कला समर्थन देणारे आणि सर्वकाही सोपे करणारे सर्वात लोकप्रिय वितरण म्हणजे क्लाउडेरा. यात सशुल्क आणि विनामूल्य दोन्ही आवृत्त्या आहेत - आणि नंतरच्या काळात नोड्सची संख्या मर्यादित न करता सर्व मूलभूत कार्यक्षमता उपलब्ध आहे.

सेटअप दरम्यान, क्लाउडेरा व्यवस्थापक SSH द्वारे तुमच्या सर्व्हरशी कनेक्ट होईल. एक मनोरंजक मुद्दा: स्थापित करताना, ते तथाकथित द्वारे चालते हे निर्दिष्ट करणे चांगले आहे पार्सल: विशेष पॅकेजेस, त्यातील प्रत्येकामध्ये एकमेकांसह कार्य करण्यासाठी कॉन्फिगर केलेले सर्व आवश्यक घटक असतात. मूलत: ही पॅकेज मॅनेजरची सुधारित आवृत्ती आहे.

इन्स्टॉलेशननंतर, आम्हाला क्लस्टर मॅनेजमेंट कन्सोल मिळेल, जिथे तुम्ही क्लस्टर टेलीमेट्री, स्थापित सेवा पाहू शकता, तसेच तुम्ही रिसोर्सेस जोडू/काढू शकता आणि क्लस्टर कॉन्फिगरेशन संपादित करू शकता.

परिणामी, BigData च्या उज्वल भविष्यात तुम्हाला घेऊन जाणारी रॉकेटची केबिन तुमच्यासमोर दिसते. पण आपण "चला जाऊया" म्हणण्याआधी आपण हुडखाली जाऊया.

हार्डवेअर आवश्यकता

त्याच्या वेबसाइटवर, क्लाउडेरा वेगवेगळ्या संभाव्य कॉन्फिगरेशनचा उल्लेख करते. सामान्य तत्त्वे ज्याद्वारे ते तयार केले जातात ते चित्रात दर्शविले आहेत:

MapReduce हे आशावादी चित्र अस्पष्ट करू शकते. आपण मागील विभागातील आकृती पुन्हा पाहिल्यास, हे स्पष्ट होते की जवळजवळ सर्व प्रकरणांमध्ये, डिस्क किंवा नेटवर्कवरून डेटा वाचताना MapReduce जॉबमध्ये अडथळे येऊ शकतात. क्लाउडेरा ब्लॉगमध्येही याची नोंद आहे. परिणामी, कोणत्याही वेगवान गणनेसाठी, स्पार्कच्या माध्यमातून, जे सहसा रिअल-टाइम गणनेसाठी वापरले जाते, I/O गती खूप महत्त्वाची आहे. म्हणून, हडूप वापरताना, क्लस्टरमध्ये संतुलित आणि वेगवान मशीन समाविष्ट करणे खूप महत्वाचे आहे, जे सौम्यपणे सांगायचे तर, क्लाउड इन्फ्रास्ट्रक्चरमध्ये नेहमीच सुनिश्चित केले जात नाही.

शक्तिशाली मल्टी-कोर CPU सह सर्व्हरवर ओपनस्टॅक व्हर्च्युअलायझेशनच्या वापराद्वारे लोड वितरणातील समतोल साधला जातो. डेटा नोड्सना त्यांचे स्वतःचे प्रोसेसर संसाधने आणि विशिष्ट डिस्क वाटप केल्या जातात. आमच्या निर्णयात Atos कोडेक्स डेटा लेक इंजिन विस्तृत वर्च्युअलायझेशन साध्य केले जाते, म्हणूनच आम्हाला कार्यक्षमतेच्या दृष्टीने (नेटवर्क इन्फ्रास्ट्रक्चरचा प्रभाव कमी केला जातो) आणि TCO (अतिरिक्त भौतिक सर्व्हर काढून टाकले जातात) दोन्ही बाबतीत फायदा होतो.

BullSequana S200 सर्व्हर वापरताना, आम्हाला काही अडथळे नसलेले एकसमान भार मिळतो. किमान कॉन्फिगरेशनमध्ये 3 BullSequana S200 सर्व्हर समाविष्ट आहेत, प्रत्येकामध्ये दोन JBOD, तसेच चार डेटा नोड्स असलेले अतिरिक्त S200 वैकल्पिकरित्या कनेक्ट केलेले आहेत. टेराजेन चाचणीमधील लोडचे उदाहरण येथे आहे:

भिन्न डेटा व्हॉल्यूम आणि प्रतिकृती मूल्यांसह चाचण्या क्लस्टर नोड्स दरम्यान लोड वितरणाच्या बाबतीत समान परिणाम दर्शवतात. खाली कार्यप्रदर्शन चाचण्यांद्वारे डिस्क प्रवेश वितरणाचा आलेख आहे.

3 BullSequana S200 सर्व्हरच्या किमान कॉन्फिगरेशनवर आधारित गणना केली गेली. यात 9 डेटा नोड्स आणि 3 मास्टर नोड्स, तसेच ओपनस्टॅक व्हर्च्युअलायझेशनवर आधारित संरक्षण तैनात करण्याच्या बाबतीत राखीव आभासी मशीन समाविष्ट आहेत. TeraSort चाचणी निकाल: ब्लॉक आकार 512 MB प्रतिकृती घटक तीनच्या बरोबरीने एन्क्रिप्शनसह 23,1 मिनिटे आहे.

यंत्रणा कशी वाढवता येईल? डेटा लेक इंजिनसाठी विविध प्रकारचे विस्तार उपलब्ध आहेत:

• डेटा नोड्स: प्रत्येक 40 TB वापरण्यायोग्य जागेसाठी
• GPU स्थापित करण्याच्या क्षमतेसह विश्लेषणात्मक नोड्स
• व्यवसायाच्या गरजेनुसार इतर पर्याय (उदाहरणार्थ, जर तुम्हाला काफ्का आणि यासारख्या गोष्टींची गरज असेल)

Atos Codex Data Lake Engine मध्ये स्वतः सर्व्हर आणि परवानाकृत क्लाउडेरा किटसह पूर्व-स्थापित सॉफ्टवेअर दोन्ही समाविष्ट आहेत; Hadoop स्वतः, RedHat Enterprise Linux कर्नल, डेटा प्रतिकृती आणि बॅकअप सिस्टम (बॅकअप नोड आणि Cloudera BDR - बॅकअप आणि आपत्ती पुनर्प्राप्ती वापरण्यासह) वर आधारित आभासी मशीनसह OpenStack. Atos Codex Data Lake Engine हे प्रमाणित केले जाणारे पहिले आभासीकरण समाधान ठरले क्लौडेरा.

आपल्याला तपशीलांमध्ये स्वारस्य असल्यास, टिप्पण्यांमध्ये आमच्या प्रश्नांची उत्तरे देण्यात आम्हाला आनंद होईल.

स्त्रोत: www.habr.com