क्लौडेरा के बारे में क्या खास है और इसे कैसे पकाना है

वितरित कंप्यूटिंग और बड़े डेटा के लिए बाजार, के अनुसार आंकड़े, प्रति वर्ष 18-19% की दर से बढ़ रहा है। इसका मतलब यह है कि इन उद्देश्यों के लिए सॉफ़्टवेयर चुनने का मुद्दा प्रासंगिक बना हुआ है। इस पोस्ट में, हम शुरुआत करेंगे कि वितरित कंप्यूटिंग की आवश्यकता क्यों है, सॉफ़्टवेयर चुनने के बारे में अधिक विस्तार से जानेंगे, क्लौडेरा का उपयोग करके Hadoop का उपयोग करने के बारे में बात करेंगे, और अंत में हार्डवेयर चुनने के बारे में बात करेंगे और यह विभिन्न तरीकों से प्रदर्शन को कैसे प्रभावित करता है।

नियमित व्यवसाय में वितरित कंप्यूटिंग की आवश्यकता क्यों है? यहां सब कुछ एक ही समय में सरल और जटिल है। सरल - क्योंकि अधिकांश मामलों में हम सूचना की प्रति इकाई अपेक्षाकृत सरल गणनाएँ करते हैं। यह कठिन है क्योंकि ऐसी बहुत सारी जानकारी है। इतने सारे। फलस्वरूप यह आवश्यक है 1000 थ्रेड्स में टेराबाइट डेटा प्रोसेस करें. इस प्रकार, उपयोग के मामले काफी सार्वभौमिक हैं: गणना का उपयोग तब किया जा सकता है जब डेटा की एक बड़ी श्रृंखला पर बड़ी संख्या में मैट्रिक्स को ध्यान में रखना आवश्यक हो।

हालिया उदाहरणों में से एक: पिज़्ज़ेरिया श्रृंखला डोडो पिज़्ज़ा परिभाषित ग्राहक ऑर्डर डेटाबेस के विश्लेषण के आधार पर, यादृच्छिक टॉपिंग के साथ पिज्जा चुनते समय, उपयोगकर्ता आमतौर पर सामग्री के केवल छह बुनियादी सेट और कुछ यादृच्छिक लोगों के साथ काम करते हैं। इसके अनुसार, पिज़्ज़ेरिया ने अपनी खरीदारी को समायोजित किया। इसके अलावा, वह ऑर्डर चरण के दौरान उपयोगकर्ताओं को पेश किए गए अतिरिक्त उत्पादों की बेहतर अनुशंसा करने में सक्षम थी, जिससे मुनाफा बढ़ गया।

एक और उदाहरण: विश्लेषण उत्पाद वस्तुओं ने बिक्री के स्तर को बनाए रखते हुए एच एंड एम स्टोर को व्यक्तिगत दुकानों में वर्गीकरण को 40% तक कम करने की अनुमति दी। यह खराब बिक्री वाली वस्तुओं को छोड़कर हासिल किया गया था, और गणना में मौसमी को ध्यान में रखा गया था।

उपकरण चयन

इस प्रकार की कंप्यूटिंग के लिए उद्योग मानक Hadoop है। क्यों? क्योंकि Hadoop एक उत्कृष्ट, अच्छी तरह से प्रलेखित ढांचा है (वही Habr इस विषय पर कई विस्तृत लेख प्रदान करता है), जो उपयोगिताओं और पुस्तकालयों के एक पूरे सेट के साथ है। आप संरचित और असंरचित दोनों डेटा के विशाल सेट इनपुट कर सकते हैं, और सिस्टम स्वयं इसे कंप्यूटिंग शक्ति के बीच वितरित करेगा। इसके अलावा, इन समान क्षमताओं को किसी भी समय बढ़ाया या अक्षम किया जा सकता है - कार्रवाई में वही क्षैतिज स्केलेबिलिटी।

2017 में, प्रभावशाली परामर्श कंपनी गार्टनर निष्कर्ष निकालाकि Hadoop जल्द ही अप्रचलित हो जाएगा। इसका कारण काफी सामान्य है: विश्लेषकों का मानना ​​है कि कंपनियां सामूहिक रूप से क्लाउड पर स्थानांतरित हो जाएंगी, क्योंकि वहां वे भुगतान करने में सक्षम होंगी क्योंकि वे कंप्यूटिंग शक्ति का उपयोग करती हैं। दूसरा महत्वपूर्ण कारक जो कथित तौर पर Hadoop को "दफ़न" कर सकता है, वह है इसकी गति। क्योंकि Apache Spark या Google Cloud DataFlow जैसे विकल्प MapReduce से तेज़ हैं, जो Hadoop का आधार है।

Hadoop कई स्तंभों पर टिका है, जिनमें से सबसे उल्लेखनीय हैं MapReduce तकनीक (सर्वर के बीच गणना के लिए डेटा वितरित करने की एक प्रणाली) और HDFS फ़ाइल सिस्टम। उत्तरार्द्ध विशेष रूप से क्लस्टर नोड्स के बीच वितरित जानकारी संग्रहीत करने के लिए डिज़ाइन किया गया है: एक निश्चित आकार के प्रत्येक ब्लॉक को कई नोड्स पर रखा जा सकता है, और प्रतिकृति के लिए धन्यवाद, सिस्टम व्यक्तिगत नोड्स की विफलताओं के प्रति लचीला है। फ़ाइल तालिका के बजाय, NameNode नामक एक विशेष सर्वर का उपयोग किया जाता है।

नीचे दिया गया चित्रण दिखाता है कि MapReduce कैसे काम करता है। पहले चरण में, डेटा को एक निश्चित मानदंड के अनुसार विभाजित किया जाता है, दूसरे चरण में इसे कंप्यूटिंग शक्ति के अनुसार वितरित किया जाता है, और तीसरे चरण में गणना होती है।

MapReduce मूल रूप से Google द्वारा अपनी खोज आवश्यकताओं के लिए बनाया गया था। फिर MapReduce मुफ़्त कोड चला गया, और Apache ने इस परियोजना को अपने हाथ में ले लिया। खैर, Google धीरे-धीरे अन्य समाधानों की ओर स्थानांतरित हो गया। एक दिलचस्प बात: Google के पास वर्तमान में Google क्लाउड डेटाफ़्लो नामक एक प्रोजेक्ट है, जिसे Hadoop के बाद अगले चरण के रूप में, इसके त्वरित प्रतिस्थापन के रूप में रखा गया है।

करीब से देखने पर पता चलता है कि Google क्लाउड डेटाफ्लो अपाचे बीम की विविधता पर आधारित है, जबकि अपाचे बीम में अच्छी तरह से प्रलेखित अपाचे स्पार्क ढांचा शामिल है, जो हमें समाधानों की लगभग समान निष्पादन गति के बारे में बात करने की अनुमति देता है। खैर, Apache Spark HDFS फ़ाइल सिस्टम पर पूरी तरह से काम करता है, जो इसे Hadoop सर्वर पर तैनात करने की अनुमति देता है।

यहां Hadoop और Spark बनाम Google Cloud Dataflow के लिए प्रलेखन और तैयार किए गए समाधानों की मात्रा जोड़ें, और टूल की पसंद स्पष्ट हो जाती है। इसके अलावा, इंजीनियर स्वयं निर्णय ले सकते हैं कि उन्हें कार्य, अनुभव और योग्यता पर ध्यान केंद्रित करते हुए कौन सा कोड - Hadoop या Spark के लिए चलाना चाहिए।

क्लाउड या स्थानीय सर्वर

क्लाउड में सामान्य परिवर्तन की प्रवृत्ति ने Hadoop-as-a-service जैसे दिलचस्प शब्द को भी जन्म दिया है। ऐसे परिदृश्य में, कनेक्टेड सर्वर का प्रबंधन बहुत महत्वपूर्ण हो गया है। क्योंकि, अफ़सोस, इसकी लोकप्रियता के बावजूद, शुद्ध Hadoop को कॉन्फ़िगर करना एक कठिन उपकरण है, क्योंकि बहुत कुछ मैन्युअल रूप से करना पड़ता है। उदाहरण के लिए, सर्वर को व्यक्तिगत रूप से कॉन्फ़िगर करें, उनके प्रदर्शन की निगरानी करें और कई मापदंडों को सावधानीपूर्वक कॉन्फ़िगर करें। सामान्य तौर पर, काम शौकिया तौर पर होता है और इसमें कहीं गड़बड़ी होने या कुछ छूटने की बड़ी संभावना रहती है।

इसलिए, विभिन्न वितरण किट, जो शुरू में सुविधाजनक तैनाती और प्रशासन उपकरणों से सुसज्जित हैं, बहुत लोकप्रिय हो गए हैं। सबसे लोकप्रिय वितरणों में से एक जो स्पार्क का समर्थन करता है और सब कुछ आसान बनाता है वह है क्लौडेरा। इसके भुगतान और मुफ़्त दोनों संस्करण हैं - और बाद वाले में नोड्स की संख्या को सीमित किए बिना, सभी बुनियादी कार्यक्षमता उपलब्ध है।

सेटअप के दौरान, क्लाउडेरा मैनेजर एसएसएच के माध्यम से आपके सर्वर से कनेक्ट होगा। एक दिलचस्प बिंदु: स्थापित करते समय, यह निर्दिष्ट करना बेहतर होता है कि इसे तथाकथित द्वारा किया जाएगा पार्सल: विशेष पैकेज, जिनमें से प्रत्येक में एक दूसरे के साथ काम करने के लिए कॉन्फ़िगर किए गए सभी आवश्यक घटक शामिल हैं। मूलतः यह पैकेज मैनेजर का उन्नत संस्करण है।

इंस्टॉलेशन के बाद, हमें एक क्लस्टर प्रबंधन कंसोल प्राप्त होता है, जहां आप क्लस्टर टेलीमेट्री, इंस्टॉल की गई सेवाएं देख सकते हैं, साथ ही आप संसाधन जोड़/हटा सकते हैं और क्लस्टर कॉन्फ़िगरेशन को संपादित कर सकते हैं।

परिणामस्वरूप, रॉकेट का केबिन जो आपको बिगडाटा के उज्ज्वल भविष्य में ले जाएगा, आपके सामने प्रकट होता है। लेकिन इससे पहले कि हम कहें "चलो चलें," आइए हुड के नीचे चलें।

हार्डवेयर आवश्यकताएँ

अपनी वेबसाइट पर, क्लौडेरा विभिन्न संभावित कॉन्फ़िगरेशन का उल्लेख करता है। वे सामान्य सिद्धांत जिनके द्वारा उनका निर्माण किया गया है, चित्रण में दिखाए गए हैं:

MapReduce इस आशावादी तस्वीर को धुंधला कर सकता है। यदि आप पिछले अनुभाग के आरेख को फिर से देखते हैं, तो यह स्पष्ट हो जाता है कि लगभग सभी मामलों में, डिस्क या नेटवर्क से डेटा पढ़ते समय MapReduce कार्य एक अड़चन का सामना कर सकता है। यह क्लौडेरा ब्लॉग में भी नोट किया गया है। परिणामस्वरूप, किसी भी तेज़ गणना के लिए, जिसमें स्पार्क भी शामिल है, जिसका उपयोग अक्सर वास्तविक समय की गणना के लिए किया जाता है, I/O गति बहुत महत्वपूर्ण है। इसलिए, Hadoop का उपयोग करते समय, यह बहुत महत्वपूर्ण है कि क्लस्टर में संतुलित और तेज़ मशीनें शामिल हों, जो कि, इसे हल्के ढंग से कहें तो, क्लाउड इंफ्रास्ट्रक्चर में हमेशा सुनिश्चित नहीं किया जाता है।

शक्तिशाली मल्टी-कोर सीपीयू वाले सर्वर पर ओपनस्टैक वर्चुअलाइजेशन के उपयोग के माध्यम से लोड वितरण में संतुलन हासिल किया जाता है। डेटा नोड्स को उनके स्वयं के प्रोसेसर संसाधन और विशिष्ट डिस्क आवंटित किए जाते हैं। हमारे निर्णय में एटोस कोडेक्स डेटा लेक इंजन व्यापक वर्चुअलाइजेशन हासिल किया गया है, यही कारण है कि हमें प्रदर्शन के मामले में (नेटवर्क बुनियादी ढांचे का प्रभाव कम हो गया है) और टीसीओ (अतिरिक्त भौतिक सर्वर समाप्त हो गए हैं) दोनों में लाभ होता है।

BullSequana S200 सर्वर का उपयोग करते समय, हमें कुछ बाधाओं से रहित, एक बहुत ही समान लोड मिलता है। न्यूनतम कॉन्फ़िगरेशन में 3 बुलसेक्वाना एस200 सर्वर शामिल हैं, प्रत्येक में दो जेबीओडी हैं, साथ ही चार डेटा नोड्स वाले अतिरिक्त एस200 वैकल्पिक रूप से जुड़े हुए हैं। यहां टेराजेन परीक्षण में लोड का एक उदाहरण दिया गया है:

विभिन्न डेटा वॉल्यूम और प्रतिकृति मान वाले परीक्षण क्लस्टर नोड्स के बीच लोड वितरण के संदर्भ में समान परिणाम दिखाते हैं। प्रदर्शन परीक्षणों द्वारा डिस्क एक्सेस के वितरण का एक ग्राफ़ नीचे दिया गया है।

गणना 3 बुलसेक्वाना S200 सर्वरों के न्यूनतम कॉन्फ़िगरेशन के आधार पर की गई थी। इसमें 9 डेटा नोड्स और 3 मास्टर नोड्स, साथ ही ओपनस्टैक वर्चुअलाइजेशन के आधार पर सुरक्षा की तैनाती के मामले में आरक्षित वर्चुअल मशीनें शामिल हैं। टेरासॉर्ट परीक्षण परिणाम: ब्लॉक आकार 512 एमबी प्रतिकृति कारक एन्क्रिप्शन के साथ तीन के बराबर 23,1 मिनट है।

सिस्टम का विस्तार कैसे किया जा सकता है? डेटा लेक इंजन के लिए विभिन्न प्रकार के एक्सटेंशन उपलब्ध हैं:

• डेटा नोड्स: प्रत्येक 40 टीबी प्रयोग करने योग्य स्थान के लिए
• जीपीयू स्थापित करने की क्षमता के साथ विश्लेषणात्मक नोड्स
• व्यावसायिक आवश्यकताओं के आधार पर अन्य विकल्प (उदाहरण के लिए, यदि आपको काफ्का आदि की आवश्यकता है)

एटोस कोडेक्स डेटा लेक इंजन में स्वयं सर्वर और लाइसेंस प्राप्त क्लौडेरा किट सहित पूर्व-स्थापित सॉफ़्टवेयर दोनों शामिल हैं; Hadoop स्वयं, RedHat Enterprise Linux कर्नेल, डेटा प्रतिकृति और बैकअप सिस्टम (बैकअप नोड और Cloudera BDR - बैकअप और डिजास्टर रिकवरी का उपयोग करने सहित) पर आधारित वर्चुअल मशीनों के साथ ओपनस्टैक। एटोस कोडेक्स डेटा लेक इंजन प्रमाणित होने वाला पहला वर्चुअलाइजेशन समाधान बन गया Cloudera.

यदि आप विवरण में रुचि रखते हैं, तो हमें टिप्पणियों में हमारे प्रश्नों का उत्तर देने में खुशी होगी।

स्रोत: www.habr.com