क्लाउडेराको बारेमा के विशेष छ र यसलाई कसरी पकाउने

वितरण कम्प्युटिङ र बिग डाटा को लागि बजार, अनुसार तथ्या .्क, प्रति वर्ष 18-19% द्वारा बढ्दै छ। यसको मतलब यी उद्देश्यहरूको लागि सफ्टवेयर छनौट गर्ने मुद्दा सान्दर्भिक रहन्छ। यस पोष्टमा, हामी किन वितरित कम्प्युटिङ आवश्यक छ भनेर सुरु गर्नेछौं, सफ्टवेयर छनोट गर्ने बारे थप विवरणमा जानुहोस्, क्लाउडेरा प्रयोग गरेर Hadoop प्रयोग गर्ने बारे कुरा गर्नुहोस्, र अन्तमा हार्डवेयर छनोट गर्ने र यसले विभिन्न तरिकामा कार्यसम्पादनलाई कसरी असर गर्छ भन्ने बारे कुरा गर्नेछौं।

नियमित व्यवसायमा वितरण कम्प्युटिङ किन आवश्यक छ? यहाँ सबै कुरा एकै समयमा सरल र जटिल छ। सरल - किनकि धेरै जसो अवस्थामा हामी जानकारीको प्रति एकाइ अपेक्षाकृत सरल गणना गर्दछौं। यो गाह्रो छ किनभने त्यहाँ धेरै जानकारी छ। यति धेरै। फलस्वरूप, यो आवश्यक छ 1000 थ्रेडहरूमा डाटाको टेराबाइट प्रक्रिया। तसर्थ, प्रयोगका केसहरू एकदम सार्वभौमिक छन्: डेटाको अझ ठूलो एरेमा मेट्रिक्सको ठूलो संख्यालाई ध्यानमा राख्न आवश्यक भए पनि गणनाहरू प्रयोग गर्न सकिन्छ।

हालैका उदाहरणहरू मध्ये एक: पिज्जेरिया चेन डोडो पिज्जा निर्धारित ग्राहकको अर्डर डाटाबेसको विश्लेषणमा आधारित छ, कि अनियमित टपिङको साथ पिज्जा छनोट गर्दा, प्रयोगकर्ताहरूले सामान्यतया सामग्रीका छवटा आधारभूत सेटहरू र केही अनियमितहरू मात्र प्रयोग गर्छन्। यस अनुसार, पिज्जेरियाले यसको खरिदहरू समायोजन गर्यो। थप रूपमा, उनले अर्डरिङ चरणमा प्रयोगकर्ताहरूलाई प्रस्ताव गरिएका अतिरिक्त उत्पादनहरू राम्रोसँग सिफारिस गर्न सक्षम थिइन्, जसले नाफा बढायो।

एउटा अर्को उदाहरण: विश्लेषण उत्पादन वस्तुहरूले H&M स्टोरलाई बिक्री स्तरहरू कायम राख्दै व्यक्तिगत स्टोरहरूमा 40% सम्म वर्गीकरण घटाउन अनुमति दियो। यो खराब बिक्री वस्तुहरू बाहेक हासिल गरिएको थियो, र मौसमीता गणना मा लिइएको थियो।

उपकरण चयन

यस प्रकारको कम्प्युटिङको लागि उद्योग मानक Hadoop हो। किन? किनभने Hadoop एक उत्कृष्ट, राम्रो-कागजात गरिएको ढाँचा हो (उही Habr ले यस विषयमा धेरै विस्तृत लेखहरू प्रदान गर्दछ), जुन उपयोगिताहरू र पुस्तकालयहरूको सम्पूर्ण सेटको साथमा छ। तपाईं संरचित र असंरचित डेटाको विशाल सेटहरू इनपुट गर्न सक्नुहुन्छ, र प्रणालीले यसलाई कम्प्युटिङ पावरमा वितरण गर्नेछ। यसबाहेक, यी समान क्षमताहरू कुनै पनि समयमा बढाउन वा असक्षम गर्न सकिन्छ - कार्यमा उही तेर्सो स्केलेबिलिटी।

2017 मा, प्रभावशाली परामर्श कम्पनी गार्टनर निष्कर्षमा पुग्योकि Hadoop चाँडै अप्रचलित हुनेछ। कारण एकदम सामान्य छ: विश्लेषकहरू विश्वास गर्छन् कि कम्पनीहरू क्लाउडमा सामूहिक रूपमा माइग्रेट हुनेछन्, किनकि त्यहाँ उनीहरूले कम्प्युटिङ पावर प्रयोग गर्दा तिर्न सक्षम हुनेछन्। दोस्रो महत्त्वपूर्ण कारक जसले हडूपलाई "बरी" गर्न सक्छ यसको गति हो। किनभने Apache Spark वा Google Cloud DataFlow जस्ता विकल्पहरू MapReduce भन्दा छिटो छन्, जसले Hadoop लाई निहित गर्दछ।

Hadoop धेरै स्तम्भहरूमा रहन्छ, जसमध्ये सबैभन्दा उल्लेखनीय MapReduce टेक्नोलोजीहरू (सर्भरहरू बीचको गणनाको लागि डाटा वितरण गर्ने प्रणाली) र HDFS फाइल प्रणाली हुन्। पछिल्लो विशेष रूपमा क्लस्टर नोडहरू बीच वितरित जानकारी भण्डारण गर्न डिजाइन गरिएको छ: निश्चित आकारको प्रत्येक ब्लक धेरै नोडहरूमा राख्न सकिन्छ, र प्रतिकृतिको लागि धन्यवाद, प्रणाली व्यक्तिगत नोडहरूको विफलताहरूको लागि लचिलो छ। फाइल तालिकाको सट्टा, NameNode भनिने विशेष सर्भर प्रयोग गरिन्छ।

तलको दृष्टान्तले MapReduce कसरी काम गर्छ भनेर देखाउँछ। पहिलो चरणमा, डाटा एक निश्चित मापदण्ड अनुसार विभाजित छ, दोस्रो चरण मा यो कम्प्युटिङ शक्ति अनुसार वितरित छ, र तेस्रो चरण मा गणना स्थान लिन्छ।

MapReduce मूल रूपमा Google द्वारा यसको खोज आवश्यकताहरूको लागि सिर्जना गरिएको थियो। त्यसपछि MapReduce नि: शुल्क कोड गयो, र Apache ले परियोजना लियो। खैर, गुगल बिस्तारै अन्य समाधानहरूमा माइग्रेट भयो। एउटा चाखलाग्दो खबर: गुगलसँग हाल गुगल क्लाउड डाटाफ्लो भनिने एउटा परियोजना छ, जसलाई हडूप पछि अर्को चरणको रूपमा राखिएको छ, यसको लागि द्रुत प्रतिस्थापनको रूपमा।

नजिकबाट हेर्दा Google Cloud Dataflow Apache Beam को भिन्नतामा आधारित रहेको देखाउँछ, जबकि Apache Beam ले राम्रोसँग दस्तावेज गरिएको Apache Spark फ्रेमवर्क समावेश गर्दछ, जसले हामीलाई समाधानहरूको लगभग समान कार्यान्वयन गतिको बारेमा कुरा गर्न अनुमति दिन्छ। ठीक छ, अपाचे स्पार्कले HDFS फाइल प्रणालीमा पूर्ण रूपमा काम गर्दछ, जसले यसलाई Hadoop सर्भरहरूमा तैनाथ गर्न अनुमति दिन्छ।

यहाँ गुगल क्लाउड डेटाफ्लो विरुद्ध Hadoop र स्पार्कका लागि कागजात र तयार समाधानहरूको मात्रा थप्नुहोस्, र उपकरणको छनोट स्पष्ट हुन्छ। यसबाहेक, इन्जिनियरहरूले आफैं निर्णय गर्न सक्छन् कुन कोड - हडूप वा स्पार्कको लागि - तिनीहरूले कार्य, अनुभव र योग्यताहरूमा ध्यान केन्द्रित गर्दै दौडनुपर्छ।

क्लाउड वा स्थानीय सर्भर

क्लाउडमा सामान्य संक्रमणतर्फको प्रवृत्तिले हडूप-ए-सर्भिस जस्ता रोचक शब्दलाई पनि जन्म दिएको छ। यस्तो अवस्थामा, जडान गरिएका सर्भरहरूको प्रशासन धेरै महत्त्वपूर्ण भयो। किनभने, अफसोस, यसको लोकप्रियताको बावजुद, शुद्ध हडूप कन्फिगर गर्नको लागि एकदम गाह्रो उपकरण हो, किनकि धेरै हातले गर्नुपर्दछ। उदाहरणका लागि, व्यक्तिगत रूपमा सर्भरहरू कन्फिगर गर्नुहोस्, तिनीहरूको कार्यसम्पादन निगरानी गर्नुहोस्, र धेरै प्यारामिटरहरू ध्यानपूर्वक कन्फिगर गर्नुहोस्। सामान्यतया, काम एक शौकियाको लागि हो र त्यहाँ कतै गडबड हुने वा केहि हराउने ठूलो मौका छ।

तसर्थ, विभिन्न वितरण किटहरू, जुन सुरुमा सुविधाजनक तैनाती र प्रशासन उपकरणहरूसँग सुसज्जित छन्, धेरै लोकप्रिय भएका छन्। स्पार्कलाई समर्थन गर्ने र सबै कुरालाई सजिलो बनाउने सबैभन्दा लोकप्रिय वितरणहरू Cloudera हो। यसमा दुबै सशुल्क र नि: शुल्क संस्करणहरू छन् - र पछिल्लोमा सबै आधारभूत कार्यक्षमता उपलब्ध छ, नोडहरूको संख्या सीमित नगरी।

सेटअपको समयमा, क्लाउडेरा प्रबन्धकले SSH मार्फत तपाइँको सर्भरहरूमा जडान गर्नेछ। एउटा चाखलाग्दो बिन्दु: स्थापना गर्दा, यो तथाकथित द्वारा गरिन्छ भनेर निर्दिष्ट गर्न राम्रो छ पार्सलहरू: विशेष प्याकेजहरू, जसमध्ये प्रत्येकले एकअर्कासँग काम गर्न कन्फिगर गरिएका सबै आवश्यक घटकहरू समावेश गर्दछ। अनिवार्य रूपमा यो प्याकेज प्रबन्धकको सुधारिएको संस्करण हो।

स्थापना पछि, हामीले क्लस्टर व्यवस्थापन कन्सोल प्राप्त गर्छौं, जहाँ तपाइँ क्लस्टर टेलिमेट्री, स्थापित सेवाहरू हेर्न सक्नुहुन्छ, साथै तपाइँ स्रोतहरू थप्न/हटाउन र क्लस्टर कन्फिगरेसन सम्पादन गर्न सक्नुहुन्छ।

नतिजाको रूपमा, रकेटको केबिन जसले तपाईंलाई BigData को उज्ज्वल भविष्यमा लैजान्छ। तर हामीले "जाऔं" भन्नु अघि हुडमुनि सरौं।

हार्डवेयर आवश्यकताहरू

यसको वेबसाइटमा, क्लाउडेराले विभिन्न सम्भावित कन्फिगरेसनहरू उल्लेख गर्दछ। सामान्य सिद्धान्तहरू जसद्वारा तिनीहरू बनाइएका छन् दृष्टान्तमा देखाइएका छन्:

MapReduce ले यो आशावादी चित्रलाई धमिलो पार्न सक्छ। यदि तपाइँ अघिल्लो खण्डको रेखाचित्रमा फेरि हेर्नुभयो भने, यो स्पष्ट हुन्छ कि लगभग सबै अवस्थामा, डिस्क वा नेटवर्कबाट डाटा पढ्दा MapReduce कार्यले अवरोध सामना गर्न सक्छ। यो क्लाउडेरा ब्लगमा पनि उल्लेख गरिएको छ। फलस्वरूप, कुनै पनि द्रुत गणनाहरूका लागि, स्पार्क मार्फत, जुन प्रायः वास्तविक-समय गणनाहरूको लागि प्रयोग गरिन्छ, I/O गति धेरै महत्त्वपूर्ण छ। तसर्थ, Hadoop प्रयोग गर्दा, क्लस्टरमा सन्तुलित र छिटो मेसिनहरू समावेश हुनु धेरै महत्त्वपूर्ण छ, जुन यसलाई हल्का रूपमा भन्नुपर्दा, क्लाउड पूर्वाधारमा सधैं सुनिश्चित हुँदैन।

लोड वितरणमा सन्तुलन शक्तिशाली मल्टि-कोर CPU हरू भएका सर्भरहरूमा ओपनस्ट्याक भर्चुअलाइजेशनको प्रयोगद्वारा प्राप्त गरिन्छ। डाटा नोडहरू तिनीहरूको आफ्नै प्रोसेसर स्रोतहरू र विशिष्ट डिस्कहरू आवंटित छन्। हाम्रो निर्णय मा Atos कोडेक्स डाटा लेक इन्जिन फराकिलो भर्चुअलाइजेशन हासिल गरिएको छ, त्यसैले हामीले प्रदर्शनको सर्तमा (नेटवर्क पूर्वाधारको प्रभाव न्यूनीकरण गरिएको छ) र TCO मा (अतिरिक्त भौतिक सर्भरहरू हटाइएका छन्) दुवैमा फाइदा लिन्छौं।

BullSequana S200 सर्भरहरू प्रयोग गर्दा, हामीले धेरै समान भार पाउँछौं, केही बाधाहरू रहित। न्यूनतम कन्फिगरेसनमा 3 BullSequana S200 सर्भरहरू समावेश छन्, प्रत्येकमा दुई JBOD हरू छन्, साथै अतिरिक्त S200 हरू चार डेटा नोडहरू वैकल्पिक रूपमा जोडिएका छन्। यहाँ TeraGen परीक्षण मा लोड को एक उदाहरण छ:

विभिन्न डेटा भोल्युमहरू र प्रतिकृति मानहरूसँग परीक्षणहरूले क्लस्टर नोडहरू बीच लोड वितरणको सन्दर्भमा समान परिणामहरू देखाउँछन्। तल प्रदर्शन परीक्षणहरूद्वारा डिस्क पहुँचको वितरणको ग्राफ हो।

गणनाहरू 3 BullSequana S200 सर्भरहरूको न्यूनतम कन्फिगरेसनमा आधारित थिए। यसमा 9 डाटा नोडहरू र 3 मास्टर नोडहरू, साथै ओपनस्ट्याक भर्चुअलाइजेसनमा आधारित सुरक्षाको प्रयोगको अवस्थामा आरक्षित भर्चुअल मेसिनहरू समावेश छन्। TeraSort परीक्षण परिणाम: एन्क्रिप्शनको साथ तीन बराबरको ब्लक साइज 512 MB प्रतिकृति कारक 23,1 मिनेट हो।

प्रणाली कसरी विस्तार गर्न सकिन्छ? डाटा लेक इन्जिनका लागि विभिन्न प्रकारका विस्तारहरू उपलब्ध छन्:

• डाटा नोडहरू: प्रत्येक 40 TB प्रयोगयोग्य ठाउँको लागि
• GPU स्थापना गर्ने क्षमताको साथ विश्लेषणात्मक नोडहरू
• अन्य विकल्पहरू व्यवसायिक आवश्यकताहरूमा निर्भर गर्दछ (उदाहरणका लागि, यदि तपाईंलाई काफ्का र जस्तै आवश्यक छ)

एटोस कोडेक्स डाटा लेक इन्जिनले लाइसेन्स प्राप्त क्लाउडेरा किट सहित सर्भरहरू आफैं र पूर्व-स्थापित सफ्टवेयरहरू समावेश गर्दछ; Hadoop आफैं, RedHat Enterprise Linux कर्नेल, डाटा प्रतिकृति र ब्याकअप प्रणालीहरूमा आधारित भर्चुअल मेसिनहरूसँग OpenStack (ब्याकअप नोड र Cloudera BDR - ब्याकअप र डिजास्टर रिकभरी प्रयोग सहित)। Atos कोडेक्स डाटा लेक इन्जिन प्रमाणित हुने पहिलो भर्चुअलाइजेशन समाधान भयो क्लौडेरा.

यदि तपाइँ विवरणहरूमा रुचि राख्नुहुन्छ भने, हामी टिप्पणीहरूमा हाम्रा प्रश्नहरूको जवाफ दिन खुसी हुनेछौं।

स्रोत: www.habr.com