अपाचे बिगटॉप और आज Hadoop वितरण का चयन

यह शायद कोई रहस्य नहीं है कि पिछला साल Apache Hadoop के लिए बड़े बदलावों का साल था। पिछले साल, क्लौडेरा और हॉर्टनवर्क्स का विलय हो गया (अनिवार्य रूप से, बाद का अधिग्रहण), और मैपर, गंभीर वित्तीय समस्याओं के कारण, हेवलेट पैकार्ड को बेच दिया गया था। और अगर कुछ साल पहले, ऑन-प्रिमाइसेस इंस्टॉलेशन के मामले में, अक्सर क्लाउडेरा और हॉर्टनवर्क्स के बीच चयन करना पड़ता था, तो आज, अफसोस, हमारे पास यह विकल्प नहीं है। एक और आश्चर्य की बात यह थी कि क्लौडेरा ने इस साल फरवरी में घोषणा की थी कि वह अपने वितरण की बाइनरी असेंबली को सार्वजनिक भंडार में जारी करना बंद कर देगा, और वे अब केवल सशुल्क सदस्यता के माध्यम से उपलब्ध हैं। बेशक, 2019 के अंत से पहले जारी सीडीएच और एचडीपी के नवीनतम संस्करणों को डाउनलोड करना अभी भी संभव है, और उनके लिए एक से दो साल तक समर्थन की उम्मीद है। लेकिन आगे क्या करें? उन लोगों के लिए जिन्होंने पहले सदस्यता के लिए भुगतान किया था, कुछ भी नहीं बदला है। और उन लोगों के लिए जो वितरण के भुगतान किए गए संस्करण पर स्विच नहीं करना चाहते हैं, लेकिन साथ ही क्लस्टर घटकों के नवीनतम संस्करण, साथ ही पैच और अन्य अपडेट प्राप्त करने में सक्षम होना चाहते हैं, हमने यह लेख तैयार किया है। इसमें हम इस स्थिति से बाहर निकलने के संभावित विकल्पों पर विचार करेंगे।

लेख एक समीक्षा से अधिक है. इसमें वितरणों की तुलना और उनका विस्तृत विश्लेषण शामिल नहीं होगा, और उन्हें स्थापित करने और कॉन्फ़िगर करने के लिए कोई नुस्खा नहीं होगा। क्या हो जाएगा? हम संक्षेप में एरेनाडेटा हडूप जैसे वितरण के बारे में बात करेंगे, जो अपनी उपलब्धता के कारण हमारा ध्यान आकर्षित करने का हकदार है, जो आज बहुत दुर्लभ है। और फिर हम वेनिला Hadoop के बारे में बात करेंगे, मुख्य रूप से Apache Bigtop का उपयोग करके इसे "पकाया" कैसे जा सकता है। तैयार? फिर बिल्ली का स्वागत है.

एरेनाडाटा हडोप

यह घरेलू विकास की एक पूरी तरह से नई और अभी तक अल्पज्ञात वितरण किट है। दुर्भाग्य से, इस समय हैबे पर केवल यही है यह लेख.

अधिक जानकारी आधिकारिक पर पाई जा सकती है ऑनलाइन परियोजना। वितरण के नवीनतम संस्करण संस्करण 3.1.2 के लिए Hadoop 3 और संस्करण 2.8.5 के लिए 2 पर आधारित हैं।

रोडमैप की जानकारी मिल सकेगी यहां.

एरेनाडेटा क्लस्टर प्रबंधक इंटरफ़ेस

एरेनाडेटा का मुख्य उत्पाद है एरेनाडाटा क्लस्टर मैनेजर (एडीसीएम), जिसका उपयोग विभिन्न कंपनी सॉफ़्टवेयर समाधानों को स्थापित करने, कॉन्फ़िगर करने और मॉनिटर करने के लिए किया जाता है। एडीसीएम नि:शुल्क वितरित किया जाता है, और बंडलों को जोड़कर इसकी कार्यक्षमता का विस्तार किया जाता है, जो कि अन्सिबल-प्लेबुक का एक सेट है। बंडलों को दो प्रकारों में विभाजित किया गया है: उद्यम और समुदाय। बाद वाले एरेनाडाटा वेबसाइट से मुफ्त डाउनलोड के लिए उपलब्ध हैं। अपना खुद का बंडल विकसित करना और उसे एडीसीएम से जोड़ना भी संभव है।

Hadoop 3 की तैनाती और प्रबंधन के लिए, ADCM के साथ संयोजन में बंडल का एक सामुदायिक संस्करण पेश किया गया है, लेकिन Hadoop 2 के लिए केवल अपाचे अंबरी वैकल्पिक रूप से। पैकेज वाले रिपॉजिटरी के लिए, वे सार्वजनिक पहुंच के लिए खुले हैं, उन्हें क्लस्टर के सभी घटकों के लिए सामान्य तरीके से डाउनलोड और इंस्टॉल किया जा सकता है। कुल मिलाकर, वितरण बहुत दिलचस्प लग रहा है। मुझे यकीन है कि ऐसे लोग होंगे जो क्लौडेरा मैनेजर और अंबारी जैसे समाधानों के आदी होंगे, और जो एडीसीएम को ही पसंद करेंगे। कुछ के लिए, यह वितरण भी एक बड़ा लाभ होगा सॉफ्टवेयर रजिस्टर में शामिल किया गया आयात प्रतिस्थापन के लिए.

यदि हम नुकसानों के बारे में बात करें तो वे अन्य सभी Hadoop वितरणों के समान ही होंगे। अर्थात्:

• तथाकथित "विक्रेता लॉक-इन"। क्लौडेरा और हॉर्टनवर्क्स के उदाहरणों का उपयोग करते हुए, हमने पहले ही महसूस किया है कि कंपनी की नीति बदलने का जोखिम हमेशा बना रहता है।
• अपाचे अपस्ट्रीम से काफी पीछे।

वेनिला हडूप

जैसा कि आप जानते हैं, Hadoop एक अखंड उत्पाद नहीं है, बल्कि, वास्तव में, इसके वितरित फ़ाइल सिस्टम HDFS के आसपास सेवाओं की एक पूरी आकाशगंगा है। कुछ लोगों के लिए एक फ़ाइल क्लस्टर पर्याप्त होगा। कुछ को हाइव की जरूरत है, दूसरों को प्रेस्टो की, और फिर एचबेस और फीनिक्स की जरूरत है; स्पार्क का तेजी से उपयोग किया जा रहा है। ऑर्केस्ट्रेशन और डेटा लोडिंग के लिए, कभी-कभी ओजी, स्कूप और फ्लूम पाए जाते हैं। और अगर सुरक्षा का मुद्दा उठता है, तो रेंजर के साथ मिलकर केर्बरोस तुरंत दिमाग में आता है।

Hadoop घटकों के बाइनरी संस्करण प्रत्येक पारिस्थितिकी तंत्र परियोजना की वेबसाइट पर टारबॉल के रूप में उपलब्ध हैं। आप उन्हें डाउनलोड कर सकते हैं और इंस्टॉलेशन शुरू कर सकते हैं, लेकिन एक शर्त के साथ: "कच्चे" बायनेरिज़ से पैकेजों को स्वतंत्र रूप से असेंबल करने के अलावा, जो आप संभवतः करना चाहते हैं, आपको प्रत्येक के साथ घटकों के डाउनलोड किए गए संस्करणों की संगतता पर कोई भरोसा नहीं होगा। अन्य। पसंदीदा विकल्प अपाचे बिगटॉप का उपयोग करके निर्माण करना है। बिगटॉप आपको अपाचे मावेन रिपॉजिटरी से निर्माण करने, परीक्षण चलाने और पैकेज बनाने की अनुमति देगा। लेकिन, जो हमारे लिए बहुत महत्वपूर्ण है, बिगटॉप घटकों के उन संस्करणों को इकट्ठा करेगा जो एक दूसरे के साथ संगत होंगे। हम इसके बारे में नीचे अधिक विस्तार से बात करेंगे।

अपाचे बिगटॉप

अपाचे बिगटॉप कई निर्माण, पैकेजिंग और परीक्षण के लिए एक उपकरण है
ओपन सोर्स प्रोजेक्ट, जैसे Hadoop और Greenplum। बिगटॉप में बहुत कुछ है
जारी करता है. लेखन के समय, नवीनतम स्थिर रिलीज़ संस्करण 1.4 था,
और मास्टर में 1.5 था. रिलीज़ के विभिन्न संस्करण अलग-अलग संस्करणों का उपयोग करते हैं
अवयव। उदाहरण के लिए, 1.4 Hadoop कोर घटकों के लिए संस्करण 2.8.5 है, और मास्टर में
2.10.0. समर्थित घटकों की संरचना भी बदल रही है. कुछ पुराना और
अप्राप्य चला जाता है, और उसके स्थान पर कुछ नया आता है, जिसकी मांग अधिक होती है, और
जरूरी नहीं कि यह अपाचे परिवार से ही कुछ हो।

इसके अलावा, बिगटॉप के पास कई हैं कांटे.

जब हमने बिगटॉप से ​​परिचित होना शुरू किया, तो हम सबसे पहले अन्य अपाचे परियोजनाओं, व्यापकता और लोकप्रियता के साथ-साथ एक बहुत छोटे समुदाय की तुलना में इसके मामूली होने से आश्चर्यचकित हुए। इससे यह पता चलता है कि उत्पाद पर न्यूनतम जानकारी है, और मंचों और मेलिंग सूचियों पर उत्पन्न होने वाली समस्याओं के समाधान खोजने से कुछ भी नहीं मिल सकता है। सबसे पहले, टूल की विशेषताओं के कारण वितरण की पूरी असेंबली को पूरा करना हमारे लिए एक कठिन काम साबित हुआ, लेकिन हम इस बारे में थोड़ी देर बाद बात करेंगे।

एक टीज़र के रूप में, जो लोग एक समय में जेंटू और एलएफएस जैसी लिनक्स ब्रह्मांड की परियोजनाओं में रुचि रखते थे, उन्हें इस चीज़ के साथ काम करना और उन "महाकाव्य" समयों को याद करना काफी सुखद लग सकता है जब हम खुद इसकी तलाश कर रहे थे (या लिख ​​भी रहे थे) नए पैच के साथ मोज़िला का पुनर्निर्माण और नियमित रूप से पुनर्निर्माण किया जाता है।

बिगटॉप का बड़ा लाभ उन उपकरणों का खुलापन और बहुमुखी प्रतिभा है जिन पर यह आधारित है। यह ग्रैडल और अपाचे मावेन पर आधारित है। ग्रैडल उस टूल के रूप में काफी प्रसिद्ध है जिसका उपयोग Google Android बनाने के लिए करता है। यह लचीला है, और, जैसा कि वे कहते हैं, "युद्ध-परीक्षित" है। मेवेन अपाचे में परियोजनाओं के निर्माण के लिए एक मानक उपकरण है, और चूंकि इसके अधिकांश उत्पाद मेवेन के माध्यम से जारी किए जाते हैं, इसलिए यहां भी इसके बिना ऐसा नहीं किया जा सकता है। यह पीओएम (प्रोजेक्ट ऑब्जेक्ट मॉडल) पर ध्यान देने योग्य है - "मौलिक" एक्सएमएल फ़ाइल जो आपके प्रोजेक्ट के साथ काम करने के लिए मावेन के लिए आवश्यक सभी चीजों का वर्णन करती है, जिसके चारों ओर सभी काम बनाए जाते हैं। बिल्कुल सही पर
मावेन के कुछ हिस्सों में कुछ बाधाएँ हैं जिनका पहली बार बिगटॉप उपयोगकर्ताओं को आम तौर पर सामना करना पड़ता है।

अभ्यास

तो आपको कहां से शुरुआत करनी चाहिए? डाउनलोड पृष्ठ पर जाएं और नवीनतम स्थिर संस्करण को संग्रह के रूप में डाउनलोड करें। आप वहां बिगटॉप द्वारा एकत्रित बाइनरी कलाकृतियां भी पा सकते हैं। वैसे, सामान्य पैकेज प्रबंधकों में, YUM और APT समर्थित हैं।

वैकल्पिक रूप से, आप नवीनतम स्थिर रिलीज़ को सीधे डाउनलोड कर सकते हैं
जीथब:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

"बिगटॉप" में क्लोनिंग...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

परिणामी ./bigtop निर्देशिका कुछ इस तरह दिखती है:

./bigtop-bigpetstore - डेमो एप्लिकेशन, सिंथेटिक उदाहरण
./bigtop-ci - सीआई उपकरण, जेनकींस
./bigtop-data-generators - धुआं परीक्षण आदि के लिए डेटा जेनरेशन, सिंथेटिक्स।
./bigtop-deploy - परिनियोजन उपकरण
./bigtop-packages - कॉन्फ़िगरेशन, स्क्रिप्ट, असेंबली के लिए पैच, टूल का मुख्य भाग
./bigtop-test-framework - परीक्षण रूपरेखा
./bigtop-tests - परीक्षण स्वयं, लोड और धूम्रपान
./bigtop_toolchain - असेंबली के लिए वातावरण, उपकरण के काम करने के लिए वातावरण तैयार करना
./build - कार्यशील निर्देशिका बनाएँ
./dl - डाउनलोड किए गए स्रोतों के लिए निर्देशिका
./docker - डॉकर छवियों में निर्माण, परीक्षण
./gradle - ग्रेडेल कॉन्फिग
./output - वह निर्देशिका जहाँ बिल्ड कलाकृतियाँ जाती हैं
./provisioner - प्रावधान

इस स्तर पर हमारे लिए सबसे दिलचस्प बात मुख्य कॉन्फ़िगरेशन है ./bigtop/bigtop.bom, जिसमें हम सभी समर्थित घटकों को संस्करणों के साथ देखते हैं। यह वह जगह है जहां हम उत्पाद का एक अलग संस्करण निर्दिष्ट कर सकते हैं (यदि हम अचानक इसे बनाने का प्रयास करना चाहते हैं) या एक बिल्ड संस्करण (यदि, उदाहरण के लिए, हमने एक महत्वपूर्ण पैच जोड़ा है)।

उपनिर्देशिका भी बहुत रुचिकर है ./bigtop/bigtop-packages, जो सीधे तौर पर घटकों और उनके साथ पैकेजों को जोड़ने की प्रक्रिया से संबंधित है।

तो, हमने संग्रह डाउनलोड किया, इसे अनपैक किया या जीथब से क्लोन बनाया, क्या हम निर्माण शुरू कर सकते हैं?

नहीं, आइए पहले माहौल तैयार करें।

पर्यावरण की तैयारी

और यहां हमें एक छोटे से विश्राम की आवश्यकता है। लगभग किसी भी अधिक या कम जटिल उत्पाद को बनाने के लिए, आपको एक निश्चित वातावरण की आवश्यकता होती है - हमारे मामले में, यह जेडीके, समान साझा लाइब्रेरी, हेडर फ़ाइलें इत्यादि, उपकरण, उदाहरण के लिए, चींटी, आईवी 2 और बहुत कुछ है। बिगटॉप के लिए आवश्यक वातावरण प्राप्त करने के लिए विकल्पों में से एक बिल्ड होस्ट पर आवश्यक घटकों को स्थापित करना है। मैं कालक्रम में गलत हो सकता हूं, लेकिन ऐसा लगता है कि संस्करण 1.0 के साथ पूर्व-कॉन्फ़िगर और सुलभ डॉकर छवियों को बनाने का विकल्प भी था, जो यहां पाया जा सकता है।

जहाँ तक वातावरण तैयार करने की बात है तो इसके लिए एक सहायक है - कठपुतली।

आप निम्न कमांड का उपयोग कर सकते हैं, रूट डायरेक्टरी से चला सकते हैं
औजार, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

या सीधे कठपुतली के माध्यम से:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

दुर्भाग्य से, इस स्तर पर पहले से ही कठिनाइयाँ उत्पन्न हो सकती हैं। यहां सामान्य सलाह यह है कि समर्थित वितरण का उपयोग करें, बिल्ड होस्ट पर अद्यतित रहें, या डॉकर रूट का प्रयास करें।

सभा

हम क्या एकत्र करने का प्रयास कर सकते हैं? इस सवाल का जवाब कमांड के आउटपुट से मिलेगा

./gradlew tasks

पैकेज कार्य अनुभाग में कई उत्पाद हैं जो बिगटॉप की अंतिम कलाकृतियाँ हैं।
उन्हें प्रत्यय -rpm या -pkg-ind (इमारत के मामले में) द्वारा पहचाना जा सकता है
डोकर में)। हमारे मामले में, सबसे दिलचस्प Hadoop है।

आइए अपने बिल्ड सर्वर के वातावरण में निर्माण करने का प्रयास करें:

./gradlew hadoop-rpm

बिगटॉप स्वयं एक विशिष्ट घटक के लिए आवश्यक आवश्यक स्रोतों को डाउनलोड करेगा और असेंबली शुरू करेगा। इस प्रकार, टूल का संचालन मावेन रिपॉजिटरी और अन्य स्रोतों पर निर्भर है, यानी इसके लिए इंटरनेट एक्सेस की आवश्यकता होती है।

ऑपरेशन के दौरान, मानक आउटपुट उत्पन्न होता है। कभी-कभी यह और त्रुटि संदेश आपको यह समझने में मदद कर सकते हैं कि क्या गलत हुआ। और कभी-कभी आपको अतिरिक्त जानकारी प्राप्त करने की आवश्यकता होती है. इस मामले में यह तर्क जोड़ने लायक है --info या --debug, और उपयोगी भी हो सकता है –stacktrace. मेलिंग सूचियों, कुंजी तक बाद की पहुंच के लिए डेटा सेट उत्पन्न करने का एक सुविधाजनक तरीका है --scan.

इसकी मदद से बिगटॉप सारी जानकारी इकट्ठा करेगा और उसे ग्रेडेल में डाल देगा, जिसके बाद वह एक लिंक प्रदान करेगा,
जिसका पालन करके एक सक्षम व्यक्ति यह समझ सकेगा कि सभा क्यों विफल हुई।
कृपया ध्यान रखें कि यह विकल्प वह जानकारी उजागर कर सकता है जो आप नहीं चाहते, जैसे उपयोगकर्ता नाम, नोड्स, पर्यावरण चर इत्यादि, इसलिए सावधान रहें।

अक्सर त्रुटियाँ असेंबली के लिए आवश्यक किसी भी घटक को प्राप्त करने में असमर्थता का परिणाम होती हैं। आमतौर पर, आप स्रोतों में कुछ ठीक करने के लिए एक पैच बनाकर समस्या को ठीक कर सकते हैं, उदाहरण के लिए, स्रोतों की मूल निर्देशिका में pom.xml में पते। इसे उचित निर्देशिका में बनाकर और रखकर किया जाता है ./bigtop/bigtop-packages/src/common/oozie/ पैच, उदाहरण के लिए, प्रपत्र में पैच2-फिक्स.डिफ।

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

सबसे अधिक संभावना है, इस लेख को पढ़ने के समय, आपको उपरोक्त सुधार स्वयं नहीं करना पड़ेगा।

असेंबली तंत्र में कोई भी पैच और परिवर्तन पेश करते समय, आपको क्लीनअप कमांड का उपयोग करके असेंबली को "रीसेट" करने की आवश्यकता हो सकती है:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

यह ऑपरेशन इस घटक की असेंबली में सभी परिवर्तनों को वापस लाएगा, जिसके बाद असेंबली फिर से की जाएगी। इस बार हम प्रोजेक्ट को डॉकर छवि में बनाने का प्रयास करेंगे:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

निर्माण CentOS के तहत किया गया था, लेकिन उबंटू के तहत भी किया जा सकता है:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

विभिन्न लिनक्स वितरणों के लिए पैकेज बनाने के अलावा, उपकरण संकलित पैकेजों के साथ एक रिपॉजिटरी बना सकता है, उदाहरण के लिए:

./gradlew yum

आप डॉकर में धूम्रपान परीक्षण और तैनाती के बारे में भी याद कर सकते हैं।

तीन नोड्स का एक क्लस्टर बनाएं:

./gradlew -Pnum_instances=3 docker-provisioner

तीन नोड्स के समूह में धुआँ परीक्षण चलाएँ:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

क्लस्टर हटाएँ:

./gradlew docker-provisioner-destroy

डॉकटर कंटेनरों के अंदर कनेक्ट करने के लिए आदेश प्राप्त करें:

./gradlew docker-provisioner-ssh

स्थिति दिखाएँ:

./gradlew docker-provisioner-status

आप दस्तावेज़ीकरण में परिनियोजन कार्यों के बारे में अधिक पढ़ सकते हैं।

अगर हम परीक्षणों के बारे में बात करते हैं, तो उनमें से काफी बड़ी संख्या में हैं, मुख्य रूप से धूम्रपान और एकीकरण। उनका विश्लेषण इस लेख के दायरे से परे है। मैं बस यह कहना चाहता हूं कि वितरण किट को असेंबल करना उतना मुश्किल काम नहीं है जितना पहली नज़र में लग सकता है। हम अपने उत्पादन में उपयोग किए जाने वाले सभी घटकों को इकट्ठा करने और उन पर परीक्षण पास करने में कामयाब रहे, और हमें उन्हें तैनात करने और परीक्षण वातावरण में बुनियादी संचालन करने में भी कोई समस्या नहीं हुई।

बिगटॉप में मौजूदा घटकों के अलावा, कुछ और भी जोड़ना संभव है, यहां तक ​​कि आपका अपना सॉफ़्टवेयर विकास भी। यह सब पूरी तरह से स्वचालित है और सीआई/सीडी अवधारणा में फिट बैठता है।

निष्कर्ष

जाहिर है, इस तरह से संकलित वितरण को तुरंत उत्पादन के लिए नहीं भेजा जाना चाहिए। आपको यह समझने की आवश्यकता है कि यदि आपके वितरण को बनाने और समर्थन करने की वास्तव में आवश्यकता है, तो आपको इसमें पैसा और समय निवेश करने की आवश्यकता है।

हालाँकि, सही दृष्टिकोण और एक पेशेवर टीम के संयोजन में, व्यावसायिक समाधानों के बिना ऐसा करना काफी संभव है।

यह ध्यान रखना महत्वपूर्ण है कि बिगटॉप परियोजना को स्वयं विकास की आवश्यकता है और ऐसा प्रतीत नहीं होता है कि आज इसे सक्रिय रूप से विकसित किया जा रहा है। Hadoop 3 के इसमें प्रदर्शित होने की संभावना भी स्पष्ट नहीं है। वैसे, यदि आपको Hadoop 3 बनाने की वास्तविक आवश्यकता है, तो आप इसे देख सकते हैं काँटा Arenadata से, जिसमें, मानक के अतिरिक्त
कई अतिरिक्त घटक हैं (रेंजर, नॉक्स, निफ़ी)।

जहां तक ​​रोस्टेलकॉम का सवाल है, हमारे लिए बिगटॉप आज विचार किए जा रहे विकल्पों में से एक है। हम इसे चुनें या नहीं, यह तो समय ही बताएगा।

परिशिष्ट

असेंबली में एक नया घटक शामिल करने के लिए, आपको इसका विवरण bigtop.bom और ./bigtop-packages में जोड़ना होगा। आप मौजूदा घटकों के अनुरूप ऐसा करने का प्रयास कर सकते हैं। इसका पता लगाने का प्रयास करें. यह उतना कठिन नहीं है जितना पहली नज़र में लगता है।

आप क्या सोचते हैं? हमें टिप्पणियों में आपकी राय देखकर खुशी होगी और आपके ध्यान के लिए धन्यवाद!

लेख रोस्टेलकॉम डेटा प्रबंधन टीम द्वारा तैयार किया गया था

स्रोत: www.habr.com