Apache Bigtop र आज Hadoop वितरण छनौट गर्दै

यो सायद कुनै गोप्य छैन कि गत वर्ष Apache Hadoop को लागी ठूलो परिवर्तन को वर्ष थियो। गत वर्ष, Cloudera र Hortonworks मर्ज गरियो (अनिवार्य रूपमा, पछिको अधिग्रहण), र Mapr, गम्भीर आर्थिक समस्याहरूको कारण, Hewlett Packard लाई बेचिएको थियो। र यदि केहि वर्ष पहिले, अन-प्रिमाइसेस स्थापनाहरूको मामलामा, क्लाउडेरा र होर्टनवर्क्स बीच छनौट गर्नुपर्थ्यो, आज, अफसोस, हामीसँग यो विकल्प छैन। अर्को आश्चर्यजनक तथ्य यो थियो कि क्लाउडेराले यस वर्षको फेब्रुअरीमा सार्वजनिक भण्डारमा यसको वितरणको बाइनरी असेंबलीहरू जारी गर्न बन्द गर्ने घोषणा गरेको थियो, र तिनीहरू अब सशुल्क सदस्यता मार्फत मात्र उपलब्ध छन्। निस्सन्देह, 2019 को अन्त्य अघि जारी गरिएको CDH र HDP को नवीनतम संस्करणहरू डाउनलोड गर्न अझै सम्भव छ, र तिनीहरूको लागि समर्थन एक देखि दुई वर्षको लागि अपेक्षित छ। तर अब के गर्ने? पहिले सदस्यताको लागि भुक्तान गर्नेहरूका लागि, केहि परिवर्तन भएको छैन। र तिनीहरूका लागि जो वितरणको सशुल्क संस्करणमा स्विच गर्न चाहँदैनन्, तर एकै समयमा क्लस्टर कम्पोनेन्टहरू, साथै प्याचहरू र अन्य अपडेटहरू प्राप्त गर्न सक्षम हुन चाहन्छन्, हामीले यो लेख तयार गरेका छौं। यसमा हामी यस अवस्थाबाट बाहिर निस्कने सम्भावित विकल्पहरू विचार गर्नेछौं।

लेख अधिक समीक्षा हो। यसले वितरणहरूको तुलना र तिनीहरूको विस्तृत विश्लेषण समावेश गर्दैन, र तिनीहरूलाई स्थापना र कन्फिगर गर्ने कुनै व्यञ्जनहरू हुनेछैन। के हुनेछ? हामी छोटकरीमा एरेनाडाटा हडूप जस्ता वितरणको बारेमा कुरा गर्नेछौं, जुन यसको उपलब्धताको कारणले हाम्रो ध्यानको हकदार छ, जुन आज धेरै दुर्लभ छ। र त्यसपछि हामी भेनिला हडूपको बारेमा कुरा गर्नेछौं, मुख्यतया यसलाई कसरी Apache Bigtop प्रयोग गरेर "पकाउन" सकिन्छ भन्ने बारे। तयार हुनुहुन्छ? त्यसपछि बिरालोमा स्वागत छ।

Arenadata Hadoop

यो पूर्णतया नयाँ र, अहिलेसम्म, घरेलु विकासको थोरै ज्ञात वितरण किट हो। दुर्भाग्यवश, हाल Habré मा त्यहाँ मात्र छ यो लेख.

अधिक जानकारी आधिकारिक मा पाउन सकिन्छ साइट परियोजना। वितरणको नवीनतम संस्करण संस्करण 3.1.2 को लागि Hadoop 3, र संस्करण 2.8.5 को लागि 2 मा आधारित छ।

रोडम्याप बारे जानकारी पाउन सकिन्छ यहाँ.

एरेनाडाटा क्लस्टर प्रबन्धक इन्टरफेस

Arenadata को मुख्य उत्पादन हो एरेनाडाटा क्लस्टर प्रबन्धक (ADCM), जुन विभिन्न कम्पनी सफ्टवेयर समाधानहरू स्थापना, कन्फिगर र निगरानी गर्न प्रयोग गरिन्छ। ADCM नि:शुल्क वितरण गरिन्छ, र यसको कार्यक्षमता बन्डलहरू थपेर विस्तार गरिएको छ, जुन उत्तरदायी-प्लेबुकहरूको सेट हो। बन्डलहरू दुई प्रकारमा विभाजित छन्: उद्यम र समुदाय। पछिल्लो एरेनाडाटा वेबसाइटबाट नि: शुल्क डाउनलोडको लागि उपलब्ध छन्। तपाईंको आफ्नै बन्डल विकास गर्न र ADCM मा जडान गर्न पनि सम्भव छ।

Hadoop 3 को तैनाती र व्यवस्थापनको लागि, बन्डलको सामुदायिक संस्करण ADCM सँग संयोजनमा प्रस्ताव गरिएको छ, तर Hadoop 2 को लागि त्यहाँ मात्र छ। अपाचे अम्बारी वैकल्पिक रूपमा। प्याकेजहरूसँग भण्डारहरूको लागि, तिनीहरू सार्वजनिक पहुँचको लागि खुला छन्, तिनीहरू क्लस्टरका सबै घटकहरूको लागि सामान्य तरिकामा डाउनलोड र स्थापना गर्न सकिन्छ। समग्रमा, वितरण धेरै रोचक देखिन्छ। म पक्का छु कि क्लाउडेरा प्रबन्धक र अम्बारी जस्ता समाधानहरूमा अभ्यस्त हुनेहरू हुनेछन्, र जसले ADCM आफैलाई मन पराउँछन्। केहि को लागी, यो पनि एक ठूलो प्लस हुनेछ कि वितरण सफ्टवेयर दर्ता मा समावेश आयात प्रतिस्थापनको लागि।

यदि हामी हानिहरूको बारेमा कुरा गर्छौं भने, तिनीहरू अन्य सबै Hadoop वितरणको लागि जस्तै हुनेछन्। अर्थात्:

• तथाकथित "विक्रेता लक-इन"। Cloudera र Hortonworks को उदाहरणहरू प्रयोग गरेर, हामीले पहिले नै महसुस गरिसकेका छौं कि कम्पनी नीति परिवर्तन गर्ने जोखिम सधैं रहन्छ।
• Apache अपस्ट्रीम पछि महत्त्वपूर्ण ढिलाइ।

वेनिला हडूप

तपाईलाई थाहा छ, Hadoop एक मोनोलिथिक उत्पादन होइन, तर, वास्तवमा, यसको वितरित फाइल प्रणाली HDFS वरपर सेवाहरूको सम्पूर्ण आकाशगंगा। थोरै मानिसहरूसँग एक फाइल क्लस्टर पर्याप्त हुनेछ। कसैलाई Hive चाहिन्छ, अरूलाई Presto, र त्यसपछि त्यहाँ HBase र Phoenix छन्; अर्केस्ट्रेसन र डेटा लोडिङका लागि, Oozie, Sqoop र Flume कहिलेकाहीं फेला पर्छन्। र यदि सुरक्षाको प्रश्न उठ्छ भने, रेन्जरसँग संयोजनमा कर्बेरोस तुरुन्तै दिमागमा आउँछ।

Hadoop कम्पोनेन्टहरूको बाइनरी संस्करणहरू प्रत्येक इकोसिस्टम परियोजनाहरूको वेबसाइटमा टार्बलको रूपमा उपलब्ध छन्। तपाइँ तिनीहरूलाई डाउनलोड गर्न सक्नुहुन्छ र स्थापना सुरु गर्न सक्नुहुन्छ, तर एउटा सर्तको साथ: "कच्चा" बाइनरीहरूबाट प्याकेजहरू स्वतन्त्र रूपमा संयोजन गर्नुको साथै, जुन तपाइँ सम्भवतः गर्न चाहानुहुन्छ, तपाइँसँग प्रत्येकसँग कम्पोनेन्टहरूको डाउनलोड गरिएका संस्करणहरूको अनुकूलतामा कुनै विश्वास हुनेछैन। अन्य। रुचाइएको विकल्प Apache Bigtop प्रयोग गरेर निर्माण गर्न हो। Bigtop ले तपाईंलाई Apache maven भण्डारहरूबाट निर्माण गर्न, परीक्षणहरू चलाउन र प्याकेजहरू निर्माण गर्न अनुमति दिनेछ। तर, हाम्रो लागि के धेरै महत्त्वपूर्ण छ, Bigtop ले कम्पोनेन्टहरूको ती संस्करणहरू भेला गर्नेछ जुन एकअर्कासँग उपयुक्त हुनेछ। हामी तल थप विवरणमा यसको बारेमा कुरा गर्नेछौं।

Apache Bigtop

Apache Bigtop निर्माण, प्याकेजिङ्ग र धेरै को परीक्षण को लागी एक उपकरण हो
खुला स्रोत परियोजनाहरू, जस्तै Hadoop र Greenplum। Bigtop सँग प्रशस्त छ
रिलीज गर्दछ। लेखन को समयमा, नवीनतम स्थिर रिलीज संस्करण 1.4 थियो,
र मास्टर मा 1.5 थियो। विमोचनका विभिन्न संस्करणहरूले विभिन्न संस्करणहरू प्रयोग गर्छन्
अवयवहरू। उदाहरण को लागी, 1.4 Hadoop कोर कम्पोनेन्ट को लागी संस्करण 2.8.5 छ, र मास्टर मा
2.10.0। समर्थित घटकहरूको संरचना पनि परिवर्तन हुँदैछ। केहि पुरानो र
अपरिवर्तनीय टाढा जान्छ, र यसको स्थानमा केहि नयाँ आउँछ, अधिक मागमा, र
यो अपाचे परिवारबाटै केहि आवश्यक छैन।

यसको अतिरिक्त, Bigtop धेरै छ काँटा.

जब हामीले Bigtop सँग परिचित हुन थाल्यौं, हामी सबैभन्दा पहिले यसको मामूली, अन्य Apache परियोजनाहरू, व्यापकता र लोकप्रियता, साथै एक धेरै सानो समुदायको तुलनामा छक्क पर्यौं। यसले यसबाट पछ्याउँछ कि त्यहाँ उत्पादनमा न्यूनतम जानकारी छ, र फोरम र मेलिङ सूचीहरूमा उत्पन्न भएका समस्याहरूको समाधान खोजी गर्दा केही पनि प्राप्त नहुन सक्छ। सुरुमा, यो उपकरण को विशेषताहरु को कारण वितरण को पूर्ण विधानसभा पूरा गर्न को लागी एक कठिन कार्य हो, तर हामी केहि पछि यो बारे कुरा गर्नेछौं।

एक टिजरको रूपमा, जो एक समय लिनक्स ब्रह्माण्डको Gentoo र LFS जस्ता परियोजनाहरूमा रुचि राख्थे तिनीहरूले यो चीजसँग काम गर्न र ती "महाकाव्य" समयहरू सम्झन सक्छन् जब हामी आफैं खोजिरहेका थियौं (वा लेख्न पनि)। नयाँ प्याचहरूसँग मोजिलालाई पुनर्निर्माण र नियमित रूपमा पुनर्निर्माण गर्दछ।

Bigtop को ठूलो फाइदा भनेको यो आधारित उपकरणहरूको खुलापन र बहुमुखी प्रतिभा हो। यो Gradle र Apache Maven मा आधारित छ। Google ले एन्ड्रोइड निर्माण गर्न प्रयोग गर्ने उपकरणको रूपमा Gradle राम्रोसँग परिचित छ। यो लचिलो छ, र, तिनीहरू भन्छन्, "लडाई-परीक्षण।" Maven Apache मा परियोजनाहरू निर्माण गर्नको लागि एक मानक उपकरण हो, र यसका धेरैजसो उत्पादनहरू Maven मार्फत जारी गरिएको हुनाले, यो यहाँ बिना पनि गर्न सकिँदैन। यो POM (प्रोजेक्ट वस्तु मोडेल) मा ध्यान दिन लायक छ - "आधारभूत" xml फाइल माभेनलाई तपाइँको परियोजना संग काम गर्न को लागी आवश्यक सबै कुरा वर्णन गर्दछ, जसको वरिपरि सबै काम बनाइएको छ। ठ्याक्कै मा
Maven को भागहरू र त्यहाँ केही अवरोधहरू छन् जुन पहिलो पटक Bigtop प्रयोगकर्ताहरूले सामान्यतया सामना गर्छन्।

अभ्यास गर्नुहोस्

त्यसोभए तपाईंले कहाँ सुरु गर्नुपर्छ? डाउनलोड पृष्ठमा जानुहोस् र संग्रहको रूपमा नवीनतम स्थिर संस्करण डाउनलोड गर्नुहोस्। तपाईले त्यहाँ Bigtop द्वारा एकत्रित बाइनरी कलाकृतिहरू पनि फेला पार्न सक्नुहुन्छ। वैसे, साझा प्याकेज प्रबन्धकहरू बीच, YUM र APT समर्थित छन्।

वैकल्पिक रूपमा, तपाइँ सिधै नवीनतम स्थिर रिलीज डाउनलोड गर्न सक्नुहुन्छ
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

"बिगटप" मा क्लोनिङ...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

नतिजा ./bigtop डाइरेक्टरी यस्तो देखिन्छ:

./bigtop-bigpetstore - डेमो अनुप्रयोगहरू, सिंथेटिक उदाहरणहरू
./bigtop-ci - CI उपकरण, जेनकिन्स
./bigtop-data-generators - डेटा उत्पादन, सिंथेटिक्स, धुवाँ परीक्षणको लागि, आदि।
./bigtop-deploy - तैनाती उपकरण
./bigtop-packages — कन्फिगहरू, स्क्रिप्टहरू, संयोजनका लागि प्याचहरू, उपकरणको मुख्य भाग
./bigtop-test-framework - परीक्षण फ्रेमवर्क
./bigtop-tests - परीक्षणहरू आफैं, लोड र धुवाँ
./bigtop_toolchain - सम्मेलनको लागि वातावरण, उपकरण काम गर्नको लागि वातावरण तयार गर्दै
./build - कार्य निर्देशिका निर्माण गर्नुहोस्
./dl - डाउनलोड स्रोतहरूको लागि निर्देशिका
./docker - डकर छविहरूमा निर्माण, परीक्षण
./gradle - gradle कन्फिगरेसन
./output - निर्देशिका जहाँ निर्माण कलाकृतिहरू जान्छन्
./provisioner - प्रावधान

यस चरणमा हाम्रो लागि सबैभन्दा रोचक कुरा मुख्य कन्फिगरेसन हो ./bigtop/bigtop.bom, जसमा हामी संस्करणहरूसँग सबै समर्थित घटकहरू देख्छौं। यो जहाँ हामी उत्पादनको फरक संस्करण निर्दिष्ट गर्न सक्छौं (यदि हामी अचानक यसलाई निर्माण गर्न प्रयास गर्न चाहन्छौं) वा निर्माण संस्करण (यदि, उदाहरणका लागि, हामीले महत्त्वपूर्ण प्याच थप्यौं)।

उपनिर्देशिका पनि ठूलो चासोको छ ./bigtop/bigtop-packages, जुन तिनीहरूसँग कम्पोनेन्टहरू र प्याकेजहरू जम्मा गर्ने प्रक्रियासँग प्रत्यक्ष रूपमा सम्बन्धित छ।

त्यसोभए, हामीले संग्रह डाउनलोड गर्यौं, यसलाई अनप्याक गर्यौं वा गिथबबाट क्लोन बनायौं, के हामी निर्माण सुरु गर्न सक्छौं?

होइन, पहिले वातावरण तयार गरौं।

वातावरण तयार गर्दै

र यहाँ हामीलाई सानो रिट्रीट चाहिन्छ। लगभग कुनै पनि कम वा कम जटिल उत्पादन निर्माण गर्न, तपाइँलाई एक निश्चित वातावरण चाहिन्छ - हाम्रो मामला मा, यो JDK, समान साझा पुस्तकालयहरू, हेडर फाइलहरू, इत्यादि, उपकरणहरू, उदाहरणका लागि, ant, ivy2 र अधिक। तपाईलाई Bigtop को लागी आवश्यक वातावरण प्राप्त गर्न को लागी एक विकल्प बिल्ड होस्ट मा आवश्यक कम्पोनेन्टहरु स्थापना गर्नु हो। म कालक्रममा गलत हुन सक्छु, तर यस्तो देखिन्छ कि संस्करण १.० सँग पूर्व-कन्फिगर गरिएको र पहुँचयोग्य डकर छविहरूमा निर्माण गर्ने विकल्प पनि थियो, जुन यहाँ फेला पार्न सकिन्छ।

वातावरण तयार गर्न को लागी, यसको लागि एक सहायक छ - कठपुतली।

तपाईले निम्न आदेशहरू प्रयोग गर्न सक्नुहुन्छ, रूट डाइरेक्टरीबाट चलाउनुहोस्
उपकरण, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

वा सीधा कठपुतली मार्फत:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

दुर्भाग्यवश, कठिनाइहरू यस चरणमा पहिले नै उत्पन्न हुन सक्छ। यहाँ सामान्य सल्लाह भनेको समर्थित वितरण प्रयोग गर्नु हो, निर्माण होस्टमा अप टु डेट वा डकर मार्ग प्रयास गर्नुहोस्।

विधानसभा

हामीले के सङ्कलन गर्न प्रयास गर्न सक्छौं? यस प्रश्नको जवाफ आदेश को आउटपुट द्वारा दिइनेछ

./gradlew tasks

प्याकेज कार्यहरू खण्डमा त्यहाँ धेरै उत्पादनहरू छन् जुन बिगटपको अन्तिम कलाकृतिहरू हुन्।
तिनीहरू प्रत्यय -rpm वा -pkg-ind (निर्माणको मामलामा) द्वारा पहिचान गर्न सकिन्छ
डकरमा)। हाम्रो मामला मा, सबै भन्दा रोचक Hadoop छ।

हाम्रो निर्माण सर्भरको वातावरणमा निर्माण गर्ने प्रयास गरौं:

./gradlew hadoop-rpm

Bigtop आफैंले एक विशिष्ट कम्पोनेन्टको लागि आवश्यक स्रोतहरू डाउनलोड गर्नेछ र विधानसभा सुरु गर्नेछ। तसर्थ, उपकरणको सञ्चालन Maven भण्डार र अन्य स्रोतहरूमा निर्भर छ, त्यो हो, यो इन्टरनेट पहुँच आवश्यक छ।

सञ्चालनको क्रममा, मानक आउटपुट उत्पन्न हुन्छ। कहिलेकाहीँ यो र त्रुटि सन्देशहरूले तपाईंलाई के गलत भयो भनेर बुझ्न मद्दत गर्न सक्छ। र कहिलेकाहीँ तपाईंले थप जानकारी प्राप्त गर्न आवश्यक छ। यस अवस्थामा यो तर्क थप्न लायक छ --info वा --debug, र पनि उपयोगी हुन सक्छ –stacktrace। मेलिङ सूचिहरूमा पछिल्लो पहुँचको लागि डाटा सेट उत्पन्न गर्ने एउटा सुविधाजनक तरिका हो, कुञ्जी --scan.

यसको मद्दतले, बिगटपले सबै जानकारी सङ्कलन गरी ग्रेडलमा राख्नेछ, त्यसपछि यसले लिङ्क प्रदान गर्नेछ,
जसलाई पछ्याएर, एक सक्षम व्यक्तिले सभा किन असफल भयो बुझ्न सक्षम हुनेछ।
कृपया सचेत रहनुहोस् कि यो विकल्पले तपाइँले नचाहेको जानकारी, जस्तै प्रयोगकर्ता नाम, नोड, वातावरण चर, इत्यादि प्रकट गर्न सक्छ, त्यसैले सावधान रहनुहोस्।

प्रायः त्रुटिहरू विधानसभाको लागि आवश्यक कुनै पनि घटकहरू प्राप्त गर्न असक्षमताको परिणाम हो। सामान्यतया, तपाइँ स्रोतहरूमा केहि ठीक गर्न प्याच सिर्जना गरेर समस्या समाधान गर्न सक्नुहुन्छ, उदाहरणका लागि, स्रोतहरूको मूल डाइरेक्टरीमा pom.xml मा ठेगानाहरू। यो सिर्जना गरी उपयुक्त डाइरेक्टरीमा राखेर गरिन्छ ./bigtop/bigtop-packages/src/common/oozie/ प्याच, उदाहरणका लागि, फारममा patch2-fix.diff।

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

सम्भवतः, यो लेख पढ्ने समयमा, तपाईंले माथिको समाधान आफैं गर्नुपर्दैन।

कुनै पनि प्याचहरू र एसेम्बली मेकानिजममा परिवर्तनहरू प्रस्तुत गर्दा, तपाईंले क्लिनअप आदेश प्रयोग गरेर असेंबलीलाई "रिसेट" गर्न आवश्यक पर्दछ:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

यो अपरेसनले यस कम्पोनेन्टको एसेम्बलीमा भएका सबै परिवर्तनहरू फिर्ता गर्नेछ, जस पछि विधानसभा पुन: प्रदर्शन गरिनेछ। यस पटक हामी परियोजनालाई डकर छविमा निर्माण गर्ने प्रयास गर्नेछौं:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

निर्माण CentOS अन्तर्गत प्रदर्शन गरिएको थियो, तर Ubuntu अन्तर्गत पनि गर्न सकिन्छ:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

विभिन्न लिनक्स वितरणका लागि प्याकेजहरू निर्माण गर्नुको अतिरिक्त, उपकरणले कम्पाइल गरिएका प्याकेजहरूसँग भण्डार सिर्जना गर्न सक्छ, उदाहरणका लागि:

./gradlew yum

तपाईं धुवाँ परीक्षण र डकरमा तैनाती बारे पनि सम्झन सक्नुहुन्छ।

तीन नोडहरूको क्लस्टर सिर्जना गर्नुहोस्:

./gradlew -Pnum_instances=3 docker-provisioner

तीन नोडहरूको क्लस्टरमा धुम्रपान परीक्षणहरू चलाउनुहोस्:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

क्लस्टर मेटाउनुहोस्:

./gradlew docker-provisioner-destroy

डकर कन्टेनरहरू भित्र जडान गर्न आदेशहरू प्राप्त गर्नुहोस्:

./gradlew docker-provisioner-ssh

स्थिति देखाउनुहोस्:

./gradlew docker-provisioner-status

तपाईंले कागजातमा डिप्लोइमेन्ट कार्यहरूको बारेमा थप पढ्न सक्नुहुन्छ।

यदि हामी परीक्षणहरूको बारेमा कुरा गर्छौं भने, त्यहाँ धेरै संख्यामा तिनीहरू छन्, मुख्य रूपमा धुम्रपान र एकीकरण। तिनीहरूको विश्लेषण यस लेखको दायरा बाहिर छ। मलाई के भन्न दिनुहोस् कि वितरण किट भेला गर्नु त्यति गाह्रो काम छैन जति यो पहिलो नजरमा देखिन्छ। हामीले हाम्रो उत्पादनमा प्रयोग गर्ने सबै कम्पोनेन्टहरूमा परीक्षणहरू भेला गर्न र पास गर्न व्यवस्थित गर्यौं, र हामीलाई तिनीहरूलाई प्रयोग गर्न र परीक्षण वातावरणमा आधारभूत कार्यहरू गर्नमा कुनै समस्या थिएन।

Bigtop मा अवस्थित कम्पोनेन्टहरू बाहेक, यो अरू केहि पनि थप्न सम्भव छ, तपाईंको आफ्नै सफ्टवेयर विकास पनि। यो सबै पूर्ण रूपमा स्वचालित छ र CI/CD अवधारणामा फिट हुन्छ।

निष्कर्षमा

जाहिर छ, यसरी कम्पाइल गरिएको वितरण तुरुन्तै उत्पादनमा पठाइनु हुँदैन। तपाईंले बुझ्नु आवश्यक छ कि यदि तपाईंको वितरण निर्माण र समर्थन गर्न वास्तविक आवश्यकता छ भने, तपाईंले यसमा पैसा र समय लगानी गर्न आवश्यक छ।

यद्यपि, सही दृष्टिकोण र एक पेशेवर टोलीको संयोजनमा, यो व्यावसायिक समाधान बिना गर्न सम्भव छ।

यो नोट गर्न महत्त्वपूर्ण छ कि बिगटप परियोजना आफैं विकासको आवश्यकतामा छ र आज सक्रिय रूपमा विकसित भएको देखिँदैन। यसमा Hadoop 3 देखिने सम्भावना पनि अस्पष्ट छ, यदि तपाइँलाई Hadoop 3 निर्माण गर्न आवश्यक छ भने, तपाइँ हेर्न सक्नुहुन्छ काँटा एरेनाडाटाबाट, जसमा, मानकको अतिरिक्त
त्यहाँ धेरै अतिरिक्त कम्पोनेन्टहरू छन् (रेन्जर, नक्स, निफाई)।

Rostelecom को लागि, हाम्रो लागि Bigtop आज विचार गरिँदैछ विकल्प मध्ये एक हो। हामीले छनौट गर्ने कि नगर्ने, समयले बताउनेछ।

परिशिष्ट

विधानसभामा नयाँ कम्पोनेन्ट समावेश गर्न, तपाईंले bigtop.bom र ./bigtop-packages मा यसको विवरण थप्नु पर्छ। तपाईं अवस्थित कम्पोनेन्टहरूसँग समानता गरेर यो गर्न प्रयास गर्न सक्नुहुन्छ। यसलाई बाहिर निकाल्ने प्रयास गर्नुहोस्। यो पहिलो नजर मा देखिन्छ जस्तो गाह्रो छैन।

तिम्रो के बिचार छ? हामी टिप्पणीहरूमा तपाईंको राय देख्न पाउँदा खुसी हुनेछौं र तपाईंको ध्यानको लागि धन्यवाद!

लेख Rostelecom डाटा व्यवस्थापन टोली द्वारा तयार गरिएको थियो

स्रोत: www.habr.com