Apache Bigtop आणि आज Hadoop वितरण निवडत आहे

हे कदाचित गुपित नाही की गेल्या वर्षी अपाचे हडूपसाठी मोठ्या बदलांचे वर्ष होते. गेल्या वर्षी, क्लाउडेरा आणि हॉर्टनवर्क्सचे विलीनीकरण (अत्यावश्यकपणे, नंतरचे संपादन), आणि मॅपर, गंभीर आर्थिक समस्यांमुळे, हेवलेट पॅकार्डला विकले गेले. आणि जर काही वर्षांपूर्वी, ऑन-प्रिमाइसेस इंस्टॉलेशन्सच्या बाबतीत, क्लाउडेरा आणि हॉर्टनवर्क्स दरम्यान निवड करावी लागली, तर आज, आमच्याकडे ही निवड नाही. आणखी एक आश्चर्य म्हणजे क्लाउडेराने या वर्षाच्या फेब्रुवारीमध्ये जाहीर केले की ते सार्वजनिक भांडारात त्याच्या वितरणाच्या बायनरी असेंब्ली सोडणे थांबवेल आणि ते आता केवळ सशुल्क सदस्यताद्वारे उपलब्ध आहेत. अर्थात, 2019 च्या समाप्तीपूर्वी रिलीज झालेल्या CDH आणि HDP च्या नवीनतम आवृत्त्या डाउनलोड करणे अद्याप शक्य आहे आणि त्यांना एक ते दोन वर्षांसाठी समर्थन अपेक्षित आहे. पण पुढे काय करायचे? ज्यांनी पूर्वी सबस्क्रिप्शनसाठी पैसे दिले त्यांच्यासाठी काहीही बदललेले नाही. आणि ज्यांना वितरणाच्या सशुल्क आवृत्तीवर स्विच करू इच्छित नाही, परंतु तरीही क्लस्टर घटकांच्या नवीनतम आवृत्त्या, तसेच पॅच आणि इतर अद्यतने प्राप्त करण्यास सक्षम होऊ इच्छित आहेत, आम्ही हा लेख तयार केला आहे. त्यामध्ये आम्ही या परिस्थितीतून बाहेर पडण्यासाठी संभाव्य पर्यायांचा विचार करू.

लेख अधिक पुनरावलोकनाचा आहे. यात वितरणांची तुलना आणि त्यांचे तपशीलवार विश्लेषण असणार नाही आणि ते स्थापित आणि कॉन्फिगर करण्यासाठी कोणत्याही पाककृती नसतील. काय होईल? आम्ही एरेनाडाटा हडूप सारख्या वितरणाबद्दल थोडक्यात बोलू, जे त्याच्या उपलब्धतेमुळे योग्यरित्या आपले लक्ष देण्यास पात्र आहे, जे आज अत्यंत दुर्मिळ आहे. आणि मग आम्ही व्हॅनिला हडूप बद्दल बोलू, मुख्यतः ते अपाचे बिगटॉप वापरून "शिजवले" कसे जाऊ शकते याबद्दल. तयार? मग मांजरीचे स्वागत आहे.

अरेनाडाटा हडूप

देशांतर्गत विकासाची ही पूर्णपणे नवीन आणि अद्यापपर्यंत अल्प-ज्ञात वितरण किट आहे. दुर्दैवाने, Habré वर या क्षणी फक्त आहे हा लेख.

अधिक माहिती अधिकाऱ्यावर मिळू शकते साइट प्रकल्प वितरणाच्या नवीनतम आवृत्त्या आवृत्ती 3.1.2 साठी Hadoop 3 आणि आवृत्ती 2.8.5 साठी 2 वर आधारित आहेत.

रोडमॅपची माहिती मिळू शकते येथे.

अरेनाडाटा क्लस्टर मॅनेजर इंटरफेस

Arenadata चे मुख्य उत्पादन आहे अरेनाडाटा क्लस्टर मॅनेजर (ADCM), ज्याचा वापर विविध कंपनी सॉफ्टवेअर सोल्यूशन्स स्थापित, कॉन्फिगर आणि मॉनिटर करण्यासाठी केला जातो. ADCM विनामूल्य वितरीत केले जाते, आणि त्याची कार्यक्षमता बंडल जोडून वाढविली जाते, जे उत्तरदायी-प्लेबुकचा संच आहेत. बंडल दोन प्रकारांमध्ये विभागलेले आहेत: एंटरप्राइझ आणि समुदाय. नंतरचे Arenadata वेबसाइटवरून विनामूल्य डाउनलोडसाठी उपलब्ध आहेत. तुमचे स्वतःचे बंडल विकसित करणे आणि ते ADCM शी जोडणे देखील शक्य आहे.

Hadoop 3 च्या तैनाती आणि व्यवस्थापनासाठी, बंडलची एक समुदाय आवृत्ती ADCM च्या संयोगाने ऑफर केली जाते, परंतु Hadoop 2 साठी फक्त आहे अपाचे अंबरी एक पर्याय म्हणून. पॅकेजसह रेपॉजिटरीजसाठी, ते सार्वजनिक प्रवेशासाठी खुले आहेत, ते क्लस्टरच्या सर्व घटकांसाठी नेहमीच्या पद्धतीने डाउनलोड आणि स्थापित केले जाऊ शकतात. एकूणच, वितरण खूप मनोरंजक दिसते. मला खात्री आहे की क्लाउडेरा मॅनेजर आणि अंबारी सारख्या उपायांची सवय असणारे लोक असतील आणि ज्यांना स्वतः ADCM आवडेल. काहींसाठी, हे वितरण देखील एक प्रचंड प्लस असेल सॉफ्टवेअर रजिस्टरमध्ये समाविष्ट आहे आयात प्रतिस्थापनासाठी.

जर आपण तोट्यांबद्दल बोललो तर ते इतर सर्व हडूप वितरणांसारखेच असतील. म्हणजे:

• तथाकथित “विक्रेता लॉक-इन”. क्लाउडेरा आणि हॉर्टनवर्क्सची उदाहरणे वापरून, आम्ही आधीच लक्षात घेतले आहे की कंपनीचे धोरण बदलण्याचा धोका नेहमीच असतो.
• Apache अपस्ट्रीम मागे लक्षणीय मागे.

व्हॅनिला हडूप

तुम्हाला माहिती आहेच की, हडूप हे मोनोलिथिक उत्पादन नाही, परंतु खरेतर, त्याच्या वितरित फाइल सिस्टम एचडीएफएसभोवती सेवांची संपूर्ण आकाशगंगा आहे. काही लोकांकडे एक फाइल क्लस्टर पुरेसा असेल. काहींना Hive, इतर Presto, आणि नंतर HBase आणि फिनिक्सची गरज आहे; ऑर्केस्ट्रेशन आणि डेटा लोडिंगसाठी, Oozie, Sqoop आणि Flume कधीकधी आढळतात. आणि जर सुरक्षेचा प्रश्न उद्भवला तर, रेंजरच्या संयोगाने कर्बेरोस लगेच लक्षात येईल.

Hadoop घटकांच्या बायनरी आवृत्त्या प्रत्येक इकोसिस्टम प्रकल्पाच्या वेबसाइटवर टारबॉलच्या स्वरूपात उपलब्ध आहेत. आपण ते डाउनलोड करू शकता आणि स्थापना सुरू करू शकता, परंतु एका अटीसह: स्वतंत्रपणे "कच्च्या" बायनरीमधून पॅकेजेस एकत्रित करण्याव्यतिरिक्त, जे आपण बहुधा करू इच्छिता, प्रत्येक घटकांसह डाउनलोड केलेल्या आवृत्त्यांच्या सुसंगततेवर आपल्याला विश्वास नसेल. इतर Apache Bigtop वापरून तयार करणे हा प्राधान्याचा पर्याय आहे. Bigtop तुम्हाला Apache maven repositories मधून तयार करण्यास, चाचण्या चालविण्यास आणि पॅकेजेस तयार करण्यास अनुमती देईल. परंतु, आमच्यासाठी जे महत्त्वाचे आहे, बिगटॉप घटकांच्या त्या आवृत्त्या एकत्र करेल जे एकमेकांशी सुसंगत असतील. आम्ही खाली याबद्दल अधिक तपशीलवार चर्चा करू.

अपाचे बिगटॉप

Apache Bigtop हे अनेकांचे बिल्डिंग, पॅकेजिंग आणि चाचणी करण्याचे साधन आहे
ओपन सोर्स प्रकल्प, जसे की हडूप आणि ग्रीनप्लम. बिगटॉपमध्ये भरपूर आहे
प्रकाशन लेखनाच्या वेळी, नवीनतम स्थिर प्रकाशन आवृत्ती 1.4 होती,
आणि मास्टर मध्ये 1.5 होते. रिलीझच्या वेगवेगळ्या आवृत्त्या वेगवेगळ्या आवृत्त्या वापरतात
घटक उदाहरणार्थ, 1.4 हडूप कोर घटकांसाठी आवृत्ती 2.8.5 आणि मास्टरमध्ये आहे
2.10.0. समर्थित घटकांची रचना देखील बदलत आहे. काहीतरी कालबाह्य आणि
नूतनीकरणीय निघून जाते, आणि त्याच्या जागी काहीतरी नवीन येते, अधिक मागणी असते आणि
हे अपाचे कुटुंबातीलच काहीतरी असेल असे नाही.

याव्यतिरिक्त, Bigtop अनेक आहेत काटे.

जेव्हा आम्ही बिगटॉपशी परिचित होऊ लागलो, तेव्हा आम्हाला सर्वात आधी आश्चर्य वाटले, इतर अपाचे प्रकल्प, प्रसार आणि लोकप्रियता, तसेच एक अतिशय लहान समुदायाच्या तुलनेत त्याच्या विनम्रतेने. यावरून असे दिसून येते की उत्पादनावर कमीतकमी माहिती आहे आणि फोरम आणि मेलिंग लिस्टवर उद्भवलेल्या समस्यांचे निराकरण शोधून काहीही मिळणार नाही. सुरुवातीला, साधनाच्या वैशिष्ट्यांमुळे वितरणाची संपूर्ण असेंब्ली पूर्ण करणे आमच्यासाठी कठीण काम असल्याचे दिसून आले, परंतु आम्ही याबद्दल थोड्या वेळाने बोलू.

एक टीझर म्हणून, ज्यांना एकेकाळी लिनक्स विश्वाच्या Gentoo आणि LFS सारख्या प्रकल्पांमध्ये स्वारस्य होते त्यांना या गोष्टीसह काम करणे खूप आनंददायी वाटू शकते आणि त्या "महाकाव्य" वेळा लक्षात ठेवू शकतात जेव्हा आपण स्वतः शोधत होतो (किंवा लिहितो). नवीन पॅचेससह मोझीला ईबिल्ड आणि नियमितपणे पुनर्बांधणी करते.

बिगटॉपचा मोठा फायदा म्हणजे तो ज्या साधनांवर आधारित आहे त्याचा मोकळेपणा आणि बहुमुखीपणा. हे Gradle आणि Apache Maven वर आधारित आहे. Google Android तयार करण्यासाठी वापरत असलेले साधन म्हणून Gradle हे खूप प्रसिद्ध आहे. ते लवचिक आहे, आणि ते म्हणतात त्याप्रमाणे, "लढाई-चाचणी" Maven हे Apache मध्येच प्रकल्प बांधण्यासाठी एक मानक साधन आहे आणि त्याची बहुतांश उत्पादने Maven द्वारे रिलीझ केली जात असल्याने, ते येथेही त्याशिवाय करता येणार नाही. पीओएम (प्रोजेक्ट ऑब्जेक्ट मॉडेल) कडे लक्ष देणे योग्य आहे - "मूलभूत" xml फाईल जी मावेनला आपल्या प्रकल्पासह कार्य करण्यासाठी आवश्यक असलेल्या सर्व गोष्टींचे वर्णन करते, ज्याभोवती सर्व काम तयार केले आहे. नक्की वाजता
Maven चे काही भाग आणि काही अडथळे आहेत जे प्रथमच बिगटॉप वापरकर्त्यांना सहसा येतात.

सराव

तर तुम्ही कुठून सुरुवात करावी? डाउनलोड पृष्ठावर जा आणि संग्रहण म्हणून नवीनतम स्थिर आवृत्ती डाउनलोड करा. तुम्ही तेथे Bigtop द्वारे संकलित केलेल्या बायनरी कलाकृती देखील शोधू शकता. तसे, सामान्य पॅकेज व्यवस्थापकांमध्ये, YUM आणि APT समर्थित आहेत.

वैकल्पिकरित्या, तुम्ही थेट येथून नवीनतम स्थिर रिलीझ डाउनलोड करू शकता
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

“बिगटॉप” मध्ये क्लोनिंग…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

परिणामी ./bigtop निर्देशिका असे काहीतरी दिसते:

./bigtop-bigpetstore — डेमो ॲप्लिकेशन्स, सिंथेटिक उदाहरणे
./bigtop-ci - सीआय टूल्स, जेनकिन्स
./bigtop-data-generators — डेटा निर्मिती, सिंथेटिक्स, धुराच्या चाचण्यांसाठी इ.
./bigtop-deploy - उपयोजन साधने
./bigtop-packages — कॉन्फिग, स्क्रिप्ट, असेंब्लीसाठी पॅच, टूलचा मुख्य भाग
./bigtop-test-framework - चाचणी फ्रेमवर्क
./bigtop-tests - चाचण्या स्वतः, लोड आणि धूर
./bigtop_toolchain - असेंब्लीसाठी वातावरण, साधन कार्य करण्यासाठी वातावरण तयार करणे
./build - कार्यरत निर्देशिका तयार करा
./dl — डाउनलोड केलेल्या स्त्रोतांसाठी निर्देशिका
./docker - डॉकर प्रतिमा तयार करणे, चाचणी करणे
./gradle - ग्रेडल कॉन्फिगरेशन
./output - निर्देशिका जिथे बिल्ड आर्टिफॅक्ट्स जातात
./provisioner - तरतूद

या टप्प्यावर आमच्यासाठी सर्वात मनोरंजक गोष्ट म्हणजे मुख्य कॉन्फिगरेशन ./bigtop/bigtop.bom, ज्यामध्ये आम्ही आवृत्त्यांसह सर्व समर्थित घटक पाहतो. येथेच आम्ही उत्पादनाची वेगळी आवृत्ती (जर आम्हाला अचानक ती तयार करण्याचा प्रयत्न करायचा असेल तर) किंवा बिल्ड आवृत्ती (उदाहरणार्थ, आम्ही एक महत्त्वपूर्ण पॅच जोडल्यास) निर्दिष्ट करू शकतो.

उपडिरेक्टरी देखील खूप मनोरंजक आहे ./bigtop/bigtop-packages, जे त्यांच्यासह घटक आणि पॅकेजेस एकत्रित करण्याच्या प्रक्रियेशी थेट संबंधित आहे.

तर, आम्ही संग्रहण डाउनलोड केले, ते अनपॅक केले किंवा गिथबमधून क्लोन बनवले, आम्ही बांधकाम सुरू करू शकतो?

नाही, आधी वातावरण तयार करूया.

वातावरण तयार करणे

आणि येथे आपल्याला एक लहान माघार आवश्यक आहे. जवळजवळ कोणतेही अधिक किंवा कमी जटिल उत्पादन तयार करण्यासाठी, आपल्याला विशिष्ट वातावरणाची आवश्यकता आहे - आमच्या बाबतीत, हे जेडीके आहे, समान सामायिक लायब्ररी, शीर्षलेख फायली इ., साधने, उदाहरणार्थ, मुंगी, आयव्ही 2 आणि बरेच काही. बिगटॉपसाठी आवश्यक असलेले वातावरण मिळविण्यासाठी पर्यायांपैकी एक म्हणजे बिल्ड होस्टवर आवश्यक घटक स्थापित करणे. कालक्रमानुसार मी चुकीचे असू शकते, परंतु असे दिसते की आवृत्ती 1.0 सह पूर्व-कॉन्फिगर केलेल्या आणि प्रवेशयोग्य डॉकर प्रतिमा तयार करण्याचा पर्याय देखील होता, जो येथे आढळू शकतो.

वातावरण तयार करण्यासाठी, यासाठी एक सहाय्यक आहे - कठपुतळी.

तुम्ही खालील कमांड वापरू शकता, रूट डिरेक्ट्रीमधून चालवा
साधन, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

किंवा थेट कठपुतळीद्वारे:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

दुर्दैवाने, या टप्प्यावर आधीच अडचणी येऊ शकतात. येथे सामान्य सल्ला म्हणजे समर्थित वितरण वापरणे, बिल्ड होस्टवर अद्ययावत करणे किंवा डॉकर मार्ग वापरणे.

असेंब्ली

आम्ही काय गोळा करण्याचा प्रयत्न करू शकतो? या प्रश्नाचे उत्तर कमांडच्या आउटपुटद्वारे दिले जाईल

./gradlew tasks

पॅकेज टास्क विभागात अनेक उत्पादने आहेत जी बिगटॉपची अंतिम कलाकृती आहेत.
ते -rpm किंवा -pkg-ind (इमारतीच्या बाबतीत) प्रत्यय द्वारे ओळखले जाऊ शकतात
डॉकरमध्ये). आमच्या बाबतीत, सर्वात मनोरंजक Hadoop आहे.

चला आमच्या बिल्ड सर्व्हरच्या वातावरणात तयार करण्याचा प्रयत्न करूया:

./gradlew hadoop-rpm

बिगटॉप स्वतः विशिष्ट घटकासाठी आवश्यक स्रोत डाउनलोड करेल आणि असेंब्ली सुरू करेल. अशा प्रकारे, टूलचे ऑपरेशन मॅवेन रेपॉजिटरीज आणि इतर स्त्रोतांवर अवलंबून आहे, म्हणजेच, त्याला इंटरनेट प्रवेश आवश्यक आहे.

ऑपरेशन दरम्यान, मानक आउटपुट व्युत्पन्न होते. काहीवेळा ते आणि त्रुटी संदेश तुम्हाला काय चूक झाली हे समजण्यात मदत करू शकतात. आणि काहीवेळा आपल्याला अतिरिक्त माहिती प्राप्त करणे आवश्यक आहे. या प्रकरणात युक्तिवाद जोडण्यासारखे आहे --info किंवा --debug, आणि उपयुक्त देखील असू शकते –stacktrace. मेलिंग लिस्टमध्ये त्यानंतरच्या प्रवेशासाठी डेटा सेट तयार करण्याचा एक सोयीस्कर मार्ग आहे, की --scan.

त्याच्या मदतीने, बिगटॉप सर्व माहिती गोळा करेल आणि ती ग्रेडलमध्ये ठेवेल, त्यानंतर ती लिंक देईल,
ज्याचे अनुसरण करून, एक सक्षम व्यक्ती विधानसभा का अयशस्वी झाली हे समजण्यास सक्षम असेल.
कृपया लक्षात ठेवा की हा पर्याय तुम्हाला नको असलेली माहिती उघड करू शकतो, जसे की वापरकर्तानावे, नोड्स, पर्यावरणीय चल इ., त्यामुळे सावधगिरी बाळगा.

असेंबलीसाठी आवश्यक असलेले कोणतेही घटक मिळविण्याच्या अक्षमतेचा परिणाम बहुतेकदा त्रुटी असतात. सामान्यतः, आपण स्त्रोतांमध्ये काहीतरी निराकरण करण्यासाठी पॅच तयार करून समस्येचे निराकरण करू शकता, उदाहरणार्थ, स्त्रोतांच्या मूळ निर्देशिकेतील pom.xml मधील पत्ते. हे योग्य निर्देशिकेत तयार करून आणि ठेवून केले जाते ./bigtop/bigtop-packages/src/common/oozie/ पॅच, उदाहरणार्थ, फॉर्ममध्ये patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

बहुधा, हा लेख वाचताना, तुम्हाला वरील गोष्टी स्वतःच दुरुस्त कराव्या लागणार नाहीत.

असेंब्ली मेकॅनिझममध्ये कोणतेही पॅच आणि बदल सादर करताना, तुम्हाला क्लीनअप कमांड वापरून असेंब्ली “रीसेट” करावी लागेल:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

हे ऑपरेशन या घटकाच्या असेंब्लीमधील सर्व बदल परत करेल, त्यानंतर असेंब्ली पुन्हा केली जाईल. यावेळी आम्ही प्रकल्प डॉकर प्रतिमेमध्ये तयार करण्याचा प्रयत्न करू:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

बिल्ड सेंटोस अंतर्गत केले गेले होते, परंतु उबंटू अंतर्गत देखील केले जाऊ शकते:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

विविध Linux वितरणासाठी पॅकेजेस तयार करण्याव्यतिरिक्त, टूल संकलित पॅकेजेससह एक भांडार तयार करू शकते, उदाहरणार्थ:

./gradlew yum

तुम्ही डॉकरमध्ये धुराच्या चाचण्या आणि तैनातीबद्दल देखील लक्षात ठेवू शकता.

तीन नोड्सचा क्लस्टर तयार करा:

./gradlew -Pnum_instances=3 docker-provisioner

तीन नोड्सच्या क्लस्टरमध्ये धूर चाचण्या चालवा:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

क्लस्टर हटवा:

./gradlew docker-provisioner-destroy

डॉकर कंटेनरच्या आत कनेक्ट करण्यासाठी कमांड मिळवा:

./gradlew docker-provisioner-ssh

स्थिती दर्शवा:

./gradlew docker-provisioner-status

तुम्ही दस्तऐवजीकरणामध्ये उपयोजन कार्यांबद्दल अधिक वाचू शकता.

जर आपण चाचण्यांबद्दल बोललो तर, त्यापैकी बरीच मोठी संख्या आहे, प्रामुख्याने धूर आणि एकत्रीकरण. त्यांचे विश्लेषण या लेखाच्या आवाक्याबाहेरचे आहे. मी फक्त असे म्हणू इच्छितो की वितरण किट एकत्र करणे हे पहिल्या दृष्टीक्षेपात दिसते तितके अवघड काम नाही. आम्ही आमच्या उत्पादनात वापरत असलेल्या सर्व घटकांच्या चाचण्या एकत्र करण्यात आणि पास करण्यात आम्हाला व्यवस्थापित केले आणि आम्हाला ते तैनात करण्यात आणि चाचणी वातावरणात मूलभूत ऑपरेशन्स करण्यात कोणतीही अडचण आली नाही.

बिगटॉपमधील विद्यमान घटकांव्यतिरिक्त, इतर काहीही जोडणे शक्य आहे, अगदी तुमचे स्वतःचे सॉफ्टवेअर डेव्हलपमेंट. हे सर्व पूर्णपणे स्वयंचलित आहे आणि CI/CD संकल्पनेत बसते.

निष्कर्ष

साहजिकच, अशा प्रकारे संकलित केलेले वितरण त्वरित उत्पादनासाठी पाठवले जाऊ नये. तुम्हाला हे समजून घेणे आवश्यक आहे की जर तुमचे वितरण तयार करण्याची आणि समर्थन देण्याची खरी गरज असेल, तर तुम्हाला यामध्ये पैसा आणि वेळ गुंतवणे आवश्यक आहे.

तथापि, योग्य दृष्टीकोन आणि व्यावसायिक संघाच्या संयोजनात, व्यावसायिक उपायांशिवाय हे करणे शक्य आहे.

बिगटॉप प्रकल्पालाच विकासाची गरज आहे आणि आज सक्रियपणे विकसित होताना दिसत नाही हे लक्षात घेणे महत्त्वाचे आहे. त्यात हडूप 3 दिसण्याची शक्यता देखील अस्पष्ट आहे, जर तुम्हाला हडूप 3 तयार करण्याची खरी गरज असेल तर तुम्ही ते पाहू शकता काटा Arenadata कडून, ज्यामध्ये, मानक व्यतिरिक्त
तेथे अनेक अतिरिक्त घटक आहेत (रेंजर, नॉक्स, निफाय).

Rostelecom साठी, आमच्यासाठी बिगटॉप हा आज विचारात घेतलेल्या पर्यायांपैकी एक आहे. आम्ही ते निवडू की नाही, वेळ सांगेल.

परिशिष्ट

असेंबलीमध्ये नवीन घटक समाविष्ट करण्यासाठी, तुम्हाला त्याचे वर्णन bigtop.bom आणि ./bigtop-packages मध्ये जोडणे आवश्यक आहे. आपण विद्यमान घटकांशी समानता करून हे करण्याचा प्रयत्न करू शकता. ते बाहेर काढण्याचा प्रयत्न करा. हे पहिल्या दृष्टीक्षेपात दिसते तितके अवघड नाही.

तुला काय वाटत? टिप्पण्यांमध्ये आपले मत पाहून आम्हाला आनंद होईल आणि आपले लक्ष दिल्याबद्दल धन्यवाद!

लेख Rostelecom डेटा व्यवस्थापन टीमने तयार केला होता

स्त्रोत: www.habr.com