اپاچی بیګ ټاپ او نن ورځ د هډوپ توزیع غوره کول

دا شاید هیڅ راز پټ نه وي چې تیر کال د اپاچی هډوپ لپاره د لوی بدلونونو کال و. تیر کال، Cloudera او Hortonworks یوځای شوي (په لازمي ډول د وروستي استملاک)، او Mapr، د جدي مالي ستونزو له امله، په هیولټ پیکارډ وپلورل شو. او که څو کاله دمخه، د ځای پر ځای د تاسیساتو په صورت کې، انتخاب اکثرا د کلاوډر او هورټون ورکس ترمنځ ترسره شوی و، نن ورځ، افسوس، موږ دا انتخاب نلرو. یو بل حیرانتیا دا حقیقت و چې کلوډرا د دې کال په فبروري کې اعلان وکړ چې دا به په عامه ذخیره کې د دې توزیع بائنری اسمبلۍ خوشې کول ودروي ، او دا اوس یوازې د تادیه شوي ګډون له لارې شتون لري. البته، دا لاهم ممکنه ده چې د 2019 پای ته رسیدو دمخه د CDH او HDP وروستي نسخې ډاونلوډ کړئ، او د دوی لپاره ملاتړ د یو څخه تر دوو کلونو پورې تمه کیږي. مګر بیا څه وکړي؟ د هغو کسانو لپاره چې مخکې یې د ګډون لپاره پیسې ورکړې، هیڅ شی نه دی بدل شوی. او د هغو کسانو لپاره چې نه غواړي د توزیع تادیه شوي نسخې ته لاړ شي، مګر په ورته وخت کې غواړي د کلستر اجزاوو وروستي نسخې، او همدارنګه پیچ او نور تازه معلومات ترلاسه کړي، موږ دا مقاله چمتو کړې. پدې کې به موږ د دې وضعیت څخه د وتلو لپاره ممکنه اختیارونه په پام کې ونیسو.

مقاله ډیره بیاکتنه ده. دا به د توزیع پرتله او د دوی مفصل تحلیل ونه لري، او د دوی د نصب او تنظیم کولو لپاره به هیڅ ترکیب نه وي. څه به وشي؟ موږ به په لنډه توګه د اریناډاټا هډوپ په څیر د ورته توزیع په اړه وغږیږو ، کوم چې د شتون له امله په سمه توګه زموږ د پاملرنې مستحق دی ، کوم چې نن ورځ خورا نادر دی. او بیا به موږ د وینیلا هډوپ په اړه وغږیږو ، په عمده ډول د اپاچي بیګټاپ په کارولو سره دا څنګه "پخلي" کیدی شي. چمتو؟ بیا بلی ته ښه راغلاست.

اریناداتا هډوپ

دا په بشپړه توګه نوی او تر اوسه پورې، د کورني پراختیا لږ پیژندل شوی ویش کټ دی. له بده مرغه، دا مهال په Habré کې یوازې شتون لري دا مقاله.

نور معلومات په رسمي کې موندل کیدی شي سایټ پروژه د توزیع وروستۍ نسخې د نسخې 3.1.2 لپاره د Hadoop 3 پر بنسټ دي، او د 2.8.5 نسخه لپاره 2.

د سړک نقشه په اړه معلومات موندل کیدی شي دلته.

د اریناډاټا کلستر مدیر انٹرفیس

د Arenadata اصلي محصول دی د اریناډاټا کلستر مدیر (ADCM)، کوم چې د مختلف شرکت سافټویر حلونو نصبولو ، تنظیم کولو او نظارت کولو لپاره کارول کیږي. ADCM وړیا توزیع کیږي، او د دې فعالیت د بنډلونو په اضافه کولو سره پراخ شوی، کوم چې د ځواب وړ لوبو کتابونو سیټ دی. بنډلونه په دوه ډوله ویشل شوي دي: تصدۍ او ټولنه. وروستی د اریناډاټا ویب پا fromې څخه د وړیا ډاونلوډ لپاره شتون لري. دا هم امکان لري چې خپل بنډل رامینځته کړئ او دا د ADCM سره وصل کړئ.

د Hadoop 3 د ګمارلو او مدیریت لپاره، د بنډل د ټولنې نسخه د ADCM سره په ګډه وړاندیز کیږي، مګر د Hadoop 2 لپاره یوازې شتون لري اپاچي امباري د بدیل په توګه. لکه څنګه چې د کڅوړو سره ذخیره کولو لپاره ، دوی د عامه لاسرسي لپاره خلاص دي ، دوی د کلسټر ټولو برخو لپاره په معمول ډول ډاونلوډ او نصب کیدی شي. په ټوله کې، ویش خورا په زړه پورې ښکاري. زه ډاډه یم چې داسې کسان به وي چې د حلونو سره عادی وي لکه د کلاوډر مدیر او امباري، او څوک به پخپله ADCM خوښ کړي. د ځینو لپاره، دا به یو لوی پلس وي چې ویش د سافټویر په راجستر کې شامل دي د وارداتو بدیل لپاره.

که موږ د زیانونو په اړه وغږیږو، دوی به د نورو ټولو هډوپ ویشونو په څیر وي. یعنې:

• د "پلورونکي تالاشۍ" په نوم یادیږي. د Cloudera او Hortonworks مثالونو په کارولو سره، موږ لا دمخه پوهیږو چې تل د شرکت پالیسۍ بدلولو خطر شتون لري.
• د اپاچي اپ سټریم څخه د پام وړ وروسته پاتې دی.

وینیلا هډوپ

لکه څنګه چې تاسو پوهیږئ ، هډوپ یو واحد محصول ندی ، مګر په حقیقت کې د دې توزیع شوي فایل سیسټم HDFS شاوخوا خدماتو بشپړ کهکشان. لږ خلک به د یو فایل کلستر لپاره کافي ولري. ځینې ​​​​Hive ته اړتیا لري، نور پریستو، او بیا HBase او Phoenix دي؛ سپارک په زیاتیدونکي توګه کارول کیږي. د آرکیسټریشن او ډیټا بارولو لپاره ، اوزي ، سکوپ او فلوم ځینې وختونه موندل کیږي. او که چیرې د امنیت پوښتنه راپورته شي ، نو د رینجر سره په ګډه کربروس سمدلاسه ذهن ته راځي.

د هډوپ اجزاو بائنری نسخې د هر ایکوسیستم پروژې ویب پا onه کې د تاربالونو په شکل کې شتون لري. تاسو کولی شئ دا ډاونلوډ کړئ او نصب کول پیل کړئ ، مګر د یو شرط سره: د "خام" بائنریونو څخه په خپلواکه توګه د کڅوړو راټولولو سربیره ، کوم چې تاسو احتمال یې غواړئ ترسره کړئ ، تاسو به د هر یو سره د اجزاو ډاونلوډ شوي نسخو مطابقت باندې هیڅ باور ونلرئ. نور غوره انتخاب د اپاچي بیګټاپ په کارولو سره رامینځته کول دي. بیګټاپ به تاسو ته اجازه درکړي د اپاچي ماوین ذخیره کولو څخه جوړ کړئ ، ازموینې پرمخ وړئ او کڅوړې رامینځته کړئ. مګر، هغه څه چې زموږ لپاره خورا مهم دي، Bigtop به د اجزاو هغه نسخې راټول کړي چې د یو بل سره مطابقت ولري. موږ به لاندې په تفصیل سره په دې اړه خبرې وکړو.

اپاچی بیګ ټاپ

اپاچی بیګټاپ د یو شمیر جوړولو ، بسته کولو او ازموینې لپاره وسیله ده
د خلاصې سرچینې پروژې، لکه هډوپ او ګرینپلم. Bigtop ډېر لري
خوشې کوي. د لیکلو په وخت کې، وروستی باثباته خوشې نسخه 1.4 وه،
او په ماسټر کې 1.5 وه. د ریلیز مختلف نسخې مختلف نسخې کاروي
اجزا. د مثال په توګه، د 1.4 Hadoop اصلي برخې لپاره نسخه 2.8.5 لري، او په ماسټر کې
2.10.0. د ملاتړ شوي اجزاو ترکیب هم بدلیږي. یو څه زاړه او
نه تجدید کیدونکی له منځه ځي، او د هغې په ځای یو څه نوی راځي، په تقاضا کې ډیر، او
دا اړینه نده چې پخپله د اپاچي کورنۍ څخه یو څه وي.

سربیره پردې، Bigtop ډیری لري فورکس.

کله چې موږ د Bigtop سره آشنا پیل وکړ، موږ لومړی د نورو اپاچي پروژو په پرتله د هغې معتدل، پراخیت او شهرت، او همدارنګه د یوې کوچنۍ ټولنې په پرتله حیران شو. دا له دې څخه تعقیب کیږي چې د محصول په اړه لږترلږه معلومات شتون لري، او د هغو ستونزو لپاره د حلونو لټون کول چې په فورمونو او د بریښنالیک لیستونو کې رامینځته شوي ممکن هیڅ شی ترلاسه نکړي. په لومړي سر کې، دا زموږ لپاره ستونزمن کار و چې د وسیلې ځانګړتیاوو له امله د ویش بشپړ مجلس بشپړ کړو، مګر موږ به لږ وروسته پدې اړه وغږیږو.

د ټیزر په توګه ، هغه څوک چې په یو وخت کې د لینوکس کائنات ورته پروژو لکه جینټو او LFS سره علاقه درلوده ممکن د دې شی سره کار کول په یاد ولرئ او هغه "عکسونه" وختونه په یاد ولرئ کله چې موږ پخپله په لټه کې یو (یا حتی لیکل) موزیلا د نوي پیچونو سره په منظمه توګه بیا رغول.

د بیګټاپ لویه ګټه د هغه وسیلو خلاصون او استقامت دی چې پراساس دی. دا د Gradle او Apache Maven پر بنسټ والړ دی. ګرډل د وسیلې په توګه خورا ښه پیژندل شوی چې ګوګل د Android جوړولو لپاره کاروي. دا انعطاف منونکی دی، او لکه څنګه چې دوی وايي، "جګړه ازمول شوي." ماون پخپله په اپاچي کې د پروژو جوړولو لپاره معیاري وسیله ده ، او له هغه وخته چې د دې ډیری محصولات د ماوین له لارې خپریږي ، نو دا دلته هم له دې پرته نشي ترسره کیدی. دا د پام وړ ارزښت لري POM (د پروژې اعتراض ماډل) - یو "بنسټیز" xml فایل چې ستاسو د پروژې سره کار کولو لپاره ماون لپاره اړین هرڅه تشریح کوي ، چې شاوخوا ټول کار جوړ شوی. په دقیق ډول
د ماوین برخې او ځینې خنډونه شتون لري چې د لومړي ځل لپاره د Bigtop کاروونکي معمولا ورسره مخ کیږي.

تمرین

نو تاسو باید چیرته پیل کړئ؟ د ډاونلوډ پاڼې ته لاړ شئ او وروستی باثباته نسخه د آرشیف په توګه ډاونلوډ کړئ. تاسو کولی شئ هلته د Bigtop لخوا راټول شوي بائنری آثار هم ومومئ. په هرصورت، د عام کڅوړې مدیرانو ترمنځ، YUM او APT ملاتړ کیږي.

په بدیل سره، تاسو کولی شئ وروستی مستحکم ریلیز مستقیم له دې څخه ډاونلوډ کړئ
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

په "لوی ټاپ" کې کلون کول…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

پایله ./bigtop لارښود یو څه داسې ښکاري:

./bigtop-bigpetstore - ډیمو غوښتنلیکونه، مصنوعي مثالونه
./bigtop-ci - CI اوزار، جینکنز
./bigtop-data-generators - د معلوماتو تولید، مصنوعي، د سګرټ ازموینې لپاره، او داسې نور.
./bigtop-deploy - د ځای پرځای کولو وسیلې
./bigtop-packages - تشکیلات ، سکریپټونه ، د مجلس لپاره پیچونه ، د وسیلې اصلي برخه
./bigtop-test-framework - د ازموینې چوکاټ
./bigtop-tests - ازموینې پخپله، بار او سګرټ
./bigtop_toolchain - د غونډې لپاره چاپیریال، د وسیلې کار کولو لپاره چاپیریال چمتو کول
./build - کاري لارښود جوړ کړئ
./dl - د ډاونلوډ شوي سرچینو لپاره لارښود
./docker - په ډاکر عکسونو کې جوړول ، ازموینه
./gradle - gradle config
./output - هغه لارښود چیرې چې اثار جوړیږي
./provisioner – برابرول

پدې مرحله کې زموږ لپاره ترټولو په زړه پوري شی اصلي ترتیب دی ./bigtop/bigtop.bom، په کوم کې چې موږ ټول ملاتړ شوي برخې د نسخو سره ګورو. دا هغه ځای دی چې موږ کولی شو د محصول مختلف نسخه مشخص کړو (که چیرې موږ ناڅاپه د دې جوړولو هڅه وکړو) یا د جوړونې نسخه (که د مثال په توګه، موږ یو مهم پیچ اضافه کړو).

فرعي لارښود هم د پام وړ دی ./bigtop/bigtop-packages، کوم چې د دوی سره د اجزاو او کڅوړو راټولولو پروسې سره مستقیم تړاو لري.

نو، موږ آرشیف ډاونلوډ کړی، دا یې خلاص کړی یا د ګیتوب څخه کلون جوړ کړی، ایا موږ کولی شو جوړول پیل کړو؟

نه، راځئ لومړی چاپیریال چمتو کړو.

د چاپیریال چمتو کول

او دلته موږ یو کوچني اعتکاف ته اړتیا لرو. د نږدې هر یا لږ پیچلي محصول رامینځته کولو لپاره ، تاسو یو ځانګړي چاپیریال ته اړتیا لرئ - زموږ په قضیه کې ، دا JDK دی ، ورته ګډ کتابتونونه ، سرلیک فایلونه ، او داسې نور ، اوزار ، د مثال په توګه ، اینټ ، ivy2 او نور ډیر څه. د بیګټاپ لپاره د چاپیریال ترلاسه کولو لپاره یو له اختیارونو څخه چې تاسو ورته اړتیا لرئ د جوړ شوي کوربه کې اړین اجزا نصب کول دي. زه په کرونولوژي کې غلط کیدی شم ، مګر داسې بریښي چې د 1.0 نسخه سره د دمخه تنظیم شوي او د لاسرسي وړ ډاکر عکسونو کې د جوړولو اختیار هم شتون درلود ، کوم چې دلته موندل کیدی شي.

لکه څنګه چې د چاپیریال چمتو کولو لپاره، د دې لپاره یو مرستیال شتون لري - ګوډاګی.

تاسو کولی شئ لاندې کمانډونه وکاروئ، د روټ لارښود څخه پرمخ وړئ
وسیله ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

یا مستقیم د ګوډاګی له لارې:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

له بده مرغه، ښايي په دې پړاو کې ستونزې لا دمخه رامنځته شي. دلته عمومي مشوره دا ده چې د ملاتړ شوي توزیع څخه کار واخلئ، د جوړ شوي کوربه په اړه تازه، یا د ډاکر لار هڅه وکړئ.

شورا

موږ د څه راټولولو هڅه کولی شو؟ د دې پوښتنې ځواب به د کمانډ محصول لخوا ورکړل شي

./gradlew tasks

د بسته بندۍ دندو برخه کې یو شمیر محصولات شتون لري چې د Bigtop وروستي آثار دي.
دوی د -rpm یا -pkg-ind (د ودانۍ په حالت کې) د ضمیمې لخوا پیژندل کیدی شي
په ډاکر کې). زموږ په قضیه کې، تر ټولو په زړه پورې ده Hadoop.

راځئ هڅه وکړو چې زموږ د جوړونکي سرور چاپیریال کې جوړ کړو:

./gradlew hadoop-rpm

Bigtop پخپله به د یوې ځانګړې برخې لپاره اړین سرچینې ډاونلوډ کړي او مجلس به پیل کړي. په دې توګه، د وسیلې عملیات د Maven ذخیره کولو او نورو سرچینو پورې اړه لري، دا د انټرنیټ لاسرسي ته اړتیا لري.

د عملیاتو په جریان کې، معیاري محصول تولید کیږي. ځینې ​​​​وختونه دا او د خطا پیغامونه تاسو سره مرسته کولی شي پوه شي چې څه غلط شوي. او ځینې وختونه تاسو اړتیا لرئ اضافي معلومات ترلاسه کړئ. پدې حالت کې دا د دلیلونو اضافه کولو ارزښت لري --info او یا --debug، او ممکن هم ګټور وي –stacktrace. د بریښنالیک لیستونو ته د راتلونکي لاسرسي لپاره د ډیټا سیټ رامینځته کولو لپاره اسانه لار شتون لري ، کلیدي --scan.

د دې په مرسته، لوی ټاپ به ټول معلومات راټول کړي او په درجه بندي کې به یې واچوي، وروسته به دا یو لینک چمتو کړي،
د دې په تعقیب، یو وړ کس به پوه شي چې ولې جرګه ناکامه شوه.
مهرباني وکړئ خبر اوسئ چې دا اختیار ممکن هغه معلومات ښکاره کړي چې تاسو یې نه غواړئ، لکه د کارن نومونه، نوډونه، د چاپیریال تغیرات، او نور، نو محتاط اوسئ.

ډیری وختونه غلطی د مجلس لپاره اړین اجزاو ترلاسه کولو کې د ناتوانۍ پایله ده. عموما، تاسو کولی شئ په سرچینو کې د یو څه د حل کولو لپاره د پیچ ​​په جوړولو سره ستونزه حل کړئ، د بیلګې په توګه، د سرچینې په روټ لارښود کې په pom.xml کې پتې. دا په مناسب لارښود کې د جوړولو او ځای په ځای کولو سره ترسره کیږي ./bigtop/bigtop-packages/src/common/oozie/ پیچ، د بیلګې په توګه، په فورمه کې patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

ډیری احتمال، د دې مقالې لوستلو په وخت کې، تاسو اړتیا نلرئ چې پورتني خپل ځان اصلاح کړئ.

کله چې د مجلس میکانیزم کې کوم پیچونه او بدلونونه معرفي کړئ ، تاسو ممکن د پاکولو کمانډ په کارولو سره مجلس "ری سیٹ" ته اړتیا ولرئ:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

دا عملیات به د دې برخې په مجلس کې ټول بدلونونه بیرته راولي، وروسته لدې چې مجلس به بیا ترسره شي. دا ځل موږ به هڅه وکړو چې پروژه په ډاکر عکس کې جوړه کړو:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

جوړول د CentOS لاندې ترسره شوي، مګر د اوبنټو لاندې هم ترسره کیدی شي:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

د مختلف لینکس توزیعونو لپاره د کڅوړو جوړولو سربیره ، وسیله کولی شي د راټول شوي کڅوړو سره ذخیره رامینځته کړي ، د مثال په توګه:

./gradlew yum

تاسو کولی شئ په ډاکر کې د سګرټ ازموینې او ګمارلو په اړه هم په یاد ولرئ.

د دریو نوډونو کلستر جوړ کړئ:

./gradlew -Pnum_instances=3 docker-provisioner

د درې نوډونو په کلستر کې د سګرټ ازموینې پرمخ وړئ:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

کلستر حذف کړئ:

./gradlew docker-provisioner-destroy

د ډاکر کانټینرونو دننه وصل کولو لپاره امرونه ترلاسه کړئ:

./gradlew docker-provisioner-ssh

حالت ښکاره کول:

./gradlew docker-provisioner-status

تاسو کولی شئ په اسنادو کې د ځای پرځای کولو دندو په اړه نور ولولئ.

که موږ د ازموینو په اړه وغږیږو، د دوی خورا لوی شمیر شتون لري، په عمده توګه سګرټ او ادغام. د دوی تحلیل د دې مقالې له ساحې بهر دی. اجازه راکړئ یوازې ووایم چې د توزیع راټولول دومره ستونزمن کار ندی لکه څنګه چې په لومړي نظر کې ښکاري. موږ وکولی شو په ټولو برخو کې ازموینې راټولې او پاس کړو چې موږ یې زموږ په تولید کې کاروو ، او موږ د دوی په ګمارلو او د ازموینې چاپیریال کې لومړني عملیات ترسره کولو کې هم کومه ستونزه نلرو.

په Bigtop کې د موجوده برخو سربیره، دا ممکنه ده چې نور څه اضافه کړئ، حتی ستاسو د خپل سافټویر پراختیا. دا ټول په بشپړ ډول اتومات دي او د CI/CD مفهوم سره سمون لري.

پایلې

په ښکاره ډول، په دې ډول ترتیب شوی توزیع باید سمدستي تولید ته ونه لیږل شي. تاسو اړتیا لرئ پوه شئ چې که ستاسو د توزیع رامینځته کولو او ملاتړ کولو لپاره واقعیا اړتیا وي ، نو تاسو اړتیا لرئ پدې کې پیسې او وخت پانګونه وکړئ.

په هرصورت، د سمې تګلارې او مسلکي ټیم سره په ترکیب کې، دا د سوداګریزو حلونو پرته ترسره کول خورا ممکن دي.

دا مهمه ده چې په یاد ولرئ چې د Bigtop پروژه پخپله پراختیا ته اړتیا لري او داسې نه بریښي چې نن ورځ په فعاله توګه پراختیا ومومي. په دې کې د هډوپ 3 څرګندیدو احتمال هم روښانه ندی ، که تاسو د هډوپ 3 جوړولو ته ریښتیني اړتیا لرئ ، تاسو یې وګورئ فورک د Arenadata څخه، په کوم کې، د معیاري سربیره
دلته یو شمیر اضافي برخې شتون لري (رینجر، ناکس، نی فای).

لکه څنګه چې د Rostelecom لپاره، زموږ لپاره Bigtop یو له هغو انتخابونو څخه دی چې نن ورځ په پام کې نیول کیږي. که موږ دا غوره کړو یا نه، وخت به ووایي.

ضمیمه

په مجلس کې د یوې نوې برخې شاملولو لپاره، تاسو اړتیا لرئ د هغې توضیحات په bigtop.bom او ./bigtop-packages کې اضافه کړئ. تاسو کولی شئ دا د موجوده اجزاوو سره په انډول کولو سره ترسره کړئ. هڅه وکړئ چې دا معلومه کړئ. دا دومره ستونزمن نه دی لکه څنګه چې په لومړي نظر کې ښکاري.

ته څه فکر کوی؟ موږ به خوښ یو چې ستاسو نظر په نظرونو کې وګورو او ستاسو د پاملرنې لپاره مننه!

مقاله د Rostelecom ډیټا مدیریت ټیم لخوا چمتو شوې

سرچینه: www.habr.com