Apache Bigtop এবং আজ একটি Hadoop বিতরণ বেছে নিচ্ছে

এটি সম্ভবত কোনও গোপন বিষয় নয় যে গত বছরটি অ্যাপাচি হাদুপের জন্য বড় পরিবর্তনের বছর ছিল। গত বছর, ক্লাউডেরা এবং হর্টনওয়ার্কস একত্রিত হয়েছিল (মূলত, পরবর্তীটির অধিগ্রহণ), এবং ম্যাপ্র, গুরুতর আর্থিক সমস্যার কারণে, হিউলেট প্যাকার্ডের কাছে বিক্রি হয়েছিল। এবং যদি কয়েক বছর আগে, অন-প্রাঙ্গনে ইনস্টলেশনের ক্ষেত্রে, প্রায়শই ক্লাউডেরা এবং হর্টনওয়ার্কসের মধ্যে পছন্দটি করতে হত, আজ, হায়, আমাদের এই পছন্দটি নেই। আরেকটি আশ্চর্য বিষয় হল যে ক্লাউডেরা এই বছরের ফেব্রুয়ারিতে ঘোষণা করেছিল যে এটি তার বিতরণের বাইনারি সমাবেশগুলিকে পাবলিক রিপোজিটরিতে প্রকাশ করা বন্ধ করবে এবং সেগুলি এখন শুধুমাত্র একটি অর্থপ্রদানের সাবস্ক্রিপশনের মাধ্যমে উপলব্ধ। অবশ্যই, 2019 এর শেষের আগে প্রকাশিত CDH এবং HDP-এর সর্বশেষ সংস্করণগুলি ডাউনলোড করা এখনও সম্ভব, এবং তাদের জন্য এক থেকে দুই বছরের জন্য সমর্থন আশা করা হচ্ছে। কিন্তু এরপর কি করবেন? যারা আগে সাবস্ক্রিপশনের জন্য অর্থ প্রদান করেছেন তাদের জন্য কিছুই পরিবর্তন হয়নি। এবং যারা বিতরণের অর্থপ্রদানের সংস্করণে স্যুইচ করতে চান না, তবে একই সাথে ক্লাস্টার উপাদানগুলির সর্বশেষ সংস্করণ, সেইসাথে প্যাচ এবং অন্যান্য আপডেটগুলি পেতে সক্ষম হতে চান, আমরা এই নিবন্ধটি প্রস্তুত করেছি। এটিতে আমরা এই পরিস্থিতি থেকে বেরিয়ে আসার সম্ভাব্য বিকল্পগুলি বিবেচনা করব।

নিবন্ধটি একটি পর্যালোচনার বেশি। এতে ডিস্ট্রিবিউশনের তুলনা এবং সেগুলির বিশদ বিশ্লেষণ থাকবে না এবং সেগুলি ইনস্টল এবং কনফিগার করার জন্য কোনও রেসিপি থাকবে না। কি হবে? আমরা সংক্ষিপ্তভাবে অ্যারেনাডাটা হাডুপের মতো একটি বিতরণ সম্পর্কে কথা বলব, যা তার প্রাপ্যতার কারণে যথাযথভাবে আমাদের মনোযোগের দাবি রাখে, যা আজ খুব বিরল। এবং তারপরে আমরা ভ্যানিলা হ্যাডুপ সম্পর্কে কথা বলব, প্রধানত কিভাবে এটি Apache Bigtop ব্যবহার করে "রান্না" করা যায় সে সম্পর্কে। প্রস্তুত? তারপর বিড়াল স্বাগতম.

আরেনাডাটা হাদুপ

এটি একটি সম্পূর্ণ নতুন এবং এখনও পর্যন্ত, গার্হস্থ্য উন্নয়নের স্বল্প পরিচিত বিতরণ কিট। দুর্ভাগ্যবশত, Habré এ মুহূর্তে শুধুমাত্র আছে এই নিবন্ধটি.

আরও তথ্য অফিসিয়াল পাওয়া যাবে ওয়েবসাইট প্রকল্প বিতরণের সর্বশেষ সংস্করণগুলি সংস্করণ 3.1.2 এর জন্য Hadoop 3 এবং সংস্করণ 2.8.5 এর জন্য 2 এর উপর ভিত্তি করে।

রোডম্যাপ সম্পর্কে তথ্য পাওয়া যাবে এখানে.

অ্যারেনাডাটা ক্লাস্টার ম্যানেজার ইন্টারফেস

Arenadata এর মূল পণ্য অ্যারেনাডাটা ক্লাস্টার ম্যানেজার (ADCM), যা বিভিন্ন কোম্পানি সফ্টওয়্যার সমাধান ইনস্টল, কনফিগার এবং নিরীক্ষণ করতে ব্যবহৃত হয়। ADCM বিনামূল্যে বিতরণ করা হয়, এবং এর কার্যকারিতা বান্ডিল যোগ করে প্রসারিত করা হয়, যা উত্তরযোগ্য-প্লেবুকের একটি সেট। বান্ডিল দুটি প্রকারে বিভক্ত: এন্টারপ্রাইজ এবং সম্প্রদায়। পরেরটি Arenadata ওয়েবসাইট থেকে বিনামূল্যে ডাউনলোডের জন্য উপলব্ধ। আপনার নিজস্ব বান্ডিল বিকাশ করা এবং এটিকে ADCM এর সাথে সংযুক্ত করাও সম্ভব।

Hadoop 3 এর স্থাপনা এবং পরিচালনার জন্য, ADCM এর সাথে বান্ডেলের একটি সম্প্রদায় সংস্করণ দেওয়া হয়, কিন্তু Hadoop 2 এর জন্য শুধুমাত্র আছে এপাচি আম্বারি বিকল্প হিসাবে. প্যাকেজ সহ সংগ্রহস্থলগুলির জন্য, সেগুলি সর্বজনীন অ্যাক্সেসের জন্য উন্মুক্ত, সেগুলি ক্লাস্টারের সমস্ত উপাদানগুলির জন্য স্বাভাবিক উপায়ে ডাউনলোড এবং ইনস্টল করা যেতে পারে। সামগ্রিকভাবে, বিতরণ খুব আকর্ষণীয় দেখায়. আমি নিশ্চিত যে ক্লাউডেরা ম্যানেজার এবং আমবারির মতো সমাধানে অভ্যস্ত এবং যারা ADCM পছন্দ করবে। কিছু জন্য, এটি একটি বিশাল প্লাস যে বিতরণ হবে সফটওয়্যার রেজিস্টারে অন্তর্ভুক্ত আমদানি প্রতিস্থাপনের জন্য।

যদি আমরা অসুবিধাগুলি সম্পর্কে কথা বলি, তবে সেগুলি অন্যান্য সমস্ত Hadoop বিতরণের মতোই হবে। যথা:

• তথাকথিত "বিক্রেতা লক-ইন"। ক্লাউডেরা এবং হর্টনওয়ার্কসের উদাহরণ ব্যবহার করে, আমরা ইতিমধ্যেই বুঝতে পেরেছি যে কোম্পানির নীতি পরিবর্তন করার ঝুঁকি সবসময়ই থাকে।
• Apache আপস্ট্রিম পিছনে উল্লেখযোগ্য পিছিয়ে.

ভ্যানিলা হাডুপ

যেমন আপনি জানেন, Hadoop একটি একচেটিয়া পণ্য নয়, কিন্তু, আসলে, এর বিতরণ করা ফাইল সিস্টেম HDFS এর চারপাশে পরিষেবাগুলির একটি সম্পূর্ণ গ্যালাক্সি। খুব কম লোকের কাছেই যথেষ্ট একটি ফাইল ক্লাস্টার থাকবে। কিছু Hive প্রয়োজন, অন্যদের Presto, এবং তারপর HBase এবং Phoenix আছে; স্পার্ক ক্রমবর্ধমান ব্যবহার করা হয়. অর্কেস্ট্রেশন এবং ডেটা লোড করার জন্য, Oozie, Sqoop এবং Flume মাঝে মাঝে পাওয়া যায়। এবং যদি নিরাপত্তার সমস্যা দেখা দেয়, তবে রেঞ্জারের সাথে কারবারোস অবিলম্বে মাথায় আসে।

Hadoop উপাদানগুলির বাইনারি সংস্করণগুলি টারবলের আকারে প্রতিটি বাস্তুতন্ত্র প্রকল্পের ওয়েবসাইটে উপলব্ধ। আপনি সেগুলি ডাউনলোড করতে এবং ইনস্টলেশন শুরু করতে পারেন, তবে একটি শর্তে: "কাঁচা" বাইনারিগুলি থেকে স্বাধীনভাবে প্যাকেজগুলি একত্রিত করার পাশাপাশি, যা আপনি সম্ভবত করতে চান, প্রতিটিটির সাথে উপাদানগুলির ডাউনলোড করা সংস্করণগুলির সামঞ্জস্যের উপর আপনার কোনও আস্থা থাকবে না। অন্যান্য Apache Bigtop ব্যবহার করে তৈরি করা পছন্দের বিকল্প। Bigtop আপনাকে Apache maven সংগ্রহস্থল থেকে তৈরি করতে, পরীক্ষা চালানো এবং প্যাকেজ তৈরি করার অনুমতি দেবে। কিন্তু, আমাদের জন্য যা খুবই গুরুত্বপূর্ণ, Bigtop সেই উপাদানগুলির সংস্করণগুলিকে একত্রিত করবে যা একে অপরের সাথে সামঞ্জস্যপূর্ণ হবে। আমরা নীচে আরও বিস্তারিতভাবে এটি সম্পর্কে কথা বলব।

অ্যাপাচি বিগটপ

অ্যাপাচি বিগটপ হল অনেকগুলি তৈরি, প্যাকেজিং এবং পরীক্ষার জন্য একটি সরঞ্জাম
ওপেন সোর্স প্রকল্প, যেমন হ্যাডুপ এবং গ্রিনপ্লাম। Bigtop প্রচুর আছে
রিলিজ লেখার সময়, সর্বশেষ স্থিতিশীল প্রকাশ সংস্করণ ছিল 1.4,
এবং মাস্টার ছিল 1.5। রিলিজের বিভিন্ন সংস্করণ বিভিন্ন সংস্করণ ব্যবহার করে
উপাদান উদাহরণস্বরূপ, 1.4 এর জন্য Hadoop মূল উপাদানগুলির সংস্করণ 2.8.5 এবং মাস্টারে রয়েছে
2.10.0 সমর্থিত উপাদানগুলির গঠনও পরিবর্তিত হচ্ছে। পুরানো কিছু এবং
পুনর্নবীকরণযোগ্য চলে যায়, এবং তার জায়গায় নতুন কিছু আসে, আরও চাহিদা, এবং
এটি অগত্যা অ্যাপাচি পরিবার থেকে কিছু নয়।

উপরন্তু, Bigtop অনেক আছে কাঁটা.

আমরা যখন বিগটপের সাথে পরিচিত হতে শুরু করি, তখন আমরা প্রথমে অবাক হয়েছিলাম এর বিনয়ী, অন্যান্য অ্যাপাচি প্রকল্পের সাথে তুলনা করে, ব্যাপকতা এবং জনপ্রিয়তা, সেইসাথে একটি খুব ছোট সম্প্রদায়ের সাথে। এটি থেকে এটি অনুসরণ করে যে পণ্যটির উপর ন্যূনতম তথ্য রয়েছে এবং ফোরাম এবং মেইলিং তালিকায় উদ্ভূত সমস্যার সমাধানগুলি অনুসন্ধান করে কিছু নাও হতে পারে। প্রথমে, সরঞ্জামটির বৈশিষ্ট্যগুলির কারণে বিতরণের সম্পূর্ণ সমাবেশটি সম্পূর্ণ করা আমাদের পক্ষে একটি কঠিন কাজ বলে প্রমাণিত হয়েছিল, তবে আমরা এটি সম্পর্কে একটু পরে কথা বলব।

একটি টিজার হিসাবে, যারা এক সময়ে লিনাক্স মহাবিশ্বের জেন্টু এবং এলএফএস-এর মতো প্রকল্পগুলিতে আগ্রহী ছিলেন তারা এই জিনিসটির সাথে কাজ করা নস্টালজিকভাবে আনন্দদায়ক বলে মনে করতে পারেন এবং সেই "মহাকাব্য" সময়গুলির কথা মনে করতে পারেন যখন আমরা নিজেরা খুঁজছিলাম (বা এমনকি লেখা) ই-বিল্ড করে এবং নিয়মিতভাবে নতুন প্যাচ সহ Mozilla পুনর্নির্মাণ করে।

বিগটপের বড় সুবিধা হল যে টুলগুলির উপর ভিত্তি করে সেটির উন্মুক্ততা এবং বহুমুখিতা। এটি Gradle এবং Apache Maven এর উপর ভিত্তি করে তৈরি। অ্যান্ড্রয়েড তৈরি করতে গুগল যে টুল ব্যবহার করে গ্রেডল বেশ পরিচিত। এটি নমনীয়, এবং যেমন তারা বলে, "যুদ্ধ-পরীক্ষিত।" Maven Apache-তে প্রোজেক্ট তৈরির জন্য একটি আদর্শ টুল, এবং যেহেতু এর বেশিরভাগ প্রোডাক্ট ম্যাভেনের মাধ্যমে রিলিজ করা হয়, তাই এখানেও এটি ছাড়া করা যাবে না। এটি POM (প্রজেক্ট অবজেক্ট মডেল) এর দিকে মনোযোগ দেওয়ার মতো - "মৌলিক" xml ফাইলটি আপনার প্রকল্পের সাথে কাজ করার জন্য ম্যাভেনের জন্য প্রয়োজনীয় সমস্ত কিছু বর্ণনা করে, যার চারপাশে সমস্ত কাজ তৈরি করা হয়েছে। ঠিক এ
Maven এর কিছু অংশ এবং সেখানে কিছু বাধা রয়েছে যা প্রথমবারের বিগটপ ব্যবহারকারীরা সাধারণত সম্মুখীন হয়।

অনুশীলন

সুতরাং আপনি কোথায় শুরু করা উচিত? ডাউনলোড পৃষ্ঠাতে যান এবং একটি সংরক্ষণাগার হিসাবে সর্বশেষ স্থিতিশীল সংস্করণ ডাউনলোড করুন৷ আপনি সেখানে Bigtop দ্বারা সংগৃহীত বাইনারি শিল্পকর্মও খুঁজে পেতে পারেন। যাইহোক, সাধারণ প্যাকেজ পরিচালকদের মধ্যে, YUM এবং APT সমর্থিত।

বিকল্পভাবে, আপনি সরাসরি থেকে সর্বশেষ স্থিতিশীল রিলিজ ডাউনলোড করতে পারেন
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

"বিগটপ" এ ক্লোনিং...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

ফলস্বরূপ ./bigtop ডিরেক্টরিটি এরকম কিছু দেখায়:

./bigtop-bigpetstore — ডেমো অ্যাপ্লিকেশন, সিন্থেটিক উদাহরণ
./bigtop-ci - সিআই টুলস, জেনকিন্স
./bigtop-data-generators — ডেটা জেনারেশন, সিন্থেটিক্স, স্মোক টেস্টের জন্য ইত্যাদি।
./bigtop-deploy - স্থাপনার সরঞ্জাম
./bigtop-packages — কনফিগারেশন, স্ক্রিপ্ট, সমাবেশের জন্য প্যাচ, টুলের প্রধান অংশ
./bigtop-test-framework - পরীক্ষার কাঠামো
./bigtop-tests — পরীক্ষা নিজেদের, লোড এবং ধোঁয়া
./bigtop_toolchain — সমাবেশের জন্য পরিবেশ, টুলের কাজ করার জন্য পরিবেশ প্রস্তুত করা
./build - কাজের ডিরেক্টরি তৈরি করুন
./dl — ডাউনলোড করা উৎসের জন্য ডিরেক্টরি
./docker - ডকার ইমেজ নির্মাণ, পরীক্ষা
./gradle - gradle কনফিগারেশন
./output - ডিরেক্টরি যেখানে বিল্ড আর্টিফ্যাক্ট যায়
./provisioner - বিধান

এই পর্যায়ে আমাদের জন্য সবচেয়ে আকর্ষণীয় জিনিস হল প্রধান কনফিগারেশন ./bigtop/bigtop.bom, যেখানে আমরা সংস্করণ সহ সমস্ত সমর্থিত উপাদান দেখতে পাই। এখানেই আমরা পণ্যটির একটি ভিন্ন সংস্করণ নির্দিষ্ট করতে পারি (যদি আমরা হঠাৎ এটি তৈরি করার চেষ্টা করতে চাই) বা একটি বিল্ড সংস্করণ (যদি, উদাহরণস্বরূপ, আমরা একটি উল্লেখযোগ্য প্যাচ যুক্ত করেছি)।

সাবডিরেক্টরিটিও দারুণ আগ্রহের ./bigtop/bigtop-packages, যা তাদের সাথে উপাদান এবং প্যাকেজ একত্রিত করার প্রক্রিয়ার সাথে সরাসরি সম্পর্কিত।

সুতরাং, আমরা সংরক্ষণাগারটি ডাউনলোড করেছি, এটি আনপ্যাক করেছি বা গিথুব থেকে একটি ক্লোন তৈরি করেছি, আমরা কি নির্মাণ শুরু করতে পারি?

না, আগে পরিবেশ তৈরি করি।

পরিবেশ প্রস্তুত করা হচ্ছে

এবং এখানে আমরা একটি ছোট পশ্চাদপসরণ প্রয়োজন. প্রায় কোনও কম বা কম জটিল পণ্য তৈরি করতে, আপনার একটি নির্দিষ্ট পরিবেশের প্রয়োজন - আমাদের ক্ষেত্রে, এটি JDK, একই ভাগ করা লাইব্রেরি, হেডার ফাইল, ইত্যাদি, সরঞ্জাম, উদাহরণস্বরূপ, ant, ivy2 এবং আরও অনেক কিছু। বিগটপের জন্য আপনার প্রয়োজনীয় পরিবেশ পাওয়ার বিকল্পগুলির মধ্যে একটি হল বিল্ড হোস্টে প্রয়োজনীয় উপাদানগুলি ইনস্টল করা। আমি ক্রমানুসারে ভুল হতে পারি, কিন্তু মনে হচ্ছে সংস্করণ 1.0 এর সাথে প্রি-কনফিগার করা এবং অ্যাক্সেসযোগ্য ডকার ইমেজ তৈরি করার একটি বিকল্পও ছিল, যা এখানে পাওয়া যাবে।

পরিবেশ প্রস্তুত করার জন্য, এর জন্য একজন সহকারী রয়েছে - পুতুল।

আপনি নিম্নলিখিত কমান্ডগুলি ব্যবহার করতে পারেন, রুট ডিরেক্টরি থেকে চালান
টুল, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

অথবা সরাসরি পুতুলের মাধ্যমে:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

দুর্ভাগ্যবশত, এই পর্যায়ে অসুবিধা ইতিমধ্যেই দেখা দিতে পারে। এখানে সাধারণ উপদেশ হল একটি সমর্থিত বিতরণ ব্যবহার করা, বিল্ড হোস্টে আপ টু ডেট করা, অথবা ডকার রুট ব্যবহার করে দেখুন।

সমাবেশ

আমরা কি সংগ্রহ করার চেষ্টা করতে পারি? এই প্রশ্নের উত্তর কমান্ডের আউটপুট দ্বারা দেওয়া হবে

./gradlew tasks

প্যাকেজ টাস্ক বিভাগে এমন অনেকগুলি পণ্য রয়েছে যা বিগটপের চূড়ান্ত নিদর্শন।
এগুলি প্রত্যয় দ্বারা চিহ্নিত করা যেতে পারে -rpm বা -pkg-ind (বিল্ডিংয়ের ক্ষেত্রে
ডকারে)। আমাদের ক্ষেত্রে, সবচেয়ে আকর্ষণীয় Hadoop.

আসুন আমাদের বিল্ড সার্ভারের পরিবেশে তৈরি করার চেষ্টা করি:

./gradlew hadoop-rpm

বিগটপ নিজেই একটি নির্দিষ্ট উপাদানের জন্য প্রয়োজনীয় উত্সগুলি ডাউনলোড করবে এবং সমাবেশ শুরু করবে। এইভাবে, টুলটির অপারেশন মাভেন রিপোজিটরি এবং অন্যান্য উত্সের উপর নির্ভরশীল, অর্থাৎ এটির জন্য ইন্টারনেট অ্যাক্সেস প্রয়োজন।

অপারেশন চলাকালীন, স্ট্যান্ডার্ড আউটপুট উত্পন্ন হয়। কখনও কখনও এটি এবং ত্রুটি বার্তা আপনাকে বুঝতে সাহায্য করতে পারে কি ভুল হয়েছে। এবং কখনও কখনও আপনাকে অতিরিক্ত তথ্য পেতে হবে। এই ক্ষেত্রে এটি যুক্তি যোগ করার মূল্য --info বা --debug, এবং এছাড়াও দরকারী হতে পারে –stacktrace. মেইলিং তালিকায় পরবর্তী অ্যাক্সেসের জন্য একটি ডেটা সেট তৈরি করার একটি সুবিধাজনক উপায় রয়েছে, কী --scan.

এর সাহায্যে, বিগটপ সমস্ত তথ্য সংগ্রহ করবে এবং গ্রেডে রাখবে, তারপরে এটি একটি লিঙ্ক প্রদান করবে,
যা অনুসরণ করে, একজন যোগ্য ব্যক্তি বুঝতে পারবেন কেন সমাবেশ ব্যর্থ হয়েছে।
অনুগ্রহ করে সচেতন থাকুন যে এই বিকল্পটি আপনার অপ্রত্যাশিত তথ্য প্রকাশ করতে পারে, যেমন ব্যবহারকারীর নাম, নোড, পরিবেশের ভেরিয়েবল ইত্যাদি, তাই সতর্ক থাকুন৷

প্রায়শই ত্রুটিগুলি সমাবেশের জন্য প্রয়োজনীয় কোনও উপাদান পেতে অক্ষমতার পরিণতি। সাধারণত, আপনি উত্সগুলিতে কিছু ঠিক করার জন্য একটি প্যাচ তৈরি করে সমস্যার সমাধান করতে পারেন, উদাহরণস্বরূপ, উত্সগুলির মূল ডিরেক্টরিতে pom.xml-এ ঠিকানা৷ এটি উপযুক্ত ডিরেক্টরিতে তৈরি এবং স্থাপন করে করা হয় ./bigtop/bigtop-packages/src/common/oozie/ প্যাচ, উদাহরণস্বরূপ, আকারে patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

সম্ভবত, এই নিবন্ধটি পড়ার সময়, আপনাকে উপরেরটি ঠিক করতে হবে না।

অ্যাসেম্বলি মেকানিজমের কোনও প্যাচ এবং পরিবর্তনগুলি প্রবর্তন করার সময়, আপনাকে ক্লিনআপ কমান্ড ব্যবহার করে সমাবেশটিকে "রিসেট" করতে হতে পারে:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

এই ক্রিয়াকলাপটি এই উপাদানটির সমাবেশে সমস্ত পরিবর্তন ফিরিয়ে আনবে, তারপরে সমাবেশটি আবার সঞ্চালিত হবে। এইবার আমরা একটি ডকার ইমেজে প্রকল্পটি তৈরি করার চেষ্টা করব:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

বিল্ডটি CentOS এর অধীনে সঞ্চালিত হয়েছিল, তবে উবুন্টুর অধীনেও করা যেতে পারে:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

বিভিন্ন লিনাক্স ডিস্ট্রিবিউশনের জন্য প্যাকেজ তৈরি করার পাশাপাশি, টুলটি কম্পাইল করা প্যাকেজগুলির সাথে একটি সংগ্রহস্থল তৈরি করতে পারে, উদাহরণস্বরূপ:

./gradlew yum

আপনি ডকারে ধোঁয়া পরীক্ষা এবং স্থাপনার কথাও মনে রাখতে পারেন।

তিনটি নোডের একটি ক্লাস্টার তৈরি করুন:

./gradlew -Pnum_instances=3 docker-provisioner

তিনটি নোডের একটি ক্লাস্টারে ধোঁয়া পরীক্ষা চালান:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

একটি ক্লাস্টার মুছুন:

./gradlew docker-provisioner-destroy

ডকার পাত্রে ভিতরে সংযোগ করার জন্য কমান্ড পান:

./gradlew docker-provisioner-ssh

অবস্থা দেখান:

./gradlew docker-provisioner-status

আপনি ডকুমেন্টেশনে স্থাপনার কাজ সম্পর্কে আরও পড়তে পারেন।

যদি আমরা পরীক্ষা সম্পর্কে কথা বলি, তাদের মধ্যে বেশ বড় সংখ্যা রয়েছে, প্রধানত ধূমপান এবং সংহতকরণ। তাদের বিশ্লেষণ এই নিবন্ধের সুযোগের বাইরে। আমি শুধু বলতে চাই যে একটি বিতরণ কিট একত্রিত করা ততটা কঠিন কাজ নয় যতটা প্রথম নজরে মনে হতে পারে। আমরা আমাদের উত্পাদনে যে সমস্ত উপাদানগুলি ব্যবহার করি সেগুলিকে একত্রিত করতে এবং পরীক্ষায় উত্তীর্ণ হতে পেরেছি এবং সেগুলিকে স্থাপন করতে এবং পরীক্ষার পরিবেশে মৌলিক ক্রিয়াকলাপ সম্পাদন করতে আমাদের কোনও সমস্যা হয়নি৷

বিগটপে বিদ্যমান উপাদানগুলি ছাড়াও, অন্য কিছু যোগ করা সম্ভব, এমনকি আপনার নিজের সফ্টওয়্যার বিকাশও। এই সব পুরোপুরি স্বয়ংক্রিয় এবং CI/CD ধারণার সাথে ফিট করে।

উপসংহার

স্পষ্টতই, এইভাবে সংকলিত বিতরণ অবিলম্বে উত্পাদনে পাঠানো উচিত নয়। আপনাকে বুঝতে হবে যে আপনার বিতরণকে তৈরি এবং সমর্থন করার যদি সত্যিকারের প্রয়োজন হয় তবে আপনাকে এতে অর্থ এবং সময় বিনিয়োগ করতে হবে।

যাইহোক, সঠিক পন্থা এবং একটি পেশাদার দলের সমন্বয়ে, এটি বাণিজ্যিক সমাধান ছাড়াই করা সম্ভব।

এটি লক্ষ করা গুরুত্বপূর্ণ যে Bigtop প্রকল্পটি নিজেই বিকাশের প্রয়োজন এবং আজ সক্রিয়ভাবে বিকাশ করা হচ্ছে বলে মনে হচ্ছে না। Hadoop 3 এর উপস্থিতির সম্ভাবনাও অস্পষ্ট। যাইহোক, আপনার যদি Hadoop 3 তৈরি করার সত্যিকারের প্রয়োজন থাকে, আপনি দেখতে পারেন কাঁটা Arenadata থেকে, যার মধ্যে, মান ছাড়াও
অনেকগুলি অতিরিক্ত উপাদান রয়েছে (রেঞ্জার, নক্স, নিফাই)।

Rostelecom এর জন্য, আমাদের জন্য Bigtop হল একটি বিকল্প যা আজ বিবেচনা করা হচ্ছে। আমরা এটি নির্বাচন করব কি না, সময়ই বলে দেবে।

উপাঙ্গ

সমাবেশে একটি নতুন উপাদান অন্তর্ভুক্ত করতে, আপনাকে bigtop.bom এবং ./bigtop-packages-এ এর বিবরণ যোগ করতে হবে। আপনি বিদ্যমান উপাদানগুলির সাথে সাদৃশ্য দ্বারা এটি করার চেষ্টা করতে পারেন। এটা বের করার চেষ্টা করুন। এটি প্রথম নজরে মনে হয় হিসাবে কঠিন নয়।

আপনি কি মনে করেন? আমরা মন্তব্যে আপনার মতামত দেখতে খুশি হবে এবং আপনার মনোযোগের জন্য আপনাকে ধন্যবাদ!

নিবন্ধটি Rostelecom ডেটা ম্যানেজমেন্ট টিম দ্বারা প্রস্তুত করা হয়েছিল

উত্স: www.habr.com