Apache Bigtop និងជ្រើសរើសការចែកចាយ Hadoop នៅថ្ងៃនេះ

វាប្រហែលជាគ្មានអាថ៌កំបាំងទេដែលកាលពីឆ្នាំមុនគឺជាឆ្នាំនៃការផ្លាស់ប្តូរដ៏ធំសម្រាប់ Apache Hadoop ។ កាលពីឆ្នាំមុន Cloudera និង Hortonworks រួមបញ្ចូលគ្នា (ជាសំខាន់ ការទិញយកចុងក្រោយ) ហើយ Mapr ដោយសារតែបញ្ហាហិរញ្ញវត្ថុធ្ងន់ធ្ងរត្រូវបានលក់ទៅឱ្យ Hewlett Packard ។ ហើយប្រសិនបើកាលពីប៉ុន្មានឆ្នាំមុន នៅក្នុងករណីនៃការដំឡើងនៅនឹងកន្លែង ជារឿយៗជម្រើសត្រូវធ្វើរវាង Cloudera និង Hortonworks ថ្ងៃនេះ អាឡាស់ យើងមិនមានជម្រើសនេះទេ។ ការភ្ញាក់ផ្អើលមួយទៀតគឺការពិតដែលថា Cloudera បានប្រកាសនៅក្នុងខែកុម្ភៈនៃឆ្នាំនេះថាវានឹងបញ្ឈប់ការចេញផ្សាយការជួបប្រជុំគ្នាប្រព័ន្ធគោលពីរនៃការចែកចាយរបស់វាទៅក្នុងឃ្លាំងសាធារណៈ ហើយឥឡូវនេះពួកវាអាចប្រើបានតែតាមរយៈការជាវបង់ប្រាក់ប៉ុណ្ណោះ។ ជាការពិតណាស់ វានៅតែអាចទាញយកកំណែចុងក្រោយបំផុតរបស់ CDH និង HDP ដែលបានចេញផ្សាយមុនដំណាច់ឆ្នាំ 2019 ហើយការគាំទ្រសម្រាប់ពួកវាត្រូវបានរំពឹងថាសម្រាប់រយៈពេលពី XNUMX ទៅ XNUMX ឆ្នាំ។ ប៉ុន្តែអ្វីដែលត្រូវធ្វើបន្ទាប់? សម្រាប់​អ្នក​ដែល​បាន​បង់​ប្រាក់​មុន​ការ​ជាវ​មិន​មាន​អ្វី​ផ្លាស់​ប្តូរ​ទេ។ ហើយសម្រាប់អ្នកដែលមិនចង់ប្តូរទៅកំណែបង់នៃការចែកចាយ ប៉ុន្តែក្នុងពេលតែមួយចង់ទទួលបានកំណែចុងក្រោយបំផុតនៃសមាសធាតុចង្កោម ក៏ដូចជាបំណះ និងការអាប់ដេតផ្សេងទៀត យើងបានរៀបចំអត្ថបទនេះ។ នៅក្នុងវាយើងនឹងពិចារណាជម្រើសដែលអាចធ្វើបានសម្រាប់ការចាកចេញពីស្ថានភាពនេះ។

អត្ថបទ​គឺ​ជា​ការ​ពិនិត្យ​មើល​ច្រើន​ជាង។ វានឹងមិនមានការប្រៀបធៀបនៃការចែកចាយ និងការវិភាគលម្អិតអំពីពួកវាទេ ហើយវានឹងមិនមានរូបមន្តសម្រាប់ដំឡើង និងកំណត់រចនាសម្ព័ន្ធពួកវាទេ។ តើនឹងមានអ្វីកើតឡើង? យើងនឹងនិយាយដោយសង្ខេបអំពីការចែកចាយដូចជា Arenadata Hadoop ដែលសមនឹងទទួលបានការយកចិត្តទុកដាក់របស់យើងយ៉ាងត្រឹមត្រូវ ដោយសារតែភាពអាចរកបានរបស់វា ដែលកម្រមានណាស់សព្វថ្ងៃនេះ។ ហើយបន្ទាប់មកយើងនឹងនិយាយអំពី Vanilla Hadoop ជាចម្បងអំពីរបៀបដែលវាអាចត្រូវបាន "ចម្អិន" ដោយប្រើ Apache Bigtop ។ ត្រៀមខ្លួនហើយឬនៅ? បន្ទាប់មកសូមស្វាគមន៍ចំពោះឆ្មា។

Arenadata Hadoop

នេះ​ជា​ឧបករណ៍​ចែកចាយ​ដែល​គេ​ស្គាល់​តិច​តួច​ថ្មី​ទាំង​ស្រុង​នៃ​ការ​អភិវឌ្ឍ​ក្នុង​ស្រុក។ ជាអកុសលនៅពេលនេះនៅលើ Habre មានតែ អត្ថបទនេះ។.

ព័ត៌មានបន្ថែមអាចរកបាននៅលើផ្លូវការ តំបន់បណ្តាញ គម្រោង។ កំណែចុងក្រោយបំផុតនៃការចែកចាយគឺផ្អែកលើ Hadoop 3.1.2 សម្រាប់កំណែ 3 និង 2.8.5 សម្រាប់កំណែ 2 ។

ព័ត៌មានអំពីផែនទីបង្ហាញផ្លូវអាចរកបាន នៅទីនេះ.

ចំណុចប្រទាក់កម្មវិធីគ្រប់គ្រងចង្កោម Arenadata

ផលិតផលស្នូលរបស់ Arenadata គឺ Arenadata Cluster Manager (ADCM)ដែលត្រូវបានប្រើដើម្បីដំឡើង កំណត់រចនាសម្ព័ន្ធ និងត្រួតពិនិត្យដំណោះស្រាយកម្មវិធីរបស់ក្រុមហ៊ុនផ្សេងៗ។ ADCM ត្រូវបានចែកចាយដោយមិនគិតថ្លៃ ហើយមុខងាររបស់វាត្រូវបានពង្រីកដោយការបន្ថែមបណ្តុំ ដែលជាសំណុំនៃ ansible-playbooks ។ បណ្តុំត្រូវបានបែងចែកជាពីរប្រភេទ៖ សហគ្រាស និងសហគមន៍។ ក្រោយមកទៀតគឺអាចរកបានសម្រាប់ការទាញយកដោយឥតគិតថ្លៃពីគេហទំព័រ Arenadata ។ វាក៏អាចធ្វើទៅបានផងដែរក្នុងការអភិវឌ្ឍន៍បណ្តុំផ្ទាល់ខ្លួនរបស់អ្នក ហើយភ្ជាប់វាទៅ ADCM ។

សម្រាប់ការដាក់ពង្រាយ និងការគ្រប់គ្រង Hadoop 3 កំណែសហគមន៍នៃកញ្ចប់ត្រូវបានផ្តល់ជូនដោយភ្ជាប់ជាមួយ ADCM ប៉ុន្តែសម្រាប់ Hadoop 2 មានតែ Apache Ambari ជាជម្រើសមួយ។ ចំពោះឃ្លាំងដែលមានកញ្ចប់ ពួកវាបើកចំហសម្រាប់ការចូលប្រើជាសាធារណៈ ពួកគេអាចទាញយក និងដំឡើងតាមរបៀបធម្មតាសម្រាប់សមាសធាតុទាំងអស់នៃចង្កោម។ សរុបមក ការចែកចាយមើលទៅគួរអោយចាប់អារម្មណ៍ណាស់។ ខ្ញុំប្រាកដថានឹងមានអ្នកដែលស៊ាំនឹងដំណោះស្រាយដូចជា Cloudera Manager និង Ambari ហើយអ្នកដែលចូលចិត្ត ADCM ខ្លួនឯង។ សម្រាប់​អ្នក​ខ្លះ វា​ក៏​នឹង​ក្លាយ​ជា​ការ​បូក​ដ៏​ធំ​មួយ​ដែល​ការ​ចែកចាយ រួមបញ្ចូលនៅក្នុងការចុះឈ្មោះកម្មវិធី សម្រាប់ជំនួសការនាំចូល។

ប្រសិនបើយើងនិយាយអំពីគុណវិបត្តិពួកវានឹងដូចគ្នានឹងការចែកចាយ Hadoop ផ្សេងទៀតទាំងអស់។ ពោលគឺ៖

• អ្វី​ដែល​គេ​ហៅ​ថា "ការ​ចាក់សោ​អ្នក​លក់"។ ដោយប្រើឧទាហរណ៍នៃ Cloudera និង Hortonworks យើងបានដឹងរួចហើយថាតែងតែមានហានិភ័យនៃការផ្លាស់ប្តូរគោលនយោបាយរបស់ក្រុមហ៊ុន។
• ភាពយឺតយ៉ាវគួរឱ្យកត់សម្គាល់នៅពីក្រោយ Apache ខាងលើ។

វ៉ានីឡា Hadoop

ដូចដែលអ្នកបានដឹងហើយថា Hadoop មិនមែនជាផលិតផល monolithic នោះទេ ប៉ុន្តែតាមពិតទៅ កាឡាក់ស៊ីទាំងមូលនៃសេវាកម្មជុំវិញប្រព័ន្ធឯកសារដែលចែកចាយរបស់វា HDFS ។ មានមនុស្សតិចណាស់ដែលមានក្រុមឯកសារមួយគ្រប់គ្រាន់។ អ្នកខ្លះត្រូវការ Hive ខ្លះទៀត Presto ហើយបន្ទាប់មកមាន HBase និង Phoenix; Spark ត្រូវបានប្រើប្រាស់កាន់តែខ្លាំងឡើង។ សម្រាប់ការរៀបចំ និងការផ្ទុកទិន្នន័យ ពេលខ្លះ Oozie, Sqoop និង Flume ត្រូវបានរកឃើញ។ ហើយប្រសិនបើបញ្ហាសុវត្ថិភាពកើតឡើងនោះ Kerberos ក្នុងការភ្ជាប់ជាមួយ Ranger មកក្នុងគំនិតភ្លាមៗ។

កំណែប្រព័ន្ធគោលពីរនៃសមាសធាតុ Hadoop មាននៅលើគេហទំព័រនៃគម្រោងប្រព័ន្ធអេកូនីមួយៗក្នុងទម្រង់ជា tarballs ។ អ្នកអាចទាញយកពួកវា ហើយចាប់ផ្តើមដំឡើង ប៉ុន្តែជាមួយនឹងលក្ខខណ្ឌមួយ៖ បន្ថែមពីលើការផ្គុំកញ្ចប់ដោយឯករាជ្យពីប្រព័ន្ធគោលពីរ "ឆៅ" ដែលអ្នកទំនងជាចង់ធ្វើ អ្នកនឹងមិនមានទំនុកចិត្តលើភាពឆបគ្នានៃកំណែដែលបានទាញយកនៃសមាសភាគនីមួយៗ។ ផ្សេងទៀត។ ជម្រើសដែលពេញចិត្តគឺបង្កើតដោយប្រើ Apache Bigtop ។ Bigtop នឹងអនុញ្ញាតឱ្យអ្នកបង្កើតពីឃ្លាំង Apache maven ដំណើរការតេស្ត និងបង្កើតកញ្ចប់។ ប៉ុន្តែអ្វីដែលសំខាន់សម្រាប់ពួកយើង Bigtop នឹងប្រមូលផ្តុំនូវសមាសធាតុទាំងនោះដែលនឹងត្រូវគ្នាជាមួយគ្នាទៅវិញទៅមក។ យើងនឹងនិយាយអំពីវានៅក្នុងលម្អិតបន្ថែមទៀតខាងក្រោម។

កម្មវិធី Apache Bigtop

Apache Bigtop គឺជាឧបករណ៍សម្រាប់សាងសង់ ការវេចខ្ចប់ និងសាកល្បងមួយចំនួន
គម្រោងប្រភពបើកចំហដូចជា Hadoop និង Greenplum ។ Bigtop មានច្រើន។
ការចេញផ្សាយ។ នៅពេលសរសេរ ការចេញផ្សាយស្ថេរភាពចុងក្រោយបំផុតគឺកំណែ 1.4,
ហើយនៅក្នុងមេមាន 1.5 ។ កំណែផ្សេងគ្នានៃការចេញផ្សាយប្រើកំណែផ្សេងគ្នា
សមាសធាតុ។ ឧទាហរណ៍ សម្រាប់ 1.4 សមាសធាតុស្នូល Hadoop មានកំណែ 2.8.5 និងជាមេ
2.10.0. សមាសភាពនៃសមាសធាតុដែលបានគាំទ្រក៏កំពុងផ្លាស់ប្តូរផងដែរ។ អ្វីមួយដែលហួសសម័យនិង
ដែលមិនអាចកកើតឡើងវិញបានទៅឆ្ងាយ ហើយជំនួសមកវិញនូវអ្វីដែលថ្មី តម្រូវការកាន់តែច្រើន និង
វាមិនមែនជាអ្វីដែលចាំបាច់ពីគ្រួសារ Apache ខ្លួនឯងនោះទេ។

លើសពីនេះទៀត Bigtop មានច្រើន។ សម.

នៅពេលដែលយើងចាប់ផ្តើមស្គាល់ Bigtop ដំបូងឡើយ យើងមានការភ្ញាក់ផ្អើលជាខ្លាំង ដោយវាមានលក្ខណៈតិចតួច បើប្រៀបធៀបជាមួយនឹងគម្រោង Apache ផ្សេងទៀត អត្រាប្រេវ៉ាឡង់ និងប្រជាប្រិយភាព ក៏ដូចជាសហគមន៍តូចមួយផងដែរ។ វាកើតឡើងពីនេះថាមានព័ត៌មានតិចតួចបំផុតនៅលើផលិតផល ហើយការស្វែងរកដំណោះស្រាយចំពោះបញ្ហាដែលបានកើតឡើងនៅលើវេទិកា និងបញ្ជីសំបុត្ររួមប្រហែលជាមិនផ្តល់លទ្ធផលអ្វីទាំងអស់។ ដំបូង វា​បាន​ក្លាយ​ជា​កិច្ចការ​លំបាក​សម្រាប់​យើង​ក្នុង​ការ​បញ្ចប់​ការ​ផ្គុំ​ពេញ​លេញ​នៃ​ការ​ចែកចាយ​ដោយ​សារ​តែ​លក្ខណៈ​ពិសេស​របស់​ឧបករណ៍​ខ្លួន​វា ប៉ុន្តែ​យើង​នឹង​និយាយ​អំពី​បញ្ហា​នេះ​បន្តិច​ក្រោយ​មក។

ក្នុងនាមជាឈុតខ្លី អ្នកទាំងឡាយណាដែលនៅពេលមួយចាប់អារម្មណ៍លើគម្រោងនៃសកលលោកលីនុច ដូចជា Gentoo និង LFS ប្រហែលជាមានអារម្មណ៍រីករាយក្នុងការធ្វើការជាមួយរឿងនេះ ហើយចងចាំពេលវេលា "វីរភាព" ទាំងនោះ នៅពេលដែលយើងខ្លួនឯងកំពុងស្វែងរក (ឬសូម្បីតែសរសេរ) បង្កើត និងសាងសង់ឡើងវិញជាទៀងទាត់នូវ Mozilla ជាមួយនឹងបំណះថ្មី។

អត្ថប្រយោជន៍ដ៏ធំរបស់ Bigtop គឺការបើកចំហរ និងភាពបត់បែននៃឧបករណ៍ដែលវាមានមូលដ្ឋាន។ វាត្រូវបានផ្អែកលើ Gradle និង Apache Maven ។ Gradle ត្រូវបានគេស្គាល់យ៉ាងច្បាស់ថាជាឧបករណ៍ដែល Google ប្រើដើម្បីបង្កើតប្រព័ន្ធប្រតិបត្តិការ Android ។ វា​អាច​បត់បែន​បាន ហើយ​ដូច​ដែល​ពួកគេ​និយាយ​ថា "បាន​សាកល្បង​ដោយ​សមរភូមិ"។ Maven គឺជាឧបករណ៍ស្តង់ដារសម្រាប់ការសាងសង់គម្រោងនៅក្នុង Apache ខ្លួនវា ហើយចាប់តាំងពីផលិតផលភាគច្រើនរបស់វាត្រូវបានចេញផ្សាយតាមរយៈ Maven វាមិនអាចធ្វើបានដោយគ្មានវានៅទីនេះទេ។ វាគួរអោយយកចិត្តទុកដាក់ចំពោះ POM (គំរូវត្ថុគម្រោង) - ឯកសារ xml "មូលដ្ឋាន" ដែលពិពណ៌នាអំពីអ្វីគ្រប់យ៉ាងដែលចាំបាច់សម្រាប់ Maven ដើម្បីធ្វើការជាមួយគម្រោងរបស់អ្នក ដែលការងារទាំងអស់ត្រូវបានសាងសង់។ ពិតប្រាកដនៅ
ផ្នែកខ្លះនៃ Maven ហើយមានឧបសគ្គមួយចំនួនដែលអ្នកប្រើប្រាស់ Bigtop ដំបូងជួបប្រទះ។

អនុវត្ត

ដូច្នេះតើអ្នកគួរចាប់ផ្តើមនៅឯណា? ចូលទៅកាន់ទំព័រទាញយក ហើយទាញយកកំណែដែលមានស្ថេរភាពចុងក្រោយបំផុតជាបណ្ណសារ។ អ្នកក៏អាចរកឃើញវត្ថុបុរាណគោលពីរដែលប្រមូលបានដោយ Bigtop នៅទីនោះផងដែរ។ ដោយវិធីនេះ ក្នុងចំណោមអ្នកគ្រប់គ្រងកញ្ចប់ទូទៅ YUM និង APT ត្រូវបានគាំទ្រ។

ជាជម្រើស អ្នកអាចទាញយកការចេញផ្សាយដែលមានស្ថេរភាពចុងក្រោយបំផុតដោយផ្ទាល់ពី
github៖

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

ក្លូន​នៅ​ក្នុង “bigtop”…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

លទ្ធផល ./bigtop directory មើលទៅដូចនេះ៖

./bigtop-bigpetstore - កម្មវិធីសាកល្បង, ឧទាហរណ៍សំយោគ
./bigtop-ci - ឧបករណ៍ CI, jenkins
./bigtop-data-generators - ការបង្កើតទិន្នន័យ សំយោគសម្រាប់ការធ្វើតេស្តផ្សែង។ល។
./bigtop-deploy - ឧបករណ៍ដាក់ពង្រាយ
./bigtop-packages - ការកំណត់រចនាសម្ព័ន្ធ ស្គ្រីប បំណះសម្រាប់ការជួបប្រជុំគ្នា ផ្នែកសំខាន់នៃឧបករណ៍
./bigtop-test-framework - គ្រោងការណ៍សាកល្បង
./bigtop-tests - ការធ្វើតេស្តដោយខ្លួនឯងផ្ទុកនិងជក់បារី
./bigtop_toolchain - បរិស្ថានសម្រាប់ការជួបប្រជុំគ្នា ការរៀបចំបរិយាកាសសម្រាប់ឧបករណ៍ធ្វើការ
./build - បង្កើតថតការងារ
./dl - ថតសម្រាប់ប្រភពដែលបានទាញយក
./docker - ការកសាងនៅក្នុងរូបភាព docker, ការធ្វើតេស្ត
./gradle - ការកំណត់រចនាសម្ព័ន្ធកម្រិត
./output - ថតដែលបង្កើតវត្ថុបុរាណទៅ
./provisioner - ការផ្តល់

អ្វីដែលគួរឱ្យចាប់អារម្មណ៍បំផុតសម្រាប់យើងនៅដំណាក់កាលនេះគឺការកំណត់រចនាសម្ព័ន្ធសំខាន់ ./bigtop/bigtop.bomដែលយើងឃើញសមាសធាតុដែលបានគាំទ្រទាំងអស់ជាមួយនឹងកំណែ។ នេះគឺជាកន្លែងដែលយើងអាចបញ្ជាក់កំណែផ្សេងនៃផលិតផល (ប្រសិនបើភ្លាមៗយើងចង់ព្យាយាមបង្កើតវា) ឬកំណែសាងសង់ (ឧទាហរណ៍ យើងបានបន្ថែមបំណះសំខាន់)។

ថតរងក៏ចាប់អារម្មណ៍ខ្លាំងដែរ។ ./bigtop/bigtop-packagesដែលទាក់ទងដោយផ្ទាល់ទៅនឹងដំណើរការនៃការផ្គុំសមាសធាតុ និងកញ្ចប់ជាមួយពួកគេ។

ដូច្នេះ យើងទាញយកបណ្ណសារ ពន្លាវា ឬបង្កើតក្លូនពី github តើយើងអាចចាប់ផ្តើមបង្កើតបានទេ?

អត់ទេ តោះរៀបចំបរិស្ថានជាមុនសិន។

ការរៀបចំបរិស្ថាន

ហើយនៅទីនេះយើងត្រូវការការដកថយតូចមួយ។ ដើម្បីសាងសង់ផលិតផលស្ទើរតែទាំងអស់ ឬតិចជាងនេះ អ្នកត្រូវការបរិយាកាសជាក់លាក់មួយ - ក្នុងករណីរបស់យើង នេះគឺជា JDK បណ្ណាល័យដែលបានចែករំលែកដូចគ្នា ឯកសារបឋមកថា។ល។ ឧបករណ៍ឧទាហរណ៍ ant, ivy2 និងច្រើនទៀត។ ជម្រើសមួយក្នុងចំណោមជម្រើសដើម្បីទទួលបានបរិយាកាសដែលអ្នកត្រូវការសម្រាប់ Bigtop គឺត្រូវដំឡើងសមាសធាតុចាំបាច់នៅលើ build host។ ខ្ញុំអាចខុសនៅក្នុងកាលប្បវត្តិ ប៉ុន្តែវាហាក់ដូចជាថាជាមួយនឹងកំណែ 1.0 ក៏មានជម្រើសមួយផងដែរក្នុងការបង្កើតរូបភាព Docker ដែលបានកំណត់ជាមុន និងអាចចូលប្រើបាន ដែលអាចរកបាននៅទីនេះ។

ចំណែក​ឯ​ការ​រៀបចំ​បរិស្ថាន​វិញ មាន​អ្នក​ជំនួយ​ការ​នេះ គឺ​អាយ៉ង។

អ្នកអាចប្រើពាក្យបញ្ជាខាងក្រោម រត់ពីថតឫស
ឧបករណ៍, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

ឬដោយផ្ទាល់តាមរយៈអាយ៉ង៖

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

ជាអកុសល ការលំបាកអាចកើតមានរួចហើយនៅដំណាក់កាលនេះ។ ដំបូន្មានទូទៅនៅទីនេះគឺត្រូវប្រើការចែកចាយដែលគាំទ្រ ធ្វើបច្ចុប្បន្នភាពលើម៉ាស៊ីនបង្កើត ឬសាកល្បងផ្លូវ docker ។

សន្និបាត

តើយើងអាចព្យាយាមប្រមូលអ្វីខ្លះ? ចម្លើយចំពោះសំណួរនេះនឹងត្រូវបានផ្តល់ដោយលទ្ធផលនៃពាក្យបញ្ជា

./gradlew tasks

នៅក្នុងផ្នែកកិច្ចការកញ្ចប់ មានផលិតផលមួយចំនួនដែលជាវត្ថុបុរាណចុងក្រោយរបស់ Bigtop ។
ពួកវាអាចត្រូវបានកំណត់អត្តសញ្ញាណដោយបច្ច័យ -rpm ឬ -pkg-ind (ក្នុងករណីសាងសង់
នៅក្នុង docker) ។ ក្នុងករណីរបស់យើងការចាប់អារម្មណ៍បំផុតគឺ Hadoop ។

តោះព្យាយាមបង្កើតនៅក្នុងបរិយាកាសនៃ build server របស់យើង៖

./gradlew hadoop-rpm

Bigtop ខ្លួនវាផ្ទាល់នឹងទាញយកប្រភពចាំបាច់ដែលត្រូវការសម្រាប់សមាសធាតុជាក់លាក់មួយ ហើយចាប់ផ្តើមការប្រមូលផ្តុំ។ ដូច្នេះ ប្រតិបត្តិការរបស់ឧបករណ៍គឺពឹងផ្អែកលើឃ្លាំង Maven និងប្រភពផ្សេងទៀត ពោលគឺវាទាមទារការចូលប្រើអ៊ីនធឺណិត។

កំឡុងពេលប្រតិបត្តិការ លទ្ធផលស្តង់ដារត្រូវបានបង្កើត។ ពេលខ្លះវា និងសារកំហុសអាចជួយអ្នកឱ្យយល់ពីអ្វីដែលខុស។ ហើយពេលខ្លះអ្នកត្រូវទទួលបានព័ត៌មានបន្ថែម។ ក្នុងករណីនេះវាមានតម្លៃបន្ថែមអាគុយម៉ង់ --info ឬ --debugហើយក៏អាចមានប្រយោជន៍ផងដែរ។ –stacktrace. មានវិធីងាយស្រួលក្នុងការបង្កើតសំណុំទិន្នន័យសម្រាប់ការចូលប្រើជាបន្តបន្ទាប់ទៅកាន់បញ្ជីសំបុត្ររួមដែលជាគន្លឹះ --scan.

ដោយមានជំនួយរបស់វា bigtop នឹងប្រមូលព័ត៌មានទាំងអស់ ហើយដាក់វាជាលំដាប់ បន្ទាប់មកវានឹងផ្តល់នូវតំណភ្ជាប់មួយ
ដោយធ្វើតាមនោះ អ្នកដែលមានសមត្ថកិច្ចនឹងអាចយល់បានថាហេតុអ្វីបានជាការជួបប្រជុំគ្នានេះបរាជ័យ។
សូម​ដឹង​ថា ជម្រើស​នេះ​អាច​បង្ហាញ​ព័ត៌មាន​ដែល​អ្នក​មិន​ចង់​បាន ដូចជា​ឈ្មោះ​អ្នក​ប្រើ ថ្នាំង អថេរ​បរិស្ថាន​ជាដើម ដូច្នេះ​ត្រូវ​ប្រយ័ត្ន។

ជារឿយៗកំហុសគឺជាផលវិបាកនៃអសមត្ថភាពក្នុងការទទួលបានសមាសធាតុណាមួយដែលចាំបាច់សម្រាប់ការជួបប្រជុំគ្នា។ ជាធម្មតា អ្នកអាចដោះស្រាយបញ្ហាដោយបង្កើតបំណះដើម្បីជួសជុលអ្វីមួយនៅក្នុងប្រភព ឧទាហរណ៍ អាសយដ្ឋាននៅក្នុង pom.xml នៅក្នុងថត root នៃប្រភព។ នេះត្រូវបានធ្វើដោយបង្កើតនិងដាក់វានៅក្នុងថតដែលសមរម្យ ./bigtop/bigtop-packages/src/common/oozie/ បំណះឧទាហរណ៍ក្នុងទម្រង់ patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

ភាគច្រើនទំនងជានៅពេលអានអត្ថបទនេះ អ្នកនឹងមិនចាំបាច់ធ្វើការជួសជុលខាងលើដោយខ្លួនឯងទេ។

នៅពេលណែនាំបំណះណាមួយ និងការផ្លាស់ប្តូរទៅយន្តការដំឡើង អ្នកប្រហែលជាត្រូវ "កំណត់ឡើងវិញ" ការជួបប្រជុំគ្នាដោយប្រើពាក្យបញ្ជាសម្អាត៖

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

ប្រតិបត្តិការនេះនឹងត្រលប់មកវិញនូវការផ្លាស់ប្តូរទាំងអស់ចំពោះការដំឡើងនៃសមាសភាគនេះ បន្ទាប់ពីនោះការជួបប្រជុំគ្នានឹងត្រូវបានអនុវត្តម្តងទៀត។ លើកនេះយើងនឹងព្យាយាមបង្កើតគម្រោងក្នុងរូបភាព docker៖

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

ការបង្កើតត្រូវបានអនុវត្តនៅក្រោម CentOS ប៉ុន្តែក៏អាចត្រូវបានធ្វើនៅក្រោម Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

បន្ថែមពីលើការកសាងកញ្ចប់សម្រាប់ការចែកចាយលីនុចផ្សេងៗ ឧបករណ៍អាចបង្កើតឃ្លាំងជាមួយកញ្ចប់ដែលបានចងក្រង ឧទាហរណ៍៖

./gradlew yum

អ្នកក៏អាចចងចាំអំពីការធ្វើតេស្តផ្សែង និងការដាក់ពង្រាយនៅក្នុង Docker ផងដែរ។

បង្កើតចង្កោមនៃថ្នាំងបី៖

./gradlew -Pnum_instances=3 docker-provisioner

ដំណើរការការធ្វើតេស្តផ្សែងនៅក្នុងចង្កោមនៃថ្នាំងបី៖

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

លុបចង្កោម៖

./gradlew docker-provisioner-destroy

ទទួលបានពាក្យបញ្ជាសម្រាប់ភ្ជាប់ខាងក្នុង docker containers៖

./gradlew docker-provisioner-ssh

បង្ហាញស្ថានភាព៖

./gradlew docker-provisioner-status

អ្នកអាចអានបន្ថែមអំពីកិច្ចការដាក់ពង្រាយនៅក្នុងឯកសារ។

ប្រសិនបើយើងនិយាយអំពីការធ្វើតេស្តនោះ មានចំនួនច្រើនណាស់ ភាគច្រើនជាផ្សែង និងការរួមបញ្ចូល។ ការវិភាគរបស់ពួកគេគឺហួសពីវិសាលភាពនៃអត្ថបទនេះ។ ខ្ញុំគ្រាន់តែនិយាយថាការផ្គុំឧបករណ៍ចែកចាយមិនមែនជាកិច្ចការពិបាកដូចដែលវាហាក់ដូចជានៅ glance ដំបូង។ យើងបានគ្រប់គ្រងដើម្បីប្រមូលផ្តុំ និងឆ្លងកាត់ការសាកល្បងលើសមាសធាតុទាំងអស់ដែលយើងប្រើប្រាស់នៅក្នុងការផលិតរបស់យើង ហើយយើងក៏មិនមានបញ្ហាក្នុងការដាក់ពង្រាយពួកវា និងអនុវត្តប្រតិបត្តិការជាមូលដ្ឋាននៅក្នុងបរិយាកាសសាកល្បងផងដែរ។

បន្ថែមពីលើសមាសធាតុដែលមានស្រាប់នៅក្នុង Bigtop វាអាចបន្ថែមអ្វីផ្សេងទៀត សូម្បីតែការអភិវឌ្ឍន៍កម្មវិធីផ្ទាល់ខ្លួនរបស់អ្នកក៏ដោយ។ ទាំងអស់នេះគឺដោយស្វ័យប្រវត្តិយ៉ាងល្អឥតខ្ចោះ និងសមនឹងគំនិត CI/CD ។

សេចក្តីសន្និដ្ឋាន

ជាក់ស្តែងការចែកចាយដែលបានចងក្រងតាមរបៀបនេះមិនគួរត្រូវបានបញ្ជូនទៅផលិតកម្មភ្លាមៗនោះទេ។ អ្នកត្រូវយល់ថាប្រសិនបើមានតម្រូវការពិតប្រាកដក្នុងការសាងសង់ និងគាំទ្រការចែកចាយរបស់អ្នក នោះអ្នកត្រូវវិនិយោគលុយ និងពេលវេលាក្នុងរឿងនេះ។

ទោះជាយ៉ាងណាក៏ដោយ ការរួមបញ្ចូលគ្នាជាមួយនឹងវិធីសាស្រ្តត្រឹមត្រូវ និងក្រុមដែលមានជំនាញវិជ្ជាជីវៈ វាពិតជាអាចធ្វើទៅបានដោយគ្មានដំណោះស្រាយពាណិជ្ជកម្ម។

វាជារឿងសំខាន់ក្នុងការកត់សម្គាល់ថាគម្រោង Bigtop ខ្លួនវាត្រូវការការអភិវឌ្ឍន៍ ហើយមិនហាក់ដូចជាត្រូវបានអភិវឌ្ឍយ៉ាងសកម្មនាពេលបច្ចុប្បន្ននេះទេ។ ការរំពឹងទុកនៃ Hadoop 3 លេចឡើងនៅក្នុងវាក៏មិនច្បាស់ដែរ។ និយាយអញ្ចឹង ប្រសិនបើអ្នកមានតម្រូវការពិតប្រាកដក្នុងការសាងសង់ Hadoop 3 អ្នកអាចមើល សម ពី Arenadata ដែលក្នុងនោះបន្ថែមលើស្តង់ដារ
មានសមាសធាតុបន្ថែមមួយចំនួន (Ranger, Knox, NiFi)។

សម្រាប់ Rostelecom សម្រាប់ពួកយើង Bigtop គឺជាជម្រើសមួយដែលត្រូវបានពិចារណានៅថ្ងៃនេះ។ មិនថាយើងជ្រើសរើសវាឬអត់ ពេលវេលានឹងប្រាប់។

ឧបសម្ព័ន្ធ

ដើម្បីរួមបញ្ចូលសមាសធាតុថ្មីនៅក្នុងការជួបប្រជុំគ្នា អ្នកត្រូវបន្ថែមការពិពណ៌នារបស់វាទៅ bigtop.bom និង ./bigtop-packages ។ អ្នកអាចព្យាយាមធ្វើវាដោយការប្ៀបប្ដូចជាមួយសមាសធាតុដែលមានស្រាប់។ ព្យាយាមដោះស្រាយវា។ វាមិនមែនជាការលំបាកដូចដែលវាហាក់ដូចជានៅ glance ដំបូង។

តើ​អ្នក​គិត​អ្វី? យើងនឹងរីករាយក្នុងការឃើញមតិរបស់អ្នកនៅក្នុងមតិយោបល់ ហើយសូមអរគុណចំពោះការយកចិត្តទុកដាក់របស់អ្នក!

អត្ថបទនេះត្រូវបានរៀបចំដោយក្រុមគ្រប់គ្រងទិន្នន័យ Rostelecom

ប្រភព: www.habr.com