Apache Bigtop ແລະເລືອກການແຈກຢາຍ Hadoop ໃນມື້ນີ້

ມັນອາດຈະບໍ່ມີຄວາມລັບວ່າປີທີ່ຜ່ານມາເປັນປີຂອງການປ່ຽນແປງອັນໃຫຍ່ຫຼວງສໍາລັບ Apache Hadoop. ປີທີ່ຜ່ານມາ, Cloudera ແລະ Hortonworks ໄດ້ລວມເຂົ້າກັນ (ໂດຍພື້ນຖານແລ້ວ, ການຊື້ກິດຈະການສຸດທ້າຍ), ແລະ Mapr, ເນື່ອງຈາກບັນຫາທາງດ້ານການເງິນທີ່ຮ້າຍແຮງ, ຖືກຂາຍໃຫ້ Hewlett Packard. ແລະຖ້າສອງສາມປີກ່ອນ, ໃນກໍລະນີຂອງການຕິດຕັ້ງຢູ່ໃນສະຖານທີ່, ທາງເລືອກມັກຈະຕ້ອງເຮັດລະຫວ່າງ Cloudera ແລະ Hortonworks, ມື້ນີ້, ອະນິຈາ, ພວກເຮົາບໍ່ມີທາງເລືອກນີ້. ຄວາມແປກໃຈອີກຢ່າງຫນຶ່ງແມ່ນຄວາມຈິງທີ່ວ່າ Cloudera ໄດ້ປະກາດໃນເດືອນກຸມພາຂອງປີນີ້ວ່າມັນຈະຢຸດການປ່ອຍການປະກອບ binary ຂອງການແຈກຢາຍຂອງມັນເຂົ້າໄປໃນບ່ອນເກັບມ້ຽນສາທາລະນະ, ແລະໃນປັດຈຸບັນພວກມັນສາມາດໃຊ້ໄດ້ຜ່ານການສະໝັກໃຊ້ທີ່ຈ່າຍເທົ່ານັ້ນ. ແນ່ນອນ, ມັນຍັງເປັນໄປໄດ້ທີ່ຈະດາວໂຫລດເວີຊັນຫຼ້າສຸດຂອງ CDH ແລະ HDP ທີ່ປ່ອຍອອກມາກ່ອນທ້າຍປີ 2019, ແລະການສະຫນັບສະຫນູນສໍາລັບພວກມັນແມ່ນຄາດວ່າຈະເປັນເວລາຫນຶ່ງຫາສອງປີ. ແຕ່ສິ່ງທີ່ຕ້ອງເຮັດຕໍ່ໄປ? ສໍາລັບຜູ້ທີ່ເຄີຍຈ່າຍເງິນສໍາລັບການສະຫມັກ, ບໍ່ມີຫຍັງປ່ຽນແປງ. ແລະສໍາລັບຜູ້ທີ່ບໍ່ຕ້ອງການທີ່ຈະປ່ຽນເປັນສະບັບຈ່າຍຂອງການແຈກຢາຍ, ແຕ່ໃນເວລາດຽວກັນຕ້ອງການທີ່ຈະສາມາດໄດ້ຮັບການສະບັບຫລ້າສຸດຂອງອົງປະກອບຂອງກຸ່ມ, ເຊັ່ນດຽວກັນກັບ patches ແລະການປັບປຸງອື່ນໆ, ພວກເຮົາໄດ້ກະກຽມບົດຄວາມນີ້. ໃນມັນພວກເຮົາຈະພິຈາລະນາທາງເລືອກທີ່ເປັນໄປໄດ້ສໍາລັບການອອກຈາກສະຖານະການນີ້.

ບົດຄວາມແມ່ນການທົບທວນຄືນຫຼາຍ. ມັນຈະບໍ່ມີການປຽບທຽບການແຈກຢາຍແລະການວິເຄາະລາຍລະອຽດຂອງມັນ, ແລະຈະບໍ່ມີສູດສໍາລັບການຕິດຕັ້ງແລະການຕັ້ງຄ່າພວກມັນ. ສິ່ງ​ທີ່​ຈະ​ເກີດ​ຂຶ້ນ? ພວກເຮົາຈະເວົ້າສັ້ນໆກ່ຽວກັບການແຈກຢາຍເຊັ່ນ Arenadata Hadoop, ເຊິ່ງສົມຄວນໄດ້ຮັບຄວາມສົນໃຈຂອງພວກເຮົາເນື່ອງຈາກມີຢູ່, ເຊິ່ງຫາຍາກຫຼາຍໃນມື້ນີ້. ແລະຫຼັງຈາກນັ້ນພວກເຮົາຈະເວົ້າກ່ຽວກັບ Vanilla Hadoop, ສ່ວນໃຫຍ່ແມ່ນກ່ຽວກັບວິທີການທີ່ມັນສາມາດ "ແຕ່ງກິນ" ໂດຍໃຊ້ Apache Bigtop. ພ້ອມບໍ? ຫຼັງຈາກນັ້ນ, ຍິນດີຕ້ອນຮັບ cat.

Arenadata Hadoop

ນີ້​ແມ່ນ​ຊຸດ​ການ​ແຜ່​ກະ​ຈາຍ​ໃຫມ່​ຢ່າງ​ສົມ​ບູນ​ແລະ​ຍັງ​ບໍ່​ຮູ້​ຈັກ​ພຽງ​ເລັກ​ນ້ອຍ​ຂອງ​ການ​ພັດ​ທະ​ນາ​ພາຍ​ໃນ​ປະ​ເທດ​. ແຕ່ຫນ້າເສຍດາຍ, ໃນປັດຈຸບັນຢູ່ໃນHabre ມີພຽງແຕ່ ຫົວ​ຂໍ້​ນີ້.

ຂໍ້ມູນເພີ່ມເຕີມສາມາດພົບໄດ້ຢູ່ໃນເຈົ້າຫນ້າທີ່ site ໂຄງການ. ຮຸ່ນຫຼ້າສຸດຂອງການແຈກຢາຍແມ່ນອີງໃສ່ Hadoop 3.1.2 ສໍາລັບຮຸ່ນ 3, ແລະ 2.8.5 ສໍາລັບຮຸ່ນ 2.

ຂໍ້ມູນກ່ຽວກັບແຜນທີ່ເສັ້ນທາງສາມາດພົບໄດ້ ທີ່ນີ້.

ການໂຕ້ຕອບຜູ້ຈັດການກຸ່ມ Arenadata

ຜະລິດຕະພັນຫຼັກຂອງ Arenadata ແມ່ນ Arenadata Cluster Manager (ADCM), ເຊິ່ງຖືກນໍາໃຊ້ເພື່ອຕິດຕັ້ງ, ຕັ້ງຄ່າແລະຕິດຕາມກວດກາການແກ້ໄຂຊອບແວຂອງບໍລິສັດຕ່າງໆ. ADCM ຖືກແຈກຢາຍໂດຍບໍ່ເສຍຄ່າ, ແລະການເຮັດວຽກຂອງມັນຖືກຂະຫຍາຍໂດຍການເພີ່ມຊຸດ, ເຊິ່ງເປັນຊຸດຂອງ ansible-playbooks. ມັດແບ່ງອອກເປັນສອງປະເພດຄື: ວິສາຫະກິດ ແລະ ຊຸມຊົນ. ສຸດທ້າຍແມ່ນສາມາດໃຊ້ໄດ້ສໍາລັບການດາວໂຫຼດຟຣີຈາກເວັບໄຊທ໌ Arenadata. ມັນຍັງເປັນໄປໄດ້ທີ່ຈະພັດທະນາຊຸດຂອງທ່ານເອງແລະເຊື່ອມຕໍ່ມັນກັບ ADCM.

ສໍາລັບການນໍາໃຊ້ແລະການຄຸ້ມຄອງຂອງ Hadoop 3, ສະບັບຊຸມຊົນຂອງມັດແມ່ນສະຫນອງໃຫ້ໂດຍສົມທົບກັບ ADCM, ແຕ່ສໍາລັບ Hadoop 2 ມີພຽງແຕ່ Apache Ambari ເປັນທາງເລືອກ. ສໍາລັບ repositories ທີ່ມີແພັກເກັດ, ພວກເຂົາເຈົ້າແມ່ນເປີດໃຫ້ສາທາລະນະ, ພວກເຂົາສາມາດດາວໂຫຼດແລະຕິດຕັ້ງໃນແບບປົກກະຕິສໍາລັບອົງປະກອບທັງຫມົດຂອງກຸ່ມ. ໂດຍລວມ, ການແຈກຢາຍເບິ່ງຫນ້າສົນໃຈຫຼາຍ. ຂ້າພະເຈົ້າແນ່ໃຈວ່າຈະມີຜູ້ທີ່ຄຸ້ນເຄີຍກັບການແກ້ໄຂເຊັ່ນ Cloudera Manager ແລະ Ambari, ແລະຜູ້ທີ່ຈະມັກ ADCM ເອງ. ສໍາລັບບາງຄົນ, ມັນຍັງຈະເປັນບວກຂະຫນາດໃຫຍ່ທີ່ການແຈກຢາຍ ລວມຢູ່ໃນການລົງທະບຽນຊອບແວ ສໍາລັບການທົດແທນການນໍາເຂົ້າ.

ຖ້າພວກເຮົາເວົ້າກ່ຽວກັບຂໍ້ເສຍ, ພວກເຂົາຈະຄືກັນກັບການແຈກຢາຍ Hadoop ອື່ນໆ. ຄື:

• ອັນທີ່ເອີ້ນວ່າ "ຜູ້ຂາຍລັອກໃນ". ການນໍາໃຊ້ຕົວຢ່າງຂອງ Cloudera ແລະ Hortonworks, ພວກເຮົາໄດ້ຮັບຮູ້ແລ້ວວ່າມີຄວາມສ່ຽງຕໍ່ການປ່ຽນແປງນະໂຍບາຍຂອງບໍລິສັດສະເຫມີ.
• ມີຄວາມຊັກຊ້າຢ່າງໃຫຍ່ຫຼວງຢູ່ເບື້ອງຫຼັງ Apache upstream.

Vanilla Hadoop

ດັ່ງທີ່ທ່ານຮູ້, Hadoop ບໍ່ແມ່ນຜະລິດຕະພັນ monolithic, ແຕ່, ໃນຄວາມເປັນຈິງ, galaxy ທັງຫມົດຂອງການບໍລິການປະມານລະບົບໄຟລ໌ທີ່ແຈກຢາຍ HDFS ຂອງມັນ. ສອງສາມຄົນຈະມີພຽງກຸ່ມໄຟລ໌ດຽວ. ບາງຄົນຕ້ອງການ Hive, ຄົນອື່ນ Presto, ແລະຫຼັງຈາກນັ້ນມີ HBase ແລະ Phoenix; Spark ຖືກນໍາໃຊ້ເພີ່ມຂຶ້ນ. ສໍາລັບການ orchestration ແລະການໂຫຼດຂໍ້ມູນ, Oozie, Sqoop ແລະ Flume ແມ່ນບາງຄັ້ງພົບເຫັນ. ແລະຖ້າບັນຫາຄວາມປອດໄພເກີດຂື້ນ, ຫຼັງຈາກນັ້ນ Kerberos ສົມທົບກັບ Ranger ທັນທີທັນໃດ.

ສະບັບ Binary ຂອງອົງປະກອບ Hadoop ແມ່ນມີຢູ່ໃນເວັບໄຊທ໌ຂອງແຕ່ລະໂຄງການລະບົບນິເວດໃນຮູບແບບຂອງ tarballs. ທ່ານສາມາດດາວໂຫລດພວກມັນແລະເລີ່ມຕົ້ນການຕິດຕັ້ງ, ແຕ່ມີເງື່ອນໄຂຫນຶ່ງ: ນອກເຫນືອຈາກການປະກອບແພັກເກັດຢ່າງເປັນເອກະລາດຈາກຖານສອງ "ດິບ", ທີ່ທ່ານມັກຈະຕ້ອງການເຮັດ, ທ່ານຈະບໍ່ຫມັ້ນໃຈໃນຄວາມເຂົ້າກັນໄດ້ຂອງອົງປະກອບທີ່ດາວໂຫລດມາກັບແຕ່ລະ. ອື່ນໆ. ທາງເລືອກທີ່ຕ້ອງການແມ່ນການກໍ່ສ້າງໂດຍໃຊ້ Apache Bigtop. Bigtop ຈະຊ່ວຍໃຫ້ທ່ານສ້າງຈາກ Apache maven repositories, ດໍາເນີນການທົດສອບແລະສ້າງຊຸດ. ແຕ່, ສິ່ງທີ່ສໍາຄັນຫຼາຍສໍາລັບພວກເຮົາ, Bigtop ຈະປະກອບສະບັບຂອງອົງປະກອບທີ່ຈະເຂົ້າກັນໄດ້ກັບກັນແລະກັນ. ພວກເຮົາຈະເວົ້າກ່ຽວກັບມັນໃນລາຍລະອຽດເພີ່ມເຕີມຂ້າງລຸ່ມນີ້.

Apache Bigtop

Apache Bigtop ເປັນເຄື່ອງມືສໍາລັບການກໍ່ສ້າງ, ການຫຸ້ມຫໍ່ແລະການທົດສອບຈໍານວນຂອງ
ໂຄງການແຫຼ່ງເປີດ, ເຊັ່ນ Hadoop ແລະ Greenplum. Bigtop ມີຫຼາຍ
ການປ່ອຍ. ໃນ​ເວ​ລາ​ຂອງ​ການ​ຂຽນ​, ການ​ປ່ອຍ​ທີ່​ຫມັ້ນ​ຄົງ​ຫລ້າ​ສຸດ​ແມ່ນ​ສະ​ບັບ 1.4​,
ແລະໃນຕົ້ນສະບັບມີ 1.5. ຮຸ່ນທີ່ແຕກຕ່າງກັນຂອງການປ່ອຍຕົວໃຊ້ສະບັບທີ່ແຕກຕ່າງກັນ
ອົງປະກອບ. ຕົວຢ່າງ, ສໍາລັບ 1.4 ອົງປະກອບຫຼັກ Hadoop ມີຮຸ່ນ 2.8.5, ແລະໃນຕົ້ນສະບັບ
2.10.0. ອົງປະກອບຂອງອົງປະກອບທີ່ສະຫນັບສະຫນູນແມ່ນຍັງມີການປ່ຽນແປງ. ບາງສິ່ງບາງຢ່າງລ້າສະໄຫມແລະ
unrenewable ໄປ, ແລະໃນສະຖານທີ່ຂອງມັນມາບາງສິ່ງບາງຢ່າງໃຫມ່, ເພີ່ມເຕີມໃນຄວາມຕ້ອງການ, ແລະ
ມັນບໍ່ແມ່ນສິ່ງທີ່ຈໍາເປັນຈາກຄອບຄົວ Apache ເອງ.

ນອກຈາກນັ້ນ, Bigtop ມີຫຼາຍ ສ້ອມ.

ເມື່ອພວກເຮົາເລີ່ມຮູ້ຈັກກັບ Bigtop, ພວກເຮົາທໍາອິດທີ່ປະຫລາດໃຈກັບຄວາມອ່ອນໂຍນຂອງມັນ, ເມື່ອປຽບທຽບກັບໂຄງການ Apache ອື່ນໆ, ອັດຕາສ່ວນແລະຄວາມນິຍົມ, ເຊັ່ນດຽວກັນກັບຊຸມຊົນຂະຫນາດນ້ອຍຫຼາຍ. ມັນປະຕິບັດຕາມນີ້ວ່າມີຂໍ້ມູນຫນ້ອຍທີ່ສຸດກ່ຽວກັບຜະລິດຕະພັນ, ແລະການຊອກຫາວິທີແກ້ໄຂທີ່ເກີດຂື້ນໃນເວທີສົນທະນາແລະລາຍຊື່ທາງໄປສະນີອາດຈະບໍ່ໄດ້ຜົນຫຍັງເລີຍ. ໃນຕອນ ທຳ ອິດ, ມັນກາຍເປັນວຽກທີ່ຍາກ ສຳ ລັບພວກເຮົາທີ່ຈະເຮັດການປະກອບການແຈກຢາຍໃຫ້ສົມບູນເນື່ອງຈາກຄຸນລັກສະນະຂອງເຄື່ອງມືຂອງມັນເອງ, ແຕ່ພວກເຮົາຈະເວົ້າກ່ຽວກັບເລື່ອງນີ້ຕໍ່ມາເລັກນ້ອຍ.

ໃນຖານະທີ່ເປັນຕົວຢ່າງ, ຜູ້ທີ່ໃນເວລາຫນຶ່ງມີຄວາມສົນໃຈໃນໂຄງການດັ່ງກ່າວຂອງຈັກກະວານ Linux ເຊັ່ນ Gentoo ແລະ LFS ອາດຈະຮູ້ສຶກດີໃຈທີ່ຈະເຮັດວຽກກັບເລື່ອງນີ້ແລະຈື່ຈໍາເວລາທີ່ "epic" ທີ່ພວກເຮົາກໍາລັງຊອກຫາ (ຫຼືແມ້ກະທັ້ງຂຽນ) ກໍ່ສ້າງແລະສ້າງໃຫມ່ຢ່າງເປັນປົກກະຕິ Mozilla ດ້ວຍ patches ໃຫມ່.

ປະໂຫຍດອັນໃຫຍ່ຫຼວງຂອງ Bigtop ແມ່ນການເປີດກວ້າງແລະຄວາມຄ່ອງຕົວຂອງເຄື່ອງມືທີ່ມັນອີງໃສ່. ມັນແມ່ນອີງໃສ່ Gradle ແລະ Apache Maven. Gradle ແມ່ນເປັນທີ່ຮູ້ຈັກກັນດີເປັນເຄື່ອງມືທີ່ Google ໃຊ້ເພື່ອສ້າງ Android. ມັນມີຄວາມຍືດຫຍຸ່ນ, ແລະ, ຍ້ອນວ່າພວກເຂົາເວົ້າວ່າ, "ທົດສອບການສູ້ຮົບ." Maven ເປັນເຄື່ອງມືມາດຕະຖານສໍາລັບໂຄງການກໍ່ສ້າງໃນ Apache ຕົວຂອງມັນເອງ, ແລະນັບຕັ້ງແຕ່ຜະລິດຕະພັນຂອງມັນຖືກປ່ອຍອອກມາໂດຍຜ່ານ Maven, ມັນບໍ່ສາມາດເຮັດໄດ້ໂດຍບໍ່ມີມັນຢູ່ທີ່ນີ້. ມັນເປັນມູນຄ່າທີ່ຈະເອົາໃຈໃສ່ກັບ POM (ຮູບແບບວັດຖຸໂຄງການ) - ໄຟລ໌ xml "ພື້ນຖານ" ທີ່ອະທິບາຍທຸກສິ່ງທຸກຢ່າງທີ່ຈໍາເປັນສໍາລັບ Maven ເພື່ອເຮັດວຽກກັບໂຄງການຂອງທ່ານ, ປະມານທີ່ວຽກງານທັງຫມົດຖືກສ້າງຂຶ້ນ. ແທ້ຢູ່ທີ່
ບາງສ່ວນຂອງ Maven ແລະຍັງມີອຸປະສັກບາງຢ່າງທີ່ຜູ້ໃຊ້ Bigtop ທໍາອິດພົບ.

ການປະຕິບັດ

ດັ່ງນັ້ນທ່ານຄວນເລີ່ມຕົ້ນບ່ອນໃດ? ໄປ​ທີ່​ຫນ້າ​ດາວ​ໂຫຼດ​ແລະ​ດາວ​ນ​໌​ໂຫລດ​ສະ​ບັບ​ຄວາມ​ຫມັ້ນ​ຄົງ​ຫລ້າ​ສຸດ​ເປັນ​ການ​ເກັບ​. ນອກນັ້ນທ່ານຍັງສາມາດຊອກຫາສິ່ງປະດິດຖານສອງທີ່ເກັບກໍາໂດຍ Bigtop ຢູ່ທີ່ນັ້ນ. ໂດຍວິທີທາງການ, ໃນບັນດາຜູ້ຈັດການຊຸດທົ່ວໄປ, YUM ແລະ APT ໄດ້ຮັບການສະຫນັບສະຫນູນ.

ທາງເລືອກອື່ນ, ທ່ານສາມາດດາວນ໌ໂຫລດການປ່ອຍທີ່ຫມັ້ນຄົງຫລ້າສຸດໄດ້ໂດຍກົງຈາກ
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Cloning ໃນ “bigtop”…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

ຜົນໄດ້ຮັບ ./bigtop directory ມີລັກສະນະຄ້າຍຄືນີ້:

./bigtop-bigpetstore - ຄໍາຮ້ອງສະຫມັກ demo, ຕົວຢ່າງສັງເຄາະ
./bigtop-ci - CI ເຄື່ອງມື, jenkins
./bigtop-data-generators - ການ​ຜະ​ລິດ​ຂໍ້​ມູນ​, ການ​ສັງ​ເຄາະ​, ສໍາ​ລັບ​ການ​ທົດ​ສອບ​ຄວັນ​ໄຟ​, ແລະ​ອື່ນໆ​.
./bigtop-deploy - ເຄື່ອງ​ມື​ການ​ນໍາ​ໃຊ້​
./bigtop-packages — configs, scripts, patches ສໍາລັບການປະກອບ, ສ່ວນຕົ້ນຕໍຂອງເຄື່ອງມື
./bigtop-test-framework - ໂຄງ​ການ​ທົດ​ສອບ​
./bigtop-tests — ການ​ທົດ​ສອບ​ດ້ວຍ​ຕົນ​ເອງ​, ໂຫຼດ​ແລະ​ສູບ​ຢາ​
./bigtop_toolchain — ສະ​ພາບ​ແວດ​ລ້ອມ​ສໍາ​ລັບ​ການ​ປະ​ກອບ​, ການ​ກະ​ກຽມ​ສະ​ພາບ​ແວດ​ລ້ອມ​ສໍາ​ລັບ​ເຄື່ອງ​ມື​ໃນ​ການ​ເຮັດ​ວຽກ​
./build - ສ້າງ​ລະ​ບົບ​ການ​ເຮັດ​ວຽກ​
./dl - ໄດເລກະທໍລີສໍາລັບແຫຼ່ງດາວໂຫຼດ
./docker - ການກໍ່ສ້າງໃນຮູບພາບ docker, ການທົດສອບ
./gradle - ການ​ຕັ້ງ​ຄ່າ gradle​
./output - ໄດເລກະທໍລີທີ່ສ້າງ artifacts ໄປ
./provisioner — ການ​ສະ​ຫນອງ​

ສິ່ງທີ່ຫນ້າສົນໃຈທີ່ສຸດສໍາລັບພວກເຮົາໃນຂັ້ນຕອນນີ້ແມ່ນການຕັ້ງຄ່າຕົ້ນຕໍ ./bigtop/bigtop.bom, ໃນທີ່ພວກເຮົາເຫັນອົງປະກອບສະຫນັບສະຫນູນທັງຫມົດທີ່ມີສະບັບ. ນີ້ແມ່ນບ່ອນທີ່ພວກເຮົາສາມາດກໍານົດຮຸ່ນທີ່ແຕກຕ່າງກັນຂອງຜະລິດຕະພັນ (ຖ້າພວກເຮົາຕ້ອງການທີ່ຈະພະຍາຍາມສ້າງມັນຢ່າງກະທັນຫັນ) ຫຼືສະບັບສ້າງ (ຕົວຢ່າງ, ພວກເຮົາເພີ່ມ patch ທີ່ສໍາຄັນ).

ໄດເລກະທໍລີຍ່ອຍຍັງມີຄວາມສົນໃຈຫຼາຍ ./bigtop/bigtop-packages, ເຊິ່ງກ່ຽວຂ້ອງໂດຍກົງກັບຂະບວນການປະກອບອົງປະກອບແລະການຫຸ້ມຫໍ່ກັບພວກເຂົາ.

ດັ່ງນັ້ນ, ພວກເຮົາດາວໂຫຼດແຟ້ມຈັດເກັບ, ຖອດມັນອອກຫຼືສ້າງໂຄນຈາກ github, ພວກເຮົາສາມາດເລີ່ມຕົ້ນສ້າງໄດ້ບໍ?

ບໍ່, ໃຫ້ກະກຽມສະພາບແວດລ້ອມກ່ອນ.

ການກະກຽມສະພາບແວດລ້ອມ

ແລະໃນທີ່ນີ້ພວກເຮົາຕ້ອງການ retreat ຂະຫນາດນ້ອຍ. ເພື່ອສ້າງເກືອບທຸກຜະລິດຕະພັນທີ່ສະລັບສັບຊ້ອນຫຼາຍຫຼືຫນ້ອຍ, ທ່ານຕ້ອງການສະພາບແວດລ້ອມທີ່ແນ່ນອນ - ໃນກໍລະນີຂອງພວກເຮົາ, ນີ້ແມ່ນ JDK, ຫ້ອງສະຫມຸດທີ່ແບ່ງປັນດຽວກັນ, ໄຟລ໌ header, ແລະອື່ນໆ, ເຄື່ອງມື, ສໍາລັບການຍົກຕົວຢ່າງ, ant, ivy2 ແລະອື່ນໆອີກ. ຫນຶ່ງໃນທາງເລືອກທີ່ຈະໄດ້ຮັບສະພາບແວດລ້ອມທີ່ທ່ານຕ້ອງການສໍາລັບ Bigtop ແມ່ນການຕິດຕັ້ງອົງປະກອບທີ່ຈໍາເປັນໃນການກໍ່ສ້າງເຈົ້າພາບ. ຂ້ອຍອາດຈະຜິດໃນລໍາດັບ, ແຕ່ມັນເບິ່ງຄືວ່າກັບຮຸ່ນ 1.0 ຍັງມີທາງເລືອກທີ່ຈະສ້າງຮູບພາບ Docker ທີ່ຖືກກໍານົດໄວ້ກ່ອນແລະສາມາດເຂົ້າເຖິງໄດ້, ເຊິ່ງສາມາດພົບໄດ້ທີ່ນີ້.

ສໍາລັບການກະກຽມສະພາບແວດລ້ອມ, ມີຜູ້ຊ່ວຍສໍາລັບການນີ້ - Puppet.

ທ່ານສາມາດນໍາໃຊ້ຄໍາສັ່ງຕໍ່ໄປນີ້, ດໍາເນີນການຈາກໄດເລກະທໍລີຮາກ
ເຄື່ອງ​ມື​, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

ຫຼືໂດຍກົງຜ່ານ puppet:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

ແຕ່ຫນ້າເສຍດາຍ, ຄວາມຫຍຸ້ງຍາກອາດຈະເກີດຂື້ນໃນຂັ້ນຕອນນີ້. ຄໍາແນະນໍາທົ່ວໄປຢູ່ທີ່ນີ້ແມ່ນການນໍາໃຊ້ການແຈກຢາຍທີ່ສະຫນັບສະຫນູນ, ຈົນເຖິງວັນທີໃນການກໍ່ສ້າງເຈົ້າພາບ, ຫຼືລອງໃຊ້ເສັ້ນທາງ docker.

Assembly

ພວກເຮົາສາມາດພະຍາຍາມເກັບກໍາຫຍັງ? ຄໍາຕອບຂອງຄໍາຖາມນີ້ຈະຖືກໃຫ້ໂດຍຜົນໄດ້ຮັບຂອງຄໍາສັ່ງ

./gradlew tasks

ໃນພາກວຽກ Package ມີຜະລິດຕະພັນຈໍານວນຫນຶ່ງທີ່ເປັນສິ່ງປະດິດສຸດທ້າຍຂອງ Bigtop.
ພວກເຂົາສາມາດຖືກກໍານົດໂດຍ suffix -rpm ຫຼື -pkg-ind (ໃນກໍລະນີຂອງການກໍ່ສ້າງ.
ໃນ docker). ໃນກໍລະນີຂອງພວກເຮົາ, ທີ່ຫນ້າສົນໃຈຫຼາຍທີ່ສຸດແມ່ນ Hadoop.

ໃຫ້ພະຍາຍາມສ້າງໃນສະພາບແວດລ້ອມຂອງເຄື່ອງແມ່ຂ່າຍການກໍ່ສ້າງຂອງພວກເຮົາ:

./gradlew hadoop-rpm

Bigtop ຕົວຂອງມັນເອງຈະດາວໂຫລດແຫຼ່ງທີ່ຈໍາເປັນທີ່ຈໍາເປັນສໍາລັບອົງປະກອບສະເພາະແລະເລີ່ມຕົ້ນການປະກອບ. ດັ່ງນັ້ນ, ການດໍາເນີນງານຂອງເຄື່ອງມືແມ່ນຂຶ້ນກັບ Maven repositories ແລະແຫຼ່ງອື່ນໆ, ນັ້ນແມ່ນ, ມັນຮຽກຮ້ອງໃຫ້ມີການເຂົ້າເຖິງອິນເຕີເນັດ.

ໃນລະຫວ່າງການປະຕິບັດງານ, ຜົນຜະລິດມາດຕະຖານແມ່ນຜະລິດ. ບາງຄັ້ງມັນແລະຂໍ້ຄວາມສະແດງຂໍ້ຜິດພາດສາມາດຊ່ວຍໃຫ້ທ່ານເຂົ້າໃຈສິ່ງທີ່ຜິດພາດ. ແລະບາງຄັ້ງທ່ານຈໍາເປັນຕ້ອງໄດ້ຮັບຂໍ້ມູນເພີ່ມເຕີມ. ໃນກໍລະນີນີ້ມັນເປັນມູນຄ່າເພີ່ມການໂຕ້ຖຽງ --info ຫຼື --debug, ແລະຍັງອາດຈະເປັນປະໂຫຍດ –stacktrace. ມີວິທີທີ່ສະດວກໃນການສ້າງຊຸດຂໍ້ມູນສໍາລັບການເຂົ້າເຖິງລາຍຊື່ທາງໄປສະນີ, ທີ່ສໍາຄັນ --scan.

ດ້ວຍການຊ່ວຍເຫຼືອຂອງມັນ, bigtop ຈະເກັບກໍາຂໍ້ມູນທັງຫມົດແລະວາງໄວ້ໃນຊັ້ນ, ຫຼັງຈາກນັ້ນມັນຈະສະຫນອງການເຊື່ອມຕໍ່,
ໂດຍປະຕິບັດຕາມທີ່, ບຸກຄົນທີ່ມີຄວາມສາມາດຈະສາມາດເຂົ້າໃຈວ່າເປັນຫຍັງການຊຸມນຸມລົ້ມເຫລວ.
ກະລຸນາຮັບຊາບວ່າຕົວເລືອກນີ້ອາດຈະເປີດເຜີຍຂໍ້ມູນທີ່ເຈົ້າບໍ່ຕ້ອງການ, ເຊັ່ນ: ຊື່ຜູ້ໃຊ້, ໂນດ, ຕົວແປສະພາບແວດລ້ອມ, ແລະອື່ນໆ, ດັ່ງນັ້ນຈົ່ງລະມັດລະວັງ.

ເລື້ອຍໆຄວາມຜິດພາດແມ່ນຜົນມາຈາກການບໍ່ສາມາດໄດ້ຮັບອົງປະກອບໃດໆທີ່ຈໍາເປັນສໍາລັບການປະກອບ. ໂດຍປົກກະຕິ, ທ່ານສາມາດແກ້ໄຂບັນຫາໄດ້ໂດຍການສ້າງ patch ເພື່ອແກ້ໄຂບາງສິ່ງບາງຢ່າງໃນແຫຼ່ງ, ຕົວຢ່າງ, ທີ່ຢູ່ໃນ pom.xml ໃນລະບົບຮາກຂອງແຫຼ່ງ. ນີ້ແມ່ນເຮັດໄດ້ໂດຍການສ້າງແລະວາງໄວ້ໃນໄດເລກະທໍລີທີ່ເຫມາະສົມ ./bigtop/bigtop-packages/src/common/oozie/ patch, ສໍາລັບການຍົກຕົວຢ່າງ, ໃນຮູບແບບ patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

ສ່ວນຫຼາຍອາດຈະ, ໃນເວລາທີ່ອ່ານບົດຄວາມນີ້, ທ່ານຈະບໍ່ຈໍາເປັນຕ້ອງເຮັດການແກ້ໄຂຂ້າງເທິງນີ້ຕົວທ່ານເອງ.

ເມື່ອແນະນໍາ patches ແລະການປ່ຽນແປງຂອງກົນໄກການປະກອບ, ທ່ານອາດຈະຈໍາເປັນຕ້ອງໄດ້ "ປັບ" ສະພາແຫ່ງການນໍາໃຊ້ຄໍາສັ່ງທໍາຄວາມສະອາດ:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

ການດໍາເນີນງານນີ້ຈະກັບຄືນການປ່ຽນແປງທັງຫມົດຂອງການປະກອບຂອງອົງປະກອບນີ້, ຫຼັງຈາກນັ້ນການປະກອບຈະໄດ້ຮັບການປະຕິບັດອີກເທື່ອຫນຶ່ງ. ເວລານີ້ພວກເຮົາຈະພະຍາຍາມສ້າງໂຄງການໃນຮູບແບບ docker:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

ການກໍ່ສ້າງໄດ້ຖືກປະຕິບັດພາຍໃຕ້ CentOS, ແຕ່ຍັງສາມາດເຮັດໄດ້ພາຍໃຕ້ Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

ນອກເຫນືອຈາກການສ້າງແພັກເກັດສໍາລັບການແຈກຢາຍ Linux ຕ່າງໆ, ເຄື່ອງມືສາມາດສ້າງ repository ທີ່ມີແພັກເກັດລວບລວມ, ຕົວຢ່າງ:

./gradlew yum

ນອກນັ້ນທ່ານຍັງສາມາດຈື່ຈໍາກ່ຽວກັບການທົດສອບຄວັນຢາສູບແລະການນໍາໃຊ້ໃນ Docker.

ສ້າງກຸ່ມຂອງສາມ nodes:

./gradlew -Pnum_instances=3 docker-provisioner

ດຳ​ເນີນ​ການ​ທົດ​ສອບ​ຄວັນ​ໄຟ​ຢູ່​ໃນ​ກຸ່ມ​ສາມ​ຂໍ້​:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

ລຶບກຸ່ມ:

./gradlew docker-provisioner-destroy

ເອົາຄໍາສັ່ງສໍາລັບການເຊື່ອມຕໍ່ພາຍໃນ docker containers:

./gradlew docker-provisioner-ssh

ສະແດງສະຖານະ:

./gradlew docker-provisioner-status

ທ່ານສາມາດອ່ານເພີ່ມເຕີມກ່ຽວກັບວຽກງານການປັບໃຊ້ໃນເອກະສານ.

ຖ້າພວກເຮົາສົນທະນາກ່ຽວກັບການທົດສອບ, ມີຈໍານວນຂ້ອນຂ້າງຫຼາຍ, ສ່ວນໃຫຍ່ແມ່ນການສູບຢາແລະການເຊື່ອມໂຍງ. ການວິເຄາະຂອງພວກເຂົາແມ່ນເກີນຂອບເຂດຂອງບົດຄວາມນີ້. ໃຫ້ຂ້າພະເຈົ້າພຽງແຕ່ເວົ້າວ່າການປະກອບຊຸດການແຈກຢາຍບໍ່ແມ່ນວຽກທີ່ມີຄວາມຫຍຸ້ງຍາກຍ້ອນວ່າມັນອາດຈະເບິ່ງຄືວ່າຢູ່ glance ທໍາອິດ. ພວກ​ເຮົາ​ໄດ້​ຈັດ​ການ​ປະ​ກອບ​ແລະ​ຜ່ານ​ການ​ທົດ​ສອບ​ກ່ຽວ​ກັບ​ອົງ​ປະ​ກອບ​ທັງ​ຫມົດ​ທີ່​ພວກ​ເຮົາ​ນໍາ​ໃຊ້​ໃນ​ການ​ຜະ​ລິດ​ຂອງ​ພວກ​ເຮົາ​, ແລະ​ພວກ​ເຮົາ​ຍັງ​ບໍ່​ມີ​ບັນ​ຫາ​ໃນ​ການ​ນໍາ​ໃຊ້​ມັນ​ແລະ​ປະ​ຕິ​ບັດ​ການ​ພື້ນ​ຖານ​ໃນ​ສະ​ພາບ​ແວດ​ລ້ອມ​ການ​ທົດ​ສອບ​.

ນອກເຫນືອໄປຈາກອົງປະກອບທີ່ມີຢູ່ໃນ Bigtop, ມັນເປັນໄປໄດ້ທີ່ຈະເພີ່ມສິ່ງອື່ນ, ເຖິງແມ່ນວ່າການພັດທະນາຊອບແວຂອງທ່ານເອງ. ທັງຫມົດນີ້ແມ່ນອັດຕະໂນມັດຢ່າງສົມບູນແລະເຫມາະສົມກັບແນວຄວາມຄິດ CI / CD.

ສະຫລຸບ

ແນ່ນອນ, ການແຈກຢາຍທີ່ລວບລວມດ້ວຍວິທີນີ້ບໍ່ຄວນຖືກສົ່ງໄປຫາການຜະລິດທັນທີ. ທ່ານຈໍາເປັນຕ້ອງເຂົ້າໃຈວ່າຖ້າມີຄວາມຕ້ອງການທີ່ແທ້ຈິງໃນການກໍ່ສ້າງແລະສະຫນັບສະຫນູນການແຈກຢາຍຂອງທ່ານ, ຫຼັງຈາກນັ້ນທ່ານຈໍາເປັນຕ້ອງລົງທຶນເງິນແລະເວລາໃນເລື່ອງນີ້.

ຢ່າງໃດກໍຕາມ, ໃນການປະສົມປະສານກັບວິທີການທີ່ຖືກຕ້ອງແລະທີມງານມືອາຊີບ, ມັນຂ້ອນຂ້າງເປັນໄປໄດ້ທີ່ຈະເຮັດໂດຍບໍ່ມີການແກ້ໄຂທາງການຄ້າ.

ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະສັງເກດວ່າໂຄງການ Bigtop ຕົວຂອງມັນເອງຢູ່ໃນຄວາມຕ້ອງການຂອງການພັດທະນາແລະບໍ່ປາກົດວ່າໄດ້ຮັບການພັດທະນາຢ່າງຈິງຈັງໃນມື້ນີ້. ຄວາມສົດໃສດ້ານຂອງ Hadoop 3 ປະກົດຢູ່ໃນນັ້ນຍັງບໍ່ຈະແຈ້ງ, ໂດຍວິທີທາງການ, ຖ້າທ່ານມີຄວາມຕ້ອງການທີ່ແທ້ຈິງໃນການກໍ່ສ້າງ Hadoop 3, ທ່ານສາມາດເບິ່ງທີ່ ສ້ອມ ຈາກ Arenadata, ໃນນັ້ນ, ນອກເຫນືອຈາກມາດຕະຖານ
ມີຈໍານວນຂອງອົງປະກອບເພີ່ມເຕີມ (Ranger, Knox, NiFi).

ສໍາລັບ Rostelecom, ສໍາລັບພວກເຮົາ Bigtop ແມ່ນຫນຶ່ງໃນທາງເລືອກທີ່ຖືກພິຈາລະນາໃນມື້ນີ້. ບໍ່ວ່າພວກເຮົາຈະເລືອກມັນຫຼືບໍ່, ເວລາຈະບອກ.

ເອກະສານຊ້ອນ

ເພື່ອປະກອບອົງປະກອບໃຫມ່ໃນສະພາແຫ່ງ, ທ່ານຈໍາເປັນຕ້ອງເພີ່ມຄໍາອະທິບາຍຂອງມັນໃສ່ bigtop.bom ແລະ ./bigtop-packages. ທ່ານສາມາດພະຍາຍາມເຮັດສິ່ງນີ້ໂດຍການປຽບທຽບກັບອົງປະກອບທີ່ມີຢູ່. ພະຍາຍາມຄິດອອກ. ມັນບໍ່ມີຄວາມຫຍຸ້ງຍາກຍ້ອນວ່າມັນເບິ່ງຄືວ່າຢູ່ glance ທໍາອິດ.

ເຈົ້າຄິດແນວໃດ? ພວກເຮົາຈະດີໃຈທີ່ຈະເຫັນຄວາມຄິດເຫັນຂອງທ່ານໃນຄໍາເຫັນແລະຂໍຂອບໃຈທ່ານສໍາລັບຄວາມສົນໃຈຂອງທ່ານ!

ບົດຄວາມໄດ້ຖືກກະກຽມໂດຍທີມງານຄຸ້ມຄອງຂໍ້ມູນ Rostelecom

ແຫຼ່ງຂໍ້ມູນ: www.habr.com