áŤááá áááľ á Apache Hadoop áľáá ááἠá¨á°á°á¨áá áľ áááľ ááá ááá ááľá˘á áááá áá˝ááᢠáŁááá áááľáŁ Cloudera áĽá Hortonworks á°áá á°áá (á ááááľáŁ á¨ááááá ááááľ)ᣠáĽá Maprᣠá á¨áŁáľ á¨áááááľ á˝ááŽá˝ ááááŤáľáŁ á Hewlett Packard á°á˝á§áᢠáĽá á¨áĽááľ á ááłáľ á ááľ, á áá˘á ááľáĽ á á°áá á áááśá˝ ááľáĽ, áááŤá áĽááá áá á Cloudera áĽá Hortonworks ááŤá¨á áá°á¨á áá á¨á áľ, ááŹ, ááŽ, áá áá፠á¨ááá. ááá á¨ááŤáľá°ááá ááá ááááŹáŤ á áá á ááľ á á¨áŤá˛áľ áá á¨áľáááąá áááľáŽá˝ áľáĽá°áŁáá˝ áá° á¨á áἠáá¨ááť áááá áĽáá°ááŤáá ááľáłáá áĽá á áá á¨ááááľ á á°á¨ááá áľ á¨á°áá áááľ áááᣠáĽáť ááᢠá áĽááἠᨠ2019 áá¨á¨áť á ááľ á¨á°ááááľá á¨á áἠáááášá á¨á˛á˛á¤á˝ áĽá á¤á˝á˛á áľáŞáśá˝ á ááá ááá¨áľ ááťáá áĽá ááĽááą áľáá á¨á ááľ áĽáľá¨ áááľ á ááľ áá á ááᢠáá ááĽá áá ááľá¨á á áá áľ? á¨áá áá°á áá°áá áááľ áá¨ááᣠááá ááá á áá°ááá áᢠáĽá áá° á¨áá¨ááá áľ á¨áľáááľ áľáŞáľ ááá¨á áááááá, áá á á°ááłáłá áá á¨á áἠáááá á¨áááľá°á áááá˝á, áĽáá˛áá áĽáááá˝á áĽá ááá˝ ááťáťáŤáá˝á ááá á ááťá ááááá, áá á á˝áá á ááá á°áá. á áĽáą ááľáĽ á¨áá áááł ááááŁáľ ááá á¨áá˝á á ááŤáŽá˝á áĽáááá¨áłáá.
á˝áá á¨á áá áááá ááᢠá¨áľáááśá˝á áá
á
á áĽá áááá áľááłáá á áááá, áĽá áĽááąá áááŤá áĽá ááááá ááá á¨ááἠá áááááľ áááŞáŤ á áááá. áá áááá? áĽáá° á áŹááłáł ááąá áľá áĽáá°áá
áŤá áľáááľ á á áአáĽáááááŤáá ᣠáĽáąá á ááááą ááááŤáľ áľáŠá¨áľ áá°á á á¨áááŁá ᣠáᏠá áŁá á áá á áá ááᢠáĽá á ááá á áľá áŤáá ááąá áĽáááááŤááᣠá ááááľ Apache Bigtopá á áá áá áĽáá´áľ âááĽá°áâ áĽáá°ááťá ááᢠááá? á¨á፠áá° áľááľ áĽááłá á°á
á ááĄ.
á áŹááłáł ááąá
áá
áá ááá á á˛áľ áĽá áĽáľáŤáá áľá¨áľ áĽáá á¨áááłáá
á¨ááá ááľáĽ áááľ áá¨áá፠ááłáŞáŤ ááᢠáĽáá° á áááłá°á áá á á áá áá á áá Ꮰáá áĽáť á áᢠ.
á°á¨á᪠áá¨á á áŚáá´ááá áá ááá áá˝áá ááŽáááľ. á¨á áἠááááš á¨áľáááľ áľáŞáśá˝ á ááąá 3.1.2 ááľáŞáľ 3 áĽá 2.8.5 á áľáŞáľ 2 á¨á°áá°á¨áą áá¸áá˘
áľá ááá° áŤááłá áá¨á ááááľ ááťáá .
á¨á áŹááłáł áááľá°á á áľá°áłáłáŞ á áááá˝
á¨á áŹááłáł áá áááľ ááᢠ, áá á á¨á°ááŤáŠ á¨áŠáŁá፠áśááľáá áááľááá˝á áááŤá, ááááá áĽá ááááŁá á áŤááááá. ADCM á ááť áá°áŤáŤáᣠáĽá á°ááŁáŤáą á¨áá°áá áĽá áá˝á á áá¨áá ááᣠáĽááá á á¨á˝ááł-ááŤááť áá˝ááᢠáĽá áá˝ á áááľ ááááľ áá¨áááᥠá˘áá°áááŤáá áĽá áá á á¨á°áĽá˘ á¨ááááš á¨Arenadata áľá ᨠáá˝ á ááť ááá¨áľ ááááᢠáĽáá˛áá á¨áĽáŤáľáá áĽá á áááááľ áĽá ᨠADCM áá áááááľ ááťáá.
áHadoop 3 áá°ááŤáľ áĽá ááľá°áłá°áᣠá¨áĽá á á¨áá á á¨á°áĽ áľáŞáľ ᨠADCM áá á áĽáá¨áľ ááá§áᣠááá áá áHadoop 2 áĽáť á áᢠáĽáá° á ááŤá. á¨áĽá á áá áŤá áá¨ááťáá˝ áááἠá°á°áŤá˝ááľ áááľ áá¸áᣠáááá á¨áááľá°á á áŤááľ á á°ááá°á ááááľ ááá¨áľ áĽá ááŤá áá˝ááᢠá á á ááá áľáááą á áŁá á¨ááľáĽ áááľáá. áĽáá° Cloudera Manager áĽá Ambari áŤá áááľááá˝á á¨áááą áĽá ADCM áĽáŤáąá á¨áááą áĽáá°ááአáĽááá á ááᢠáá ááłááśáš á°áá áľáááą áľáá áááľ ááááᢠá¨ááľááŁáľ ááľá.
áľá áľáááśáš á¨á°ááááá, áĽáá° áááš á¨ááąá áľáááśá˝ áá á°ááłáłá áááá. áá¸áááĄ-
- "á¨áťá áááááŤ" á°áĽá á¨áá áŤá. ᨠCloudera áĽá Hortonworks ááłááá˝á á áá áá áááá á¨áŠáŁá፠ááá˛á á¨ááá¨á á á°á áĽááłá á áááá.
- á¨Apache áá°áá áĽá¨áľ á áľá°ááᣠááá á¨áá áááá¨áľá˘
áŤáá Hadoop
áĽáá°ááłááá ááąá á ááľ áá á áááľ á áá°ááᣠááá ááᣠá áĽáááąáŁ á á°á¨áááá á¨ááá áľáááľ HDFS ááŞáŤ á á ááá á¨á áááááľ áááᲠááᢠáĽááľ á°áá˝ á ááľ á¨ááá áááľá°á á á ááááᢠá ááłááśáš áá áŤáľáááá¸ááᣠááá˝ ááŹáľáśáŁ áĽá á¨á፠HBase áĽá ááááľ á áᤠáľááá á áĽááľ áĽá
á áá áááᢠááŚááŹáľáľáŤ áĽá áłáł ááŤá á ááłááľ áá OozieᣠSqoop áĽá Flume ááááᢠáĽá á¨á°á
áááľ ááłá á¨á°ááł á¨áá¤áŽáľ á¨áŹááá áá á áá°áŁá á áá˛áŤáá áá° á áĽááŽá áááŁá.
á¨ááąá á áŤááľ áááľáŽá˝ áľáŞáśá˝ á áĽáŤááłááą á¨áľá-áá áłá ááŽáááśá˝ áľá ᨠáá˝ áá á áłááŚá ááá ááááᢠáĽááąá ááá¨áľ áĽá ááŤáá áááá áá˝áá ᣠáá á á ááľ áááł-áĽá˝áá˝á ᨠâáĽáŹâ áááľáŽá˝áá˝ á á°ááĽá á¨áá°áĽá°áĽ á á°á¨á᪠ᣠááááŁáľ áĽááľá ááŤá°áááľ á¨ááááᾠᣠá¨áá¨áąáľ á¨á áŤá áááá˝ áľáŞáśá˝ á¨áĽáŤááłááą áá á°áłááááľ áá áĽáááľ á áááŤá¸áá ᢠáá. á¨ááá¨á á á ááŤá Apache Bigtop á áá áá ááááŁáľ ááᢠá˘ááśá ᨠApache maven áá¨ááťáá˝ áĽáá˛áááĄáŁ áá¨áŤáá˝á áĽáá˛áŤáŤááą áĽá áĽá áá˝á áĽáá˛ááᥠááá áľáááłáᢠááá ááᣠááĽá á áŁá á áľááá á¨áááᣠá˘ááśá áĽáááŤá áááá˝ áĽááľ á ááľ á¨ááľáá áľáŞáśá˝á áá°á áľáŁáᢠá¨áá á áłá˝ á áááá áĽáááááŤáá.
Apache Bigtop
Apache Bigtop á ááŤáłáá˝á áááááŁáľáŁ ááá¸á áĽá áááá¨á ááłáŞáŤ ááá˘
áĽáá° Hadoop áĽá Greenplum áŤá áááľ ááá ááŽáááśá˝á˘ á˘ááśá áĽá á ááá˘
ááááá. áá
á˝áá á ááťáá áľ áá á¨á
áἠááá á¨á°á¨áá áľáŞáľ 1.4 áá ááŁ
áĽá á ááľá°á ááľáĽ 1.5 áá á. á¨á°ááŤáŠ á¨áááá፠áľáŞáśá˝ á¨á°ááŤáŠ áľáŞáśá˝á áá ááá
á áŤááľ. áááłáᣠá 1.4 Hadoop áŽá áááá˝ áľáŞáľ 2.8.5ᣠáĽá á ááľá°ááľ á áá¸áá˘
2.10.0. á¨áá°áá á áŤááľ áľáĽáĽáá áĽá¨á°áá¨á¨ ááᢠá¨áá áá áŤááá áľ áĽá
á¨áááłá°á°á áŤáááᣠáĽá á áĽáą áŚáł á á˛áľ ááá áááŁáᣠá¨á áá á°ááá áĽá
áĽáą á¨áᾠᨠApache á¤á°á°áĽ á¨áᣠá áá°ááá˘
á á°á¨ááŞá á˘ááśá áĽá á ááᢠ.
á¨Bigtop áá áá°ááá áľááááᣠá¨ááá˝ Apache ááŽáááśá˝áŁ ááľáááľ áĽá áłááááľ áĽáá˛áá á áŁá áľáá˝ á¨ááá áá á á¨á°áĽ áá á ááááá á ááááŞáŤ áá¨áááą á áľáááá áá áᢠá¨áá á áááłáľ á áááą áá á ááľá°á áá¨á á á, áĽá á ááľá¨áŽá˝ áĽá á ááľáł áááŞáŤ ááááŽá˝ áá áá°ááą á˝ááŽá˝ áááľá áááá ááá ááá ááá°áĽ áá˝áá. ááááŞáŤ áá, á ááłáŞáŤá áŁá áŞáŤáľ ááááŤáľ á¨áľáááąá áá áľáĽáľáĽ áá ááá á¨áŁáľ áľáŤ áááĽá áá á, ááá áá áľááá ááłá áľáá˝ áááś áĽáááááŤáá.
áĽáá° á˛áá°áᣠá á ááľ áá áľ áĽáá° Gentoo áĽá LFS áŁá á¨ááááľ á á˝áá á°áá ááŽáááśá˝ áá ááááľ á¨áá áŤá¸á á°áá˝ á¨áá ááá áá ááĽáŤáľ áĽá áĽá áĽáŤáłá˝á á¨ááááááá (ááá á¨ááá˝áá áľá) âá áľá°ááâ áááá˝á ááľáłááľ á ááŤáľá°áá áááł á áľá°áłá˝ áá ááŤáááľ áá˝ááᢠáááá á á á˛áľ áááľ áŤááááá˘
á¨Bigtop áľáá
áĽá
á á¨á°áá°á¨á°áŁá¸á ááłáŞáŤáá˝ áááľááľ áĽá ááááĽááľ ááᢠá Gradle áĽá Apache Maven áá á¨á°áá°á¨á° áá. ááŤáľá ááá á ááľáŽááľ áááááŁáľ á¨áá ááá áľ ááłáŞáŤ á ááŁá ááłáááᢠá°áááá ááᣠáĽá áĽááą áĽáá°áááľáŁ âá áŚáááľ á¨á°áá°áâ ááᢠMaven á áŤáą Apache ááľáĽ ááŽáááśá˝á áááááŁáľ áá°á á ááŁáŞáŤ ááᣠáĽá á áĽááááš áááśáš á Maven á áŠá áľááááá áĽáá
á áŤá áĽáą áá¨ááá á áá˝ááᢠá POM (á¨ááŽáááľ ááá áá´á) áľáŠá¨áľ ááľá áą á°áᢠáá - âáá°á¨áłáâ xml ááá áá¨á á¨ááŽáááľá áá á áĽáŽ áááľáŤáľ á áľááá á¨áááľá áá á¨áááὠᣠááá áľáŤáá˝ á¨á°áááĄá áľá˘ á áľááá á
ᨠMaven áááá˝ áĽá áááááŞáŤ áá á¨Bigtop á°á áááá˝ áĽááá áá á¨ááŤááĽáá¸á á ááłááľ áá°áááá˝ á áá˘
ááááľ
áłá˛áŤ á¨áľ áááá á ááĽá ? áá° á¨ááá¨á ááš áááą áĽá á¨á áἠáááá á¨á°á¨áá áľáŞáľ áĽáá° áá á°á áŤáááąá˘ áĽáá˛áá á á˘ááśá á¨á°á°á á°áĄ áááľáŽá˝ á ááśá˝á áĽá፠ááááľ áá˝ááᢠá áááŤá˝á áá á¨á°áááąáľ á¨áĽá á á áľá°áłáłáŞáá˝ ááŤá¨á YUM áĽá APT áá°áááá˘
á á ááŤáᣠá¨á
áἠáááá á¨á°á¨áá áááľ á ááĽáł ááá¨áľ áá˝ááá˘
github áŚ
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitá "áľáá " áá ááááâŚ
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
ĐОНŃŃонио ОйŃокŃОв: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, гОŃОвО.
ĐĐżŃодоНонио иСПонониК: 100% (20503/20503), гОŃОвО.
Updating files: 100% (1998/1998), гОŃОвО.á¨á°ááá ./bigtop áá፠áá á áááľáááĄ-
./bigtop-bigpetstore - á¨ááłáŤ áá°áá áŞáŤáὠᣠá áŤá˝ ááłááá˝
./bigtop-ci - CI Toolkit, Jenkins
./bigtop-data-generators - á¨ááἠáááá¨áľ, á°á á áŤá˝, áááľ áá¨áŤáá˝, ááá°.
./bigtop-deploy - á¨áá°ááŞáŤ ááłáŞáŤáá˝
./bigtop-packages - á ááááŽá˝ ᣠáľááŞááśá˝ ᣠááááŁá ááŤáὠᣠá¨ááłáŞáŤá áá á áŤá
./bigtop-test-framework - á¨áá¨áŤ áááá
./bigtop-tests - áá°áááš áĽáŤáłá¸á, ááá áĽá ááľ
./bigtop_toolchain - á¨áá°áĽá°á˘áŤ á áŤáŁá˘, ááłáŞáŤá áĽáá˛á ፠á áŤáŁá˘á áááááľ
./build - á¨áľáŤ áá፠ááááŁáľ
./dl - á¨áá¨áą áááŽá˝ áááŤ
./docker - á áśáá°á ááľáá˝ ááľáĽ ááááŁáľ, ááá¨á
./gradle - gradle áá
á
./output - á¨áááŁáł á
ááśá˝ á¨áááąá áľ áááŤ
./provisioner - á á
ááŚáľ
á áá
á°á¨á ááĽá á áŁá á¨ááŤáľá°áľáľ ááá ááá áá
á¨áľ áá ./bigtop/bigtop.bomáááá á¨áá°áá áááá˝á á¨áľáŞáśá˝ áá á¨áááá áľá˘ áá
á¨á°áᨠá¨áááąá áľáŞáľ áááá˝ á¨ááá˝áá áľ áŚáł áá (á áľáááľ áĽáąá áááááŁáľ ááá¨á á¨áááá) ááá á¨áááŁáł áľáŞáľ (áááłá ᣠááá
á¨áá ááŁá á¨á¨ááá)á˘
áááľ áááŤá á°áá á¨áá°á ááááľ á ááᢠ./bigtop/bigtop-packages, á¨ááą áá áááá˝á áĽá ááŹáá˝á á¨áááŁá á áá°áľ áá á ááĽáł á¨á°áŤáŤá áá.
áľááá ᣠáá á°áŠá á ááá°áááᣠá¨ááľáá ááá á¨github áááá á áŤáᣠááááŁáľ áĽáááá?
á áᣠááááŞáŤ á áŤáŁá˘áá áĽáááá á˘
á áŤáŁá˘á áááááľ
áĽá áĽáá áľáá˝ ááááá áŤáľááááá. áááááá á¨á áá ááá áŤáá° ááľáĽáľáĽ áááľ áááááŁáľ, á¨á°áá°á á áŤáŁá˘ áŤáľáááááłá - á áĽá áááł, áá JDK áá, á°ááłáłá á¨á፠á¤á°-ááťáááľ, áŤáľá áááá˝, ááá°, ááłáŞáŤáá˝, áááłá, áááłá, ivy2 áĽá áĽá á°á¨ááŞ. áá˘ááśá á¨ááŤáľáááááľá á áŤáŁá˘ áááááľ áŤááľ á ááŤáŽá˝ á ááą á áľááá á¨áááľá áááá˝ á áááŁáł á áľá°ááá áá ááŤá ááᢠá áá á á°á á°á¨á°á áá áľá á°áľ ááá áĽá˝áááᣠááá áá á¨áľáŞáľ 1.0 áá ááľá á¨á°ááአáĽá á°á°áŤá˝ á¨áá á¨áśá¨á ááľáá˝á á¨ááááŁáľ á ááŤá á¨áá ᨠáááľááᣠáá á áĽáá ááááá˘
á áŤáŁá˘á ááááááľ, ááá á¨áłáľ á á - á áťááááľ.
á¨áľá áááŤá áŤááą á¨áá¨á°ááľá áľáááá˝ áá áá áá˝ááá˘
ááŁáŞáŤáŁ ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
ááá á ááĽáł á á áťááááľ á áŠááĄ-
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"áĽáá° á áááłá°á áá á áá á°á¨á áá á˝ááŽá˝ ááá አáá˝ááᢠáĽáá áŤáá á á ááá ááá á¨áá°áá áľáááľá áá ááᣠá áááŁáł á áľá°ááá áá áá áłá ááľá¨á ááá á¨ááľá¨áŤ ááááľá ááá¨á ááá˘
áá°áĽá°áĽ
áá ááá°áĽá°áĽ áĽááááŤáá? á¨áá áĽáŤá áááľ á áľáĽáá áá¤áľ áá°áŁá
./gradlew tasks
á áĽá
á á°ááŁáŤáľ ááá ááľáĽ á¨Bigtop á¨áá¨á¨áť á
ááśá˝ á¨áá á ááŤáł áááśá˝ á áá˘
á á
áĽáŤá -rpm ááá -pkg-ind (á áááŁáł áááł) ááłáá áá˝áá
á áśáá°á ááľáĽ). á áĽá áááł, á áŁá á¨ááŤáľá°áľáľ Hadoop áá.
á áááŁáł á ááááŤá˝á á áŤáŁá˘ áááááŁáľ áĽáááááĄ-
./gradlew hadoop-rpmá˘ááśá áŤáą áá ááľ á¨á°áá°á á áŤá á¨ááŤáľááááľá á áľááá áááŽá˝ á áááś áá°áĽá°áĽ ááááŤáᢠáľááá á¨ááłáŞáŤá á á áŤá á Maven áá¨ááťáá˝ áĽá á ááá˝ áááŽá˝ áá á¨á°áá°á¨á° áá, áááľá á¨á áááá¨áĽ ááłá¨áť áŤáľááááá.
á áá áŤá áľ áá áá°á á áá¤áľ ááá áŤá. á ááłááľ áá áĽáą áĽá á¨áľá
á°áľ áááĽááśá˝ áá áĽáá°á°áá ᨠááá¨áłáľ áá¨áąááľ áá˝ááᢠáĽá á ááłááľ áá á°á¨á᪠áá¨á ááááľ áŤáľáááááłáᢠá áá
ááłá áá ááááŽá˝á áá¨áá á°áᢠáá --info ááá --debug, áĽá áĽáá˛áá á áá ááá áá˝áá âstacktrace. áááŁá á¨á°áĽáłá¤ áááŞáŤ ááááŽá˝ ááłá¨áť á¨ááἠáľáĽáľáĽ áááá á ááš ááááľ á á, ááá --scan.
á áĽáą áĽááłáł á˘ááśá áááá áá¨á áá°á áľáŁá áĽá á ááŹáľ ááľáĽ áŤáľááá áá ᣠá¨á፠á áá á ááá áá°áŁá áŁ
áá
áá á áá¨á°á áĽááľ áŤáá á°á áľáĽá°áŁá ááá áĽááłáá°áłáŤ áá¨áł áá˝áá.
áá
á ááŤá á¨áááááá¸áá áĽáá° á¨á°á áá áľáá˝áŁ ááśá˝áŁ á¨á áŤáŁá˘ á°ááááŽá˝áŁ ááá° á¨ááłá°á áá¨ááá˝á ááŤááἠáĽáá°áá˝á áĽáŁáá áἠáá á áĽá áá áááá˘
áĽááá áá áľá
á°áśá˝ ááááŁá á á áľááá á¨áááľá áááááá áááá˝ ááááľ áŁáááťáá¸á ááááŤáľ áá. á á°áááś, á áááŽá˝ ááľáĽ á¨áá ááá áááľá°áŤá¨á áááľá°á á ááá á á˝ááŠá ááľá°áŤá¨á áá˝áá, áááłá, á pom.xml ááľáĽ áŤá á áľáŤáťáá˝ á áááŽá˝ áľá áá፠ááľáĽ. áá
á á°áá˘á áá፠ááľáĽ á ááá á áĽá á ááľááἠáá ./bigtop/bigtop-packages/src/common/oozie/ patch, áááłá, á á
áš patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
ááááŁáľá, áá á á˝áá á ááŤááĄá áľ áá, á¨áá áŤááá áĽáŤáľá ááľá°áŤá¨á á ááááĽááľá.
á áááŁá ááŤá áá´ áá áááá¸áá áĽáááá˝á áĽá áááŚá˝á á˛áŤáľá°ááá á¨á˝áłáľ áľáááá á áá áá áľáĽá°áŁáá âáłáá ááľáááâ áŤáľáááááľ ááááá˘
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedáá ááá áááá áááŚá˝ áá°áá á áŤá áľáĽáľáĽ ááááłá ᣠá¨á፠á áá áľáĽá°áŁá áĽáá°áá áá¨ááááᢠá áá áá ááŽáááąá á áśáá°á ááľá áááááŁáľ áĽááááŤáááĄ-
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
ПнОгО вŃвОда
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedáááŁáłá á¨á°á¨áááá á CentOS áľá áááŁááá áá á áĄáĄááą áľáá áá¨ááá áá˝áááĄ-
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indáá°ááŤáŠ á¨ááááľ áľáááśá˝ ááŹáá˝á á¨ááááŁáľ á á°á¨á᪠ááŁáŞáŤá á¨á°á°á á°áĄ áĽá áá˝ áá áá¨ááť ááá á áá˝áá ᣠáááłá-
./gradlew yumáĽáá˛áá á áśá¨á ááľáĽ áľá ááľ áá¨áŤáá˝ áĽá áľááá°ááŤáľ ááľáłááľ áá˝ááá˘
á¨áśáľáľ á áááá˝ áľáĽáľáĽ ááá áŠáĄ
./gradlew -Pnum_instances=3 docker-provisionerá áśáľáľ á áááá˝ áááľá°á ááľáĽ á¨ááľ áá¨áŤáá˝á áŤáŤááąáĄ
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerá ááľ ááá á°áááĄ
./gradlew docker-provisioner-destroyá áśáá°á áŽáá´áááŽá˝ ááľáĽ ááááááľ áľáááá˝á áŤáááĄ-
./gradlew docker-provisioner-ssháááł á áłááĄ
./gradlew docker-provisioner-statusá á°ááą ááľáĽ áľá áá°ááŤáľ á°ááŁáŤáľ á¨á áá ááá ἠáá˝ááá˘
áľá áá°ááá˝ á¨á°ááááá, ááĽáŤá¸á á áŁá áĽá áá, á ááááľ áá¨áľ áĽá áá á°áľ. á¨áĽááą áľááłá á¨áá á˝áá áá°á á áá áá. á¨áá¨áá፠áŞáľ áá°áĽá°áĽ ááááŞáŤ áá á á¨á¨ááł á¨áááľááá áŤá á á¨áŁáľ áľáŤ á áá°áá áá áᢠá áááłá˝á ááľáĽ á¨ááá ááá¸áá áááá á áŤááľ á°áĽáľá á áá°ááá˝á ááá á˝áááᣠá á°á¨ááŞá áĽááąá á áá°ááŤáľ áĽá á áá°á á áŤáŁá˘ áá°á¨áłá áľáŤáá˝á á áá¨ááá áá ááá á˝áá á ááá á¨áĽááá˘
á á˘ááśá ááľáĽ áŤááľ á áŤááľ á á°á¨á᪠á¨áŤáľáá á¨áśááľáá áááľ áĽááłá áá áááááá ááá áá¨á áá˝ááᢠáá áá á ááá á ááśááľáľ áá áĽá ᨠCI/CD á˝áá°-ááłáĽ áá ááŁáŁááá˘
áá°áá°ááŤ
á ááá˝ ááá¨áľ áĽáá°ááťáá á áá ááááľ á¨á°á ááᨠáľáááľ áá˛áŤáá áá° áááľ ááá á¨áá áľá. á¨áĽááľáá áľáááľ áááááŁáľ áĽá ááá°áá áĽááá°á ááááľ áŤá, á áá ááľáĽ áááἠáĽá ááá á˘ááŹáľáľ ááľá¨á áĽááłááĽááľ áá¨áłáľ á ááĽááľ.
ááá áá, á¨áľááááá á ááŤá¨áĽ áĽá á¨áŁáá፠áĄáľá áá á ááŁáá, áŤá á¨áááľ áááľááá˝ ááľá¨á á áŁá ááťáá.
á¨á˘ááśá ááŽáááľ áŤáą áááľ á¨ááŤáľáááá áĽá ââáᏠá áááľ áĽá¨á°ááᣠáŤá á áááľááᢠHadoop 3 á ááľáĄ á¨ááłá¨áľ áĽáľáá ááá
á áá°ááᥠá áááŤá˝á áá Hadoop 3 á áááááŁáľ áĽááá°á ááááľ áŤááľ áá¨áľ áá˝ááᢠá¨á áŹááłáł, á áĽáą ááľáĽ, á¨áá°á á á á°á¨ááŞ
á ááŤáł á°á¨á᪠á áŤááľ (áŹáááᣠáááľáŁ ááá) á áá˘
áľá RostelecomᣠááĽá á˘ááśá áᏠá¨ááłá°áĄáľ á ááŤáŽá˝ á ááą ááᢠáĽáááá áá áŁááááĽá áá áááá¨ááá˘
á¨áľáá á áááľ ááá
á ááŁá¤á ááľáĽ á á˛áľ á áŤá áááŤá°áľ ááááŤáá á bigtop.bom áĽá ./bigtop-packages áá áá¨á á ááĽá ᢠáá áá á¨ááŁáŽáš á áŤááľ áá á áááłá°á áááľá¨á ááá¨á áá˝áá. áááá áááᢠá ááááŞáŤ áĽááł áĽáá°áááľáá á áľá¸á᪠á áá°áá.
áá áááľááá? á á áľá°áŤá¨áśá˝ ááľáĽ á áľá°áŤá¨áľáá á áá¨áłá˝á á°áľá°áá˝ áá áĽá ááĽááľá áľáŠá¨áľ áĽááá°áááá!
á˝áá á¨á°áááá á Rostelecom á¨ááἠá áľá°áłá°á áĄáľá áá
ááá: hab.com