แแแแแ แกแแแแฃแแแ แแ แแ แแก, แ แแ แแแกแฃแแ แฌแแแ แแงแ Apache Hadoop-แแกแแแแก แแแแ แชแแแแแแแแแแก แฌแแแ. แแแกแฃแ แฌแแแก Cloudera แแ Hortonworks แแแแ แแแแแแแแ (แแ แกแแแแแแ, แแ แฃแแแแแกแแแแแแก แจแแซแแแ) แแ Mapr, แกแแ แแแแฃแแ แคแแแแแกแฃแ แ แแ แแแแแแแแแก แแแแ, Hewlett Packard-แก แแแฐแงแแแแก. แแ แแฃ แ แแแแแแแแ แฌแแแ แแแ แ, แจแแแแแแจแ แแแแแแขแแแแแแก แจแแแแฎแแแแแจแ, แแ แฉแแแแแ แฎแจแแ แแ แฃแฎแแแแแแ Cloudera-แกแ แแ Hortonworks-แก แจแแ แแก, แแฆแแก, แกแแแฌแฃแฎแแ แแ, แฉแแแ แแ แแแแฅแแก แแก แแ แฉแแแแแ. แแแแแ แแ แแ แกแแฃแ แแ แแแ แแงแ แแก แคแแฅแขแ, แ แแ Cloudera-แ แแแแแแแแ แ แฌแแแก แแแแแ แแแแจแ แแแแแแชแฎแแแ, แ แแ แจแแฌแงแแแขแก แแแกแ แแแแแฌแแแแแแก แแ แแแแแ แแกแแแแแแแก แกแแฏแแ แ แกแแชแแแจแ แแแแแจแแแแแก แแ แแกแแแ แแฎแแ แฎแแแแแกแแฌแแแแแแ แแฎแแแแ แคแแกแแแแ แแแแแฌแแ แแ. แ แ แแฅแแ แฃแแแ, แฏแแ แแแแแ แจแแกแแซแแแแแแแ 2019 แฌแแแก แแแแแแแ แแแแแจแแแแฃแแ CDH แแ HDP-แแก แฃแแฎแแแกแ แแแ แกแแแแแก แฉแแแแขแแแ แแแ แแ แแแแ แแฎแแ แแแญแแ แ แแแกแแแแแแแแแ แแ แแแแแ แแ แฌแแแแแ. แแแแ แแ แ แ แฃแแแ แแแแแแแแก แจแแแแแ? แแแแแแแก, แแแแช แแแ แ แแฎแแแแ แฎแแแแแฌแแ แแก, แแ แแคแแ แ แจแแชแแแแแ. แแ แแแแแแแก, แแแกแแช แแ แกแฃแ แก แแแแแแแแแก แแแแแฌแแแแแแก แคแแกแแแ แแแ แกแแแแ, แแแแ แแ แแแแแ แแ แแก แกแฃแ แก แแแแฆแแก แแแแกแขแแ แฃแแ แแแแแแแแแขแแแแก แฃแแฎแแแกแ แแแ แกแแแแ, แแกแแแ แแแขแฉแแแ แแ แกแฎแแ แแแแแฎแแแแแแ, แฉแแแ แแแแแแแแแแ แแก แกแขแแขแแ. แแแกแจแ แแแแแแฎแแแแแ แแ แกแแขแฃแแชแแแแแ แแแแแกแแแแก แจแแกแแซแแ แแแ แแแแขแแแก.
แกแขแแขแแ แฃแคแ แ แแแแแฎแแแแแ. แแก แแ แจแแแชแแแก แแแกแขแ แแแฃแชแแแแแก แจแแแแ แแแแก แแ แแแ แแแขแแแฃแ แแแแแแแก แแ แแ แแฅแแแแ แแแแ แแแกแขแแแแชแแแกแ แแ แแแแคแแแฃแ แแชแแแก แ แแชแแแขแแแ. แฒ แ แแแฎแแแแ? แฉแแแ แแแแแแ แแแกแแฃแแ แแแ แแกแแ แแแแแฌแแแแแแแ, แ แแแแ แแชแแ Arenadata Hadoop, แ แแแแแแช แกแแแแ แแแแแแแ แแแกแแฎแฃแ แแแก แฉแแแแก แงแฃแ แแแฆแแแแก แแแกแ แฎแแแแแกแแฌแแแแแแแแก แแแแ, แ แแช แแฆแแก แซแแแแ แแจแแแแแแ. แจแแแแแ แแ แแแกแแฃแแ แแแ Vanilla Hadoop-แแ, แซแแ แแแแแแ แแแแแ, แแฃ แ แแแแ แจแแแซแแแแ แแแกแ โแแแฎแแ แจแแโ Apache Bigtop-แแก แแแแแงแแแแแแ. แแแแแแ? แแแจแแ แแแแแแ แแงแแก แแฅแแแแ แแแแ แซแแแแแ แแแขแแจแ.
Arenadata Hadoop
แแก แแ แแก แกแ แฃแแแแ แแฎแแแ แแ, แฏแแ แฏแแ แแแแ, แแแแแแแแ แชแแแแแแ แกแแแแกแขแ แแแฃแชแแ แแแแ แแแ แจแแแ แแแแแแแแ แแแแกแแแแก. แกแแแฌแฃแฎแแ แแ, แแ แแ แแแกแแแแก แฐแแแ แแแ แแ แแก แแฎแแแแ
แแแแแขแแแแแ แแแคแแ แแแชแแ แจแแแแซแแแแ แแฎแแแแ แแคแแชแแแแฃแ แแ
แแแคแแ แแแชแแ แกแแแแแ แ แฃแฅแแก แจแแกแแฎแแ แจแแแแซแแแแ แแฎแแแแ
Arenadata Cluster Manager แแแขแแ แคแแแกแ
Arenadata-แก แซแแ แแแแแ แแ แแแฃแฅแขแแ
Hadoop 3-แแก แแแแแแแแแแกแ แแ แแแ แแแแกแแแแก, แแแแแขแแก แกแแแแแแแแแแแก แแแ แกแแ แจแแแแแแแแแแแฃแแแ ADCM-แแแ แแ แแแ, แแแแ แแ Hadoop 2-แแกแแแแก แแ แแก แแฎแแแแ
แแฃ แแกแแฃแแ แแแ แแแแฃแกแแแแ, แแกแแแ แแแแแ แแฅแแแแ, แ แแช แงแแแแ แกแฎแแ Hadoop แแแกแขแ แแแฃแชแแแกแแแแก. แแแ แซแแ:
- แแแ แแ แฌแแแแแฃแแ "แแแแฌแแแแแแแก แฉแแแแขแแ". Cloudera-แกแ แแ Hortonworks-แแก แแแแแแแแแแแก แแแแแงแแแแแแ, แฉแแแ แฃแแแ แแแแฎแแแแ, แ แแ แงแแแแแแแแก แแ แกแแแแแก แแแแแแแแแก แแแแแขแแแแก แจแแชแแแแก แ แแกแแ.
- แแแแจแแแแแแแแแ แฉแแแแ แฉแแแ Apache-แก แแแแแ แแแแแแแจแ.
แแแแแแแก แฐแแแแแ
แแแแแฎแกแแแแแแ, Hadoop แแ แแ แแก แแแแแแแแฃแ แ แแ แแแฃแฅแขแ, แแ แแแแ, แคแแฅแขแแแ แแแแ, แกแแ แแแกแแแแก แแแแแ แแแแแฅแขแแแ แแแกแ แแแแแฌแแแแแฃแแ แคแแแแฃแ แ แกแแกแขแแแแก HDFS-แแก แแแ แจแแแ. แ แแแแแแแแ แแแแแแแแก แแฅแแแแ แกแแแแแ แแกแ แแ แแ แคแแแแแก แแแแกแขแแ แ. แแแแก แกแญแแ แแแแ Hive, แแแแก Presto, แจแแแแแ แแ แแก HBase แแ Phoenix; Spark แกแฃแ แฃแคแ แ แฎแจแแ แแ แแแแแแงแแแแแ. แแ แแแกแขแ แแ แแแแกแ แแ แแแแแชแแแแ แฉแแขแแแ แแแแกแแแแก แแแแฏแแ แแแฎแแแแแ Oozie, Sqoop แแ Flume. แแ แแฃ แฃแกแแคแ แแฎแแแแแก แกแแแแแฎแ แแแแแแแ, แแแจแแ แแแ แแแ แแกแ แ แแแแฏแแ แแแ แแ แแแ แแแจแแแแ แแแฎแกแแแแแแ.
Hadoop แแแแแแแแแขแแแแก แแ แแแแแ แแแ แกแแแแ แฎแแแแแกแแฌแแแแแแ แแแแกแแกแขแแแแก แแแแแแฃแแ แแ แแแฅแขแแก แแแแกแแแขแแ แขแแ แแแแแแแก แกแแฎแแ. แจแแแแซแแแแ แฉแแแแขแแแ แแแ แแกแแแ แแ แแแแฌแงแแ แแแกแขแแแแชแแ, แแแแ แแ แแ แแ แแแ แแแแ: แแแ แแ แแแแแขแแแแก แแแแแฃแแแแแแแแ แแฌแงแแแ โแแแแแโ แแแแแ แแแแแแ, แ แแกแ แแแแแแแแแช แแแแ แแแแแแแแแ แแกแฃแ แ, แแฅแแแ แแ แแแฅแแแแแ แ แแแแ แแแแแ แแแแแแแแแขแแแแก แฉแแแแขแแแ แแฃแแ แแแ แกแแแแแก แแแแกแแแแแแแแจแ แแแแแแฃแแแแ. แกแฎแแ. แกแแกแฃแ แแแแ แแแ แแแแขแแ แแจแแแแแ Apache Bigtop-แแก แแแแแงแแแแแแ. Bigtop แกแแจแฃแแแแแแก แแแแชแแแ แจแแฅแแแแ Apache maven แกแแชแแแแแแแแ, แแฌแแ แแแแ แขแแกแขแแแ แแ แจแแฅแแแแ แแแแแขแแแ. แแแแ แแ, แ แแช แฉแแแแแแแก แซแแแแแ แแแแจแแแแแแแแแแ, Bigtop แแแฌแงแแแก แแแแแแแแแขแแแแก แแ แแแ แกแแแแก, แ แแแแแแแช แแ แแแแแแแแแ แแแแกแแแแแ แแฅแแแแ. แแแแแ แฃแคแ แ แแแขแแแฃแ แแ แฅแแแแแ แแแกแแฃแแ แแแ.
Apache Bigtop
Apache Bigtop แแ แแก แแแกแขแ แฃแแแแขแ แ แแแแก แจแแกแแฅแแแแแแ, แจแแกแแคแฃแแแ แแ แจแแกแแแแฌแแแแแแ
แฆแแ แแแแแก แแ แแแฅแขแแแ, แ แแแแ แแชแแ Hadoop แแ Greenplum. Bigtop-แก แแแแ แ แแฅแแก
แ แแแแแแแ. แฌแแ แแก แแ แแก, แฃแแฎแแแกแ แกแขแแแแแฃแ แ แแแแแจแแแแ แแงแ แแแ แกแแ 1.4,
แฎแแแ แแแกแขแแ แจแ แแงแ 1.5. แแแแแจแแแแแก แกแฎแแแแแกแฎแแ แแแ แกแแแจแ แแแแแแงแแแแแ แกแฎแแแแแกแฎแแ แแแ แกแแแแ
แแแแแแแแแขแแแ. แแแแแแแแแ, 1.4 Hadoop-แแก แซแแ แแแแ แแแแแแแแแขแแแก แแฅแแก แแแ แกแแ 2.8.5 แแ แแแกแขแแ แจแ
2.10.0. แแฎแแ แแแญแแ แแแ แแแแแแแแแขแแแแก แจแแแแแแแแแแแ แแกแแแ แแชแแแแแ. แ แแฆแแช แแแซแแแแแแฃแแ แแ
แแแแแฎแแแแแแ แแแแแก แแ แแแก แแแแแแแก แแแแแก แ แแฆแแช แแฎแแแ, แฃแคแ แ แแแแฎแแแแแแ แแ
แแก แกแฃแแแช แแ แแ แแก แ แแฆแแช แแแแแ แแแแฉแแก แแฏแแฎแแแแ.
แแแ แแ แแแแกแ, Bigtop-แก แแแแ แ แแฅแแก
แ แแแแกแแช แแแแแฌแงแแ Bigtop-แแก แแแชแแแแ, แแแ แแแ แ แแแจแ แแแแแแแแแ แแ แแแกแ แแแแ แซแแแแแฃแแ, แกแฎแแ Apache แแ แแแฅแขแแแแแ แจแแแแ แแแแ, แแแแ แชแแแแแ แแ แแแแฃแแแ แแแ, แแกแแแ แ แแแแ แช แซแแแแแ แแชแแ แ แกแแแแแแแแแแ. แแฅแแแแ แแแแแแแแแแ แแแแก, แ แแ แแ แแแฃแฅแขแแ แแ แแก แแแแแแแแฃแ แ แแแคแแ แแแชแแ แแ แคแแ แฃแแแแแ แแ แแแแแแแแแก แกแแแแจแ แฌแแ แแแฅแแแแแ แแ แแแแแแแแแก แแแแแฌแงแแแขแแก แซแแแแแ แจแแแซแแแแ แกแแแ แแแ แแแ แแคแแ แ แแแแขแแแแก. แแแแแแแแ แแแแแ, แฉแแแแแแแก แ แแฃแแ แแแแชแแแ แแฆแแแฉแแแ แแแแแฌแแแแแแก แกแ แฃแแ แจแแแ แแแแก แแแกแ แฃแแแแ แแแแแ แฎแแแกแแฌแงแแก แแแฎแแกแแแแแแแแแแก แแแแ, แแแแ แแ แแแแแ แชแแขแ แแแแแแแแแแแ แแแกแแฃแแ แแแ.
แ แแแแ แช แแแแแ แก, แแแ, แแแแช แแ แ แแ แแก แแแแแขแแ แแกแแแฃแแ แแงแ Linux แกแแแงแแ แแก แแกแแแ แแ แแแฅแขแแแแ, แ แแแแ แแชแแ Gentoo แแ LFS, แจแแแซแแแแ แแแกแขแแแแแฃแ แแ แกแแกแแแแแแแ แแฆแแแฉแแแแก แแ แแแแแแแ แแฃแจแแแแ แแ แแแแฎแกแแแแ แแก "แแแแแฃแ แ" แแ แ, แ แแแแกแแช แฉแแแ แแแแแแ แแแซแแแแแ (แแ แแฃแแแแช แแฌแแ แแแ) ebuilds แแ แ แแแฃแแแ แฃแแแ แแฆแแแแแแก Mozilla-แก แแฎแแแ แแแฉแแแแ.
Bigtop-แแก แแแแ แฃแแแ แแขแแกแแแ แแ แแก แแแกแขแ แฃแแแแขแแแแก แแแฎแกแแแแแแ แแ แแ แแแแแคแแ แแแแแแ, แ แแแแแแแแช แแก แแแคแฃแซแแแแฃแแแ. แแแ แแแคแฃแซแแแแฃแแแ Gradle-แกแ แแ Apache Maven-แแ. Gradle แกแแแแแแ แชแแแแแแแ, แ แแแแ แช แแแกแขแ แฃแแแแขแ, แ แแแแแกแแช Google แแงแแแแแก Android-แแก แจแแกแแฅแแแแแแ. แแก แแ แแก แแแฅแแแแ แแ, แ แแแแ แช แแแแแแแ, "แแ แซแแแแ แแแแแชแแแแ". Maven แแ แแก แกแขแแแแแ แขแฃแแ แแแกแขแ แฃแแแแขแ แแ แแแฅแขแแแแก แแจแแแแแแแแแกแแแแก แแแแแ Apache-แจแ แแ แ แแแแแ แแแกแ แแ แแแฃแฅแขแแแแก แฃแแแขแแกแแแ แแแแแแแก Maven-แแก แแแจแแแแแแ, แแแแก แแแ แแจแ แแฅแแช แแแ แแแฎแแ แฎแแแแ. แฆแแ แก แงแฃแ แแแฆแแแ แแแแฅแชแแแ POM-แก (แแ แแแฅแขแแก แแแแแฅแขแแก แแแแแแ) - "แซแแ แแแแแ" xml แคแแแแ, แ แแแแแแช แแฆแฌแแ แก แงแแแแแคแแ แก, แ แแช แแฃแชแแแแแแแแ Maven-แแกแแแแก แแฅแแแแก แแ แแแฅแขแแแ แแฃแจแแแแแกแแแแก, แ แแแแแก แแ แแแแแ แแแแแฃแแแ แแแแแ แกแแแฃแจแแ. แแฃแกแขแแ แแ
Maven-แแก แแแฌแแแแแ แแ แแ แแก แแแ แแแแฃแแ แแแแ แแแแแแแแ, แ แแแแแแกแแช แฉแแแฃแแแแ แแ แแฌแงแแแแแแ Bigtop-แแก แแแ แแแแ แแแแฎแแแ แแแแแแ.
แแ แแฅแขแแแ
แแแจ, แกแแแแแ แฃแแแ แแแแฌแงแแ? แแแแแแแ แฉแแแแขแแแ แแแแก แแแแ แแแ แแ แฉแแแแขแแแ แแแ แฃแแฎแแแกแ แกแขแแแแแฃแ แ แแแ แกแแ แแ แฅแแแแก แกแแฎแแ. แแฅแแแ แแกแแแ แจแแแแซแแแแ แแแแแแ Bigtop-แแก แแแแ แจแแแ แแแแแฃแแ แแ แแแแแ แแ แขแแคแแฅแขแแแ. แกแฎแแแแ แจแแ แแก, แกแแแ แแ แแแแแขแแก แแแแแฏแแ แแแก แจแแ แแก, YUM แแ APT แแฎแแ แแแญแแ แแแแ.
แแแขแแ แแแขแแฃแแแ, แจแแแแซแแแแ แฉแแแแขแแแ แแแ แฃแแฎแแแกแ แกแขแแแแแฃแ แ แแแแแจแแแแ แแแ แแแแแ แกแแแแแ
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git
แแแแแแ แแแ โแแแแขแแแจแโโฆ
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
ะะพะปััะตะฝะธะต ะพะฑัะตะบัะพะฒ: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, ะณะพัะพะฒะพ.
ะะฟัะตะดะตะปะตะฝะธะต ะธะทะผะตะฝะตะฝะธะน: 100% (20503/20503), ะณะพัะพะฒะพ.
Updating files: 100% (1998/1998), ะณะพัะพะฒะพ.
แจแแแแแแ แแแฆแแแฃแแ ./bigtop แแแ แแฅแขแแ แแ แแกแ แแแแแแงแฃแ แแแ:
./bigtop-bigpetstore
- แแแแ แแแแแแแชแแแแ, แกแแแแแขแแแฃแ แ แแแแแแแแแแ
./bigtop-ci
- CI แแแ แแฆแแแ, แฏแแแแแแแแ
./bigtop-data-generators
โ แแแแแชแแแแ แแแแแ แแ แแแ, แกแแแแแขแแแ, แแแแแแแก แขแแกแขแแแแกแแแแก แแ แ.แจ.
./bigtop-deploy
- แแแแแแแแแแก แฎแแแกแแฌแงแแแแ
./bigtop-packages
โ แแแแคแแแฃแ แแชแแแแ, แกแแ แแแขแแแ, แแแขแฉแแแ แจแแแ แแแแกแแแแก, แฎแแแกแแฌแงแแก แซแแ แแแแแ แแแฌแแแ
./bigtop-test-framework
- แขแแกแขแแ แแแแก แฉแแ แฉแ
./bigtop-tests
- แแแแแ แขแแกแขแแแ, แแแขแแแ แแแ แแ แแแฌแแแ
./bigtop_toolchain
โ แแแ แแแ แจแแแ แแแแกแแแแก, แฎแแแกแแฌแงแแก แแฃแจแแแแแกแแแแก แแแ แแแแก แแแแแแแแแ
./build
- แจแแฅแแแแแ แกแแแฃแจแแ แแแ แแฅแขแแ แแ
./dl
โ แฉแแแแขแแแ แแฃแแ แฌแงแแ แแแแแก แแแ แแฅแขแแ แแ
./docker
- แแแแแ แแก แกแฃแ แแแแแแก แแแแแ, แขแแกแขแแ แแแ
./gradle
- gradle แแแแคแแแฃแ แแชแแ
./output
โ แแแ แแฅแขแแ แแ, แกแแแแช แแแแแก แแแแกแขแ แฃแฅแชแแแก แแ แขแแคแแฅแขแแแ
./provisioner
- แฃแแ แฃแแแแแงแแคแ
แฉแแแแแแแก แงแแแแแแ แกแแแแขแแ แแกแ แแ แแขแแแแ แแ แแก แแแแแแ แ แแแแคแแแฃแ แแชแแ ./bigtop/bigtop.bom
, แ แแแแแจแแช แฉแแแ แแฎแแแแแ แงแแแแ แแฎแแ แแแญแแ แแ แแแแแแแแแขแก แแแ แกแแแแแ. แแฅ แฉแแแ แจแแแแแซแแแ แแแแฃแแแแแ แแ แแแฃแฅแขแแก แกแฎแแ แแแ แกแแ (แแฃ แฉแแแ แแแฃแแแแแแแแ แแแแแแ แแชแแแแ แแแกแ แแจแแแแแ) แแ build แแแ แกแแ (แแฃ, แแแแแแแแแ, แแแแแแแขแแ แแแแจแแแแแแแแแ แแแฉแ).
แฅแแแแแ แแฅแขแแ แแช แแแ แแแขแแ แแกแก แแฌแแแแก ./bigtop/bigtop-packages
, แ แแช แแแ แแแแแ แแแแจแแ แจแแ แแแแแแแแแขแแแแกแ แแ แแแแแขแแแแก แแแแแแ แแฌแงแแแแก แแ แแชแแกแแแ.
แแแจ, แแแแแแแฌแแ แแ แแ แฅแแแ, แแแแจแแแแ แแแ แแ แแแแแแแแแ แแแแแ github-แแแ, แจแแแแแซแแแ แแแแแฌแงแแ แแจแแแแแแแแ?
แแ แ, แฏแแ แแแ แแแ แแแแแแแแแแ.
แแแ แแแแก แแแแแแแแแ
แแ แแฅ แฉแแแ แแแญแแ แแแแ แแแขแแ แ แฃแแแ แแแฎแแแ. แแแแฅแแแก แแแแแกแแแแ แ แแแข-แแแแแแแแ แ แแฃแแ แแ แแแฃแฅแขแแก แจแแกแแฅแแแแแแ, แกแแญแแ แแ แแแ แแแแฃแแ แแแ แแแ - แฉแแแแก แจแแแแฎแแแแแจแ, แแก แแ แแก JDK, แแแแแ แกแแแ แแ แแแแแแแแแแแแ, แกแแแแฃแ แแก แคแแแแแแ แแ แ.แจ., แฎแแแกแแฌแงแแแแ, แแแแแแแแแ, ant, ivy2 แแ แแ แแแแแ แกแฎแแ. Bigtop-แแกแแแแก แกแแญแแ แ แแแ แแแแก แแแกแแฆแแแแ แแ แ-แแ แแ แแแ แแแแขแแ build แฐแแกแขแแ แกแแญแแ แ แแแแแแแแแขแแแแก แแแงแแแแแ. แฅแ แแแแแแแแแจแ แจแแแซแแแแ แแชแแแแแแ, แแแแ แแ, แ แแแแ แช แฉแแแก, 1.0 แแแ แกแแแ แแงแ แแกแแแ แฌแแแแกแฌแแ แแแแคแแแฃแ แแ แแแฃแแ แแ แฎแแแแแกแแฌแแแแแ Docker แกแฃแ แแแแแแก แฉแแจแแแแแแก แแแ แแแแขแ, แ แแแแแแช แจแแแแซแแแแ แแแฎแแ แแฅ.
แ แแช แจแแแฎแแแ แแแ แแแแก แแแแแแแแแแก, แแแแกแแแแก แแ แแก แแกแแกแขแแแขแ - แแแฏแแแ.
แแฅแแแ แจแแแแซแแแแ แแแแแแงแแแแ แจแแแแแแ แแ แซแแแแแแแ, แแแฃแจแแแ root แแแ แแฅแขแแ แแแแแ
แแแกแขแ แฃแแแแขแ, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
แแ แแแ แแแแแ แแแฏแแแแแแก แกแแจแฃแแแแแแ:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"
แกแแแฌแฃแฎแแ แแ, แกแแ แแฃแแแแแ แจแแแซแแแแ แฌแแ แแแแจแแแก แฃแแแ แแ แแขแแแแ. แแฅ แแแแแแ แ แฉแแแแ แแแแแแงแแแแ แแฎแแ แแแญแแ แแแ แแแแแฌแแแแแ, แแแแแฎแแแแฃแแ build แฐแแกแขแแ, แแ แกแชแแแแ แแแแแ แแก แแแ แจแ แฃแขแ.
แแกแแแแแแ
แ แแกแ แจแแแ แแแแแ แจแแแแแซแแแ? แแ แแแแฎแแแแ แแแกแฃแฎแก แแแกแชแแแก แแ แซแแแแแแก แแแแแแแแแแ
./gradlew tasks
แแแแแขแแก แแแแชแแแแแแก แแแแงแแคแแแแแแจแ แแ แแก แ แแแแแแแแ แแ แแแฃแฅแขแ, แ แแแแแแแช Bigtop-แแก แกแแแแแแ แแ แขแแคแแฅแขแแแแ.
แแแแ แแแแแขแแคแแชแแ แแแ แจแแกแแซแแแแแแแ แกแฃแคแแฅแกแแ -rpm แแ -pkg-ind (แจแแแแแแก แจแแแแฎแแแแแจแ
แแแแแ แจแ). แฉแแแแก แจแแแแฎแแแแแจแ, แงแแแแแแ แกแแแแขแแ แแกแ แแ แแก Hadoop.
แจแแแแชแแแแ แจแแแฅแแแแ แฉแแแแ build แกแแ แแแ แแก แแแ แแแแจแ:
./gradlew hadoop-rpm
แแแแแ Bigtop แฉแแแแขแแแ แแแแก แแแแแ แแขแฃแแ แแแแแแแแแขแแกแแแแก แกแแญแแ แ แแฃแชแแแแแแ แฌแงแแ แแแแก แแ แแแแฌแงแแแก แแฌแงแแแแก. แแแ แแแแ, แฎแแแกแแฌแงแแก แแแฅแแแแแแ แแแแแแแแแแฃแแแ Maven-แแก แกแแชแแแแแกแ แแ แกแฎแแ แฌแงแแ แแแแแ, แแแฃ แแก แแแแแฎแแแก แแแขแแ แแแขแแแ แฌแแแแแแก.
แแฅแกแแแฃแแขแแชแแแก แแ แแก แฌแแ แแแแฅแแแแแ แกแขแแแแแ แขแฃแแ แแแแแแแแแแ. แแแแฏแแ แแก แแ แจแแชแแแแแก แจแแขแงแแแแแแแแแ แแแแแฎแแแ แแแแ แแแแแแ, แ แ แแแฎแแ แแ แแกแฌแแ แแ. แแ แแแแฏแแ แกแแญแแ แแ แแแแแขแแแแแ แแแคแแ แแแชแแแก แแแฆแแแ. แแ แจแแแแฎแแแแแจแ แฆแแ แก แแ แแฃแแแแขแแแแก แแแแแขแแแ --info
แแ --debug
แแ แจแแกแแซแแแ แกแแกแแ แแแแแแช แแงแแก โstacktrace
. แแ แกแแแแแก แแแกแแฎแแ แฎแแแแแ แแแ แแแแแชแแแแ แแแแ แแแแก แแแแแ แแ แแแแกแแแแก แกแแคแแกแขแ แกแแแแแ แจแแแแแแแ แฌแแแแแแกแแแแก, แแแกแแฆแแแ --scan
.
แแแกแ แแแฎแแแ แแแแ, bigtop แจแแแแ แแแแแก แงแแแแ แแแคแแ แแแชแแแก แแ แแแแแแแแกแแแก แแแก gradle-แจแ, แ แแก แจแแแแแแแช แแแแฌแแแแก แแแฃแแก,
แ แแก แจแแแแแแแช แแแแแแขแแแขแฃแ แ แแแ แ แจแแซแแแแก แแแแแแก, แ แแขแแ แฉแแแจแแแ แจแแแ แแแ.
แแแฎแแแ แแแแแแแแแกแฌแแแแ, แ แแ แแ แแแ แแแแขแ แแ แจแแแซแแแแ แแแแแแแแแแแก แแฅแแแแแแแก แกแแกแฃแ แแแแ แแแคแแ แแแชแแ, แ แแแแ แแชแแ แแแแฎแแแ แแแแแก แกแแฎแแแแแ, แแแแแซแแแ, แแแ แแแแก แชแแแแแแแ แแ แ.แจ., แแแแขแแ แคแ แแฎแแแแ แแงแแแแ.
แฎแจแแ แแ แจแแชแแแแแแ แแ แแก แจแแแ แแแแกแแแแก แแฃแชแแแแแแแ แแแแแแแแแขแแแแก แแแแแแแแแก แจแแฃแซแแแแแแแแก แจแแแแแ. แ แแแแ แช แฌแแกแ, แแ แแแแแแแก แแแแแแ แแแ แจแแแแซแแแแ แแแขแฉแแก แจแแฅแแแแ, แ แแแ แแแแแแกแฌแแ แแ แ แแฆแแช แฌแงแแ แแแแจแ, แแแแแแแแแ, แแแกแแแแ แแแแ pom.xml-แจแ แฌแงแแ แแแแแก แซแแ แแฃแแ แแแ แแฅแขแแ แแแจแ. แแก แแแแแแแ แจแแกแแแแแแกแ แแแ แแฅแขแแ แแแจแ แจแแฅแแแแ แแ แแแแแแแกแแแแ ./bigtop/bigtop-packages/src/common/oozie/
แแแขแฉแ, แแแแแแแแแ, แคแแ แแแจแ patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
แกแแแแ แแฃแแแ, แแ แกแขแแขแแแก แฌแแแแแฎแแแก แแ แแก, แแฅแแแ แแ แแแแแฌแแแ แแแแแแฆแแแจแแฃแแ แแแแแกแฌแแ แแแแก แแแแแแแแ แกแแแฃแแแ แแแแก.
แแกแแแแแแแก แแแฅแแแแแแจแ แ แแแแ แแแฉแแแแก แแ แชแแแแแแแแแแก แจแแขแแแแกแแก, แจแแแซแแแแ แแแแญแแ แแแ แแกแแแแแแแก โแแแแแขแแแ แแแโ แแแกแฃแคแแแแแแแก แแ แซแแแแแแก แแแแแงแแแแแแ:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed
แแก แแแแ แแชแแ แแแแแ แฃแแแแก แงแแแแ แชแแแแแแแแก แแ แแแแแแแแแขแแก แแฌแงแแแแจแ, แ แแก แจแแแแแแแช แจแแแ แแแ แแแแแแแ แแแแ. แแแฏแแ แแ แฉแแแ แจแแแแชแแแแแ แแแแจแแแแ แแ แแแฅแขแ แแแแแ แแก แแแแฏแจแ:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
ะผะฝะพะณะพ ะฒัะฒะพะดะฐ
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed
แแจแแแแแแแแ แจแแกแ แฃแแแ CentOS-แแก แฅแแแจ, แแแแ แแ แแกแแแ แจแแแซแแแแ แแแแแแแแก Ubuntu-แจแ:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind
Linux-แแก แกแฎแแแแแกแฎแแ แแแกแขแ แแแฃแชแแแกแแแแก แแแแแขแแแแก แแแแแแก แแแ แแ, แฎแแแกแแฌแงแแก แจแแฃแซแแแ แจแแฅแแแแก แกแแชแแแ แแแแแแแแ แแแฃแแ แแแแแขแแแแ, แแแแแแแแแ:
./gradlew yum
แแฅแแแ แแกแแแ แจแแแแซแแแแ แแแฎแกแแแแแ แแแแแแแก แขแแกแขแแแแกแ แแ Docker-แจแ แแแแแแแแแแก แจแแกแแฎแแ.
แจแแฅแแแแแ แกแแแ แแแแแซแแก แแแแกแขแแ แ:
./gradlew -Pnum_instances=3 docker-provisioner
แฉแแแขแแ แแ แแแแแแแก แขแแกแขแแแ แกแแแ แแแแแซแแก แแแแกแขแแ แจแ:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner
แแแแกแขแแ แแก แฌแแจแแ:
./gradlew docker-provisioner-destroy
แแแแฆแแ แแ แซแแแแแแแ แแแแแ แแก แแแแขแแแแแ แแแแก แจแแแแแ แแแกแแแแแจแแ แแแแแ:
./gradlew docker-provisioner-ssh
แกแขแแขแฃแกแแก แฉแแแแแแ:
./gradlew docker-provisioner-status
แแฅแแแ แจแแแแซแแแแ แฌแแแแแแฎแแ แแแขแ แแแแแแแแแแก แแแแชแแแแแแก แจแแกแแฎแแ แแแแฃแแแแขแแชแแแจแ.
แขแแกแขแแแแ แแฃ แแกแแฃแแ แแแ, แแแแ แ แแแแแแแแ แกแแแแแแ แแแแแ, แซแแ แแแแแแ แแแแแแ แแ แแแขแแแ แแชแแ. แแแแ แแแแแแแ แกแชแแแแแแ แแ แกแขแแขแแแก แคแแ แแแแแก. แแฎแแแแ แแแแก แแฅแแ แแแแแ, แ แแ แกแแแแกแขแ แแแฃแชแแ แแแแ แแแแก แแฌแงแแแ แแ แช แแกแ แ แแฃแแ แกแแฅแแแ, แ แแแแ แช แแ แแ แจแแฎแแแแแ แจแแแซแแแแ แฉแแแแแก. แฉแแแ แแแแแฎแแ แฎแแ แงแแแแ แแ แแแแแแแแแขแแ แแฌแงแแแ แแ แขแแกแขแแก แแแแแ, แ แแแแแแกแแช แแแงแแแแแ แฉแแแแก แฌแแ แแแแแแจแ, แแกแแแ แแ แแแฅแแแแ แแ แแแแแแแแ แแแแ แแแแแแแแแแกแ แแ แกแแขแแกแขแ แแแ แแแแจแ แซแแ แแแแแ แแแแ แแชแแแแแก แจแแกแ แฃแแแแแกแแก.
Bigtop-แจแ แแ แกแแแฃแแ แแแแแแแแแขแแแแก แแแ แแ, แจแแกแแซแแแแแแแ แกแฎแแ แ แแแแก แแแแแขแแแ, แแฃแแแแช แกแแแฃแแแ แ แแ แแแ แแแฃแแ แฃแแ แฃแแแแแงแแคแแก แแแแแแแแ แแแ. แแก แงแแแแแคแแ แ แกแ แฃแแงแแคแแแแ แแแขแแแแขแแแแ แแแฃแแแ แแ แฏแแแแ CI/CD แแแแชแแคแชแแแจแ.
แแแกแแแแ
แชแฎแแแแ, แแ แแแแ แจแแแแแแแแ แแแกแขแ แแแฃแชแแ แแแฃแงแแแแแแแแ แแ แฃแแแ แแแแแแแแแแก แฌแแ แแแแแแจแ. แแฅแแแ แฃแแแ แแแกแแแแแ, แ แแ แแฃ แแฅแแแแ แแแกแขแ แแแฃแชแแแก แแจแแแแแแกแ แแ แแฎแแ แแแญแแ แแก แ แแแแฃแ แ แกแแญแแ แแแแแ, แแแจแแ แแแแจแ แคแฃแแ แแ แแ แ แแญแแ แแแแแ.
แแฃแแชแ, แกแฌแแ แแแแแแแแกแแแ แแ แแ แแคแแกแแแแแ แแฃแแแแแ แแ แแแ, แกแแแกแแแแ แจแแกแแซแแแแแแแ แแแแแ แชแแฃแแ แแแแแฌแงแแแขแแแแแแแแก แแแ แแจแ.
แแแแจแแแแแแแแแแ แแฆแแแแจแแแก, แ แแ แแแแแ Bigtop-แแก แแ แแแฅแขแ แแแแแแแแ แแแแก แกแแญแแ แแแแก แแ, แ แแแแ แช แฉแแแก, แแฆแแก แแฅแขแแฃแ แแ แแ แแแแแ แแแแ. แแกแแแ แแแฃแแแแแ แแ แแแกแจแ Hadoop 3-แแก แแแแแฉแแแแก แแแ แกแแแฅแขแแแ. แกแฎแแแแ แจแแ แแก, แแฃ แแฅแแแ แแแฅแแ Hadoop 3-แแก แแจแแแแแแก แ แแแแฃแ แ แกแแญแแ แแแแ, แจแแแแซแแแแ แแแฎแแ
แแ แกแแแแแก แแแแแ แ แแแ แแแแแขแแแแแ แแแแแแแแแขแแแ (Ranger, Knox, NiFi).
แ แแช แจแแแฎแแแ Rostelecom-แก, แฉแแแแแแแก Bigtop แแ แแก แแ แ-แแ แแ แแแแกแแฎแแแแแแ แแแ แแแแขแ. แแแแ แฉแแแ แแฃ แแ แ, แแแแก แแ แ แแแแฉแแแแแแก.
แแแแแ แแ
แแกแแแแแแแจแ แแฎแแแ แแแแแแแแแขแแก แฉแแกแแ แแแแแ, แแฅแแแ แฃแแแ แแแแแแขแแ แแแกแ แแฆแฌแแ แ bigtop.bom แแ ./bigtop-packages. แแฅแแแ แจแแแแซแแแแ แกแชแแแแ แแแแก แแแแแแแแ แแ แกแแแฃแแ แแแแแแแแแขแแแแก แแแแแแแแแ. แจแแแชแแแแ แแแแ แแแแแ. แแก แแ แช แแกแ แ แแฃแแแ, แ แแแแ แช แแ แแ แจแแฎแแแแแ แฉแแแก.
แฒ แแก แคแแฅแ แแ? แแแฎแแ แฃแแ แแแฅแแแแแ แแแฎแแแแ แแฅแแแแ แแแ แ แแแแแแขแแ แแแจแ แแ แแแแแแแแ แงแฃแ แแแฆแแแแกแแแแก!
แกแขแแขแแ แแแแแแแแ แ แแกแขแแแแแแแแก แแแแแชแแแแ แแแ แแแแก แฏแแฃแคแแ
แฌแงแแ แ: www.habr.com