Apache Bigtop ma filifilia se tufatufa Hadoop i aso nei

Atonu e le o se mea lilo o le tausaga talu ai o se tausaga o suiga tetele mo Apache Hadoop. I le tausaga talu ai, na tuufaatasia ai Cloudera ma Hortonworks (o le mea moni, o le mauaina o le mea mulimuli), ma Mapr, ona o faafitauli ogaoga tau tupe, na faʻatau atu ia Hewlett Packard. Ma afai i ni nai tausaga na muamua atu, i le tulaga o mea faʻapipiʻi i luga o le fale, o le filifiliga e masani ona faia i le va o Cloudera ma Hortonworks, i aso nei, talofa, e leai se tatou filifiliga. O le isi mea na faateia ai o le mea moni na faasilasila mai e Cloudera ia Fepuari o lenei tausaga o le a taofia ai le tuʻuina atu o faʻapotopotoga binary o lona tufatufaina atu i totonu o le faleoloa lautele, ma ua avanoa nei e ala i se totogi totogi. Ioe, e mafai lava ona sii maia lomiga fou o le CDH ma le HDP na tuʻuina atu aʻo leʻi oʻo i le faaiuga o le 2019, ma o le lagolago mo i latou e faʻamoemoeina mo le tasi i le lua tausaga. Ae o le ā le isi mea e fai? Mo i latou na totogi muamua mo se saofaga, e leai se mea ua suia. Ma mo i latou e le manaʻo e sui i le totogi o le tufatufaga, ae i le taimi lava e tasi e manaʻo e mafai ona maua faʻamatalaga lata mai o vaega faʻapipiʻi, faʻapea foʻi ma patches ma isi faʻafouga, ua matou saunia lenei tusiga. I totonu o le a tatou mafaufau ai i filifiliga talafeagai mo le alu ese mai lenei tulaga.

O le tusiga e sili atu i se iloiloga. O le a le aofia ai se faʻatusatusaga o tufatufaga ma se auiliiliga auiliili o latou, ma o le a leai ni fua mo le faʻapipiʻiina ma le faʻatulagaina. O le a le mea o le a tupu? O le a tatou talanoa puupuu e uiga i se tufatufaga e pei o Arenadata Hadoop, lea e tatau ona tatou gauai atu i ai ona o lona avanoa, lea e seasea maua i aso nei. Ona tatou talanoa lea e uiga i le Vanilla Hadoop, aemaise lava pe faʻafefea ona "kuka" e faʻaaoga ai Apache Bigtop. Sauni? Ona faafeiloai atu lea i le pusi.

Arenadata Hadoop

Ose mea fou fou ma, i le taimi nei, e le o iloa lelei le pusa tufatufaina o atina'e i totonu o aiga. Ae paga lea, i le taimi nei i luga o Habré e naʻo lenei tusitusiga.

E mafai ona maua nisi faʻamatalaga ile ofisa aloaia saite galuega faatino. O lomiga lata mai o le tufatufaina e fa'avae ile Hadoop 3.1.2 mo le version 3, ma le 2.8.5 mo le version 2.

E mafai ona maua fa'amatalaga e uiga i le fa'afanua auala iinei.

Arenadata Cluster Manager Interface

O le oloa autu a Arenadata o le Arenadata Cluster Manager (ADCM), lea e faʻaaogaina e faʻapipiʻi ai, faʻapipiʻi ma mataʻituina fofo faʻapitoa a le kamupani. O le ADCM e tufatufaina e aunoa ma se totogi, ma o ana galuega e faʻalauteleina e ala i le faʻaopoopoina o fusi, o se seti o ansible-playbooks. Ua vaevaeina fusi i ni ituaiga se lua: pisinisi ma nuu. O lo'o avanoa nei mo le download fua mai le upega tafa'ilagi a Arenadata. E mafai fo'i ona atia'e lau lava fusi ma fa'afeso'ota'i ile ADCM.

Mo le faʻapipiʻiina ma le puleaina o Hadoop 3, o se faʻalapotopotoga faʻalapotopotoga o le fusi e ofoina atu faʻatasi ma le ADCM, ae mo Hadoop 2 e naʻo. Apache Ambari e fai ma sui. Ae mo fale teu oloa ma afifi, e tatala i avanoa lautele, e mafai ona sii mai ma faʻapipiʻi i le auala masani mo vaega uma o le fuifui. I le aotelega, o le tufatufaga e foliga manaia tele. Ou te mautinoa o le ai ai i latou e masani i fofo e pei o Cloudera Manager ma Ambari, ma o le a fiafia i le ADCM lava ia. Mo nisi, o le a avea foi ma se faʻaopoopoga tele o le tufatufaina atu o lo'o aofia i totonu o le tusi resitala polokalama mo le sui mai fafo.

Afai tatou te talanoa e uiga i mea le lelei, o le a tutusa ma isi faʻasalalauga Hadoop uma. Fa'aigoa:

• O le mea e taʻua o le "lokaina faʻatau". I le faʻaaogaina o faʻataʻitaʻiga a Cloudera ma Hortonworks, ua uma ona matou iloa o loʻo i ai pea le lamatiaga o le suia o faiga faʻavae a le kamupani.
• Tu'u taua i tua o Apache i luga.

Vanila Hadoop

E pei ona e iloa, Hadoop e le o se oloa monolithic, ae, o le mea moni, o se galaxy atoa o auaunaga faʻataʻamilo i lana faʻasalalauga faila HDFS. E toaitiiti tagata e lava le tasi faila faila. O nisi e manaʻomia Hive, isi Presto, ona iai lea o le HBase ma le Phoenix ua faʻaaogaina. Mo faʻasologa ma faʻamaumauga faʻamaumauga, Oozie, Sqoop ma Flume e maua i nisi taimi. Ma afai e tulaʻi mai le mataupu o le saogalemu, ona oʻo mai lea o Kerberos faʻatasi ma Ranger i le mafaufau.

O fa'aliliuga fa'alua o vaega Hadoop o lo'o maua i luga o le upega tafa'ilagi o poloketi ta'itasi o le si'osi'omaga i foliga o tapolo. E mafai ona e sii maia ma amata faʻapipiʻi, ae tasi le tulaga: faʻaopoopo i le faʻapipiʻiina tutoʻatasi o pusa mai le "mata" binaries, lea e te manaʻo e fai, o le ae le maua soʻo se talitonuga i le fesoʻotaʻiga o vaega na sii mai i vaega taʻitasi. isi. O le filifiliga sili ona lelei o le fausiaina lea e faʻaaoga ai Apache Bigtop. Bigtop o le a faʻatagaina oe e fausia mai fale teu oloa a Apache, faʻataʻitaʻi suʻega ma fausia afifi. Ae, o le mea e sili ona taua mo i tatou, Bigtop o le a faʻapipiʻiina na vaega o vaega e fetaui ma le tasi. O le a tatou talanoa atili i ai i lalo.

Apache Bigtop

Apache Bigtop o se meafaigaluega mo le fausiaina, afifiina ma le suʻeina o se numera o
galuega faʻavae tatala, e pei o Hadoop ma Greenplum. Bigtop e tele
fa'amalolo. I le taimi o le tusitusi, o le faʻasalalauga faʻamautu lata mai o le version 1.4,
ma i le matai e 1.5. O fa'asalalauga eseese o fa'asalalauga e fa'aaogaina fa'aliliuga eseese
vaega. Mo se faʻataʻitaʻiga, mo le 1.4 Hadoop vaega autu o loʻo i ai le version 2.8.5, ma i le matai
2.10.0. O le tuufaatasiga o vaega lagolago ua suia foi. O se mea ua tuai ma
o mea e le mafai ona fa'afouina e alu ese, ma i lona tulaga e sau ai se mea fou, sili atu ona mana'omia, ma
e le o se mea mai le aiga Apache lava ia.

E le gata i lea, o Bigtop e tele tui.

Ina ua amata ona matou masani ma Bigtop, na matou teteʻi muamua lava i lona tauagafau, pe a faʻatusatusa i isi poloketi a Apache, faʻasalalau ma lauiloa, faʻapea foʻi ma se faʻalapotopotoga laʻititi. E mulimuli mai i lenei mea e itiiti lava faʻamatalaga i luga o le oloa, ma o le suʻeina o fofo i faʻafitauli na tulaʻi mai i luga o faʻasalalauga ma lisi o meli atonu e le maua ai se mea. I le taimi muamua, na foliga mai o se galuega faigata mo i matou le faʻamaeʻaina o le faʻapotopotoga atoa o le tufatufaina ona o foliga o le meafaigaluega lava ia, ae o le a matou talanoa e uiga i lenei mea i se taimi mulimuli ane.

I le avea ai o se teaser, oi latou na fiafia i se taimi i ni galuega faatino o le Linux universe e pei o Gentoo ma LFS atonu latou te fiafia e galulue i lenei mea ma manatua na "epic" taimi na tatou sailia ai (poʻo le tusitusi foi) toe fausia ma toe fausia e le aunoa Mozilla ma ni patch fou.

O le aoga tele o Bigtop o le matala ma le faʻaogaina o meafaigaluega o loʻo faʻavae ai. E faʻavae i luga ole Gradle ma Apache Maven. Gradle e lauiloa tele o le meafaigaluega e faʻaaoga e Google e fausia ai le Android. E fetuutuunai, ma, e pei ona latou fai mai, "tofotofo i taua." Maven o se meafaigaluega masani mo le fausiaina o galuega i Apache lava ia, ma talu ai o le tele o ana oloa o loʻo tuʻuina atu e ala i Maven, e le mafai foi ona faia e aunoa ma iinei. E taua le faʻalogo i le POM (faʻataʻitaʻiga o mea faʻataʻitaʻi) - o le faila xml "faʻavae" e faʻamatalaina mea uma e manaʻomia mo Maven e galue ai ma lau poloketi, lea e fausia ai galuega uma. Sa'o i
vaega o Maven ma o loʻo iai nisi faʻalavelave e masani ona faʻafeiloaʻi e tagata faʻaoga Bigtop mo le taimi muamua.

Faataitai

O fea la e tatau ona e amata ai? Alu i le itulau download ma la'u i lalo le lomiga mautu lata mai e fai ma fa'amaumauga. E mafai fo'i ona e maua mea fa'atauva'a na aoina e Bigtop iina. I le auala, i totonu o pule masani pusa, YUM ma APT e lagolagoina.

I le isi itu, e mafai ona e siiina sa'o mai le fa'asalalauga fa'amaumau lata mai
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Fa'akomi i le "pito i luga"...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

O le taunuuga ./bigtop directory e pei o lenei:

./bigtop-bigpetstore - fa'ata'ita'iga talosaga, fa'ata'ita'iga fa'atusa
./bigtop-ci - CI meafaigaluega, jenkins
./bigtop-data-generators - fa'atupuina o fa'amaumauga, synthetics, mo su'ega asu, ma isi.
./bigtop-deploy - meafaigaluega fa'apipi'i
./bigtop-packages - configs, scripts, patch mo le faʻapotopotoga, le vaega autu o le meafaigaluega
./bigtop-test-framework - fa'avae su'ega
./bigtop-tests - o suʻega lava ia, uta ma asu
./bigtop_toolchain - siosiomaga mo le faʻapotopotoga, saunia le siosiomaga mo le meafaigaluega e galue
./build - fausia le tusi galue
./dl - fa'atonuga mo puna'oa na sii mai
./docker - fausiaina i ata docker, suʻega
./gradle - gradle config
./output – o le lisi lea e alu i ai mea faufale
./provisioner - saunia

O le mea e sili ona manaia mo i matou i lenei laasaga o le config autu ./bigtop/bigtop.bom, lea matou te va'ai ai vaega uma e lagolagoina ma fa'aliliuga. O le mea lea e mafai ai ona matou faʻamaonia se isi faʻamatalaga o le oloa (pe a faʻafuaseʻi ona matou manaʻo e fau) poʻo se faʻailoga fau (pe a fai, mo se faʻataʻitaʻiga, matou te faʻaopoopoina se patch taua).

O le subdirectory e manaia tele foi ./bigtop/bigtop-packages, lea e fesoʻotaʻi saʻo ma le faʻagasologa o le faʻapipiʻiina o vaega ma afifi faʻatasi ma i latou.

O lea la, na matou siiina le archive, tatala pe faia se clone mai le github, e mafai ona tatou amata fausia?

Leai, tatou tapena muamua le siosiomaga.

Saunia o le Siosiomaga

Ma o iinei tatou te manaʻomia se laʻititi laʻititi. Ina ia fausia toetoe lava o soʻo se mea e sili atu pe itiiti ifo le lavelave, e te manaʻomia se siosiomaga faʻapitoa - i la matou tulaga, o le JDK lea, faletusi tutusa tutusa, faila faila, ma isi mea, meafaigaluega, mo se faʻataʻitaʻiga, ant, ivy2 ma sili atu. O se tasi o filifiliga e maua ai le siosiomaga e te manaʻomia mo Bigtop o le faʻapipiʻiina lea o vaega talafeagai i luga o le fale talimalo. E mafai ona ou sese i le faasologa, ae e foliga mai o le version 1.0 sa i ai foi se filifiliga e fausia i ata o Docker muamua ma mafai ona maua, lea e mafai ona maua iinei.

Ae mo le saunia o le siosiomaga, o loʻo i ai le fesoasoani mo lenei - Papeti.

E mafai ona e faʻaogaina tulafono nei, tamoe mai le root directory
meafaigaluega, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Pe tuusa'o mai i papeti:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Ae paga lea, e ono tula'i mai faigata i le taimi nei. O le fautuaga lautele iinei o le faʻaogaina lea o se tufatufa lagolago, faʻafou i luga o le fale talimalo, pe faʻataʻitaʻi le auala docker.

Fono Aoao

O le a se mea e mafai ona tatou taumafai e aoina? O le tali i lenei fesili o le a tuʻuina atu e ala i le gaioiga o le poloaiga

./gradlew tasks

I le vaega o galuega Package o loʻo i ai le tele o oloa o faʻamaumauga mulimuli a Bigtop.
E mafai ona iloa i latou i le suffix -rpm poʻo -pkg-ind (i le tulaga o le fale
i le taula). I la matou tulaga, o le sili ona manaia o Hadoop.

Sei o tatou taumafai e fausia i totonu o le siosiomaga o la tatou server build:

./gradlew hadoop-rpm

Bigtop lava ia o le a la'uina mai punaoa mana'omia mo se vaega patino ma amata fa'atasi. O le mea lea, o le faʻaogaina o le meafaigaluega e faʻalagolago i fale teu oloa a Maven ma isi punaoa, o lona uiga, e manaʻomia le Initaneti.

I le taimi o le faʻagaioiga, e faʻatupuina tulaga masani. O nisi taimi e mafai ma fa'amatalaga sese e mafai ona fesoasoani ia te oe e te malamalama ai i le mea na tupu. Ma o nisi taimi e te manaʻomia le mauaina o faʻamatalaga faaopoopo. I lenei tulaga e aoga le faʻaopoopoina o finauga --info poʻo --debug, ma e mafai foi ona aoga –stacktrace. O loʻo i ai se auala faigofie e faʻatupu ai se seti faʻamaumauga mo le avanoa mulimuli ane i lisi o meli, o le ki --scan.

Faatasi ai ma lana fesoasoani, bigtop o le a aoina uma faʻamatalaga ma tuʻu i le gradle, mulimuli ane o le a tuʻuina atu se fesoʻotaʻiga,
e ala i le mulimuli ai, o le a mafai ai e se tagata agavaa ona malamalama i le mafuaaga na le manuia ai le fono.
Faamolemole ia nofouta o lenei filifiliga e mafai ona faʻaalia ai faʻamatalaga e te le manaʻo ai, e pei o igoa o igoa, nodes, fesuiaiga o le siosiomaga, ma isi, ia faʻaeteete.

E masani lava o mea sese o se taunuuga o le le mafai ona maua soʻo se vaega e manaʻomia mo le faʻapotopotoga. E masani lava, e mafai ona e faʻaleleia le faʻafitauli e ala i le fatuina o se patch e faʻaleleia ai se mea i puna, mo se faʻataʻitaʻiga, tuatusi i le pom.xml i le root directory o punaoa. E faia lenei mea e ala i le fatuina ma le tuʻuina i totonu o le lisi talafeagai ./bigtop/bigtop-packages/src/common/oozie/ patch, mo se faʻataʻitaʻiga, i le fomu patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

E foliga mai, i le taimi e faitau ai lenei tusiga, e te le tau faia le mea o loʻo i luga e faʻaleleia oe lava.

Pe a faʻaofiina soʻo se paʻu ma suiga i le masini faʻapotopotoga, atonu e te manaʻomia le "toe faʻafouina" le faʻapotopotoga e faʻaaoga ai le faʻatonuga faʻamamaina:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

O lenei gaioiga o le a toe faʻafoʻi uma suiga i le faʻapotopotoga o lenei vaega, a maeʻa ona toe faia le faʻapotopotoga. O le taimi lenei o le a matou taumafai e fausia le poloketi i se ata faʻailoga:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

O le fausiaina na faia i lalo ole CentOS, ae mafai foi ona faia i lalo ole Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

I le faʻaopoopoga i le fausiaina o pusa mo faʻasalalauga eseese Linux, e mafai e le meafaigaluega ona fausia se fale teu oloa ma faʻapipiʻi afifi, mo se faʻataʻitaʻiga:

./gradlew yum

E mafai foi ona e manatua e uiga i suʻega asu ma faʻapipiʻiina i Docker.

Fausia se fuifui e tolu nodes:

./gradlew -Pnum_instances=3 docker-provisioner

Fa'atino su'ega asu i se fuifui o pona e tolu:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Tapē se fuifui:

./gradlew docker-provisioner-destroy

Maua ni fa'atonuga mo le fa'afeso'ota'i i totonu o koneteina fa'ato'aga:

./gradlew docker-provisioner-ssh

Faaali tulaga:

./gradlew docker-provisioner-status

E mafai ona e faitau atili e uiga i galuega Fa'atino ile fa'amaumauga.

Afai tatou te talanoa e uiga i suʻega, o loʻo i ai se numera tele o latou, aemaise lava le ulaula ma le tuʻufaʻatasia. O a latou auiliiliga e sili atu nai lo le lautele o lenei tusiga. Sei ou fai atu o le tuufaatasia o se pusa tufatufa e le faigata tele e pei ona foliga mai i le tepa muamua. Na mafai ona matou faʻapipiʻi ma pasi suʻega i vaega uma matou te faʻaaogaina i la matou gaosiga, ma e leai foi ni faʻafitauli i le faʻapipiʻiina ma le faʻatinoina o galuega faʻavae i le siosiomaga o suʻega.

I le faʻaopoopoga i vaega o loʻo i ai i Bigtop, e mafai ona faʻaopoopoina se isi mea, e oʻo lava i lau lava atinaʻe polokalama. O nei mea uma e faʻaogaina lelei ma fetaui ma le manatu CI / CD.

iʻuga

E manino lava, o le pusa tufatufaina ua tuufaatasia i lenei auala e le tatau ona vave auina atu i le gaosiga. E tatau ona e malamalama afai o loʻo i ai se manaʻoga moni e fausia ma lagolago lau tufatufaga, ona e manaʻomia lea e teu tupe ma taimi i lenei mea.

Ae ui i lea, i le tuʻufaʻatasia ma le auala saʻo ma se 'au faʻapolofesa, e mafai lava ona fai e aunoa ma ni fofo faʻapisinisi.

E taua le maitauina o le Bigtop lava ia o loʻo manaʻomia se atinaʻe ma e foliga mai e le o faʻamalosia le atinaʻeina i aso nei. O le faʻamoemoe o le Hadoop 3 o loʻo faʻaalia i totonu e le o manino foi, pe a iai sau manaʻoga moni e fausia le Hadoop 3, e mafai ona e vaʻai i ai tui mai Arenadata, lea, e faaopoopo i tulaga masani
E iai le tele o vaega fa'aopoopo (Ranger, Knox, NiFi).

Ae mo Rostelecom, mo matou Bigtop o se tasi lea o filifiliga o loʻo iloiloina i aso nei. Pe tatou te filifilia pe leai, o le a iloa e le taimi.

faʻaopoopoga

Ina ia aofia ai se vaega fou i le faʻapotopotoga, e tatau ona e faʻaopopoina lona faʻamatalaga i bigtop.bom ma ./bigtop-packages. E mafai ona e taumafai e fai lenei mea e ala i le faʻatusa ma vaega o loʻo iai. Taumafai e malamalama i ai. E le faigata e pei ona foliga mai i le vaaiga muamua.

Ae o le a lou manatu? Matou te fiafia e vaʻai i lou manatu i faʻamatalaga ma faʻafetai mo lou gauai!

O le tusiga na saunia e le Rostelecom faʻamaumauga faʻamaumauga

puna: www.habr.com