Tsy miafina angamba fa taonan'ny fiovana lehibe ho an'i Apache Hadoop ny taona lasa. Tamin'ny taon-dasa, Cloudera sy Hortonworks dia nitambatra (amin'ny ankapobeny, ny fahazoana ny farany), ary ny Mapr, noho ny olana ara-bola lehibe, dia namidy tamin'i Hewlett Packard. Ary raha taona vitsivitsy talohan'izay, raha ny fametrahana eo an-toerana, ny safidy matetika dia tsy maintsy natao teo anelanelan'ny Cloudera sy Hortonworks, androany, indrisy, tsy manana an'io safidy io isika. Ny nahagaga iray hafa dia ny nanambaran'i Cloudera tamin'ny Febroary tamin'ity taona ity fa hampitsahatra ny famoahana ireo fivoriambe binary amin'ny fizarana azy ao amin'ny tahiry ho an'ny daholobe, ary tsy misy afa-tsy amin'ny alΓ lan'ny famandrihana karama. Mazava ho azy fa mbola azo atao ny misintona ny CDH sy HDP farany navoaka alohan'ny faran'ny taona 2019, ary antenaina mandritra ny iray na roa taona ny fanohanana azy ireo. Inona anefa no hatao manaraka? Ho an'ireo izay nandoa famandrihana teo aloha dia tsy nisy fiovana. Ary ho an'ireo izay tsy te-hifindra amin'ny dikan-karama amin'ny fizarana, fa amin'ny fotoana iray ihany dia te-hahazo ny dikan-teny farany amin'ny singa cluster, ary koa ny patch sy ny fanavaozana hafa, dia nanomana ity lahatsoratra ity izahay. Hodinihintsika ao anatin'izany ny safidy mety hialana amin'ity toe-javatra ity.
Ny lahatsoratra dia famerenana bebe kokoa. Tsy hisy fampitahana ny fizarana sy ny famakafakana amin'ny antsipiriany momba azy ireo, ary tsy hisy ny fomba fanamboarana ny fametrahana sy ny fanamboarana azy ireo. Inona no hitranga? Hiresaka fohifohy momba ny fizarana toy ny Arenadata Hadoop isika, izay mendrika ny hojerentsika noho ny fisiany, izay tsy fahita firy ankehitriny. Ary avy eo dia hiresaka momba ny Vanilla Hadoop isika, indrindra momba ny fomba "hahandroana" azy amin'ny fampiasana Apache Bigtop. Vonona? Dia tongasoa amin'ny saka.
Arenadata Hadoop
Ity dia fitaovana vaovao tanteraka ary mbola tsy dia fantatra loatra amin'ny fampandrosoana an-trano. Indrisy anefa, amin'izao fotoana izao ao amin'ny HabrΓ© ihany no misy .
Ny fampahalalana bebe kokoa dia azo jerena ao amin'ny ofisialy tetikasa. Ny dikan-teny farany amin'ny fizarana dia mifototra amin'ny Hadoop 3.1.2 ho an'ny version 3, ary 2.8.5 ho an'ny version 2.
Ny fampahalalana momba ny tondrozotra dia azo jerena .
Arenadata Cluster Manager Interface
Ny vokatra fototry ny Arenadata dia , izay ampiasaina amin'ny fametrahana, fanamboarana ary fanaraha-maso ireo vahaolana rindrambaiko samihafa amin'ny orinasa. Nozaraina maimaim-poana ny ADCM, ary nitatra ny fampiasany amin'ny alalan'ny fampidirana amboara, izay andiana ansible-playbooks. Mizara roa ny fehezam-boninkazo: orinasa sy fiaraha-monina. Ity farany dia azo alaina maimaim-poana amin'ny tranokala Arenadata. Azo atao ihany koa ny mamolavola ny fonosanao manokana ary mampifandray izany amin'ny ADCM.
Ho an'ny fametrahana sy ny fitantanana ny Hadoop 3, dia misy dikan-tenin'ny vondrom-piarahamonina amin'ny fonosana miaraka amin'ny ADCM, fa ho an'ny Hadoop 2 dia misy ihany. ho solon'izay. Raha ny momba ny repository misy fonosana dia misokatra ho an'ny daholobe izy ireo, azo alaina sy apetraka amin'ny fomba mahazatra ho an'ny singa rehetra ao amin'ny cluster. Amin'ny ankapobeny dia toa mahaliana tokoa ny fizarana. Azoko antoka fa hisy ireo zatra vahaolana toy ny Cloudera Manager sy Ambari, ary ho tia ny ADCM mihitsy. Ho an'ny sasany, ho tombony lehibe ihany koa ny fizarana ho fanoloana fanafarana.
Raha miresaka momba ny fatiantoka isika dia hitovy amin'ny fizarana Hadoop hafa rehetra. izany hoe:
- Ilay antsoina hoe "hidy mpivarotra". Amin'ny fampiasana ny ohatra avy amin'ny Cloudera sy Hortonworks, dia efa nahatsapa izahay fa misy foana ny loza mety hitranga amin'ny fanovana ny politikan'ny orinasa.
- Lavitra lehibe ao ambadiky ny Apache ambony.
Vanilla Hadoop
Araka ny fantatrao, Hadoop dia tsy vokatra monolithic, fa raha ny marina, galaxy manontolo amin'ny serivisy manodidina ny rafitra fichier mizara HDFS. Vitsy ny olona ho ampy amin'ny fitambaran-drakitra iray. Ny sasany mila Hive, ny hafa Presto, ary avy eo misy HBase sy Phoenix; Ny Spark dia ampiasaina hatrany. Ho an'ny orkestra sy ny fampidinana angon-drakitra dia hita indraindray ny Oozie, Sqoop ary Flume. Ary raha mipoitra ny olana momba ny fiarovana, dia tonga ao an-tsaina avy hatrany i Kerberos miaraka amin'ny Ranger.
Ny dikan-teny binary amin'ny singa Hadoop dia hita ao amin'ny tranokalan'ny tetikasan'ny tontolo iainana tsirairay amin'ny endrika tarball. Azonao atao ny misintona azy ireo ary manomboka ny fametrahana, fa miaraka amin'ny fepetra iray: ankoatry ny famoriam-bola tsy miankina amin'ny binary "raw", izay mety ho tianao hatao, dia tsy hanana fahatokisana amin'ny fampifanarahana ny dikan-teny alaina amin'ny tsirairay ianao. hafa. Ny safidy tiana dia ny manangana mampiasa Apache Bigtop. Bigtop dia ahafahanao manangana avy amin'ny tranokala Apache maven, manao fitsapana ary manamboatra fonosana. Saingy, ny tena zava-dehibe ho antsika, Bigtop dia hanangona ireo kinova singa izay hifanaraka amin'ny tsirairay. Hiresaka momba izany amin'ny antsipiriany etsy ambany isika.
Apache Bigtop
Apache Bigtop dia fitaovana hanamboarana, famonosana ary fitsapana maromaro
tetikasa open source, toy ny Hadoop sy Greenplum. Betsaka ny Bigtop
famoahana. Tamin'ny fotoana nanoratana, ny famoahana stable farany dia ny version 1.4,
ary ao amin'ny master dia nisy 1.5. Ny dikan-teny samihafa amin'ny famoahana dia mampiasa dikan-teny samihafa
singa. Ohatra, ho an'ny singa fototra 1.4 Hadoop dia manana version 2.8.5, ary amin'ny master
2.10.0. Miova koa ny firafitry ny singa tohana. Zavatra efa lany andro ary
ny tsy azo havaozina dia miala, ary eo amin'ny toerany dia misy zava-baovao, ilaina kokoa, ary
tsy voatery ho zavatra avy amin'ny fianakaviana Apache mihitsy izany.
Ankoatra izany, manana maro ny Bigtop .
Rehefa nanomboka nifankahalala tamin'ny Bigtop izahay, voalohany indrindra dia gaga tamin'ny fahamaotinana, raha ampitahaina amin'ny tetikasa Apache hafa, ny fihanaky ny laza sy ny laza, ary koa ny vondrom-piarahamonina tena kely. Avy amin'izany dia misy fampahalalana kely momba ny vokatra, ary ny fitadiavana vahaolana amin'ny olana nipoitra tao amin'ny forums sy ny lisitry ny mailaka dia mety tsy hitondra na inona na inona. Tamin'ny voalohany dia nanjary asa sarotra ho antsika ny mamita ny fivoriambe feno amin'ny fizarana noho ny endri-javatra amin'ny fitaovana, fa hiresaka momba izany isika aoriana kely.
Amin'ny maha-teaser azy, ireo izay liana tamin'ny tetikasan'ny tontolon'ny Linux toa an'i Gentoo sy LFS taloha dia mety hahita fa mahafinaritra ny miasa amin'ity zavatra ity ary mahatsiaro ireo fotoana "epic" izay nitadiavanay (na nanoratra mihitsy aza) ebuilds ary nanangana tsy tapaka an'i Mozilla miaraka amin'ny patch vaovao.
Ny tombony lehibe amin'ny Bigtop dia ny fisokafana sy ny fahaiza-manaon'ireo fitaovana iorenany. Izy io dia mifototra amin'ny Gradle sy Apache Maven. Gradle dia fantatra tsara amin'ny maha fitaovana ampiasain'i Google hananganana Android. Mifanaraka tsara izy io, ary, araka ny filazan'izy ireo, "voasedra ady". Ny Maven dia fitaovana manara-penitra amin'ny fananganana tetikasa ao amin'ny Apache mihitsy, ary satria navoaka tamin'ny alalan'ny Maven ny ankamaroan'ny vokatra, dia tsy ho vita izany raha tsy misy azy eto. Ilaina ny mandinika ny POM (modely momba ny tetikasa) - ny rakitra xml "fototra" mamaritra ny zava-drehetra ilaina amin'ny Maven hiasa amin'ny tetikasanao, izay manodidina ny asa rehetra. Amin'ny
ampahany amin'ny Maven ary misy sakana sasany izay matetika iharan'ny mpampiasa Bigtop voalohany.
fampiharana
Ka aiza no tokony hanombohanao? Mandehana any amin'ny pejy fampidinana ary alaivo ny kinova stable farany indrindra ho tahiry. Azonao atao ihany koa ny mahita artifact binary nangonin'i Bigtop any. Raha ny marina, eo amin'ireo mpitantana fonosana mahazatra, YUM sy APT no tohana.
Raha tsy izany, azonao atao ny misintona mivantana ny famoahana stable farany indrindra
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitCloning ao amin'ny "bigtop"β¦
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
ΠΠΎΠ»ΡΡΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ²: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, Π³ΠΎΡΠΎΠ²ΠΎ.
ΠΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ: 100% (20503/20503), Π³ΠΎΡΠΎΠ²ΠΎ.
Updating files: 100% (1998/1998), Π³ΠΎΡΠΎΠ²ΠΎ.Ny lahatahiry ./bigtop vokatr'izany dia toa izao:
./bigtop-bigpetstore - fampiharana demo, ohatra synthetic
./bigtop-ci - Fitaovana CI, jenkins
./bigtop-data-generators - famokarana data, synthetics, ho an'ny fitsapana setroka, sns.
./bigtop-deploy - fitaovana fanapariahana
./bigtop-packages β configs, scripts, patch ho an'ny fivoriambe, ny ampahany lehibe amin'ny fitaovana
./bigtop-test-framework - rafitra fitiliana
./bigtop-tests - ny fitsapana ny tenany, entana sy setroka
./bigtop_toolchain - tontolo iainana ho an'ny fivoriambe, manomana ny tontolo iasan'ny fitaovana
./build - manangana lahatahiry miasa
./dl β lahatahiry ho an'ny loharano alaina
./docker - fananganana sary docker, fitsapana
./gradle - gradle config
./output β ny lahatahiry izay alehan'ny fananganana artifacts
./provisioner - famatsiana
Ny tena mahaliana antsika amin'ity dingana ity dia ny config lehibe ./bigtop/bigtop.bom, izay ahitantsika ny singa tohana rehetra misy dikan-teny. Eto no ahafahantsika mamaritra dikan-teny hafa amin'ny vokatra (raha te hanandrana hanorina azy tampoka isika) na kinova fananganana (raha ohatra, nampiana patch manan-danja).
Tena mahaliana ihany koa ny subdirectory ./bigtop/bigtop-packages, izay mifandray mivantana amin'ny dingan'ny fanangonana singa sy fonosana miaraka aminy.
Noho izany, nalainay ny arisiva, nosokafanay na nanao clone avy amin'ny github, afaka manomboka manangana ve isika?
Tsia, andao aloha hanomana ny tontolo iainana.
Fanomanana ny tontolo iainana
Ary eto dia mila fihemorana kely. Mba hananganana saika vokatra be pitsiny kokoa na tsy dia be pitsiny dia mila tontolo iainana ianao - amin'ity tranga ity dia ny JDK, ny tranomboky ifampizarana mitovy, ny rakitra header, sns., Ny fitaovana, ohatra, ant, ivy2 sy ny maro hafa. Ny iray amin'ireo safidy hahazoana ny tontolo ilainao amin'ny Bigtop dia ny fametrahana ireo singa ilaina amin'ny mpampiantrano fananganana. Mety ho diso aho amin'ny fanisan-taona, fa toa ny version 1.0 koa dia nisy safidy hananganana sary Docker efa namboarina sy azo idirana, izay hita eto.
Raha ny aminβny fanomanana ny tontolo iainana dia misy mpanampy aminβizany β Saribakoly.
Azonao atao ny mampiasa ireto baiko manaraka ireto, mihazakazaka avy amin'ny lahatahiry fototra
Fitaovana, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Na mivantana amin'ny alalan'ny saribakoly:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Indrisy anefa fa mety hipoitra sahady ny fahasahiranana amin'izao dingana izao. Ny torohevitra ankapobeny eto dia ny fampiasana fizarana tohanana, vaovao amin'ny mpampiantrano fananganana, na manandrana ny lalana docker.
fiangonana
Inona no azontsika ezahina angonina? Ny valin'io fanontaniana io dia homena ny Output ny baiko
./gradlew tasks
Ao amin'ny fizarana asa Package dia misy vokatra maromaro izay artifact farany an'ny Bigtop.
Izy ireo dia azo fantarina amin'ny tovana -rpm na -pkg-ind (raha ny fanorenana
amin'ny docker). Amin'ity tranga ity, ny tena mahaliana dia Hadoop.
Andao hiezaka hanorina ao amin'ny tontolon'ny mpizara build:
./gradlew hadoop-rpmBigtop mihitsy no hisintona ireo loharano ilaina ho an'ny singa iray manokana ary hanomboka ny fivoriambe. Noho izany, miankina amin'ny tahiry Maven sy loharano hafa ny fiasan'ny fitaovana, izany hoe mitaky fidirana amin'ny Internet.
Mandritra ny fampandehanana dia avoaka ny vokatra mahazatra. Indraindray izany sy ny hafatra diso dia afaka manampy anao hahatakatra ny tsy nety. Ary indraindray mila mahazo fampahalalana fanampiny ianao. Amin'ity tranga ity dia ilaina ny manampy hevitra --info na --debug, ary mety mahasoa koa βstacktrace. Misy fomba mety hamoronana angon-drakitra ho an'ny fidirana manaraka amin'ny lisitry ny mailaka, ny fanalahidy --scan.
Miaraka amin'ny fanampiany, Bigtop dia hanangona ny vaovao rehetra ary hametraka izany ao amin'ny gradle, ary avy eo dia hanome rohy,
Amin'ny fanarahana izany, ny olona mahay iray dia ho afaka hahatakatra ny antony tsy nahomby ilay fivoriambe.
Azafady, fantaro fa ity safidy ity dia mety hampiseho fampahalalana tsy tianao, toy ny solon'anarana, nodes, fari-piainan'ny tontolo iainana, sns., koa mitandrema.
Matetika ny fahadisoana dia vokatry ny tsy fahafahana mahazo izay singa ilaina amin'ny fivoriambe. Amin'ny ankapobeny, azonao atao ny mamaha ny olana amin'ny famoronana patch hanamboarana zavatra ao amin'ny loharano, ohatra, ny adiresy ao amin'ny pom.xml ao amin'ny lahatahiry fototry ny loharano. Izany dia atao amin'ny famoronana sy fametrahana azy ao amin'ny lahatahiry mety ./bigtop/bigtop-packages/src/common/oozie/ patch, ohatra, amin'ny endrika patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Azo inoana fa amin'ny fotoana hamakiana ity lahatsoratra ity dia tsy voatery hanao ny tenanao manokana ianao.
Rehefa mampiditra patch sy fiovana amin'ny mekanika fivoriambe ianao dia mety mila "hamerina" ny fivoriambe amin'ny alΓ lan'ny baiko fanadiovana:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedIty hetsika ity dia hamerina ny fanovana rehetra amin'ny fivorian'ity singa ity, ary aorian'izay dia haverina indray ny fivoriambe. Amin'ity indray mitoraka ity dia hanandrana hanangana ny tetikasa amin'ny sary docker izahay:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
ΠΌΠ½ΠΎΠ³ΠΎ Π²ΡΠ²ΠΎΠ΄Π°
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedNy fananganana dia natao tamin'ny CentOS, saingy azo atao amin'ny Ubuntu ihany koa:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indHo fanampin'ny fananganana fonosana ho an'ny fizarana Linux isan-karazany, ny fitaovana dia afaka mamorona tahiry miaraka amin'ny fonosana natambatra, ohatra:
./gradlew yumAzonao atao ihany koa ny mahatsiaro momba ny fitsapana setroka sy ny fametrahana ao amin'ny Docker.
Mamorona cluster misy node telo:
./gradlew -Pnum_instances=3 docker-provisionerManaova andrana setroka ao anaty vondron'olona telo node:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerFamafana cluster:
./gradlew docker-provisioner-destroyMahazoa baiko hampifandraisana ao anaty container docker:
./gradlew docker-provisioner-sshAsehoy ny sata:
./gradlew docker-provisioner-statusAzonao atao ny mamaky bebe kokoa momba ny asa fametrahana ao amin'ny antontan-taratasy.
Raha miresaka momba ny fitsapana isika, dia betsaka ny isan'izy ireo, indrindra ny setroka sy ny fampidirana. Ny famakafakana azy ireo dia mihoatra ny faritry ity lahatsoratra ity. MamelΓ ahy hilaza fotsiny fa ny fanangonana kitapo fanapariahana dia tsy asa sarotra tahaka ny hita amin'ny voalohany. Nahavita nanangona sy nandalo fitsapana tamin'ireo singa rehetra ampiasainay amin'ny famokaranay izahay, ary tsy nanana olana ihany koa izahay tamin'ny fametrahana azy ireo sy ny fanaovana asa fototra ao amin'ny tontolo fitsapana.
Ho fanampin'ireo singa efa misy ao amin'ny Bigtop, azo atao ny manampy zavatra hafa, eny fa na dia ny fampivoarana rindrambaiko manokana aza. Izany rehetra izany dia mandeha ho azy tanteraka ary mifanaraka amin'ny foto-kevitra CI/CD.
famaranana
Mazava ho azy fa tsy tokony halefa avy hatrany any amin'ny famokarana ny fizarana voaangona toy izany. Tokony ho takatrao fa raha tena ilaina ny manangana sy manohana ny fizaranao, dia mila mampiasa vola sy fotoana ianao amin'izany.
Na izany aza, miaraka amin'ny fomba tsara sy ny ekipa matihanina, dia azo atao tsy misy vahaolana ara-barotra.
Zava-dehibe ny manamarika fa ny tetikasa Bigtop mihitsy no mila fampandrosoana ary toa tsy mivoatra amin'izao fotoana izao. Tsy mazava ihany koa ny fahatsinjovana ny hisehoan'ny Hadoop 3 ao anatiny. Raha ny marina, raha tena mila manangana Hadoop 3 ianao dia afaka mijery avy amin'ny Arenadata, izay, ankoatry ny fenitra
Misy singa fanampiny maromaro (Ranger, Knox, NiFi).
Ho an'ny Rostelecom, ho antsika Bigtop dia iray amin'ireo safidy dinihina ankehitriny. Na mifidy izany isika na tsia, ny fotoana no hilaza.
Fanazavana fanampiny
Mba hampidirana singa vaovao ao amin'ny fivoriambe dia mila manampy ny famaritana azy amin'ny bigtop.bom sy ./bigtop-packages ianao. Azonao atao ny manandrana manao izany amin'ny alΓ lan'ny fanoharana amin'ireo singa efa misy. Miezaha hamantatra izany. Tsy sarotra araka ny hita aminβny voalohany.
Inona ny hevitrao? Ho faly izahay hahita ny hevitrao amin'ny fanehoan-kevitra ary misaotra anao noho ny fiheveranao!
Nomanin'ny ekipan'ny fitantanana data Rostelecom ny lahatsoratra
Source: www.habr.com