Tingali dili sekreto nga ang miaging tuig usa ka tuig sa dagkong mga pagbag-o alang sa Apache Hadoop. Sa miaging tuig, ang Cloudera ug Hortonworks naghiusa (sa tinuud, ang pag-angkon sa ulahi), ug ang Mapr, tungod sa grabe nga mga problema sa panalapi, gibaligya sa Hewlett Packard. Ug kung pipila ka tuig ang milabay, sa kaso sa mga pag-install sa naa sa lugar, ang pagpili kanunay kinahanglan buhaton tali sa Cloudera ug Hortonworks, karon, alaut, wala kami niini nga kapilian. Ang laing katingala mao ang kamatuoran nga gipahibalo ni Cloudera kaniadtong Pebrero ning tuiga nga hunongon na niini ang pagpagawas sa binary nga mga asembliya sa pag-apod-apod niini sa publiko nga repository, ug kini magamit na lamang pinaagi sa usa ka bayad nga suskrisyon. Siyempre, posible pa nga ma-download ang pinakabag-o nga bersyon sa CDH ug HDP nga gipagawas sa wala pa matapos ang 2019, ug ang suporta alang kanila gilauman sulod sa usa ngadto sa duha ka tuig. Apan unsay sunod nga buhaton? Alang sa mga nagbayad kaniadto alang sa usa ka suskrisyon, wala’y pagbag-o. Ug alang niadtong dili gusto nga mobalhin sa bayad nga bersyon sa pag-apod-apod, apan sa samang higayon gusto nga makadawat sa pinakabag-o nga mga bersyon sa cluster components, ingon man mga patch ug uban pang mga update, among giandam kini nga artikulo. Niini atong hisgotan ang posible nga mga kapilian sa paggawas niini nga sitwasyon.
Ang artikulo labaw pa sa usa ka pagrepaso. Dili kini maglangkob sa usa ka pagtandi sa mga pag-apod-apod ug usa ka detalyado nga pag-analisar niini, ug wala’y mga resipe alang sa pag-install ug pag-configure niini. Unsay mahitabo? Atong hisgotan sa makadiyot ang bahin sa ingon nga pag-apod-apod sama sa Arenadata Hadoop, nga angayan sa atong pagtagad tungod sa pagkaanaa niini, nga talagsaon kaayo karon. Ug unya maghisgot kami bahin sa Vanilla Hadoop, labi na kung giunsa kini "lutoon" gamit ang Apache Bigtop. Andam na? Unya welcome sa iring.
Arenadata Hadoop
Kini usa ka bug-os nga bag-o ug, sa pagkakaron, gamay nga nailhan nga distribution kit sa domestic development. Ikasubo, sa pagkakaron sa Habré naa ra .
Dugang nga impormasyon makita sa opisyal proyekto. Ang pinakabag-o nga mga bersyon sa pag-apod-apod gibase sa Hadoop 3.1.2 para sa bersyon 3, ug 2.8.5 para sa bersyon 2.
Makita ang impormasyon bahin sa roadmap .
Interface sa Manager sa Arenadata Cluster
Ang panguna nga produkto sa Arenadata mao ang , nga gigamit sa pag-install, pag-configure ug pag-monitor sa lainlaing mga solusyon sa software sa kompanya. Ang ADCM gipang-apod-apod nga walay bayad, ug ang pagpaandar niini gipalapdan pinaagi sa pagdugang og mga bundle, nga usa ka set sa ansible-playbooks. Ang mga bundle gibahin sa duha ka matang: negosyo ug komunidad. Ang ulahi magamit alang sa libre nga pag-download gikan sa website sa Arenadata. Posible usab ang paghimo sa imong kaugalingon nga bundle ug ikonektar kini sa ADCM.
Alang sa pag-deploy ug pagdumala sa Hadoop 3, usa ka bersyon sa komunidad sa bundle ang gitanyag kauban sa ADCM, apan alang sa Hadoop 2 adunay ra. isip alternatibo. Sama sa alang sa mga repository nga adunay mga pakete, bukas sila sa pag-access sa publiko, mahimo silang ma-download ug ma-install sa naandan nga paagi alang sa tanan nga mga sangkap sa cluster. Sa kinatibuk-an, ang pag-apod-apod morag makapaikag kaayo. Sigurado ako nga adunay mga naanad sa mga solusyon sama sa Cloudera Manager ug Ambari, ug kinsa ganahan sa ADCM mismo. Alang sa pipila, kini usab usa ka dako nga dugang nga ang pag-apod-apod alang sa import substitution.
Kung maghisgot kita bahin sa mga disbentaha, parehas sila sa tanan nga uban pang mga pag-apod-apod sa Hadoop. Nga mao:
- Ang gitawag nga "vendor lock-in". Gamit ang mga pananglitan sa Cloudera ug Hortonworks, nahibal-an na namon nga kanunay adunay peligro sa pagbag-o sa palisiya sa kompanya.
- Mahinungdanon nga lag sa luyo sa Apache sa ibabaw.
Vanilla Hadoop
Sama sa imong nahibal-an, ang Hadoop dili usa ka monolithic nga produkto, apan, sa tinuud, usa ka tibuuk nga galaksiya sa mga serbisyo sa palibot sa giapod-apod nga sistema sa file nga HDFS. Pipila ka mga tawo ang adunay igo nga usa ka file cluster. Ang uban nanginahanglan Hive, ang uban Presto, ug dayon adunay HBase ug Phoenix; Ang Spark labi nga gigamit. Alang sa orkestrasyon ug pagkarga sa datos, usahay makit-an ang Oozie, Sqoop ug Flume. Ug kon motumaw ang isyu sa seguridad, mosantop dayon sa hunahuna si Kerberos kauban si Ranger.
Ang binary nga mga bersyon sa mga sangkap sa Hadoop anaa sa website sa matag usa sa mga proyekto sa ekosistema sa porma sa mga tarball. Mahimo nimo kini i-download ug magsugod sa pag-instalar, apan sa usa ka kondisyon: dugang sa independente nga pag-assemble sa mga pakete gikan sa "hilaw" nga mga binary, nga lagmit gusto nimo nga buhaton, wala ka'y kumpiyansa sa pagkaangay sa na-download nga mga bersyon sa mga sangkap sa matag usa. uban. Ang gipalabi nga kapilian mao ang pagtukod gamit ang Apache Bigtop. Gitugotan ka sa Bigtop nga magtukod gikan sa mga repositoryo sa Apache maven, magpadagan sa mga pagsulay ug maghimo mga pakete. Apan, unsa ang labing hinungdanon alang kanamo, ang Bigtop mag-assemble sa mga bersyon sa mga sangkap nga magkatugma sa usag usa. Atong hisgotan kini sa mas detalyado sa ubos.
Apache Bigtop
Ang Apache Bigtop usa ka himan alang sa pagtukod, pagputos ug pagsulay sa daghang mga
open source nga mga proyekto, sama sa Hadoop ug Greenplum. Daghan ang Bigtop
gipagawas. Sa panahon sa pagsulat, ang pinakabag-o nga stable nga pagpagawas mao ang bersyon 1.4,
ug sa master adunay 1.5. Ang lain-laing mga bersyon sa pagpagawas naggamit sa lain-laing mga bersyon
mga sangkap. Pananglitan, alang sa 1.4 Hadoop core component adunay bersyon 2.8.5, ug sa master
2.10.0. Ang komposisyon sa gisuportahan nga mga sangkap usab nagbag-o. Usa ka butang nga outdated ug
ang dili mabag-o mawala, ug sa iyang dapit moabut ang usa ka butang nga bag-o, labaw pa sa panginahanglan, ug
kini dili kinahanglan nga usa ka butang gikan sa pamilya sa Apache mismo.
Dugang pa, daghan ang Bigtop .
Sa dihang nagsugod kami sa pag-ila sa Bigtop, una sa tanan nasurprisa kami sa kasarangan niini, kon itandi sa ubang mga proyekto sa Apache, kaylap ug pagkapopular, ingon man usa ka gamay kaayo nga komunidad. Nagsunod gikan niini nga adunay gamay nga kasayuran sa produkto, ug ang pagpangita alang sa mga solusyon sa mga problema nga mitumaw sa mga forum ug mga lista sa koreyo mahimo’g dili makahatag bisan unsa. Sa sinugdan, nahimo nga usa ka lisud nga buluhaton alang kanamo ang pagkompleto sa kompleto nga asembliya sa pag-apod-apod tungod sa mga bahin sa himan mismo, apan hisgutan namon kini sa ulahi.
Ingon usa ka teaser, kadtong kaniadto interesado sa mga proyekto sa uniberso sa Linux sama sa Gentoo ug LFS mahimo’g makit-an nga nostalgically makapahimuot sa pagtrabaho niini nga butang ug hinumdoman ang mga "epiko" nga mga panahon nga kami mismo nangita (o bisan pagsulat) ebuilds ug regular nga gitukod pag-usab ang Mozilla nga adunay bag-ong mga patch.
Ang dako nga bentaha sa Bigtop mao ang pagkabukas ug pagkadaiya sa mga himan diin kini gibase. Gibase kini sa Gradle ug Apache Maven. Ang Gradle nailhan kaayo nga himan nga gigamit sa Google sa paghimo sa Android. Kini flexible, ug, ingon sa ilang giingon, "gisulayan sa gubat." Ang Maven usa ka sumbanan nga himan alang sa pagtukod sa mga proyekto sa Apache mismo, ug tungod kay kadaghanan sa mga produkto niini gipagawas pinaagi sa Maven, dili usab kini mahimo kung wala kini dinhi. Angayan nga hatagan ug pagtagad ang POM (modelo sa proyekto nga butang) - ang "sukaranan" nga xml file nga naghulagway sa tanan nga gikinahanglan alang sa Maven nga magtrabaho sa imong proyekto, diin ang tanan nga trabaho gitukod. Sakto sa
bahin sa Maven ug adunay pipila ka mga babag nga kasagarang masugatan sa mga tiggamit sa Bigtop sa unang higayon.
Pagpraktis
Busa asa ka magsugod? Adto sa download page ug i-download ang pinakabag-o nga stable nga bersyon isip archive. Makita usab nimo ang binary artifact nga nakolekta sa Bigtop didto. Pinaagi sa dalan, taliwala sa mga sagad nga tagdumala sa pakete, gisuportahan ang YUM ug APT.
Sa laing paagi, mahimo nimong i-download ang pinakabag-o nga stable nga pagpagawas direkta gikan sa
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitPag-clone sa "bigtop"…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Ang resulta nga ./bigtop nga direktoryo sama niini:
./bigtop-bigpetstore - mga aplikasyon sa demo, sintetikong mga pananglitan
./bigtop-ci - Mga gamit sa CI, jenkins
./bigtop-data-generators - paghimo sa datos, synthetics, alang sa mga pagsulay sa aso, ug uban pa.
./bigtop-deploy - mga himan sa pag-deploy
./bigtop-packages — configs, scripts, patch alang sa asembliya, ang nag-unang bahin sa himan
./bigtop-test-framework - testing framework
./bigtop-tests - ang mga pagsulay sa ilang kaugalingon, load ug aso
./bigtop_toolchain — palibot alang sa asembliya, pag-andam sa palibot alang sa himan sa pagtrabaho
./build - paghimo sa direktoryo sa pagtrabaho
./dl — direktoryo alang sa na-download nga mga tinubdan
./docker - pagtukod sa mga imahe sa docker, pagsulay
./gradle - gradle config
./output – ang direktoryo diin moadto ang pagtukod sa mga artifact
./provisioner - paghatag
Ang labing makapaikag nga butang alang kanamo sa kini nga yugto mao ang panguna nga config ./bigtop/bigtop.bom, diin atong makita ang tanan nga gisuportahan nga mga sangkap nga adunay mga bersyon. Dinhi mahimo naton ipiho ang usa ka lahi nga bersyon sa produkto (kung kalit naton gusto nga sulayan kini) o usa ka bersyon sa pagtukod (kung, pananglitan, nagdugang kami usa ka hinungdanon nga patch).
Ang subdirectory dako usab nga interes ./bigtop/bigtop-packages, nga direktang may kalabutan sa proseso sa pag-assemble sa mga sangkap ug mga pakete uban kanila.
Mao nga, gi-download namon ang archive, gi-unpack kini o naghimo usa ka clone gikan sa github, mahimo ba naton magsugod sa pagtukod?
Dili, atong andamon una ang palibot.
Pag-andam sa Kalikopan
Ug dinhi kinahanglan namon ang usa ka gamay nga pag-atras. Aron matukod ang hapit bisan unsang labi pa o dili kaayo komplikado nga produkto, kinahanglan nimo ang usa ka piho nga palibot - sa among kaso, kini ang JDK, parehas nga gipaambit nga mga librarya, mga file sa header, ug uban pa, mga himan, pananglitan, ant, ivy2 ug daghan pa. Usa sa mga kapilian aron makuha ang palibot nga imong gikinahanglan alang sa Bigtop mao ang pag-instalar sa gikinahanglan nga mga sangkap sa build host. Mahimong sayup ako sa kronolohiya, apan ingon og sa bersyon 1.0 adunay kapilian usab nga magtukod sa pre-configure ug ma-access nga mga imahe sa Docker, nga makit-an dinhi.
Mahitungod sa pag-andam sa palibot, adunay usa ka katabang alang niini - Puppet.
Mahimo nimong gamiton ang mosunod nga mga sugo, pagdagan gikan sa root directory
himan, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
O direkta pinaagi sa puppet:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Ikasubo, ang mga kalisdanan mahimong motungha na sa kini nga yugto. Ang kinatibuk-ang tambag dinhi mao ang paggamit sa usa ka suportadong pag-apod-apod, labing bag-o sa build host, o pagsulay sa ruta sa pantalan.
Assembly
Unsa ang atong masulayan nga kolektahon? Ang tubag niini nga pangutana ihatag pinaagi sa output sa sugo
./gradlew tasks
Sa seksyon sa Mga buluhaton sa Pakete adunay daghang mga produkto nga katapusan nga artifact sa Bigtop.
Mahimo silang mailhan pinaagi sa suffix -rpm o -pkg-ind (sa kaso sa pagtukod
sa pantalan). Sa among kaso, ang labing makapaikag mao ang Hadoop.
Atong sulayan ang pagtukod sa palibot sa atong build server:
./gradlew hadoop-rpmAng Bigtop mismo ang mag-download sa mga kinahanglanon nga gigikanan nga gikinahanglan alang sa usa ka piho nga sangkap ug magsugod sa pag-assemble. Sa ingon, ang operasyon sa himan nagsalig sa mga repositoryo sa Maven ug uban pang mga gigikanan, nga mao, nanginahanglan kini pag-access sa Internet.
Atol sa operasyon, ang standard nga output gihimo. Usahay kini ug ang mga mensahe sa sayup makatabang kanimo nga masabtan kung unsa ang sayup. Ug usahay kinahanglan nimo nga makakuha og dugang nga kasayuran. Sa niini nga kaso kini mao ang bili sa pagdugang sa mga argumento --info o --debug, ug mahimo usab nga mapuslanon –stacktrace. Adunay usa ka sayon nga paagi sa pagmugna og usa ka set sa datos alang sa sunod nga pag-access sa mga mailing list, ang yawe --scan.
Uban sa tabang niini, kolektahon sa bigtop ang tanan nga kasayuran ug ibutang kini sa gradle, pagkahuman maghatag kini usa ka link,
pinaagi sa pagsunod niini, ang usa ka takos nga tawo makahimo sa pagsabut ngano nga ang asembliya napakyas.
Palihug hibaloi nga kini nga opsyon mahimong magbutyag sa impormasyon nga dili nimo gusto, sama sa mga username, node, environment variables, ug uban pa, busa pagbantay.
Kasagaran ang mga kasaypanan resulta sa kawalay katakus sa pagkuha sa bisan unsang mga sangkap nga gikinahanglan alang sa asembliya. Kasagaran, mahimo nimong ayuhon ang problema pinaagi sa paghimo og patch aron ayohon ang usa ka butang sa mga gigikanan, pananglitan, mga adres sa pom.xml sa direktoryo sa ugat sa mga gigikanan. Gihimo kini pinaagi sa paghimo ug pagbutang niini sa angay nga direktoryo ./bigtop/bigtop-packages/src/common/oozie/ patch, pananglitan, sa porma patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Lagmit, sa panahon sa pagbasa niini nga artikulo, dili nimo kinahanglan nga buhaton ang pag-ayo sa ibabaw sa imong kaugalingon.
Kung nagpaila sa bisan unsang mga patch ug mga pagbag-o sa mekanismo sa asembliya, kinahanglan nimo nga "i-reset" ang asembliya gamit ang mando sa paglimpyo:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedKini nga operasyon magpabalik sa tanan nga mga pagbag-o sa asembliya niini nga sangkap, pagkahuman ang asembliya ipahigayon pag-usab. Niining higayona sulayan namon nga tukuron ang proyekto sa usa ka imahe sa docker:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedAng pagtukod gihimo ubos sa CentOS, apan mahimo usab ubos sa Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indAgi og dugang sa pagtukod og mga pakete alang sa nagkalain-laing mga distribusyon sa Linux, ang himan makahimo og usa ka repository nga adunay mga compiled nga mga pakete, pananglitan:
./gradlew yumMahinumduman usab nimo ang bahin sa mga pagsulay sa aso ug pag-deploy sa Docker.
Paghimo usa ka cluster sa tulo ka mga node:
./gradlew -Pnum_instances=3 docker-provisionerPagdalag mga pagsulay sa aso sa usa ka pungpong sa tulo ka mga node:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerPagtangtang sa usa ka cluster:
./gradlew docker-provisioner-destroyPagkuha mga sugo alang sa pagkonektar sa sulod sa mga sudlanan sa docker:
./gradlew docker-provisioner-sshIpakita ang kahimtang:
./gradlew docker-provisioner-statusMahimo nimong mabasa ang dugang bahin sa mga buluhaton sa Pag-deploy sa dokumentasyon.
Kung maghisgot kita bahin sa mga pagsulay, adunay daghan nga gidaghanon niini, labi na ang aso ug panagsama. Ang ilang pagtuki lapas pa sa kasangkaran niini nga artikulo. Isulti lang nako nga ang pag-assemble sa usa ka distribution kit dili ingon ka lisud nga buluhaton sama sa kini sa una nga pagtan-aw. Nahimo namon ang pag-assemble ug pagpasa sa mga pagsulay sa tanan nga mga sangkap nga among gigamit sa among produksiyon, ug wala usab kami mga problema sa pag-deploy niini ug paghimo sa mga batakang operasyon sa palibot sa pagsulay.
Dugang pa sa mga kasamtangan nga mga sangkap sa Bigtop, posible nga makadugang bisan unsa pa, bisan ang imong kaugalingon nga pagpalambo sa software. Kining tanan hingpit nga awtomatiko ug mohaum sa konsepto sa CI/CD.
konklusyon
Dayag nga ang pag-apod-apod nga gihugpong niining paagiha kinahanglan dili dayon ipadala sa produksiyon. Kinahanglan nimong masabtan nga kung adunay tinuod nga panginahanglan sa pagtukod ug pagsuporta sa imong pag-apod-apod, nan kinahanglan nimo nga mamuhunan sa salapi ug oras niini.
Bisan pa, sa kombinasyon sa husto nga pamaagi ug usa ka propesyonal nga grupo, posible nga buhaton kung wala ang mga solusyon sa komersyo.
Mahinungdanon nga timan-an nga ang proyekto sa Bigtop mismo nanginahanglan pag-uswag ug dili makita nga aktibo nga gipalambo karon. Ang palaaboton sa Hadoop 3 nga makita niini dili usab klaro. Pinaagi sa dalan, kung ikaw adunay tinuod nga panginahanglan sa pagtukod sa Hadoop 3, mahimo nimong tan-awon gikan sa Arenadata, diin, dugang sa standard
Adunay daghang mga dugang nga sangkap (Ranger, Knox, NiFi).
Sama sa alang sa Rostelecom, alang kanamo ang Bigtop usa sa mga kapilian nga gikonsiderar karon. Pilion man nato kini o dili, ang panahon ang mosulti.
Apendise
Aron maapil ang bag-ong component sa asembliya, kinahanglan nimong idugang ang deskripsyon niini sa bigtop.bom ug ./bigtop-packages. Mahimo nimong sulayan nga buhaton kini pinaagi sa pagtandi sa naa na nga mga sangkap. Sulayi nga masabtan kini. Dili kini ingon ka lisud sama sa daw sa unang pagtan-aw.
Unsa sa imong hunahuna? Malipay kami nga makita ang imong opinyon sa mga komento ug salamat sa imong pagtagad!
Ang artikulo giandam sa Rostelecom data management team
Source: www.habr.com