Mae'n debyg nad yw'n gyfrinach bod y llynedd wedi bod yn flwyddyn o newidiadau mawr i Apache Hadoop. Y llynedd, unodd Cloudera a Hortonworks (yn y bôn, caffael yr olaf), a gwerthwyd Mapr, oherwydd problemau ariannol difrifol, i Hewlett Packard. Ac os ychydig flynyddoedd ynghynt, yn achos gosodiadau ar y safle, yn aml roedd yn rhaid gwneud y dewis rhwng Cloudera a Hortonworks, heddiw, gwaetha'r modd, nid oes gennym y dewis hwn. Syndod arall oedd y ffaith bod Cloudera wedi cyhoeddi ym mis Chwefror eleni y byddai'n rhoi'r gorau i ryddhau cynulliadau deuaidd o'i ddosbarthiad i'r ystorfa gyhoeddus, ac maent bellach ar gael trwy danysgrifiad taledig yn unig. Wrth gwrs, mae'n dal yn bosibl lawrlwytho'r fersiynau diweddaraf o CDH a HDP a ryddhawyd cyn diwedd 2019, a disgwylir cefnogaeth iddynt am flwyddyn i ddwy flynedd. Ond beth i'w wneud nesaf? I'r rhai a dalodd am danysgrifiad o'r blaen, nid oes dim wedi newid. Ac i'r rhai nad ydyn nhw am newid i'r fersiwn taledig o'r dosbarthiad, ond ar yr un pryd eisiau gallu derbyn y fersiynau diweddaraf o gydrannau clwstwr, yn ogystal â chlytiau a diweddariadau eraill, rydym wedi paratoi'r erthygl hon. Ynddo byddwn yn ystyried opsiynau posibl ar gyfer dod allan o'r sefyllfa hon.
Mae'r erthygl yn fwy o adolygiad. Ni fydd yn cynnwys cymhariaeth o ddosbarthiadau a dadansoddiad manwl ohonynt, ac ni fydd ryseitiau ar gyfer eu gosod a'u ffurfweddu. Beth fydd yn digwydd? Byddwn yn siarad yn fyr am ddosbarthiad o'r fath fel Arenadata Hadoop, sy'n haeddiannol haeddu ein sylw oherwydd ei fod ar gael, sy'n brin iawn heddiw. Ac yna byddwn yn siarad am Vanilla Hadoop, yn bennaf am sut y gellir ei “goginio” gan ddefnyddio Apache Bigtop. Barod? Yna croeso i gath.
Arenadata Hadoop
Mae hwn yn becyn dosbarthu datblygiad domestig cwbl newydd, a hyd yn hyn, nad yw'n hysbys. Yn anffodus, ar hyn o bryd ar Habré dim ond .
Ceir rhagor o wybodaeth ar y swyddog prosiect. Mae'r fersiynau diweddaraf o'r dosbarthiad yn seiliedig ar Hadoop 3.1.2 ar gyfer fersiwn 3, a 2.8.5 ar gyfer fersiwn 2.
Gellir dod o hyd i wybodaeth am y map ffordd .
Rhyngwyneb Rheolwr Clwstwr Arenadata
Cynnyrch craidd Arenadata yw , a ddefnyddir i osod, ffurfweddu a monitro datrysiadau meddalwedd cwmni amrywiol. Dosberthir ADCM yn rhad ac am ddim, ac mae ei ymarferoldeb yn cael ei ehangu trwy ychwanegu bwndeli, sef set o lyfrau chwarae ansible. Rhennir bwndeli yn ddau fath: menter a chymuned. Mae'r olaf ar gael i'w lawrlwytho am ddim o wefan Arenadata. Mae hefyd yn bosibl datblygu eich bwndel eich hun a'i gysylltu ag ADCM.
Ar gyfer lleoli a rheoli Hadoop 3, cynigir fersiwn gymunedol o'r bwndel ar y cyd ag ADCM, ond ar gyfer Hadoop 2 dim ond fel dewis arall. O ran ystorfeydd gyda phecynnau, maent ar agor i'r cyhoedd, gellir eu lawrlwytho a'u gosod yn y ffordd arferol ar gyfer holl gydrannau'r clwstwr. Ar y cyfan, mae'r dosbarthiad yn edrych yn ddiddorol iawn. Rwy’n siŵr y bydd yna rai sy’n gyfarwydd â datrysiadau fel Cloudera Manager ac Ambari, ac a fydd yn hoffi ADCM ei hun. I rai, bydd hefyd yn fantais enfawr i'r dosbarthiad ar gyfer amnewid mewnforio.
Os byddwn yn siarad am yr anfanteision, byddant yr un fath ag ar gyfer pob dosbarthiad Hadoop arall. sef:
- Y “cloi i mewn” fel y'i gelwir. Gan ddefnyddio enghreifftiau Cloudera a Hortonworks, rydym eisoes wedi sylweddoli bod risg bob amser o newid polisi cwmni.
- Oedi sylweddol y tu ôl i Apache i fyny'r afon.
Fanila Hadoop
Fel y gwyddoch, nid yw Hadoop yn gynnyrch monolithig, ond, mewn gwirionedd, galaeth gyfan o wasanaethau o amgylch ei system ffeiliau ddosbarthedig HDFS. Ychydig iawn o bobl fydd â digon o un clwstwr ffeiliau. Mae rhai angen Hive, eraill Presto, ac yna mae HBase a Phoenix; Mae Spark yn cael ei ddefnyddio fwyfwy. Ar gyfer offeryniaeth a llwytho data, mae Oozie, Sqoop a Flume i'w cael weithiau. Ac os bydd mater diogelwch yn codi, yna mae Kerberos ar y cyd â Ranger yn dod i'r meddwl ar unwaith.
Mae fersiynau deuaidd o gydrannau Hadoop ar gael ar wefan pob un o'r prosiectau ecosystem ar ffurf tarballs. Gallwch eu llwytho i lawr a dechrau gosod, ond gydag un amod: yn ogystal â chydosod yn annibynnol becynnau o deuaidd "amrwd", yr ydych yn fwyaf tebygol o fod eisiau ei wneud, ni fydd gennych unrhyw hyder yng nghydnawsedd y fersiynau wedi'u lawrlwytho o gydrannau â phob un. arall. Yr opsiwn a ffefrir yw adeiladu gan ddefnyddio Apache Bigtop. Bydd Bigtop yn caniatáu ichi adeiladu o ystorfeydd maven Apache, rhedeg profion ac adeiladu pecynnau. Ond, yr hyn sy'n bwysig iawn i ni, bydd Bigtop yn cydosod y fersiynau hynny o gydrannau a fydd yn gydnaws â'i gilydd. Byddwn yn siarad amdano yn fanylach isod.
Apache Bigtop
Mae Apache Bigtop yn offeryn ar gyfer adeiladu, pecynnu a phrofi nifer o
prosiectau ffynhonnell agored, megis Hadoop a Greenplum. Mae gan Bigtop ddigon
datganiadau. Ar adeg ysgrifennu, y datganiad sefydlog diweddaraf oedd fersiwn 1.4,
ac mewn meistr yr oedd 1.5. Mae fersiynau gwahanol o ddatganiadau yn defnyddio fersiynau gwahanol
cydrannau. Er enghraifft, ar gyfer 1.4 mae gan gydrannau craidd Hadoop fersiwn 2.8.5, ac mewn meistr
2.10.0. Mae cyfansoddiad cydrannau â chymorth hefyd yn newid. Rhywbeth hen ffasiwn a
y mae yr anadnewyddadwy yn myned ymaith, ac yn ei le y daw rhywbeth newydd, mwy mewn galw, a
nid yw o reidrwydd yn rhywbeth o'r teulu Apache ei hun.
Yn ogystal, mae gan Bigtop lawer .
Pan ddechreuon ni ymgyfarwyddo â Bigtop, yn gyntaf oll cawsom ein synnu gan ei gymedrol, o'i gymharu â phrosiectau Apache eraill, mynychder a phoblogrwydd, yn ogystal â chymuned fach iawn. Mae'n dilyn o hyn mai ychydig iawn o wybodaeth sydd ar gael am y cynnyrch, ac efallai na fydd chwilio am atebion i broblemau sydd wedi codi ar fforymau a rhestrau postio yn ildio dim o gwbl. Ar y dechrau, bu'n dasg anodd i ni gwblhau'r cynulliad cyflawn o'r dosbarthiad oherwydd nodweddion yr offeryn ei hun, ond byddwn yn siarad am hyn ychydig yn ddiweddarach.
Fel ymlidiwr, efallai y bydd y rhai a oedd ar un adeg â diddordeb mewn prosiectau o'r fath yn y bydysawd Linux fel Gentoo a LFS yn ei chael hi'n hiraethus o braf gweithio gyda'r peth hwn a chofio'r amseroedd “epig” hynny pan oeddem ni ein hunain yn chwilio am (neu hyd yn oed yn ysgrifennu) yn adeiladu ac yn ailadeiladu Mozilla yn rheolaidd gyda chlytiau newydd.
Mantais fawr Bigtop yw didwylledd ac amlbwrpasedd yr offer y mae'n seiliedig arnynt. Mae'n seiliedig ar Gradle ac Apache Maven. Mae Gradle yn eithaf adnabyddus fel yr offeryn y mae Google yn ei ddefnyddio i adeiladu Android. Mae'n hyblyg, ac, fel y dywedant, "wedi'i brofi mewn brwydr." Mae Maven yn offeryn safonol ar gyfer adeiladu prosiectau yn Apache ei hun, a chan fod y rhan fwyaf o'i gynhyrchion yn cael eu rhyddhau trwy Maven, ni ellid ei wneud hebddo yma chwaith. Mae'n werth rhoi sylw i'r POM (model gwrthrych prosiect) - y ffeil xml "sylfaenol" sy'n disgrifio popeth sy'n angenrheidiol i Maven weithio gyda'ch prosiect, y mae'r holl waith wedi'i adeiladu o'i amgylch. Yn union yn
rhannau o Maven ac mae rhai rhwystrau y mae defnyddwyr Bigtop am y tro cyntaf yn dod ar eu traws fel arfer.
Ymarfer
Felly ble ddylech chi ddechrau? Ewch i'r dudalen lawrlwytho a lawrlwythwch y fersiwn sefydlog ddiweddaraf fel archif. Gallwch hefyd ddod o hyd i arteffactau deuaidd a gasglwyd gan Bigtop yno. Gyda llaw, ymhlith y rheolwyr pecyn cyffredin, cefnogir YUM ac APT.
Fel arall, gallwch chi lawrlwytho'r datganiad sefydlog diweddaraf yn uniongyrchol o
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitClonio yn “bigtop”…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Mae'r cyfeiriadur ./bigtop canlyniadol yn edrych rhywbeth fel hyn:
./bigtop-bigpetstore — cymwysiadau demo, enghreifftiau synthetig
./bigtop-ci - Offer CI, jenkins
./bigtop-data-generators — cynhyrchu data, synthetigion, ar gyfer profion mwg, ac ati.
./bigtop-deploy - offer lleoli
./bigtop-packages - cyfluniadau, sgriptiau, clytiau ar gyfer cydosod, prif ran yr offeryn
./bigtop-test-framework - fframwaith profi
./bigtop-tests — y profion eu hunain, llwyth a mwg
./bigtop_toolchain — amgylchedd ar gyfer cydosod, paratoi'r amgylchedd i'r offeryn weithio
./build - adeiladu cyfeiriadur gweithio
./dl — cyfeiriadur ar gyfer ffynonellau wedi'u llwytho i lawr
./docker — adeiladu delweddau docwr, profi
./gradle - config gradle
./output – y cyfeiriadur lle mae arteffactau adeiladu yn mynd
./provisioner — darpariaeth
Y peth mwyaf diddorol i ni ar hyn o bryd yw'r prif config ./bigtop/bigtop.bom, lle gwelwn yr holl gydrannau a gefnogir gyda fersiynau. Dyma lle gallwn nodi fersiwn wahanol o'r cynnyrch (os ydym yn sydyn am geisio ei adeiladu) neu fersiwn adeiladu (os, er enghraifft, rydym wedi ychwanegu darn sylweddol).
Mae'r is-gyfeiriadur hefyd o ddiddordeb mawr ./bigtop/bigtop-packages, sy'n uniongyrchol gysylltiedig â'r broses o gydosod cydrannau a phecynnau gyda nhw.
Felly, fe wnaethom lawrlwytho'r archif, ei ddadbacio neu wneud clôn o github, a allwn ni ddechrau adeiladu?
Na, gadewch i ni baratoi'r amgylchedd yn gyntaf.
Paratoi'r Amgylchedd
A dyma ni angen encil bach. I adeiladu bron unrhyw gynnyrch mwy neu lai cymhleth, mae angen amgylchedd penodol - yn ein hachos ni, dyma'r JDK, yr un llyfrgelloedd a rennir, ffeiliau pennawd, ac ati, offer, er enghraifft, morgrugyn, ivy2 a llawer mwy. Un o'r opsiynau i gael yr amgylchedd sydd ei angen arnoch chi ar gyfer Bigtop yw gosod y cydrannau angenrheidiol ar y gwesteiwr adeiladu. Gallwn i fod yn anghywir yn y gronoleg, ond mae'n ymddangos gyda fersiwn 1.0 hefyd fod opsiwn i gynnwys delweddau Dociwr wedi'u ffurfweddu ymlaen llaw a hygyrch, sydd i'w gweld yma.
O ran paratoi'r amgylchedd, mae cynorthwyydd ar gyfer hyn - Pyped.
Gallwch ddefnyddio'r gorchmynion canlynol, rhedeg o'r cyfeiriadur gwraidd
teclyn, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Neu yn uniongyrchol trwy byped:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Yn anffodus, gall anawsterau godi eisoes ar hyn o bryd. Y cyngor cyffredinol yma yw defnyddio dosbarthiad â chymorth, wedi'i ddiweddaru ar y gwesteiwr adeiladu, neu roi cynnig ar y llwybr docwr.
Cynulliad
Beth allwn ni geisio ei gasglu? Bydd yr ateb i'r cwestiwn hwn yn cael ei roi gan allbwn y gorchymyn
./gradlew tasks
Yn yr adran Tasgau Pecyn mae nifer o gynhyrchion sy'n arteffactau terfynol Bigtop.
Gellir eu hadnabod wrth yr ôl-ddodiad -rpm neu -pkg-ind (yn achos adeiladu
yn docker). Yn ein hachos ni, y mwyaf diddorol yw Hadoop.
Gadewch i ni geisio adeiladu yn amgylchedd ein gweinydd adeiladu:
./gradlew hadoop-rpmBydd Bigtop ei hun yn lawrlwytho'r ffynonellau angenrheidiol sydd eu hangen ar gyfer cydran benodol ac yn dechrau cydosod. Felly, mae gweithrediad yr offeryn yn dibynnu ar ystorfeydd Maven a ffynonellau eraill, hynny yw, mae angen mynediad i'r Rhyngrwyd arno.
Yn ystod y llawdriniaeth, cynhyrchir allbwn safonol. Weithiau gall a negeseuon gwall eich helpu i ddeall beth aeth o'i le. Ac weithiau mae angen i chi gael gwybodaeth ychwanegol. Yn yr achos hwn, mae'n werth ychwanegu dadleuon --info neu --debug, a gall fod yn ddefnyddiol hefyd –stacktrace. Mae ffordd gyfleus o gynhyrchu set ddata ar gyfer mynediad dilynol i restrau post, yr allwedd --scan.
Gyda'i help, bydd bigtop yn casglu'r holl wybodaeth a'i rhoi yn gradle, ac wedi hynny bydd yn darparu dolen,
trwy ddilyn hyn, bydd person cymwys yn gallu deall pam y methodd y cynulliad.
Byddwch yn ymwybodol y gallai'r opsiwn hwn ddatgelu gwybodaeth nad ydych ei heisiau, megis enwau defnyddwyr, nodau, newidynnau amgylchedd, ac ati, felly byddwch yn ofalus.
Yn aml mae gwallau yn ganlyniad i'r anallu i gael unrhyw gydrannau sy'n angenrheidiol ar gyfer cydosod. Yn nodweddiadol, gallwch chi drwsio'r broblem trwy greu clwt i drwsio rhywbeth yn y ffynonellau, er enghraifft, cyfeiriadau yn pom.xml yng nghyfeiriadur gwraidd y ffynonellau. Gwneir hyn trwy ei greu a'i osod yn y cyfeiriadur priodol ./bigtop/bigtop-packages/src/common/oozie/ patch, er enghraifft, yn y ffurf patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Yn fwyaf tebygol, ar adeg darllen yr erthygl hon, ni fydd yn rhaid i chi wneud yr atgyweiriad uchod eich hun.
Wrth gyflwyno unrhyw glytiau a newidiadau i'r mecanwaith cydosod, efallai y bydd angen i chi "ailosod" y cynulliad gan ddefnyddio'r gorchymyn glanhau:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedBydd y llawdriniaeth hon yn dychwelyd yr holl newidiadau i gydosod y gydran hon, ac ar ôl hynny bydd y cynulliad yn cael ei berfformio eto. Y tro hwn byddwn yn ceisio adeiladu'r prosiect mewn delwedd docwr:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedPerfformiwyd yr adeiladu o dan CentOS, ond gellir ei wneud hefyd o dan Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indYn ogystal ag adeiladu pecynnau ar gyfer gwahanol ddosbarthiadau Linux, gall yr offeryn greu ystorfa gyda phecynnau wedi'u llunio, er enghraifft:
./gradlew yumGallwch hefyd gofio am brofion mwg a'u lleoli yn Docker.
Creu clwstwr o dri nod:
./gradlew -Pnum_instances=3 docker-provisionerCynnal profion mwg mewn clwstwr o dri nod:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerDileu clwstwr:
./gradlew docker-provisioner-destroySicrhewch orchmynion ar gyfer cysylltu y tu mewn i gynwysyddion docwyr:
./gradlew docker-provisioner-sshDangos statws:
./gradlew docker-provisioner-statusGallwch ddarllen mwy am dasgau Defnyddio yn y ddogfennaeth.
Os byddwn yn siarad am brofion, mae yna nifer eithaf mawr ohonynt, yn bennaf mwg ac integreiddio. Mae eu dadansoddiad y tu hwnt i gwmpas yr erthygl hon. Gadewch imi ddweud nad yw cydosod pecyn dosbarthu yn dasg mor anodd ag y gallai ymddangos ar yr olwg gyntaf. Llwyddom i gydosod a phasio profion ar yr holl gydrannau a ddefnyddiwn yn ein cynhyrchiad, ac ni chawsom unrhyw broblemau ychwaith wrth eu defnyddio a pherfformio gweithrediadau sylfaenol yn yr amgylchedd prawf.
Yn ogystal â'r cydrannau presennol yn Bigtop, mae'n bosibl ychwanegu unrhyw beth arall, hyd yn oed eich datblygiad meddalwedd eich hun. Mae hyn i gyd wedi'i awtomeiddio'n berffaith ac yn cyd-fynd â'r cysyniad CI/CD.
Casgliad
Yn amlwg, ni ddylid anfon y dosbarthiad a luniwyd yn y modd hwn ar unwaith i'r cynhyrchiad. Mae angen i chi ddeall, os oes gwir angen adeiladu a chefnogi eich dosbarthiad, yna mae angen i chi fuddsoddi arian ac amser yn hyn.
Fodd bynnag, ar y cyd â'r dull cywir a thîm proffesiynol, mae'n eithaf posibl gwneud heb atebion masnachol.
Mae'n bwysig nodi bod angen datblygu prosiect Bigtop ei hun ac nid yw'n ymddangos ei fod yn cael ei ddatblygu'n weithredol heddiw. Mae'r rhagolygon y bydd Hadoop 3 yn ymddangos ynddo hefyd yn aneglur. Gyda llaw, os oes gennych wir angen adeiladu Hadoop 3, gallwch edrych ar o Arenadata, lle, yn ogystal â safon
Mae yna nifer o gydrannau ychwanegol (Ranger, Knox, NiFi).
O ran Rostelecom, i ni Bigtop yw un o'r opsiynau sy'n cael eu hystyried heddiw. P'un a ydym yn ei ddewis ai peidio, amser a ddengys.
Atodiad
I gynnwys cydran newydd yn y cynulliad, mae angen ichi ychwanegu ei ddisgrifiad i bigtop.bom a ./bigtop-packages. Gallwch geisio gwneud hyn trwy gyfatebiaeth â'r cydrannau presennol. Ceisiwch ei chyfrifo. Nid yw mor anodd ag y mae'n ymddangos ar yr olwg gyntaf.
Beth yw eich barn chi? Byddwn yn falch o weld eich barn yn y sylwadau a diolch am eich sylw!
Paratowyd yr erthygl gan dîm rheoli data Rostelecom
Ffynhonnell: hab.com