Probabbilment mhux sigriet li s-sena li għaddiet kienet sena ta’ bidliet kbar għal Apache Hadoop. Is-sena li għaddiet, Cloudera u Hortonworks ingħaqdu (essenzjalment, l-akkwist ta 'dan tal-aħħar), u Mapr, minħabba problemi finanzjarji serji, inbiegħ lil Hewlett Packard. U jekk ftit snin qabel, fil-każ ta’ installazzjonijiet fuq il-post, spiss kellha ssir l-għażla bejn Cloudera u Hortonworks, illum, sfortunatament, din l-għażla m’għandniex. Sorpriża oħra kienet il-fatt li Cloudera ħabbret fi Frar ta 'din is-sena li se tieqaf tirrilaxxa assemblaġġi binarji tad-distribuzzjoni tagħha fir-repożitorju pubbliku, u issa huma disponibbli biss permezz ta' abbonament imħallas. Naturalment, xorta huwa possibbli li tniżżel l-aħħar verżjonijiet ta 'CDH u HDP rilaxxati qabel tmiem l-2019, u l-appoġġ għalihom huwa mistenni għal sena sa sentejn. Imma x'għandek tagħmel wara? Għal dawk li qabel ħallsu għal abbonament, xejn ma nbidel. U għal dawk li ma jridux jaqilbu għall-verżjoni mħallsa tad-distribuzzjoni, iżda fl-istess ħin iridu jkunu jistgħu jirċievu l-aħħar verżjonijiet tal-komponenti tal-cluster, kif ukoll irqajja u aġġornamenti oħra, ħejjejna dan l-artikolu. Fiha se nikkunsidraw għażliet possibbli biex noħorġu minn din is-sitwazzjoni.
L-artikolu huwa aktar ta 'reviżjoni. Mhux se jkun fih paragun tad-distribuzzjonijiet u analiżi dettaljata tagħhom, u mhux se jkun hemm riċetti għall-installazzjoni u l-konfigurazzjoni tagħhom. X'se jiġri? Se nitkellmu fil-qosor dwar distribuzzjoni bħal Arenadata Hadoop, li bi dritt jistħoqqilha l-attenzjoni tagħna minħabba d-disponibbiltà tagħha, li llum hija rari ħafna. U mbagħad nitkellmu dwar Vanilla Hadoop, prinċipalment dwar kif jista 'jiġi "imsajjar" bl-użu ta' Apache Bigtop. Lest? Imbagħad merħba lill-qattus.
Arenadata Hadoop
Dan huwa kit ta 'distribuzzjoni kompletament ġdid u, s'issa, ftit magħruf ta' żvilupp domestiku. Sfortunatament, bħalissa fuq Habré hemm biss .
Aktar informazzjoni tista' tinstab fuq l-uffiċjal proġett. L-aħħar verżjonijiet tad-distribuzzjoni huma bbażati fuq Hadoop 3.1.2 għall-verżjoni 3, u 2.8.5 għall-verżjoni 2.
Tista' ssib informazzjoni dwar il-pjan direzzjonali .
Arenadata Cluster Manager Interface
Il-prodott ewlieni ta 'Arenadata huwa , li tintuża biex tinstalla, tikkonfigura u tissorvelja diversi soluzzjonijiet ta 'softwer tal-kumpanija. ADCM jitqassam mingħajr ħlas, u l-funzjonalità tagħha hija estiża billi żżid qatet, li huma sett ta 'ansible-playbooks. Il-pakketti huma maqsuma f'żewġ tipi: intrapriża u komunità. Dawn tal-aħħar huma disponibbli għal download b'xejn mill-websajt Arenadata. Huwa wkoll possibbli li tiżviluppa l-pakkett tiegħek stess u tqabbadha ma 'ADCM.
Għall-iskjerament u l-ġestjoni ta 'Hadoop 3, verżjoni komunitarja tal-pakkett hija offruta flimkien ma' ADCM, iżda għal Hadoop 2 hemm biss bħala alternattiva. Fir-rigward tar-repożitorji b'pakketti, huma miftuħa għall-aċċess pubbliku, jistgħu jitniżżlu u jiġu installati bil-mod tas-soltu għall-komponenti kollha tal-cluster. B'mod ġenerali, id-distribuzzjoni tidher interessanti ħafna. Jiena ċert li se jkun hemm min hu mdorri b'soluzzjonijiet bħal Cloudera Manager u Ambari, u li jħobb l-ADCM innifsu. Għal xi wħud, se jkun ukoll vantaġġ kbir li d-distribuzzjoni għas-sostituzzjoni tal-importazzjoni.
Jekk nitkellmu dwar l-iżvantaġġi, se jkunu l-istess bħal għad-distribuzzjonijiet l-oħra kollha ta 'Hadoop. Jiġifieri:
- L-hekk imsejjaħ "vendor lock-in". Billi nużaw l-eżempji ta’ Cloudera u Hortonworks, diġà rrealizzajna li dejjem hemm riskju li tinbidel il-politika tal-kumpanija.
- Lagward sinifikanti wara Apache upstream.
Vanilla Hadoop
Kif tafu, Hadoop mhuwiex prodott monolitiku, iżda, fil-fatt, galaxie sħiħa ta 'servizzi madwar is-sistema ta' fajls distribwit tagħha HDFS. Ftit nies se jkollhom biżżejjed ta 'grupp ta' fajls wieħed. Xi wħud għandhom bżonn Hive, oħrajn Presto, u mbagħad hemm HBase u Phoenix; Spark qed jintuża dejjem aktar. Għall-orkestrazzjoni u t-tagħbija tad-dejta, kultant jinstabu Oozie, Sqoop u Flume. U jekk tqum il-kwistjoni tas-sigurtà, imbagħad tiġi f'moħħna Kerberos flimkien ma 'Ranger.
Verżjonijiet binarji tal-komponenti Hadoop huma disponibbli fuq il-websajt ta 'kull wieħed mill-proġetti tal-ekosistema fil-forma ta' tarballs. Tista 'tniżżilhom u tibda l-installazzjoni, iżda b'kundizzjoni waħda: minbarra li tgħaqqad b'mod indipendenti pakketti minn binarji "nejjin", li x'aktarx trid tagħmel, ma jkollok ebda kunfidenza fil-kompatibilità tal-verżjonijiet imniżżla tal-komponenti ma' kull wieħed. oħra. L-għażla ppreferuta hija li tibni bl-użu ta 'Apache Bigtop. Bigtop se jippermettilek tibni minn repożitorji Apache maven, tmexxi testijiet u tibni pakketti. Iżda, dak li huwa importanti ħafna għalina, Bigtop se jiġbor dawk il-verżjonijiet ta 'komponenti li se jkunu kompatibbli ma' xulxin. Aħna se nitkellmu dwarha f'aktar dettall hawn taħt.
Apache Bigtop
Apache Bigtop hija għodda għall-bini, l-ippakkjar u l-ittestjar ta 'numru ta'
proġetti ta’ sors miftuħ, bħal Hadoop u Greenplum. Bigtop għandu ħafna
rilaxxi. Fiż-żmien tal-kitba, l-aħħar rilaxx stabbli kien il-verżjoni 1.4,
u fil-kaptan kien hemm 1.5. Verżjonijiet differenti ta 'rilaxxi jużaw verżjonijiet differenti
komponenti. Per eżempju, għal 1.4 komponenti ewlenin Hadoop għandhom verżjoni 2.8.5, u fil-kaptan
2.10.0. Il-kompożizzjoni tal-komponenti appoġġjati qed tinbidel ukoll. Xi ħaġa skaduta u
dak li ma jiġġedded jitlaq, u minfloku tidħol xi ħaġa ġdida, aktar fid-domanda, u
mhix neċessarjament xi ħaġa mill-familja Apache nnifisha.
Barra minn hekk, Bigtop għandu ħafna .
Meta bdejna biex jiffamiljarizzaw ma 'Bigtop, konna l-ewwel sorpriż bil-mod modest tiegħu, meta mqabbel ma' proġetti Apache oħra, prevalenza u popolarità, kif ukoll komunità żgħira ħafna. Minn dan jirriżulta li hemm informazzjoni minima dwar il-prodott, u t-tiftix għal soluzzjonijiet għall-problemi li nqalgħu fuq forums u mailing lists jista 'ma jagħti xejn. Għall-ewwel, irriżulta li kien kompitu diffiċli għalina biex inlestu l-assemblaġġ sħiħ tad-distribuzzjoni minħabba l-karatteristiċi tal-għodda nnifisha, iżda nitkellmu dwar dan ftit aktar tard.
Bħala teaser, dawk li f'ħin minnhom kienu interessati fi proġetti bħal dawn tal-univers Linux bħal Gentoo u LFS jistgħu jsibuha nostalġikament pjaċevoli li jaħdmu ma 'din il-ħaġa u jiftakru dawk iż-żminijiet "epiċi" meta aħna stess konna qed infittxu (jew saħansitra niktbu) ebuilds u regolarment bena mill-ġdid Mozilla b'irqajja ġodda.
Il-vantaġġ kbir ta 'Bigtop huwa l-ftuħ u l-versatilità tal-għodod li fuqhom hija bbażata. Hija bbażata fuq Gradle u Apache Maven. Gradle hija magħrufa sew bħala l-għodda li tuża Google biex tibni Android. Huwa flessibbli, u, kif jgħidu, "ittestjat fil-battalja." Maven hija għodda standard għall-bini ta 'proġetti fl-Apache innifsu, u peress li ħafna mill-prodotti tagħha huma rilaxxati permezz ta' Maven, ma setax isir mingħajrha hawn lanqas. Ta 'min joqgħod attent għall-POM (mudell ta' oġġett tal-proġett) - il-fajl xml "fundamentali" li jiddeskrivi dak kollu meħtieġ biex Maven jaħdem mal-proġett tiegħek, li madwaru jinbena x-xogħol kollu. Eżattament fi
partijiet ta 'Maven u hemm xi ostakli li l-utenti ta' Bigtop għall-ewwel darba normalment jiltaqgħu magħhom.
Prattika
Allura fejn għandek tibda? Mur fil-paġna tat-tniżżil u niżżel l-aħħar verżjoni stabbli bħala arkivju. Tista 'ssib ukoll artifacts binarji miġbura minn Bigtop hemmhekk. Mill-mod, fost il-maniġers tal-pakketti komuni, YUM u APT huma appoġġjati.
Alternattivament, tista 'tniżżel l-aħħar rilaxx stabbli direttament minn
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKlonazzjoni f'"bigtop"...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Id-direttorju ./bigtop li jirriżulta jidher xi ħaġa bħal din:
./bigtop-bigpetstore — applikazzjonijiet demo, eżempji sintetiċi
./bigtop-ci - Għodod CI, jenkins
./bigtop-data-generators — ġenerazzjoni ta' data, sintetiċi, għal testijiet tad-duħħan, eċċ.
./bigtop-deploy - għodod ta' skjerament
./bigtop-packages — konfigurazzjonijiet, skripts, garżi għall-assemblaġġ, il-parti prinċipali tal-għodda
./bigtop-test-framework — qafas ta' ttestjar
./bigtop-tests — it-testijiet infushom, tagħbija u duħħan
./bigtop_toolchain — ambjent għall-assemblaġġ, it-tħejjija tal-ambjent biex l-għodda taħdem
./build — tibni direttorju tax-xogħol
./dl — direttorju għas-sorsi mniżżla
./docker — bini fl-immaġini docker, ittestjar
./gradle - gradle config
./output – id-direttorju fejn imorru l-artifacts tal-bini
./provisioner — forniment
L-iktar ħaġa interessanti għalina f'dan l-istadju hija l-konfigurazzjoni ewlenija ./bigtop/bigtop.bom, li fiha naraw il-komponenti kollha appoġġjati bil-verżjonijiet. Dan huwa fejn nistgħu nispeċifikaw verżjoni differenti tal-prodott (jekk irridu nippruvaw nibnu f'daqqa waħda) jew verżjoni tal-bini (jekk, pereżempju, żidna garża sinifikanti).
Is-subdirettorju huwa wkoll ta’ interess kbir ./bigtop/bigtop-packages, li hija direttament relatata mal-proċess ta 'assemblaġġ ta' komponenti u pakketti magħhom.
Allura, niżżiljna l-arkivju, żppakkjawh jew għamilna klonu minn github, nistgħu nibdew nibnu?
Le, ejja nippreparaw l-ambjent l-ewwel.
Tħejjija għall-Ambjent
U hawn għandna bżonn irtir żgħir. Biex tibni kważi kull prodott aktar jew inqas kumpless, għandek bżonn ċertu ambjent - fil-każ tagħna, dan huwa l-JDK, l-istess libreriji kondiviżi, fajls header, eċċ., għodod, per eżempju, ant, ivy2 u ħafna aktar. Waħda mill-għażliet biex tikseb l-ambjent li għandek bżonn għal Bigtop hija li tinstalla l-komponenti meħtieġa fuq il-build host. Nista' nkun żbaljat fil-kronoloġija, iżda jidher li bil-verżjoni 1.0 kien hemm ukoll għażla biex jinbnew immaġini Docker konfigurati minn qabel u aċċessibbli, li jistgħu jinstabu hawn.
Fir-rigward tal-preparazzjoni tal-ambjent, hemm assistent għal dan - Puppet.
Tista 'tuża l-kmandi li ġejjin, immexxi mid-direttorju tal-għeruq
għodda, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Jew direttament permezz tal-pupazzi:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Sfortunatament, diġà jistgħu jinqalgħu diffikultajiet f'dan l-istadju. Il-parir ġenerali hawnhekk huwa li tuża distribuzzjoni appoġġjata, aġġornata dwar il-build host, jew ipprova r-rotta docker.
Assemblea
X'nistgħu nippruvaw niġbru? It-tweġiba għal din il-mistoqsija tingħata mill-output tal-kmand
./gradlew tasks
Fit-taqsima tal-kompiti tal-Pakkett hemm numru ta 'prodotti li huma artifacts finali ta' Bigtop.
Jistgħu jiġu identifikati bis-suffiss -rpm jew -pkg-ind (fil-każ tal-bini
fid-docker). Fil-każ tagħna, l-aktar interessanti huwa Hadoop.
Ejja nippruvaw nibnu fl-ambjent tas-server tal-bini tagħna:
./gradlew hadoop-rpmBigtop innifsu se jniżżel is-sorsi meħtieġa meħtieġa għal komponent speċifiku u jibda l-assemblaġġ. Għalhekk, l-operazzjoni tal-għodda hija dipendenti fuq repożitorji Maven u sorsi oħra, jiġifieri, teħtieġ aċċess għall-Internet.
Waqt it-tħaddim, jiġi ġġenerat output standard. Xi drabi dan u messaġġi ta 'żball jistgħu jgħinuk tifhem x'mar ħażin. U kultant ikollok bżonn tikseb informazzjoni addizzjonali. F'dan il-każ ta' min iżżid l-argumenti --info jew --debug, u jista' jkun utli wkoll –stacktrace. Hemm mod konvenjenti biex tiġġenera sett ta 'dejta għal aċċess sussegwenti għal-listi tal-posta, iċ-ċavetta --scan.
Bl-għajnuna tiegħu, bigtop se jiġbor l-informazzjoni kollha u jpoġġiha fi gradle, u wara jipprovdi link,
billi wara dan, persuna kompetenti tkun tista' tifhem għaliex l-assemblea falliet.
Jekk jogħġbok kun konxju li din l-għażla tista' tesponi informazzjoni li ma tridx, bħal usernames, nodes, varjabbli ambjentali, eċċ., għalhekk oqgħod attent.
Ħafna drabi l-iżbalji huma konsegwenza tal-inabbiltà li jinkisbu xi komponenti meħtieġa għall-assemblaġġ. Tipikament, tista 'tiffissa l-problema billi toħloq garża biex tiffissa xi ħaġa fis-sorsi, pereżempju, indirizzi f'pom.xml fid-direttorju tal-għeruq tas-sorsi. Dan isir billi tinħoloq u titqiegħed fid-direttorju xieraq ./bigtop/bigtop-packages/src/common/oozie/ garża, per eżempju, fil-forma patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
X'aktarx, fil-ħin li taqra dan l-artikolu, ma jkollokx għalfejn tagħmel it-tiswija ta 'hawn fuq lilek innifsek.
Meta tintroduċi xi garża u tibdil fil-mekkaniżmu tal-assemblaġġ, jista 'jkollok bżonn "reset" l-assemblaġġ billi tuża l-kmand tat-tindif:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedDin l-operazzjoni se tirreġġa lura l-bidliet kollha fl-assemblaġġ ta 'dan il-komponent, u wara l-assemblaġġ jerġa' jitwettaq. Din id-darba nippruvaw nibnu l-proġett f'immaġni docker:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedIl-bini sar taħt CentOS, iżda jista 'jsir ukoll taħt Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indMinbarra l-bini ta 'pakketti għal diversi distribuzzjonijiet Linux, l-għodda tista' toħloq repożitorju b'pakketti kkompilati, pereżempju:
./gradlew yumTista' tiftakar ukoll dwar it-testijiet tad-duħħan u l-iskjerament f'Docker.
Oħloq raggruppament ta’ tliet nodi:
./gradlew -Pnum_instances=3 docker-provisionerMexxi testijiet tad-duħħan f'grupp ta' tliet nodi:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerĦassar cluster:
./gradlew docker-provisioner-destroyIkseb kmandi għall-konnessjoni ġewwa kontenituri docker:
./gradlew docker-provisioner-sshUri l-istatus:
./gradlew docker-provisioner-statusTista' taqra aktar dwar il-kompiti ta' Skjerament fid-dokumentazzjoni.
Jekk nitkellmu dwar testijiet, hemm numru pjuttost kbir minnhom, prinċipalment duħħan u integrazzjoni. L-analiżi tagħhom hija lil hinn mill-ambitu ta 'dan l-artikolu. Ħa ngħid biss li l-assemblaġġ ta' kit ta' distribuzzjoni mhuwiex biċċa xogħol diffiċli daqs kemm jista' jidher mal-ewwel daqqa t'għajn. Irnexxielna niġbru u ngħaddu t-testijiet fuq il-komponenti kollha li nużaw fil-produzzjoni tagħna, u ma kellna l-ebda problemi biex inħaddmuhom u nwettqu operazzjonijiet bażiċi fl-ambjent tat-test.
Minbarra l-komponenti eżistenti f'Bigtop, huwa possibbli li żżid xi ħaġa oħra, anke l-iżvilupp tas-softwer tiegħek stess. Dan kollu huwa perfettament awtomatizzat u jidħol fil-kunċett CI/CD.
Konklużjoni
Ovvjament, id-distribuzzjoni miġbura b'dan il-mod m'għandhiex tintbagħat immedjatament lill-produzzjoni. Trid tifhem li jekk hemm bżonn reali li tibni u tappoġġja d-distribuzzjoni tiegħek, allura trid tinvesti flus u ħin f'dan.
Madankollu, flimkien ma 'l-approċċ it-tajjeb u tim professjonali, huwa pjuttost possibbli li wieħed jgħaddi mingħajr soluzzjonijiet kummerċjali.
Huwa importanti li wieħed jinnota li l-proġett Bigtop innifsu huwa fil-bżonn ta 'żvilupp u ma jidhirx li qed jiġi żviluppat b'mod attiv illum. Il-prospett li jidher fih Hadoop 3 mhuwiex ċar ukoll. Mill-mod, jekk għandek bżonn reali li tibni Hadoop 3, tista 'tħares lejn minn Arenadata, li fiha, minbarra l-istandard
Hemm numru ta 'komponenti addizzjonali (Ranger, Knox, NiFi).
Fir-rigward ta 'Rostelecom, għalina Bigtop hija waħda mill-għażliet li qed jiġu kkunsidrati llum. Jekk nagħżluh jew le, iż-żmien jgħidlek.
Appendiċi
Biex tinkludi komponent ġdid fl-assemblaġġ, trid iżżid id-deskrizzjoni tiegħu ma' bigtop.bom u ./bigtop-packages. Tista 'tipprova tagħmel dan b'analoġija mal-komponenti eżistenti. Ipprova biex insemmu. Mhuwiex diffiċli daqs kemm jidher mal-ewwel daqqa t'għajn.
X'taħseb? Inkunu ferħanin li naraw l-opinjoni tiegħek fil-kummenti u nirringrazzjak tal-attenzjoni tiegħek!
L-artiklu tħejja mit-tim tal-ġestjoni tad-dejta Rostelecom
Sors: www.habr.com