Dibe ku ne veşartî ye ku sala borî ji bo Apache Hadoop salek guhertinên mezin bû. Sala borî, Cloudera û Hortonworks yekbûn (bi bingehîn, bidestxistina ya paşîn), û Mapr, ji ber pirsgirêkên cidî yên darayî, ji Hewlett Packard re hate firotin. Û heger çend sal berê, di mijara sazkirinên li ser cîhê de, bijare pir caran diviyabû ku di navbera Cloudera û Hortonworks de were çêkirin, îro, mixabin, me ev bijartin tune. Surprîzek din ev bû ku Cloudera di Sibata vê salê de ragihand ku ew ê berdana meclîsên binary yên belavkirina xwe di depoya giştî de rawestîne, û ew naha tenê bi aboneyek drav peyda dibin. Bê guman, hîn jî gengaz e ku guhertoyên herî dawî yên CDH û HDP ku beriya dawiya sala 2019-an hatine derxistin dakêşin û ji bo wan yek-du sal piştgirî tê payîn. Lê paşê çi bikin? Ji bo kesên ku berê ji bo abonetiyê dane, tiştek neguheriye. Û ji bo kesên ku naxwazin veguherînin guhertoya dravî ya belavkirinê, lê di heman demê de dixwazin ku karibin guhertoyên herî paşîn ên pêkhateyên komê, û her weha paç û nûvekirinên din bistînin, me ev gotar amade kiriye. Di wê de em ê vebijarkên gengaz ji bo derketina ji vê rewşê binirxînin.
Gotar bêtir nirxandinek e. Dê berawirdkirina belavkirinan û analîzek hûrgulî ya wan tune be, û dê ji bo sazkirin û mîhengkirina wan reçete tune be. Wê çi bibe? Em ê bi kurtasî li ser belavkirinek wekî Arenadata Hadoop biaxivin, ku ji ber hebûna wê, ku îro pir kêm e, bi heqî bala me heq dike. Dûv re em ê li ser Vanilla Hadoop biaxivin, nemaze li ser ka meriv çawa dikare bi karanîna Apache Bigtop were "pijandin". Amade? Paşê bi xêr hatî pisîkê.
Arenadata Hadoop
Ev kîtek belavkirina pêşkeftina navxweyî bi tevahî nû û, heya niha, kêm-naskirî ye. Mixabin, niha li ser Habré tenê heye .
Agahiyên bêtir dikarin li ser fermî bibînin rêvename. Guhertoyên herî dawî yên belavkirinê li ser bingeha Hadoop 3.1.2 ji bo guhertoya 3, û 2.8.5 ji bo guhertoya 2-yê ne.
Agahdariya li ser nexşeya rê dikare were dîtin .
Navbera Rêvebirê Koma Arenadata
Berhema bingehîn a Arenadata ye , ku ji bo sazkirin, mîhengkirin û şopandina çareseriyên nermalava pargîdaniya cihêreng tê bikar anîn. ADCM bêpere tê belavkirin, û fonksiyona wê bi lêzêdekirina pakêtan, ku komek pirtûkên ansible-lîstik in, berfireh dibe. Bundles li du celeb têne dabeş kirin: pargîdanî û civak. Ya paşîn ji malpera Arenadata ji bo dakêşana belaş heye. Di heman demê de gengaz e ku hûn pakêta xwe pêşve bibin û wê bi ADCM-ê ve girêdin.
Ji bo bicihkirin û birêvebirina Hadoop 3, guhertoyek civatê ya pakêtê bi ADCM re tê pêşkêş kirin, lê ji bo Hadoop 2 tenê heye wek alternatîf. Di derbarê depoyên bi pakêtan de, ew ji bo gihîştina gelemperî vekirî ne, ew dikarin bi awayê asayî ji bo hemî pêkhateyên komê werin dakêşandin û saz kirin. Bi tevayî, belavkirin pir balkêş xuya dike. Ez pê bawer im ku dê yên ku bi çareseriyên wekî Rêveberê Cloudera û Ambari re aciz in hebin, û yên ku dê ADCM bixwe hez bikin. Ji bo hinekan, ew ê di heman demê de belavbûnek mezin be ji bo cîgirkirina import.
Ger em li ser kêmasiyan biaxivin, ew ê wekî hemî belavkirinên Hadoop ên din bin. Ango:
- Ya ku jê re tê gotin "qefilandina firoşkarê". Bi karanîna mînakên Cloudera û Hortonworks, me jixwe fêm kir ku her gav xetera guhartina polîtîkaya pargîdaniyê heye.
- Derengmayînek girîng li paş Apache-ya jorîn.
Vanilla Hadoop
Wekî ku hûn dizanin, Hadoop ne hilberek monolîtîk e, lê, bi rastî, tevahiya galaxyek karûbaran li dora pergala pelê wê ya belavkirî HDFS ye. Kêm kes dê têra komek pelan bikin. Hin hewceyê Hive, yên din Presto, û paşê HBase û Phoenix hene ku zêde tê bikar anîn. Ji bo orkestrasyon û barkirina daneyan, carinan Oozie, Sqoop û Flume têne dîtin. Û heke pirsgirêka ewlehiyê derkeve, wê hingê Kerberos bi hev re bi Ranger re tavilê tê bîra min.
Guhertoyên binary ên pêkhateyên Hadoop li ser malpera her yek ji projeyên ekosîstemayê di forma tarballan de hene. Hûn dikarin wan dakêşin û dest bi sazkirinê bikin, lê bi yek şertê: ji bilî berhevkirina serbixwe pakêtên ji binariyên "xav", ya ku hûn bi îhtîmalek mezin dixwazin bikin, hûn ê pêbaweriya we bi lihevhatina guhertoyên dakêşandî yên pêkhateyan bi her yekê re nebin. yên din. Vebijarka bijarte ev e ku meriv bi karanîna Apache Bigtop ava bike. Bigtop dê bihêle ku hûn ji depoyên Apache maven ava bikin, ceribandinan bimeşînin û pakêtan ava bikin. Lê, ya ku ji bo me pir girîng e, Bigtop dê wan guhertoyên pêkhateyên ku dê bi hevûdu re hevaheng bin kom bike. Em ê li jêr bi berfirehî li ser biaxivin.
Apache Bigtop
Apache Bigtop amûrek ji bo avakirin, pakkirin û ceribandina hejmarek e
projeyên çavkaniya vekirî, wekî Hadoop û Greenplum. Bigtop gelek heye
belav dike. Di dema nivîsandinê de, serbestberdana herî dawî ya stabîl guhertoya 1.4 bû,
û di masterê de 1.5 hebû. Guhertoyên cûda yên serbestberdanê guhertoyên cûda bikar tînin
pêkhateyên. Mînakî, ji bo 1.4 Hadoop pêkhateyên bingehîn xwedî guhertoya 2.8.5, û di master de ne
2.10.0. Pêkhatina pêkhateyên piştgirî jî diguhere. Tiştekî kevnar û
ya ku nayê nûkirin diçe, û di şûna wê de tiştek nû tê, bêtir daxwaz û
ew bi xwe ne tiştek ji malbata Apache ye.
Wekî din, Bigtop gelek hene .
Dema ku me dest bi nasîna Bigtop kir, em berî her tiştî ji hûrgelê wê, li gorî projeyên din ên Apache, berbelavbûn û populerbûna, û her weha civakek pir piçûk, şaş man. Ji vê yekê derdikeve ku li ser hilberê agahdariya hindiktirîn heye, û lêgerîna çareseriyên ji bo pirsgirêkên ku li ser forum û navnîşên nameyan derketine dibe ku qet tiştek nede. Di destpêkê de, ji ber taybetmendiyên amûrê bixwe, ji bo me karekî dijwar bû ku em kombûna bêkêmasî ya belavkirinê temam bikin, lê em ê li ser vê yekê hinekî paşê biaxivin.
Wekî teserok, yên ku di demekê de bi projeyên gerdûnî yên Linux-ê yên wekî Gentoo û LFS re eleqedar bûn, dibe ku ji hêla nostaljîk ve xweş be ku bi vî tiştî re bixebitin û wan demên "destan" ên ku em bixwe lê digeriyan (an jî dinivîsîn) bi bîr bînin. ava dike û bi rêkûpêk Mozilla bi paçên nû ji nû ve ava dike.
Avantaja mezin a Bigtop vebûn û pirrengiya amûrên ku li ser wan hatiye damezrandin e. Ew li ser Gradle û Apache Maven-ê ye. Gradle wekî amûra ku Google ji bo avakirina Android-ê bikar tîne tê zanîn. Ew maqûl e, û, wekî ku ew dibêjin, "ceribandinek şer". Maven amûrek standard e ji bo avakirina projeyên li Apache bixwe, û ji ber ku piraniya hilberên wê bi Maven ve têne berdan, ew bêyî wê li vir jî nedihat kirin. Hêja ye ku hûn bala xwe bidin POM (modela objekta projeyê) - pelê xml "bingehîn" ku her tiştê ku hewce dike ku Maven bi projeya we re bixebite, ku li dora wê hemî xebat têne çêkirin, vedibêje. Tam li
beşên Maven û hin astengî hene ku bikarhênerên yekem-cara Bigtop bi gelemperî pê re rû bi rû dimînin.
Praktice
Ji ber vê yekê divê hûn li ku dest pê bikin? Herin rûpela dakêşandinê û guhertoya herî dawî ya stabîl wekî arşîv dakêşin. Her weha hûn dikarin hunerên binary ên ku ji hêla Bigtop ve hatine berhev kirin li wir bibînin. Bi awayê, di nav rêveberên pakêtê yên hevpar de, YUM û APT têne piştgirî kirin.
Wekî din, hûn dikarin serbestberdana herî paşîn rasterast ji dakêşin
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKlonkirin di "bigtop" de…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Di encamê de pelrêça ./bigtop bi vî rengî xuya dike:
./bigtop-bigpetstore - sepanên demo, mînakên sentetîk
./bigtop-ci - CI toolkit, jenkins
./bigtop-data-generators - hilberîna daneyan, sentetîk, ji bo ceribandinên dûmanê, hwd.
./bigtop-deploy - amûrên belavkirinê
./bigtop-packages - mîheng, nivîsar, pêlên ji bo kombûnê, beşa sereke ya amûrê
./bigtop-test-framework - çarçoveya ceribandinê
./bigtop-tests - ceribandinên xwe, barkirin û dûman
./bigtop_toolchain - jîngeha ji bo kombûnê, amadekirina jîngehê ji bo xebatê amûrê
./build - pelrêça xebatê ava bikin
./dl - pelrêça ji bo çavkaniyên dakêşandî
./docker - avakirina wêneyên docker, ceribandin
./gradle - konfigurasyona gradle
./output - pelrêça ku hunerên çêkirinê lê diçin
./provisioner - dabînkirin
Di vê qonaxê de ji bo me ya herî balkêş konfigurasyona sereke ye ./bigtop/bigtop.bom, ku tê de em hemî pêkhateyên piştgirîkirî bi guhertoyan re dibînin. Li vir em dikarin guhertoyek cûda ya hilberê diyar bikin (heke em ji nişkê ve dixwazin hewl bidin ku wê ava bikin) an guhertoyek çêkirî (heke, wek nimûne, me pêçekek girîng lê zêde kir).
Jêrderhêner jî eleqeyek mezin e ./bigtop/bigtop-packages, ku rasterast bi pêvajoya komkirina pêkhate û pakêtan bi wan re têkildar e.
Ji ber vê yekê, me arşîv dakêşand, ew vekir an ji github klonek çêkir, gelo em dikarin dest bi avakirinê bikin?
Na, em berê jîngehê amade bikin.
Amadekirina Jîngehê
Û li vir em hewceyê vekişînek piçûk e. Ji bo avakirina hema hema her hilberek pir an hindiktir tevlihev, hûn hewceyê hawîrdorek diyar in - di doza me de, ev JDK, heman pirtûkxaneyên hevpar, pelên sernav, hwd., Amûr e, mînakî, ant, ivy2 û hêj bêtir. Yek ji vebijarkên ku hûn hawîrdora ku hûn ji bo Bigtop hewce ne bistînin ev e ku hûn hêmanên pêwîst li ser mêvandarê avakirinê saz bikin. Ez dikarim di kronolojiyê de xelet bim, lê wusa dixuye ku bi guhertoya 1.0 re vebijarkek jî hebû ku di wêneyên Docker-ê yên pêş-sazkirî û gihîştî de were çêkirin, ku li vir têne dîtin.
Ji bo amadekirina jîngehê, ji bo vê arîkarek heye - Puppet.
Hûn dikarin fermanên jêrîn bikar bînin, ji pelrêça root birevin
hacet, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
An jî rasterast bi riya puppetê:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Mixabin, di vê qonaxê de dibe ku zehmetî derkevin holê. Li vir şîreta gelemperî ev e ku hûn belavkirinek piştgirî bikar bînin, li ser mêvandarê avakirinê nûve bikin, an jî riya docker biceribînin.
Meclîsa
Em dikarin çi biceribînin ku berhev bikin? Bersiva vê pirsê wê ji aliyê derketina fermanê ve were dayîn
./gradlew tasks
Di beşa karûbarên pakêtê de hejmarek hilber hene ku hunerên dawîn ên Bigtop in.
Ew dikarin bi paşgira -rpm an -pkg-ind (di rewşa avahiyê de) bêne nas kirin
di dokerê de). Di doza me de, ya herî balkêş Hadoop e.
Ka em hewl bidin ku di hawîrdora servera xweya avahîsaziyê de ava bikin:
./gradlew hadoop-rpmBigtop bixwe dê çavkaniyên pêwîst ji bo pêkhateyek taybetî dakêşîne û dest bi kombûnê bike. Ji ber vê yekê, operasyona amûrê bi depoyên Maven û çavkaniyên din ve girêdayî ye, ango, ew gihîştina Înternetê hewce dike.
Di dema xebatê de, hilberîna standard tê hilberandin. Carinan ew û peyamên xeletiyê dikarin ji we re bibin alîkar ku hûn fêm bikin ka çi xelet derket. Û carinan hûn hewce ne ku agahdariya bêtir bistînin. Di vê rewşê de hêjayî zêdekirina argumanan e --info an --debug, û dibe ku bikêr be jî –stacktrace. Rêgezek hêsan heye ku meriv komek daneyê ji bo gihîştina paşîn a navnîşên nameyê biafirîne, key --scan.
Bi alîkariya wê, bigtop dê hemî agahdarî berhev bike û di gradle de bihêle, piştî ku ew ê girêdanek peyda bike,
bi şopandina vê yekê, kesek jêhatî dê bikaribe fêm bike ka çima meclîs têk çû.
Ji kerema xwe hay ji xwe hebin ku ev vebijark dibe ku agahdariya ku hûn nexwazin, wekî navên bikarhêner, girêk, guhêrbarên hawîrdorê, hwd., eşkere bike, ji ber vê yekê hişyar bin.
Pir caran xeletî encama nebûna peydakirina pêkhateyên ku ji bo kombûnê hewce ne. Bi gelemperî, hûn dikarin pirsgirêkê bi afirandina pêçekek ji bo rastkirina tiştek di çavkaniyan de çareser bikin, mînakî, navnîşanên li pom.xml di pelrêça root ya çavkaniyan de. Ev bi afirandina û danîna wê di pelrêça guncan de pêk tê ./bigtop/bigtop-packages/src/common/oozie/ patch, wek nimûne, di formê de patch2-fix.cudahî.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Bi îhtîmalek mezin, di dema xwendina vê gotarê de, hûn ê neçar bimînin ku li jor xwe rast bikin.
Dema ku hûn di mekanîzmaya meclîsê de guheztin û guheztinan destnîşan dikin, dibe ku hûn hewce ne ku bi karanîna fermana paqijkirinê meclîsê "ji nû ve saz bikin":
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedEv operasyon dê hemî guhertinên li ser kombûna vê pêkhateyê paşde vegerîne, piştî ku dê civîn dîsa were kirin. Vê carê em ê hewl bidin ku projeyê di wêneyek docker de ava bikin:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedAvakirin di bin CentOS de hate çêkirin, lê dikare di bin Ubuntu de jî were kirin:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indJi bilî avakirina pakêtan ji bo belavkirinên cihêreng ên Linux, amûr dikare bi pakêtên berhevkirî re depoyek biafirîne, mînakî:
./gradlew yumHer weha hûn dikarin li ser ceribandinên dûmanê û bicîhkirina li Docker bi bîr bînin.
Komek ji sê nokan ava bikin:
./gradlew -Pnum_instances=3 docker-provisionerTestên dûmanê di komek sê nokan de bimeşînin:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerKomek jêbirin:
./gradlew docker-provisioner-destroyJi bo girêdana hundurê konteynerên dokerê fermanan bistînin:
./gradlew docker-provisioner-sshRewş nîşan bide:
./gradlew docker-provisioner-statusHûn dikarin di belgeyê de li ser karên Dabeşkirinê bêtir bixwînin.
Ger em li ser ceribandinan biaxivin, hejmareke pir mezin ji wan hene, nemaze dûman û entegrasyon. Analîzên wan li derveyî çarçoveya vê gotarê ye. Bihêle ez tenê bibêjim ku berhevkirina kîtek belavkirinê ne ew qas dijwar e ku ew di nihêrîna pêşîn de xuya dike. Me karî em ceribandinan li ser hemî pêkhateyên ku em di hilberîna xwe de bikar tînin bicivînin û derbas bikin, û her weha me di cîhkirina wan û pêkanîna operasyonên bingehîn de di hawîrdora ceribandinê de ti pirsgirêk tune bûn.
Ji bilî hêmanên heyî yên li Bigtop, gengaz e ku hûn tiştek din lê zêde bikin, tewra pêşkeftina nermalava xweya xwe. Hemî ev bi tevahî otomatîk e û di konsepta CI/CD de cih digire.
encamê
Eşkere ye ku belavkirina bi vî rengî hatî berhev kirin divê tavilê ji hilberînê re neyê şandin. Pêdivî ye ku hûn fêhm bikin ku ger hewcedariyek rast hebe ku hûn belavkirina we ava bikin û piştgirî bikin, wê hingê hûn hewce ne ku di vê yekê de drav û dem veberhênin.
Lêbelê, digel nêzîkatiya rast û tîmek profesyonel, bêyî çareseriyên bazirganî pêkan e.
Girîng e ku were zanîn ku projeya Bigtop bixwe hewcedarê pêşkeftinê ye û xuya nake ku îro bi rengek çalak tê pêşve xistin. Hêviya xuyangkirina Hadoop 3 jî ne diyar e Bi awayê, heke we pêdivî bi avakirina Hadoop 3 heye, hûn dikarin lê binêrin ji Arenadata, ku tê de, ji bilî standard
Gelek hêmanên zêde hene (Ranger, Knox, NiFi).
Wekî ku ji bo Rostelecom, ji bo me Bigtop yek ji vebijarkên ku îro têne hesibandin e. Em wê hilbijêrin an na, dem wê diyar bike.
Revîyê kor
Ji bo tevlêbûna pêkhateyek nû di civînê de, divê hûn danasîna wê li bigtop.bom û ./bigtop-packages zêde bikin. Hûn dikarin hewl bidin ku vê yekê bi analogî bi pêkhateyên heyî re bikin. Biceribînin ku wê fêm bikin. Ew ne ew qas dijwar e ku di nihêrîna pêşîn de xuya dike.
Hûn çi difikirin? Em ê kêfxweş bibin ku nêrîna we di şîroveyan de bibînin û ji bo baldariya we spas!
Gotar ji hêla tîmê rêveberiya daneya Rostelecom ve hatî amadekirin
Source: www.habr.com