Is dòcha nach eil e na dhìomhaireachd gur e bliadhna de dh’ atharrachaidhean mòra a bha ann an-uiridh airson Apache Hadoop. An-uiridh, chaidh Cloudera agus Hortonworks còmhla (gu bunaiteach, togail an fheadhainn mu dheireadh), agus chaidh Mapr, air sgàth droch dhuilgheadasan ionmhais, a reic ri Hewlett Packard. Agus ma bha beagan bhliadhnaichean roimhe sin, a thaobh ionadan air an togalach, gu tric dh'fheumadh an roghainn a bhith air a dhèanamh eadar Cloudera agus Hortonworks, an-diugh, mo thruaighe, chan eil an roghainn seo againn. B’ e iongnadh eile a bh’ ann gun do dh’ ainmich Cloudera sa Ghearran am-bliadhna gun stadadh e a bhith a’ leigeil a-mach co-chruinneachaidhean dà-chànanach den sgaoileadh aca a-steach don stòr phoblach, agus chan eil iad a-nis rim faighinn ach tro fho-sgrìobhadh pàighte. Gu dearbh, tha e comasach fhathast na dreachan as ùire de CDH agus HDP a chaidh fhoillseachadh ro dheireadh 2019 a luchdachadh sìos, agus tha dùil ri taic dhaibh airson bliadhna no dhà. Ach dè an ath rud a nì thu? Dhaibhsan a phàigh airson ballrachd roimhe seo, chan eil dad air atharrachadh. Agus dhaibhsan nach eil airson atharrachadh chun dreach pàighte den sgaoileadh, ach aig an aon àm a tha airson a bhith comasach air na dreachan as ùire de cho-phàirtean brabhsair fhaighinn, a bharrachd air pìosan agus ùrachaidhean eile, tha sinn air an artaigil seo ullachadh. An seo beachdaichidh sinn air roghainnean a dh’ fhaodadh a bhith ann airson faighinn a-mach às an t-suidheachadh seo.
Tha an artaigil nas motha de lèirmheas. Cha bhi coimeas ann de sgaoilidhean agus mion-sgrùdadh mionaideach orra, agus cha bhi reasabaidhean ann airson an stàladh agus an rèiteachadh. Dè thachras? Bruidhnidh sinn goirid mu leithid de chuairteachadh mar Arenadata Hadoop, a tha gu ceart airidh air ar n-aire air sgàth cho ruigsinneach sa tha e, rud a tha gu math tearc an-diugh. Agus an uairsin bruidhnidh sinn mu Vanilla Hadoop, gu sònraichte mu mar as urrainnear a “bruich” a ’cleachdadh Apache Bigtop. Deiseil? An uairsin fàilte don chat.
Arenadata Hadoop
Is e pasgan sgaoilidh gu tur ùr a tha seo agus, gu ruige seo, air nach eil mòran eòlach air leasachadh dachaigheil. Gu mì-fhortanach, aig an àm seo air Habré chan eil ann ach .
Gheibhear tuilleadh fiosrachaidh air an oifigeach pròiseict. Tha na dreachan as ùire den sgaoileadh stèidhichte air Hadoop 3.1.2 airson dreach 3, agus 2.8.5 airson dreach 2.
Gheibhear fiosrachadh mun chlàr-rathaid .
Eadar-aghaidh Manaidsear Cluster Arenadata
Is e prìomh toradh Arenadata , a tha air a chleachdadh gus diofar fhuasglaidhean bathar-bog companaidh a stàladh, a rèiteachadh agus a sgrùdadh. Tha ADCM air a chuairteachadh an-asgaidh, agus tha an comas-gnìomh aige air a leudachadh le bhith a’ cur phasganan ris, a tha nan seata de leabhraichean-cluiche iomchaidh. Tha pasganan air an roinn ann an dà sheòrsa: iomairt agus coimhearsnachd. Tha an fheadhainn mu dheireadh rim faighinn airson an luchdachadh sìos an-asgaidh bho làrach-lìn Arenadata. Tha e comasach cuideachd am pasgan agad fhèin a leasachadh agus a cheangal ri ADCM.
Airson cleachdadh agus riaghladh Hadoop 3, tha dreach coimhearsnachd den phasgan air a thabhann an co-bhonn ri ADCM, ach airson Hadoop 2 chan eil ann ach mar roghainn eile. A thaobh stòran le pasganan, tha iad fosgailte do ruigsinneachd poblach, faodar an luchdachadh sìos agus an stàladh san dòigh àbhaisteach airson a h-uile pàirt den bhuidheann. Gu h-iomlan, tha an sgaoileadh a 'coimhead gu math inntinneach. Tha mi cinnteach gum bi feadhainn ann a tha cleachdte ri fuasglaidhean leithid Cloudera Manager agus Ambari, agus a chòrdas ri ADCM fhèin. Dha cuid, bidh e cuideachd na bhuannachd mhòr don sgaoileadh airson ionadachadh in-mhalairt.
Ma bhruidhneas sinn mu na h-eas-bhuannachdan, bidh iad mar an ceudna ri gach sgaoileadh Hadoop eile. Is e sin:
- An “glasadh a-steach reiceadair” ris an canar. A’ cleachdadh eisimpleirean Cloudera agus Hortonworks, tha sinn air tuigsinn mar-thà gu bheil cunnart ann an-còmhnaidh poileasaidh companaidh atharrachadh.
- Lag mòr air cùl Apache shuas an abhainn.
Vanilla Hadoop
Mar a tha fios agad, chan e toradh monolithic a th’ ann an Hadoop, ach, gu dearbh, galaxy iomlan de sheirbheisean timcheall air an t-siostam faidhle sgaoilte HDFS aige. Is e glè bheag de dhaoine aig a bheil gu leòr de aon bhuidheann faidhle. Feumaidh cuid Hive, cuid eile Presto, agus an uairsin tha HBase agus Phoenix ann; Tha Spark air a chleachdadh barrachd is barrachd. Airson orcastra agus luchdachadh dàta, lorgar Oozie, Sqoop agus Flume uaireannan. Agus ma dh’ èiricheas cùis tèarainteachd, thig Kerberos ann an co-bhonn ri Ranger gu inntinn sa bhad.
Tha dreachan binary de cho-phàirtean Hadoop rim faighinn air làrach-lìn gach pròiseact eag-shiostam ann an cruth tarballs. Faodaidh tu an luchdachadh sìos agus tòiseachadh air an stàladh, ach le aon chumha: a bharrachd air a bhith a’ cruinneachadh phasganan gu neo-eisimeileach bho binaries “amh”, a tha thu dualtach a bhith ag iarraidh a dhèanamh, cha bhith misneachd sam bith agad ann an co-chòrdalachd nan dreachan de cho-phàirtean a chaidh a luchdachadh sìos le gach fear. eile. Is e an roghainn as fheàrr leotha togail a’ cleachdadh Apache Bigtop. Leigidh Bigtop leat togail bho stòran Apache maven, deuchainnean a ruith agus pacaidean a thogail. Ach, an rud a tha glè chudromach dhuinne, cruinnichidh Bigtop na dreachan sin de cho-phàirtean a bhios co-chosmhail ri chèile. Bruidhnidh sinn mu dheidhinn ann am barrachd mionaideachd gu h-ìosal.
Apache mòr
Tha Apache Bigtop na inneal airson togail, pacadh agus deuchainn grunn de
pròiseactan le còd fosgailte, leithid Hadoop agus Greenplum. Tha gu leòr aig Bigtop
sgaoilidhean. Aig àm sgrìobhaidh, b’ e dreach 1.4 an dreach seasmhach as ùire,
agus ann am maighstir bha 1.5. Bidh diofar dreachan de sgaoilidhean a’ cleachdadh dreachan eadar-dhealaichte
co-phàirtean. Mar eisimpleir, airson 1.4 tha dreach 2.8.5 aig prìomh phàirtean Hadoop, agus ann am maighstir
2.10.0. Tha co-dhèanamh nam pàirtean le taic ag atharrachadh cuideachd. Rudeigin seann-fhasanta agus
falbhaidh an neo-ath-nuadhach- adh, agus 'na àite thig ni-eigin nuadh, air am bheil barrachd iarrtais, agus
chan e gu riatanach rudeigin bhon teaghlach Apache fhèin.
A bharrachd air an sin, tha mòran aig Bigtop .
Nuair a thòisich sinn air eòlas fhaighinn air Bigtop, chuir e iongnadh oirnn an toiseach leis cho beag ‘s a bha e, an taca ri pròiseactan Apache eile, tricead agus mòr-chòrdte, a bharrachd air coimhearsnachd glè bheag. Tha e a’ leantainn bho seo nach eil ach glè bheag de dh’ fhiosrachadh mun toradh, agus is dòcha nach toir rannsachadh airson fuasglaidhean do dhuilgheadasan a tha air èirigh air fòraman agus liostaichean puist dad idir. An toiseach, b 'e obair dhoirbh a bh' ann dhuinn a bhith a 'lìonadh a' cho-chruinneachadh iomlan den sgaoileadh air sgàth feartan an inneil fhèin, ach bruidhnidh sinn mu dheidhinn beagan nas fhaide air adhart.
Mar teaser, is dòcha gum bi e cianail tlachdmhor dhaibhsan aig an robh ùidh aig aon àm ann am pròiseactan den chruinne-cruinne Linux mar Gentoo agus LFS a bhith ag obair leis an rud seo agus cuimhne a chumail air na h-amannan “epic” sin nuair a bha sinn fhìn a’ coimhead airson (no eadhon a’ sgrìobhadh) a’ togail agus ag ath-thogail Mozilla gu cunbhalach le pìosan ùra.
Is e a’ bhuannachd mhòr a tha aig Bigtop cho fosgailte ‘s a tha na h-innealan air a bheil e stèidhichte. Tha e stèidhichte air Gradle agus Apache Maven. Tha Gradle gu math ainmeil mar an inneal a bhios Google a’ cleachdadh gus Android a thogail. Tha e sùbailte, agus, mar a chanas iad, “deuchainn blàir.” Tha Maven na inneal àbhaisteach airson pròiseactan togail ann an Apache fhèin, agus leis gu bheil a’ mhòr-chuid de na toraidhean aige air an leigeil ma sgaoil tro Maven, cha b ’urrainnear a dhèanamh às aonais an seo nas motha. Is fhiach aire a thoirt don POM (modail cuspair a 'phròiseict) - am faidhle xml "bunaiteach" a' toirt cunntas air a h-uile dad a tha riatanach airson Maven a bhith ag obair leis a 'phròiseact agad, timcheall air a bheil a h-uile obair air a thogail. Dìreach aig
pàirtean de Maven agus tha cuid de chnapan-starra ann a choinnicheas luchd-cleachdaidh Bigtop airson a’ chiad uair mar as trice.
Cleachdaich
Mar sin càite am bu chòir dhut tòiseachadh? Rach don duilleag luchdaich sìos agus luchdaich sìos an dreach seasmhach as ùire mar thasglann. Gheibh thu cuideachd stuthan dà-chànanach a chruinnich Bigtop an sin. Air an t-slighe, am measg nam manaidsearan pacaid cumanta, tha YUM agus APT a ’faighinn taic.
Air an làimh eile, faodaidh tu an sgaoileadh seasmhach as ùire a luchdachadh sìos gu dìreach bho
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitClonadh ann an “bigtop”…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Tha an eòlaire ./bigtop a thig às a’ coimhead rudeigin mar seo:
./bigtop-bigpetstore - tagraidhean demo, eisimpleirean synthetigeach
./bigtop-ci - innealan CI, jenkins
./bigtop-data-generators - gineadh dàta, synthetics, airson deuchainnean ceò, msaa.
./bigtop-deploy - innealan cleachdadh
./bigtop-packages - configs, sgriobtaichean, pìosan airson co-chruinneachadh, prìomh phàirt an inneil
./bigtop-test-framework - frèam deuchainn
./bigtop-tests - na deuchainnean fhèin, luchdan agus ceò
./bigtop_toolchain - àrainneachd airson cruinneachaidh, ag ullachadh na h-àrainneachd airson an inneal obrachadh
./build - cruthaich eòlaire obrach
./dl - eòlaire airson stòran a chaidh a luchdachadh sìos
./docker - togail ann an ìomhaighean docker, deuchainn
./gradle - gradle config
./output - an eòlaire far an tèid stuthan togail
./provisioner - solarachadh
Is e an rud as inntinniche dhuinn aig an ìre seo am prìomh config ./bigtop/bigtop.bom, anns am faic sinn a h-uile pàirt le taic le dreachan. Seo far an urrainn dhuinn dreach eadar-dhealaichte den toradh a shònrachadh (ma tha sinn gu h-obann airson feuchainn ri thogail) no dreach togail (ma tha, mar eisimpleir, chuir sinn pìos mòr ris).
Tha ùidh mhòr aig an fho-sgrìobhadh cuideachd ./bigtop/bigtop-packages, a tha gu dìreach co-cheangailte ris a’ phròiseas co-chruinneachadh phàirtean agus pacaidean leotha.
Mar sin, luchdaich sinn sìos an tasglann, chuir sinn às dha no rinn sinn clon bho github, an urrainn dhuinn tòiseachadh air togail?
Chan e, ullaichidh sinn an àrainneachd an toiseach.
Ag ullachadh na h-àrainneachd
Agus an seo tha feum againn air ratreut beag. Gus toradh cha mhòr nas iom-fhillte a thogail, feumaidh tu àrainneachd shònraichte - anns a 'chùis againn, is e seo an JDK, na h-aon leabharlannan co-roinnte, faidhlichean cinn, msaa, innealan, mar eisimpleir, seangan, ivy2 agus mòran a bharrachd. Is e aon de na roghainnean airson an àrainneachd a tha a dhìth ort airson Bigtop na pàirtean riatanach a chuir a-steach air an òstair togail. Dh’ fhaodadh mi a bhith ceàrr san ùine, ach tha e coltach, le dreach 1.0, gun robh roghainn ann cuideachd ìomhaighean Docker ro-shuidhichte agus ruigsinneach a thogail, a lorgar an seo.
A thaobh a bhith ag ullachadh na h-àrainneachd, tha neach-cuideachaidh ann airson seo - Puppet.
Faodaidh tu na h-òrdughan a leanas a chleachdadh, ruith bhon eòlaire freumh
inneal, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
No gu dìreach tro phupaidean:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Gu mì-fhortanach, faodaidh duilgheadasan èirigh mar-thà aig an ìre seo. Is e a’ chomhairle choitcheann an seo cuairteachadh le taic a chleachdadh, ùrachadh air an neach-aoigheachd togail, no feuchainn air an t-slighe docker.
Tionndadh
Dè as urrainn dhuinn feuchainn ri chruinneachadh? Bidh am freagairt don cheist seo air a thoirt seachad le toradh na h-àithne
./gradlew tasks
Anns an roinn gnìomhan pacaid tha grunn thoraidhean a tha nan artifacts deireannach de Bigtop.
Faodar an comharrachadh leis an iar-leasachan -rpm no -pkg-ind (a thaobh togail
ann an docker). Anns a 'chùis againn, is e Hadoop an rud as inntinniche.
Feuchaidh sinn ri àrainneachd ar frithealaiche togail a thogail:
./gradlew hadoop-rpmLuchdaichidh Bigtop fhèin sìos na stòran riatanach a tha a dhìth airson pàirt sònraichte agus tòisichidh e air a cho-chruinneachadh. Mar sin, tha obrachadh an inneil an urra ri stòran Maven agus tobraichean eile, is e sin, feumaidh e ruigsinneachd eadar-lìn.
Rè obrachadh, thèid toradh àbhaisteach a chruthachadh. Aig amannan faodaidh e agus teachdaireachdan mearachd do chuideachadh le bhith a’ tuigsinn dè chaidh ceàrr. Agus uaireannan feumaidh tu fiosrachadh a bharrachd fhaighinn. Anns a 'chùis seo is fhiach argamaidean a chur ris --info no --debug, agus faodaidh e a bhith feumail cuideachd –stacktrace. Tha dòigh goireasach ann seata dàta a ghineadh airson ruigsinneachd às deidh sin air liostaichean puist, an iuchair --scan.
Le a chuideachadh, cruinnichidh bigtop am fiosrachadh gu lèir agus cuiridh e ann an gradle e, às deidh sin bheir e seachad ceangal,
le bhith a’ leantainn agus bidh e comasach do neach comasach tuigsinn carson a dh’ fhàilnich an t-seanadh.
Thoir an aire gur dòcha gun nochd an roghainn seo fiosrachadh nach eil thu ag iarraidh, leithid ainmean-cleachdaidh, nodan, caochladairean àrainneachd, msaa, mar sin bi faiceallach.
Gu math tric bidh mearachdan mar thoradh air neo-chomas co-phàirtean sam bith fhaighinn a tha riatanach airson co-chruinneachadh. Mar as trice, faodaidh tu an duilgheadas a cheartachadh le bhith a’ cruthachadh bad gus rudeigin a chàradh anns na stòran, mar eisimpleir, seòlaidhean ann am pom.xml ann an eòlaire freumh nan stòran. Tha seo air a dhèanamh le bhith ga chruthachadh agus ga chur anns an eòlaire iomchaidh ./bigtop/bigtop-packages/src/common/oozie/ paiste, mar eisimpleir, ann an cruth paiste2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
As dualtaiche, nuair a leughas tu an artaigil seo, cha bhith agad ri thu fhèin a chàradh.
Nuair a bheir thu a-steach pìosan sam bith agus atharrachaidhean air an inneal cruinneachaidh, is dòcha gum feum thu an co-chruinneachadh “ath-shuidheachadh” a ’cleachdadh an àithne glanaidh:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedCuiridh an obrachadh seo air ais a h-uile atharrachadh ann an co-chruinneachadh na co-phàirt seo, agus às deidh sin thèid an co-chruinneachadh a dhèanamh a-rithist. An turas seo feuchaidh sinn ris a’ phròiseact a thogail ann an ìomhaigh docker:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedChaidh an togail a dhèanamh fo CentOS, ach faodar a dhèanamh cuideachd fo Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indA bharrachd air pacaidean a thogail airson diofar sgaoilidhean Linux, faodaidh an t-inneal stòr a chruthachadh le pasganan cruinnichte, mar eisimpleir:
./gradlew yumFaodaidh tu cuideachd cuimhneachadh mu dheuchainnean ceò agus cleachdadh ann an Docker.
Cruthaich cruinneachadh de thrì nodan:
./gradlew -Pnum_instances=3 docker-provisionerDèan deuchainnean ceò ann am buidheann de thrì nodan:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerSguab às buidheann:
./gradlew docker-provisioner-destroyFaigh òrdughan airson ceangal taobh a-staigh soithichean docker:
./gradlew docker-provisioner-sshSeall inbhe:
./gradlew docker-provisioner-statusFaodaidh tu barrachd a leughadh mu ghnìomhan cleachdadh anns na sgrìobhainnean.
Ma tha sinn a 'bruidhinn mu dheidhinn deuchainnean, tha àireamh mhòr dhiubh, gu h-àraidh ceò agus amalachadh. Tha am mion-sgrùdadh aca taobh a-muigh raon an artaigil seo. Leig leam dìreach a ràdh nach e obair cho duilich a th’ ann a bhith a’ cur ri chèile pasgan cuairteachaidh ’s a bhiodh e coltach aig a’ chiad sealladh. Chaidh againn air deuchainnean a chuir ri chèile agus a thoirt seachad air a h-uile pàirt a bhios sinn a’ cleachdadh nar cinneasachadh, agus cha robh duilgheadas sam bith againn cuideachd gan cleachdadh agus coileanadh obrachaidhean bunaiteach san àrainneachd deuchainn.
A bharrachd air na pàirtean a th’ ann mar-thà ann am Bigtop, tha e comasach rud sam bith eile a chuir ris, eadhon an leasachadh bathar-bog agad fhèin. Tha seo uile gu tur fèin-ghluasadach agus a’ freagairt air bun-bheachd CI/CD.
co-dhùnadh
Gu follaiseach, cha bu chòir an cuairteachadh a chaidh a chruinneachadh san dòigh seo a chuir gu cinneasachadh sa bhad. Feumaidh tu tuigsinn ma tha fìor fheum ann airson do chuairteachadh a thogail agus taic a thoirt dha, feumaidh tu airgead agus ùine a thasgadh ann an seo.
Ach, ann an co-bhonn ris an dòigh-obrach cheart agus sgioba proifeasanta, tha e gu math comasach a dhèanamh às aonais fuasglaidhean malairteach.
Tha e cudromach cuimhneachadh gu bheil feum aig a’ phròiseact Bigtop fhèin air a leasachadh agus nach eil coltas gu bheil e ga leasachadh gu gnìomhach an-diugh. Chan eil e soilleir cuideachd ciamar a nochdas Hadoop 3 ann. Air an t-slighe, ma tha fìor fheum agad air Hadoop 3 a thogail, faodaidh tu coimhead air bho Arenadata, anns a bheil, a bharrachd air an ìre àbhaisteach
Tha grunn phàirtean a bharrachd ann (Ranger, Knox, NiFi).
A thaobh Rostelecom, dhuinne is e Bigtop aon de na roghainnean air a bheilear a’ beachdachadh an-diugh. Co-dhiù a thaghas sinn e no nach eil, innsidh ùine.
Pàipear-taice
Gus pàirt ùr a thoirt a-steach don cho-chruinneachadh, feumaidh tu an tuairisgeul aige a chuir ri bigtop.bom agus ./bigtop-packages. Faodaidh tu feuchainn ri seo a dhèanamh le samhlachas leis na co-phàirtean a th’ ann mar-thà. Feuch ri faighinn a-mach e. Chan eil e cho doirbh 'sa tha e coltach aig a' chiad shealladh.
Dè tha thu a’ smaoineachadh? Bidh sinn toilichte do bheachd fhaicinn anns na beachdan agus tapadh leat airson d’ aire!
Chaidh an artaigil ullachadh le sgioba riaghlaidh dàta Rostelecom
Source: www.habr.com