Is dócha nach bhfuil aon rún ann gur bliain d’athruithe móra a bhí sa bhliain seo caite do Apache Hadoop. An bhliain seo caite, chumasc Cloudera agus Hortonworks (go bunúsach, éadáil an dara ceann), agus díoladh Mapr, mar gheall ar fhadhbanna airgeadais tromchúiseacha, le Hewlett Packard. Agus más rud é cúpla bliain roimhe sin, i gcás suiteálacha ar an áitreabh, is minic go gcaithfí an rogha a dhéanamh idir Cloudera agus Hortonworks, inniu, faraor, níl an rogha seo againn. Iontas eile a bhí ar an bhfíric gur fhógair Cloudera i mí Feabhra na bliana seo go stopfadh sé tionóil dhénártha dá dháileadh a scaoileadh isteach sa stór poiblí, agus níl siad ar fáil anois ach trí shíntiús íoctha. Ar ndóigh, is féidir fós na leaganacha is déanaí de CDH agus HDP a scaoileadh roimh dheireadh 2019 a íoslódáil, agus táthar ag súil le tacaíocht dóibh ar feadh bliana nó dhó. Ach cad atá le déanamh ina dhiaidh sin? Dóibh siúd a d'íoc as síntiús roimhe seo, níl aon athrú ar bith. Agus dóibh siúd nach bhfuil ag iarraidh aistriú chuig an leagan íoctha den dáileadh, ach ag an am céanna ba mhaith leo a bheith in ann na leaganacha is déanaí de chomhpháirteanna braisle a fháil, chomh maith le paistí agus nuashonruithe eile, tá an t-alt seo ullmhaithe againn. In sé breithneoimid roghanna féideartha chun éirí as an gcás seo.
Is léirmheas níos mó é an t-alt. Ní bheidh ann comparáid idir dáileacháin agus anailís mhionsonraithe orthu, agus ní bheidh aon oidis ann chun iad a shuiteáil agus a chumrú. Cad a tharlóidh? Déanfaimid labhairt go hachomair faoi dháileadh den sórt sin mar Arenadata Hadoop, a bhfuil ár n-aird tuillte go ceart mar gheall ar a inrochtaineacht, rud atá fíor-annamh inniu. Agus ansin beidh muid ag caint faoi Vanilla Hadoop, go príomha faoi conas is féidir é a "cócaráil" ag baint úsáide as Apache Bigtop. Réidh? Ansin fáilte roimh cat.
Arenadata Hadoop
Is trealamh dáilte iomlán nua é seo agus, go dtí seo, ar bheagán eolais maidir le forbairt intíre. Ar an drochuair, i láthair na huaire ar Habré níl ach .
Is féidir tuilleadh eolais a fháil ar an oifigeach tionscadal. Tá na leaganacha is déanaí den dáileadh bunaithe ar Hadoop 3.1.2 do leagan 3, agus 2.8.5 do leagan 2.
Is féidir faisnéis a fháil faoin treochlár .
Comhéadan Bainisteoir Braisle Arenadata
Is é an táirge lárnach atá ag Arenadata , a úsáidtear chun réitigh bogearraí cuideachta éagsúla a shuiteáil, a chumrú agus a mhonatóiriú. Déantar ADCM a dháileadh saor in aisce, agus leathnaítear a fheidhmiúlacht trí bheartáin a chur leis, ar sraith de leabhair súgartha inmhíne iad. Roinntear beartáin ina dhá chineál: fiontar agus pobal. Tá na cinn deiridh ar fáil le híoslódáil saor in aisce ó shuíomh Gréasáin Arenadata. Is féidir freisin do bheartán féin a fhorbairt agus é a nascadh le ADCM.
Chun Hadoop 3 a imscaradh agus a bhainistiú, tairgtear leagan pobail den bheart i gcomhar le ADCM, ach i gcás Hadoop 2 níl ann ach mar mhalairt. Maidir le stórtha le pacáistí, tá siad oscailte do rochtain phoiblí, is féidir iad a íoslódáil agus a shuiteáil ar an ngnáthbhealach do gach comhpháirt den bhraisle. Ar an iomlán, breathnaíonn an dáileadh an-suimiúil. Táim cinnte go mbeidh daoine ann atá i dtaithí ar réitigh ar nós Cloudera Manager agus Ambari, agus ar mhaith leo ADCM féin. I gcás roinnt, beidh sé ina móide ollmhór go bhfuil an dáileadh le haghaidh ionadú allmhairí.
Má labhairt linn faoi na míbhuntáistí, beidh siad mar an gcéanna le gach dáileadh Hadoop eile. Eadhon:
- An “glasáil isteach díoltóra” mar a thugtar air. Trí úsáid a bhaint as samplaí Cloudera agus Hortonworks, tá sé tugtha faoi deara againn cheana féin go bhfuil an baol ann i gcónaí go n-athrófar beartas cuideachta.
- Moilliú suntasach taobh thiar de Apache in aghaidh an tsrutha.
Vanilla Hadoop
Mar is eol duit, ní táirge monolithic é Hadoop, ach, i ndáiríre, réaltra iomlán de sheirbhísí timpeall ar a chóras comhaid dáilte HDFS. Is beag duine a mbeidh go leor de bhraisle comhad amháin acu. Teastaíonn Hive ó chuid acu, cuid eile Presto, agus ansin tá HBase agus an Fhionnuisce; Baintear úsáid níos mó as Spark. Le haghaidh ceolfhoirneoireachta agus luchtú sonraí, faightear Oozie, Sqoop agus Flume uaireanta. Agus má thagann ceist na slándála chun cinn, tagann Kerberos i gcomhar le Ranger chun cuimhne láithreach.
Tá leaganacha dénártha de chomhpháirteanna Hadoop ar fáil ar shuíomh Gréasáin gach ceann de na tionscadail éiceachórais i bhfoirm tarballs. Is féidir leat iad a íoslódáil agus tús a chur leis an suiteáil, ach le coinníoll amháin: chomh maith le pacáistí ó dhénártha "amh" a chur le chéile go neamhspleách, rud is dócha gur mhaith leat a dhéanamh, ní bheidh aon mhuinín agat as comhoiriúnacht na leaganacha íoslódála de na comhpháirteanna le gach ceann acu. eile. Is é an rogha is fearr a thógáil ag baint úsáide as Apache Bigtop. Ligfidh Bigtop duit tógáil ó stórtha maven Apache, tástálacha a reáchtáil agus pacáistí a thógáil. Ach, rud atá an-tábhachtach dúinne, cuirfidh Bigtop le chéile na leaganacha sin de chomhpháirteanna a bheidh ag luí lena chéile. Déanfaimid labhairt faoi níos mine thíos.
Cluiche Apache Bigtop
Is uirlis é Apache Bigtop le haghaidh tógáil, pacáistiú agus tástáil roinnt
tionscadail foinse oscailte, mar Hadoop agus Greenplum. Tá neart ag Bigtop
eisiúintí. Agus é seo á scríobh, ba é an scaoileadh cobhsaí is déanaí ná leagan 1.4,
agus i máistir bhí 1.5. Úsáideann leaganacha éagsúla d’eisiúintí leaganacha éagsúla
comhpháirteanna. Mar shampla, le haghaidh 1.4 Tá leagan 2.8.5 ag comhpháirteanna lárnacha Hadoop, agus i máistir
2.10.0. Tá comhdhéanamh na gcomhpháirteanna tacaithe ag athrú freisin. Rud as dáta agus
Téann an unrenewable ar shiúl, agus ina áit a thagann rud éigin nua, níos mó ar an éileamh, agus
ní gá gur rud éigin ó theaghlach Apache é féin.
Ina theannta sin, tá go leor ag Bigtop .
Nuair a thosaigh muid ag cur aithne ar Bigtop, bhí ionadh orainn ar an gcéad dul síos faoina measartha, i gcomparáid le tionscadail Apache eile, leitheadúlacht agus tóir, chomh maith le pobal an-bheag. Is é an toradh atá air seo ná nach bhfuil ach beagán eolais ar an táirge, agus d’fhéadfadh sé nach mbeadh aon toradh ar réiteach ar fhadhbanna a d’eascair ar fhóraim agus ar liostaí seoltaí. Ar dtús, d'éirigh sé amach go raibh sé ina thasc deacair dúinn an tionól iomlán den dáileadh a chríochnú mar gheall ar ghnéithe an uirlis féin, ach beidh muid ag caint faoi seo beagán níos déanaí.
Mar teaser, d’fhéadfadh go mbeadh sé taitneamhach cumhach dóibh siúd a raibh suim acu ag aon am amháin i dtionscadail den sórt sin de chuid na cruinne Linux mar Gentoo agus LFS oibriú leis an rud seo agus cuimhneamh ar na hamanna “eipiciúla” sin nuair a bhí muid féin á lorg (nó fiú ag scríobh) déanann sé Mozilla a thógáil agus a atógáil go rialta le paistí nua.
Is é an buntáiste mór a bhaineann le Bigtop ná oscailteacht agus solúbthacht na n-uirlisí ar a bhfuil sé bunaithe. Tá sé bunaithe ar Gradle agus Apache Maven. Tá aithne mhaith ar Gradle mar an uirlis a úsáideann Google chun Android a thógáil. Tá sé solúbtha, agus, mar a deir siad, "cath-thástáil." Is uirlis chaighdeánach é Maven do thionscadail tógála in Apache féin, agus ós rud é go scaoiltear an chuid is mó dá tháirgí trí Maven, ní fhéadfaí é a dhéanamh gan é anseo ach an oiread. Is fiú aird a thabhairt ar an POM (samhail réad tionscadail) - an comhad xml “bunúsach” a chuireann síos ar gach rud is gá chun go n-oibreoidh Maven le do thionscadal, ar a dtógtar an obair ar fad timpeall air. Go díreach ag
codanna de Maven agus tá roinnt constaicí a bhíonn ar úsáideoirí Bigtop den chéad uair de ghnáth.
Cleachtais
Mar sin, cén áit ar chóir duit tosú? Téigh go dtí an leathanach íoslódála agus íoslódáil an leagan cobhsaí is déanaí mar chartlann. Is féidir leat déantáin dhénártha a bhailigh Bigtop a fháil ann freisin. Dála an scéil, i measc na mbainisteoirí pacáiste coitianta, tacaítear le YUM agus APT.
Nó, is féidir leat an scaoileadh cobhsaí is déanaí a íoslódáil go díreach ó
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitClónáil i “bigtop”…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Breathnaíonn an eolaire ./bigtop mar thoradh air seo:
./bigtop-bigpetstore — feidhmchláir taispeána, samplaí sintéiseacha
./bigtop-ci - Uirlisí CI, jenkins
./bigtop-data-generators — giniúint sonraí, sintéiseacha, le haghaidh tástálacha deataigh, etc.
./bigtop-deploy - uirlisí imscaradh
./bigtop-packages — cumraíochtaí, scripteanna, paistí le haghaidh tionóil, príomhchuid na huirlise
./bigtop-test-framework — creat tástála
./bigtop-tests — na tástálacha iad féin, ualach agus deatach
./bigtop_toolchain — timpeallacht le haghaidh tionóil, an timpeallacht a ullmhú le go n-oibreoidh an uirlis
./build - eolaire oibre a thógáil
./dl — eolaire le haghaidh foinsí íoslódála
./docker — íomhánna docker a thógáil, tástáil
./gradle - config gradle
./output – an t-eolaire ina dtéann déantáin tógála
./provisioner — soláthar
Is é an rud is suimiúla dúinn ag an gcéim seo ná an príomh-config ./bigtop/bigtop.bom, ina bhfeicimid na comhpháirteanna tacaithe go léir le leaganacha. Seo nuair is féidir linn leagan difriúil den táirge a shonrú (más mian linn go tobann iarracht a dhéanamh é a thógáil) nó leagan tógála (más rud é, mar shampla, chuireamar paiste suntasach leis).
Is díol spéise an fochomhadlann freisin ./bigtop/bigtop-packages, a bhaineann go díreach leis an bpróiseas chun comhpháirteanna agus pacáistí a chur le chéile leo.
Mar sin, rinneamar an chartlann a íoslódáil, a dhíphacáil nó a rinne clón as github, an féidir linn tosú ag tógáil?
Ní hea, déanaimis an timpeallacht a ullmhú ar dtús.
An Timpeallacht a Ullmhú
Agus anseo ní mór dúinn cúlú beag. Chun beagnach aon táirge níos casta nó níos lú a thógáil, is gá timpeallacht áirithe a bheith agat - inár gcás, is é seo an JDK, na leabharlanna comhroinnte céanna, comhaid ceanntásc, etc., uirlisí, mar shampla, seangán, ivy2 agus i bhfad níos mó. Ceann de na roghanna chun an timpeallacht a theastaíonn uait a fháil do Bigtop ná na comhpháirteanna riachtanacha a shuiteáil ar an óstach tógála. D'fhéadfainn a bheith mícheart sa chroineolaíocht, ach is cosúil go raibh rogha ann freisin le leagan 1.0 íomhánna Docker réamh-chumraithe agus inrochtana a thógáil, ar féidir iad a fháil anseo.
Maidir leis an timpeallacht a ullmhú, tá cúntóir ann le haghaidh seo - Puipéad.
Is féidir leat na horduithe seo a leanas a úsáid, a reáchtáil ón eolaire fréimhe
uirlis, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Nó go díreach trí phuipéad:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Ar an drochuair, d’fhéadfadh deacrachtaí teacht chun cinn cheana féin ag an gcéim seo. Is í an chomhairle ghinearálta anseo ná úsáid a bhaint as dáileadh tacaithe, cothrom le dáta ar an óstach tógála, nó triail a bhaint as an mbealach docker.
Tionól
Cad is féidir linn iarracht a bhailiú? Is é toradh an ordaithe a thabharfaidh freagra na ceiste seo
./gradlew tasks
Sa rannán Tascanna Pacáiste tá roinnt táirgí ar déantáin deiridh de Bigtop iad.
Is féidir iad a aithint leis an iarmhír -rpm nó -pkg-ind (i gcás tógála
sa duga). Is é ár gcás, an ceann is suimiúla ná Hadoop.
Déanaimis iarracht timpeallacht ár bhfreastalaí tógála a chur san áireamh:
./gradlew hadoop-rpmÍoslódálfaidh Bigtop féin na foinsí riachtanacha a theastaíonn le haghaidh comhpháirt ar leith agus cuirfear tús le cóimeáil. Mar sin, tá oibriú an uirlis ag brath ar stórtha Maven agus foinsí eile, is é sin, éilíonn sé rochtain Idirlín.
Le linn oibriú, gintear aschur caighdeánach. Uaireanta is féidir leis agus teachtaireachtaí earráide cabhrú leat tuiscint a fháil ar cad a tharla. Agus uaireanta ní mór duit faisnéis bhreise a fháil. Sa chás seo is fiú argóintí a chur leis --info nó --debug, agus féadfaidh sé a bheith úsáideach freisin –stacktrace. Tá bealach áisiúil ann chun tacar sonraí a ghiniúint le haghaidh rochtain ina dhiaidh sin ar liostaí seoltaí, an eochair --scan.
Le cabhair uaidh, baileoidh Bigtop an fhaisnéis go léir agus cuirfidh sé i gradle é, agus cuirfidh sé nasc ar fáil ina dhiaidh sin,
trína leanúint, beidh duine inniúil in ann a thuiscint cén fáth ar theip ar an tionól.
Tabhair faoi deara le do thoil go bhféadfadh an rogha seo faisnéis nach dteastaíonn uait a nochtadh, mar ainmneacha úsáideoirí, nóid, athróga timpeallachta, etc., mar sin bí cúramach.
Is minic go mbíonn earráidí ina n-iarmhairt ar an neamhábaltacht aon chomhpháirteanna atá riachtanach le haghaidh cóimeála a fháil. De ghnáth, is féidir leat an fhadhb a shocrú trí phaiste a chruthú chun rud éigin a shocrú sna foinsí, mar shampla, seoltaí i pom.xml in eolaire fréamhacha na bhfoinsí. Déantar é seo trína chruthú agus a chur san eolaire cuí ./bigtop/bigtop-packages/src/common/oozie/ paiste, mar shampla, i bhfoirm paiste2-fix.dif.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Is dócha, agus an t-alt seo á léamh, ní bheidh ort an réiteach thuas a dhéanamh duit féin.
Nuair a thugann tú isteach aon phaistí agus athruithe ar an meicníocht tionóil, b'fhéidir go mbeidh ort an tionól a "athshocrú" ag baint úsáide as an ordú glanta:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedRollfaidh an oibríocht seo siar gach athrú ar chóimeáil an chomhpháirt seo, agus déanfar an cóimeáil arís ina dhiaidh sin. An uair seo déanfaimid iarracht an tionscadal a thógáil in íomhá docker:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedRinneadh an tógáil faoi CentOS, ach is féidir é a dhéanamh freisin faoi Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indChomh maith le pacáistí a thógáil le haghaidh dáiltí Linux éagsúla, is féidir leis an uirlis stór a chruthú le pacáistí tiomsaithe, mar shampla:
./gradlew yumIs féidir cuimhneamh freisin ar thástálacha deataigh agus ar imscaradh i Docker.
Cruthaigh braisle de thrí nód:
./gradlew -Pnum_instances=3 docker-provisionerDéan tástálacha deataigh i gcnuasach de thrí nód:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerScrios braisle:
./gradlew docker-provisioner-destroyFaigh orduithe chun ceangal taobh istigh de choimeádáin dhuganna:
./gradlew docker-provisioner-sshTaispeáin stádas:
./gradlew docker-provisioner-statusIs féidir leat tuilleadh a léamh faoi thascanna Imscartha sna doiciméid.
Má labhairt linn faoi thástálacha, tá go leor leor acu, go príomha deataigh agus comhtháthú. Tá a n-anailís lasmuigh de raon feidhme an ailt seo. Lig dom a rá nach tasc chomh deacair é trealamh dáileacháin a chur le chéile agus a d’fhéadfadh a bheith ar an gcéad amharc. D’éirigh linn tástálacha a chur le chéile agus a phasáil ar na comhpháirteanna go léir a úsáidimid inár dtáirgeadh, agus ní raibh aon fhadhb againn ach iad a imscaradh agus oibríochtaí bunúsacha a dhéanamh sa timpeallacht tástála.
Chomh maith leis na comhpháirteanna atá ann cheana féin i Bigtop, is féidir aon rud eile a chur leis, fiú d'fhorbairt bogearraí féin. Tá sé seo go léir uathoibrithe go foirfe agus luíonn sé isteach sa choincheap CI/CD.
Conclúid
Ar ndóigh, níor cheart an dáileadh a tiomsaíodh ar an mbealach seo a sheoladh láithreach chuig táirgeadh. Ní mór duit a thuiscint, má tá fíor-ghá le do dháileadh a thógáil agus a thacú, ansin ní mór duit airgead agus am a infheistiú i seo.
Mar sin féin, i gcomhcheangal leis an gcur chuige ceart agus foireann ghairmiúil, is féidir go leor a dhéanamh gan réitigh tráchtála.
Tá sé tábhachtach a thabhairt faoi deara go bhfuil gá le tionscadal Bigtop féin a fhorbairt agus nach cosúil go bhfuil sé á fhorbairt go gníomhach inniu. Níl sé soiléir freisin an t-ionchas go mbeidh Hadoop 3 le feiceáil ann. Dála an scéil, má tá fíor-riachtanas agat le Hadoop 3 a thógáil, is féidir leat breathnú ar ó Arenadata, ina bhfuil, chomh maith le caighdeán
Tá roinnt comhpháirteanna breise ann (Ranger, Knox, NiFi).
Maidir le Rostelecom, dúinne tá Bigtop ar cheann de na roghanna atá á meas inniu. Cibé an roghnaíonn muid é nó nach ea, inseoidh am.
Aguisín
Chun comhpháirt nua a chur san áireamh sa tionól, ní mór duit a chur síos a chur le bigtop.bom agus ./bigtop-packages. Is féidir leat iarracht a dhéanamh é seo a dhéanamh de réir analaí leis na comhpháirteanna atá ann cheana féin. Déan iarracht é a dhéanamh amach. Níl sé chomh deacair mar is cosúil ar an gcéad amharc.
Cad a cheapann tú? Beidh áthas orainn do thuairim a fheiceáil sna tuairimí agus buíochas a ghabháil leat as do aire!
D'ullmhaigh foireann bainistíochta sonraí Rostelecom an t-alt
Foinse: will.com