Apache Bigtop en kies vandag 'n Hadoop-verspreiding

Apache Bigtop en kies vandag 'n Hadoop-verspreiding

Dit is waarskynlik geen geheim dat die afgelope jaar 'n jaar van groot verandering vir Apache Hadoop was nie. Verlede jaar het Cloudera en Hortonworks saamgesmelt (in wese 'n oorname van laasgenoemde), en Mapr is weens ernstige finansiële probleme aan Hewlett Packard verkoop. En as 'n paar jaar vroeër, in die geval van installasies op die perseel, die keuse meer dikwels tussen Cloudera en Hortonworks gemaak moes word, het ons vandag helaas geen keuse meer nie. Nog 'n verrassing was die feit dat Cloudera sedert Februarie vanjaar die beëindiging van die vrystelling van binêre weergawes van die verspreiding daarvan na die openbare bewaarplek aangekondig het, en nou is dit slegs beskikbaar met betaalde intekening. Die vermoë om die nuutste weergawes van CDH en HDP wat voor die einde van 2019 vrygestel is, af te laai, is natuurlik steeds beskikbaar, en ondersteuning daarvoor word binne een tot twee jaar verwag. Maar wat om volgende te doen? Vir diegene wat voorheen vir 'n intekening betaal het, het niks verander nie. En vir diegene wat nie na die betaalde weergawe van die verspreiding wil oorskakel nie, maar terselfdertyd die nuutste weergawes van die groepkomponente wil ontvang, sowel as pleisters en ander opdaterings, het ons hierdie artikel voorberei. Daarin sal ons moontlike opsies oorweeg om uit hierdie situasie te kom.

Die artikel is meer 'n oorsig. Dit sal nie verspreidings vergelyk en in detail ontleed nie, en daar sal geen resepte wees om dit te installeer en op te stel nie. Maar wat sal gebeur? Ons sal kortliks praat oor so 'n verspreidingskit soos Arenadata Hadoop, wat met reg ons aandag verdien het vanweë die beskikbaarheid daarvan, wat vandag 'n rariteit is. En dan praat ons oor Vanilla Hadoop, hoofsaaklik oor hoe dit met Apache Bigtop “gekook” kan word. Klaar? Dan welkom onder kat.

Arenadata Hadoop

Apache Bigtop en kies vandag 'n Hadoop-verspreiding

Dit is 'n heeltemal nuwe en voorlopig min bekende verspreidingskit van huishoudelike ontwikkeling. Ongelukkig is daar op die oomblik net oor hom op Habré Hierdie artikel.

Meer inligting kan gevind word op die amptelike Online projek. Die jongste weergawes van die verspreiding is gebaseer op Hadoop 3.1.2 vir weergawe 3, en 2.8.5 vir weergawe 2.

Padkaartinligting kan gevind word hier.

Apache Bigtop en kies vandag 'n Hadoop-verspreiding
Arenadata Cluster Manager Interface

Arenadata se sleutelproduk is Arenadata Cluster Manager (ADCM), wat gebruik word om die maatskappy se verskeie sagteware-oplossings te installeer, op te stel en te monitor. ADCM word gratis versprei, en die funksionaliteit daarvan word uitgebrei deur bundels daarby te voeg, wat 'n stel ansible-speelboeke is. Bundels word in twee tipes verdeel: onderneming en gemeenskap. Laasgenoemde is beskikbaar vir gratis aflaai vanaf die Arenadata-webwerf. Dit is ook moontlik om jou eie bundel te ontwikkel en aan ADCM te koppel.

Vir die ontplooiing en bestuur van Hadoop 3 word 'n gemeenskapsweergawe van die bundel in samewerking met ADCM aangebied, en vir hadoop 2 is daar slegs Apache Ambari as alternatief. Wat die bewaarplekke met pakkette betref, is dit oop vir publieke toegang, dit kan op die gewone manier vir alle groepkomponente afgelaai en geïnstalleer word. Oor die algemeen lyk die verspreiding baie interessant. Ek is seker daar sal diegene wees wat gewoond is aan oplossings soos Cloudera Manager en Ambari, en wat van ADCM self sal hou. Vir iemand sal dit ook 'n groot pluspunt wees dat die verspreidingskit ingesluit in die sagteware register vir invoervervanging.

As ons oor die nadele praat, sal dit dieselfde wees as vir alle ander Hadoop-verspreidings. Naamlik:

  • Die sogenaamde "vendor lock-in". Deur die voorbeeld van Cloudera en Hortonworks te gebruik, het ons reeds verstaan ​​dat daar altyd 'n risiko is om die maatskappy se beleid te verander.
  • Aansienlike agterstand agter Apache stroomop.

Vanielje Hadoop

Apache Bigtop en kies vandag 'n Hadoop-verspreiding

Soos u weet, is Hadoop nie 'n monolitiese produk nie, maar in werklikheid 'n hele sterrestelsel van dienste rondom sy HDFS-verspreide lêerstelsel. Min mense sal tevrede wees met een lêergroepering. Sommige het Hive nodig, ander het Presto nodig, en dan is daar HBase en Phoenix, Spark word toenemend gebruik. Oozie, Sqoop en Flume word soms gevind vir orkestrasie en data-laai. En as die kwessie van sekuriteit opduik, dan word Kerberos onmiddellik in samewerking met Ranger onthou.

Binêre weergawes van Hadoop-komponente is beskikbaar op die webwerf van elk van die ekosisteemprojekte in die vorm van tarballs. U kan dit aflaai en die installasie begin, maar met een voorwaarde: benewens selfsamestelling van pakkette uit "rou" binaries, wat u heel waarskynlik wil doen, sal u geen vertroue hê in die verenigbaarheid van die afgelaaide weergawes van die komponente met mekaar. Die voorkeuropsie is om met Apache Bigtop te bou. Bigtop sal jou toelaat om van Apache maven-bewaarplekke te bou, toetse uit te voer en pakkette te bou. Maar, wat vir ons baie belangrik is, Bigtop sal daardie weergawes van die komponente saamstel wat met mekaar versoenbaar sal wees. Ons sal later in meer detail daaroor praat.

Apache bigtop

Apache Bigtop en kies vandag 'n Hadoop-verspreiding

Apache Bigtop is 'n hulpmiddel vir die bou, verpakking en toetsing van 'n aantal
oopbronprojekte soos Hadoop en Greenplum. Bigtop het baie
vrystellings. Ten tyde van die skryf hiervan is die nuutste stabiele weergawe weergawe 1.4,
en in meester was 1.5. Verskillende weergawes van vrystellings gebruik verskillende weergawes
komponente. Byvoorbeeld, vir 1.4 Hadoop-kernkomponente het weergawe 2.8.5, en in meester
2.10.0. Die lys van ondersteunde komponente verander ook. Iets oud en
die onhernubare gaan weg, en iets nuuts, meer in aanvraag, kom in die plek daarvan, en
nie noodwendig iets van die Apache-familie self nie.

Boonop het Bigtop baie vurke.

Toe ons begin om met Bigtop kennis te maak, was ons eerstens verras deur sy beskeie, in vergelyking met ander Apache-projekte, voorkoms en roem, sowel as 'n baie klein gemeenskap. Hieruit volg dat daar 'n minimum aan inligting oor die produk is, en die soeke na oplossings vir probleme wat op forums en poslyste ontstaan ​​het, mag dalk glad nie iets gee nie. Aanvanklik was dit vir ons 'n moeilike taak om die volledige samestelling van die verspreiding te voltooi as gevolg van die kenmerke van die instrument self, maar ons sal 'n bietjie later hieroor praat.

As 'n teaser, kan diegene wat een keer sulke projekte van die Linux-heelal soos Gentoo en LFS besoek het dit nostalgies aangenaam vind om met hierdie ding te werk en daardie "epiese" tye te onthou toe ons self gesoek het (of selfs geskryf het) e-geboue en gereeld mozilla herbou het met nuwe kolle.

Die groot voordeel van Bigtop is die openheid en veelsydigheid van die gereedskap waarop dit gebaseer is. Dit is gebaseer op Gradle en Apache Maven. Gradle is redelik bekend as die instrument waarmee Google Android bou. Dit is buigsaam, en, soos hulle sê, "getoets in die stryd." Maven is 'n standaardinstrument vir die bou van projekte in Apache self, en aangesien die meeste van sy produkte deur Maven vrygestel word, sou dit ook nie daarsonder kon klaarkom nie. Dit is die moeite werd om aandag te skenk aan POM (projekobjekmodel) - 'n "fundamentele" xml-lêer met 'n beskrywing van alles wat nodig is vir Maven om met jou projek te werk, waaromheen alle werk gebou is. Presies by
dele van Maven en van die hindernisse wat nuwelinge in Bigtop gewoonlik raakloop.

Praktyk

So waar moet jy begin? Ons gaan na die aflaaibladsy en laai die nuutste stabiele weergawe as 'n argief af. Jy kan ook binêre artefakte vind wat deur Bigtop saamgestel is daar. Terloops, van die algemene pakketbestuurders word YUM en APT ondersteun.

Alternatiewelik kan u die nuutste stabiele weergawe direk vanaf
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Kloon na "bigtop"...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

Die gevolglike ./bigtop-gids lyk so:

./bigtop-bigpetstore - demo toepassings, sintetiese voorbeelde
./bigtop-ci - CI toolkit, jenkins
./bigtop-data-generators - data generering, sintetiese, vir rooktoetse, ens.
./bigtop-deploy - ontplooiing gereedskap
./bigtop-packages - konfigurasies, skrifte, bou kolle, die hoofdeel van die instrument
./bigtop-test-framework - toetsraamwerk
./bigtop-tests - die toetse self, laai en rook
./bigtop_toolchain - bou omgewing, berei die omgewing voor vir die werktuig om te werk
./build - bou werksgids
./dl - gids vir afgelaaide bronne
./docker - bou docker-beelde in, toets
./gradle - Gradle config
./output - gids waarheen bou-artefakte gaan
./provisioner - voorsiening

Die interessantste op hierdie stadium vir ons is die hoofopstelling ./bigtop/bigtop.bom, waarin ons alle ondersteunde komponente met weergawes sien. Dit is hier waar ons 'n ander weergawe van die produk kan spesifiseer (as ons dit skielik wil probeer bou) of 'n samestelling weergawe (as ons byvoorbeeld 'n beduidende pleister bygevoeg het).

Ook van groot belang is die subgids ./bigtop/bigtop-packages, wat direk verband hou met die proses om komponente en pakkette daarmee saam te stel.

So, ons het die argief afgelaai, dit uitgepak of 'n kloon van github gemaak, kan ons begin bou?

Nee, kom ons berei eers die omgewing voor.

Voorbereiding van die omgewing

En hier het ons 'n bietjie afwyking nodig. Om byna enige min of meer komplekse produk te bou, het jy 'n sekere omgewing nodig - in ons geval is dit die JDK, dieselfde gedeelde biblioteke, koplêers, ens., gereedskap, byvoorbeeld mier, ivy2 en nog baie meer. Een opsie om die regte omgewing vir Bigtop te kry, is om die regte komponente op die bougasheer te installeer. Ek kan verkeerd wees in die chronologie, maar dit blyk dat daar sedert weergawe 1.0 ook 'n bou-opsie in voorafgekonfigureerde en beskikbare docker-beelde was, jy kan dit hier vind.

Wat die voorbereiding van die omgewing betref, is daar 'n assistent hiervoor - Puppet.

U kan die volgende opdragte gebruik, die bekendstelling word vanaf die wortelgids gedoen
instrument, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Of direk via marionet:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Ongelukkig, selfs in hierdie stadium, kan probleme ontstaan. Die algemene raad hier is om 'n ondersteunde verspreiding te gebruik, op datum op die bougasheer, of probeer die docker-pad.

vergadering

Wat kan ons probeer insamel? Die antwoord op hierdie vraag sal die uitvoer van die opdrag gee

./gradlew tasks

In die pakkettake-afdeling is daar 'n aantal produkte wat die eindartefakte van Bigtop is.
Hulle kan geïdentifiseer word deur die agtervoegsel -rpm of -pkg-ind (in die geval van gebou
in docker). In ons geval is die interessantste Hadoop.

Kom ons probeer om ons boubedieneromgewing in te bou:

./gradlew hadoop-rpm

Bigtop sal die nodige bronne aflaai wat nodig is vir 'n spesifieke komponent en begin bou. Die werk van die instrument is dus gekoppel aan die Maven-bewaarplekke en ander bronne, dit wil sê, dit benodig toegang tot die internet.

Tydens werking word standaard uitset gegenereer. Soms kan dit en foutboodskappe gebruik word om te verstaan ​​wat verkeerd geloop het. En soms het jy meer inligting nodig. In hierdie geval moet jy argumente byvoeg --info of --debugen kan ook nuttig wees –stacktrace. Daar is 'n gerieflike manier om 'n datastel te genereer vir daaropvolgende toegang tot poslyste, die sleutel --scan.

Daarmee sal bigtop al die inligting versamel en dit in graad plaas, waarna dit 'n skakel sal uitreik,
na deurloop wat 'n bevoegde persoon sal kan verstaan ​​waarom die byeenkoms misluk het.
Wees bewus daarvan dat hierdie opsie inligting publiek kan maak wat jy nie wil hê nie, soos gebruikersname, nodusse, omgewingsveranderlikes, ens., so wees versigtig.

Dikwels is foute die gevolg van die onvermoë om enige komponente wat nodig is vir samestelling te verkry. Tipies, die manier om 'n probleem op te los is om 'n pleister te skep om iets in die bronne reg te stel, soos 'n adres in pom.xml in die bronhoofgids. Dit word gedoen deur dit te skep en in die toepaslike gids te plaas ./bigtop/bigtop-packages/src/common/oozie/ pleister, byvoorbeeld, in die vorm patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

Heel waarskynlik, wanneer u hierdie artikel lees, hoef u nie die bogenoemde regstelling self te doen nie.

Wanneer jy enige pleisters en wysigings aan die boumeganisme bekendstel, moet jy dalk die bou "terugstel" deur die skoonmaakopdrag:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

Hierdie bewerking sal alle veranderinge aan die samestelling van hierdie komponent terugrol, waarna die samestelling weer uitgevoer sal word. Kom ons probeer hierdie keer om die projek in 'n docker-beeld te bou:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

Die bou is onder CentOS gedoen, maar jy kan dit ook onder Ubuntu doen:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Benewens die bou van pakkette vir verskeie Linux-verspreidings, kan die instrument 'n bewaarplek skep met saamgestelde pakkette, byvoorbeeld:

./gradlew yum

Jy kan ook onthou van rooktoetse en ontplooiing in docker.

Skep 'n groep van drie nodusse:

./gradlew -Pnum_instances=3 docker-provisioner

Doen rooktoetse op 'n groep van drie nodusse:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Vee groepering uit:

./gradlew docker-provisioner-destroy

Kry opdragte om binne docker-houers te koppel:

./gradlew docker-provisioner-ssh

Wys staat:

./gradlew docker-provisioner-status

Jy kan meer lees oor Ontplooiingstake in die dokumentasie.

As ons praat oor toetse, dan is daar 'n redelike groot aantal daarvan, hoofsaaklik rook en integrasie. Hul ontleding is buite die bestek van hierdie artikel. Laat ek net sê dat die bou van 'n verspreiding nie so 'n moeilike taak is as wat dit met die eerste oogopslag mag lyk nie. Al die komponente wat ons in ons produksie gebruik kon saamstel en toetse daarop slaag, en ons het ook geen probleme gehad om dit te ontplooi en basiese bewerkings in 'n toetsomgewing uit te voer nie.

Benewens die bestaande komponente in Bigtop, is dit moontlik om iets anders by te voeg, selfs jou eie sagteware-ontwikkeling. Dit alles is perfek geoutomatiseer en pas in die konsep van CI / CD.

Gevolgtrekking

Uiteraard moet 'n verspreiding wat op hierdie manier saamgestel is nie onmiddellik na produksie gestuur word nie. Jy moet verstaan ​​dat as daar 'n werklike behoefte is om jou verspreiding te bou en te ondersteun, dan moet jy finansieel en betyds daarin belê.

In kombinasie met die regte benadering en 'n professionele span is dit egter heel moontlik om sonder kommersiële oplossings klaar te kom.

Dit is belangrik om daarop te let dat die Bigtop-projek self ontwikkeling nodig het, en dit blyk dat daar vandag geen aktiewe ontwikkeling daarin is nie. Die vooruitsig dat Hadoop 3 daarin sal verskyn, is ook onbegryplik. Terloops, as jy werklik 'n behoefte het om Hadoop 3 te bou, kan jy kyk na vurk van Arenadata, waarin, bykomend tot standaard
daar is 'n aantal bykomende komponente (Ranger, Knox, NiFi).

Wat Rostelecom betref, is Bigtop vir ons een van die opsies wat vandag oorweeg word. Of ons daaroor besluit of nie, net die tyd sal leer.

Aanhangsel

Om 'n nuwe komponent by die samestelling in te sluit, moet jy die beskrywing daarvan by bigtop.bom en ./bigtop-pakkette voeg. Jy kan probeer om dit te doen in analogie met die bestaande komponente. Probeer dit uitvind. Dit is nie so moeilik soos dit met die eerste oogopslag lyk nie.

Wat dink jy? Ons sal bly wees om jou mening in die kommentaar te sien en dankie vir jou aandag!

Die artikel is voorberei deur die databestuurspan van Rostelecom

Bron: will.com

Voeg 'n opmerking