Apache Bigtop ja Hadoop'i jaotuse valik täna

Tõenäoliselt ei üllata see kedagi, et eelmine aasta oli Apache Hadoopile suurte muutuste aasta. Eelmisel aastal toimus Cloudera ja Hortonworksi ühinemine (praktiliselt teise omandamine), samas kui tõsiste rahasüsteemide tõttu müüdi Mapr Hewlett Packile. Kui paar aastat tagasi tehti on-premises installatsioonide puhul valik peamiselt Cloudera ja Hortonworksi vahel, siis täna on see valik, kahjuks, kadunud. Üllatusena kuulutas Cloudera alates tänavu veebruarist, et lõpetab oma jaotuse binaartootmise avalikus hoidlas, ja need on nüüd saadaval vaid tasulise tellimuse alusel. Loomulikult on võimalik alla laadida viimased versioonid CDH-st ja HDP-st, mis on välja antud 2019. aasta lõpuni, ja nende osas on eeldatav tugi ühe kuni kahe aasta jooksul. Kuid mis edasi saab? Nendel, kes varem maksid tellimuse eest, ei ole midagi muutunud. Ja neile, kes ei soovi minna tasulisele jaotusele, kuid tahavad siiski saada värskeid komponente klastrile, samuti patšide ja muude värskendustega, oleme koostanud selle artikli. Sellest räägime võimalikest lahendustest tekkinud olukorrast.

Artikkel on rohkem ülevaatlik. Sellest ei tule jaotuste võrdlust ning nende põhjalikku analüüsi ega ka juhiseid nende paigaldamiseks ja seadistamiseks. Mis siis ikkagi tuleb? Rääkime lühidalt jaotusest Arenadata Hadoop, mis on õigustatult meie tähelepanu ära teeninud oma kergesti kättesaadavuse tõttu, mis on tänapäeval haruldane. Seejärel räägime Vanilla Hadoopist, peamiselt sellest, kuidas seda saab 'valmistada' Apache Bigtopi abil. Kas olete valmis? Siis tere tulemast edasi.

Arenadata Hadoop

See on täiesti uus ja seni veel vähe tuntud kodumaine jaotus. Kahjuks on hetkel Habr's sellest vaid. see artikkel.

Üksikasjalikumat teavet leiate ametlikult veebisaidil projektilt. Viimased versioonid jaotusest põhinevad Hadoop 3.1.2-l kolmele versioonile ja 2.8.5-le kahte versiooni.

Roadmap'i teavet saab leida siin.

Arenadata Cluster Manageri liides

Arenadata peamine toode on Arenadata Cluster Manager (ADCM), mis kasutatakse erinevate tarkvaralahenduste paigaldamiseks, seadistamiseks ja jälgimiseks. ADCM on tasuta, kuid selle funktsionaalsust laiendatakse bundlite lisamisega, mis koosnevad ansible-playbookidest. Bundlid jagunevad kaheks: enterprise ja community. Viimased on tasuta allalaadimiseks saadaval Arenadata veebisaidilt. Samuti on võimalik arendada oma bundli ja ühendada see ADCM-iga.

Hadoop 3 jaoks pakutakse community-versiooni bundlist koos ADCM-iga, kuid Hadoop 2 jaoks on saadaval vaid Apache Ambari alternatiivina. Mis puudutab paketirepositoore, siis need on avatud avalikuks juurdepääsuks, neid saab alla laadida ja paigaldada kõikidele klastrite komponentidele tuttaval viisil. Üldiselt näeb distributsioon üsna huvitav välja. Olen kindel, et leidub inimesi, kes on harjunud selliste lahendustega nagu Cloudera Manager ja Ambari ning kellele ADCM meeldib. Paljude jaoks on suur pluss ka see, et distributsioon on tarkvararegistris importimislahenduste jaoks.

Räägime miinustest, siis need on samad, mis kõigi teiste Hadoopi distributsioonide puhul. Nendeks on:

• Nii nimetatud „vendor lock-in”. Cloudera ja Hortonworksi kogemusest oleme juba aru saanud, et alati on olemas risk, et ettevõtte poliitikat muudetakse.
• Oluline mahajäämus Apache allvoolust.

Vanilla Hadoop

Kuidas teate, Hadoop ei ole monoliitne toode, vaid sisuliselt terve teenuste komplekt tema jaotatud failisüsteemi HDFS ümber. Harvadel juhtudel piisab üksnes ühest failiklastrist. Mõned vajavad Hive'i, teised Presto't, lisaks on olemas HBase ja Phoenix, järjest sagedamini kasutatakse Spark'i. Andmete orkestreerimiseks ja laadimiseks kasutatakse vahel Ooziet, Sqoop'i ja Flume'i. Ja kui tekib küsimus turvalisuse tagamisest, siis meenub kohe Kerberos koos Ranger'iga.

Hadoopi komponentide binaarversioonid on saadaval iga ökosüsteemi projekti veebilehelt tarball’idena. Neid saab alla laadida ja installimist alustada, kuid ühe tingimusega: peale pakettide iseseisva ülesehitamise „tooretest“ binaaridest, mida te tõenäoliselt soovite teha, ei saa te olla kindel, et allalaaditud komponentide versioonid omavahel ühilduvad. Eelistatum variant on ülesehitamine Apache Bigtopi abil. Bigtop võimaldab ehitada pakette Apache'i maven-hoidlatest, läbi viia teste ja koguda pakette. Mis meie jaoks väga oluline, Bigtop kogub need komponentide versioonid, mis on omavahel ühilduvad. Sellest räägime lähemalt edasi.

Apache Bigtop

Apache Bigtop on tööriist erinevate avatud lähtekoodiga projektide, näiteks Hadoopi ja Greenplumi, ülesehitamiseks, pakettide loomiseks ja testimiseks. Bigtopil on mitmeid
väljalaskeid. Artikli kirjutamise ajal oli viimane stabiilne väljaanne versioon 1.4,
samal ajal kui master-is oli 1.5. Erinevates väljalaskeversioonides kasutatakse erinevaid versioone
komponentidest. Näiteks versioonis 1.4 on Hadoopi põhikomponentide versioon 2.8.5, samas kui master-is on 2.10.0. Tugi komponentide koosseis muutub. Midagi, mis on vananenud ja
mitte uuendatav, kaob ja selle asemele tuleb midagi uut ja nõudlikumat, ning
see ei pruugi tingimata olla Apache'i perekonnast.
Lisaks on Bigtopil mitmeid
fork'e.

Kui me Bigtopiga tutvumist alustasime, siis esmalt üllatas meid selle tagasihoidlik, võrreldes teiste Apache'i projektidega, levimus ja tuntus ning väga väike kogukond. Seega on toote kohta teabe leidmine minimaalne ja probleemide lahendamise otsimine foorumitest ja meiliringidest ei pruugi anda midagi. Alguses osutus täieliku jaotuse kogumine selle tööriista eripärade tõttu meile keeruliseks, kuid sellest räägime pisut hiljem. Teaserina — neile, kellele on kunagi meeldinud sellised Linuxi universumi projektid nagu Gentoo ja LFS, võib olla nostalgiat tekitav töötada selle asjaga ja meenutada neid „kangelaslikke“ aegu, kui me ise otsisime (või isegi kirjutasime) ebuild’e ja kogusid regulaarselt uusi patše Mozilla jaoks..

Nostalgia

Kogumine

Bigtopi suurim eelis on selle tööriistade avatus ja universaalsus, millele see rajatud on. Selle aluseks on Gradle ja Apache Maven. Gradle on üsna tuntud tööriist, millega Google koostab Androidi. See on paindlik ning nagu öeldakse, "katsetatud lahingus". Maven on kehtiv projektide koostamise tööriist Apache'is ja kuna enamik selle tooteid välja antakse just Maveniga, ei saa ka sellest mööda vaadata. Tasub tähelepanu pöörata POM-ile (project object model) – "põhiline" XML-fail, mis kirjeldab kõike vajalikku Maveniga teie projekti töötamiseks, mille ümber kogu töö toimub. Just selles
Maveni osas tekivad mõned takistused, millega tavaliselt kohtuvad esmakordselt Bigtopiga tegelema asuvad.

Praktika

Nii et, kust alustada? Läheme allalaadimislehele ja laadime alla viimase stabiilse versiooni arhiivina. Sama lehelt leiab ka Bigtopiga loodud binaarfailid. Muide, tuntud paketihaldurite seas toetatakse YUM-i ja APT-d.

Alternatiivse meetodina saab alla laadida viimase stabiilse väljalaskmise otse
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Kloneerimine kausta "bigtop"…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Objektide hankimine: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, valmis.
Muudatuste määramine: 100% (20503/20503), valmis.
Failide värskendamine: 100% (1998/1998), valmis.

Valminud kataloog ./${bigtop} näeb umbes välja selline:

.${bigtop}-bigpetstore — näidiste rakendused, sünteetilised näited
.${bigtop}-ci — CI tööriistad, jenkins
.${bigtop}-data-generators — andmete genereerimine, sünteetika, smoke-testide jms jaoks.
.${bigtop}-deploy — rakendamise tööriistad
.${bigtop}-packages — konfiguratsioonid, skriptid, plaastrid koostamiseks, tööriista põhiosa
.${bigtop}-test-framework — testimisraamistik
.${bigtop}-tests — testid, koormuse ja smoke-testid
.${bigtop}_toolchain — ehituskeskkond, tööriista tööks ettevalmistamine
.${build} — koostamise töökaust
.${dl} — allalaaditud lähtefailide kataloog
.${docker} — docker-piltides koostamine, testimine
.${gradle} — gradle konfiguratsioon
.${output} – kataloog, kuhu kogunevad koostamisartefaktid
.${provisioner} — provisioneerimine

Selles etapis on meie jaoks kõige huvitavam põhikonfiguratsioon .${bigtop}/${bigtop}.bom, milles me näeme kõiki toetatud komponente koos versioonidega. Just siin saame määrata mõne teise toote versiooni (kui soovime seda proovida) või kogumiversiooni (näiteks, kui oleme lisanud olulise plaastri).

Samuti tõmbab tähelepanu alamkaust .\/bigtop\/bigtop-packages, mis on otseselt seotud komponentide ja nendega pakettide koostamise protsessiga.

Nii, me oleme allalaadinud arhiivi, lahanud selle lahti või loonud klooni github'ist, saame alustada kokkupanekut?

Ei, kõigepealt valmistame keskkonna ette.

Keskkonna ettevalmistamine

Ja siin on vajalik väike kõrvalepõige. Peaaegu iga keerukama toote koostamiseks on vajalik teatud keskkond — meie puhul on see JDK, samad jagatud raamatukogud, pealkirjafailid jne, tööriistad nagu ant, ivy2 ja palju muud. Üks viis saada vajalik Bigtopi keskkond on installida vajalikud komponendid koostamisserverisse. Ma võib-olla eksin kronoloogias, kuid tundub, et alates versioonist 1.0 on ka olemas võimalus koostamiseks eelnevalt konfigureeritud ja kergesti kättesaadavates docker-piltides, millega saab tutvuda siin.

Keskkonna ettevalmistamiseks on olemas abimees — Puppet.

Saame kasutada järgmisi käsklusi, käivitamine toimub juurkataloogist
tööriista, .\/bigtop:

.\/gradlew toolchain\n.\/gradlew toolchain-devtools\n.\/gradlew toolchain-puppetmodules

Või otse puppet'i kaudu:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"\npuppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"\npuppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Kahjuks võivad juba sel etapil tekkida keerukused. Üks üldine nõuanne on kasutada toetatud ja ajakohastatud distributsiooni koostamisserveris või proovida teed docker'iga.

Kogumine

Mida me siis proovida saame? Sellele küsimusele vastab käskluse väljund

.\/gradlew tasks

Pakettide ülesannete jaotises on rida tooteid, mis on Bigtopi lõppartefaktid.
Nende määrab kindlaks sufiks -rpm või -pkg-ind (koostamisel
docker'is). Meie puhul on kõige huvitavam Hadoop.

Proovime koostada meie build-serveri keskkonnas:

.\/gradlew hadoop-rpm

Bigtop laadib alla vajalike allikate, mis on konkreetse komponendi jaoks vajalikud, ja alustab koostamist. Nii on tööriista funktsionaalsus seotud Maven'i ja teiste allikate repodega, seega vajab see juurdepääsu Internetile.

Töötamise käigus genereeritakse standardne väljund. Mõnikord saab selle põhjal ja veateadete järgi aru, mis valesti läks. Teinekord on aga vaja lisateavet. Sel juhul tuleks lisada argumendid --info või --debug, samuti võib kasuks tulla --stacktrace. On mugav viis andmestiku koostamiseks edasiseks pöördumiseks postitusloendites, võti --scan.

Aitavad bigtop koguda kogu teabe ja salvestada gradle'i, pärast mida antakse link,
mille kaudu asjatundlik isik saab aru saada, miks koostamine ebaõnnestus.
Tuleb meeles pidada, et see valik võib muuta avalikuks teile soovimatu teabe, näiteks kasutajanimed, sõlmede nimed, keskkonnamuutujad jne, seega olge ettevaatlik.

Tihti on vead tingitud asjaolust, et mingite koostamiseks vajalike komponentide saamine on võimatu. Reeglina saab probleemi lahendada, luues patši, et midagi allikatest parandada, näiteks aadress pom.xml failis allika juurkataloogis. Seda tehakse luues ja paigutades selle vastavasse kataloogi .\/bigtop\/bigtop-packages\/src\/common\/oozie\/ patšina, näiteks kujul patch2-fix.diff.

--- a\/pom.xml
+++ b\/pom.xml
@@ -136,7 +136,7 @@


central
- http:\/\/repo1.maven.org\/maven2
+ https:\/\/repo1.maven.org\/maven2

false

Tõenäoliselt ei pea te antud parendust eespool kirjutatud artikli lugemise ajal ise tegema.

Mõningate patšide ja paranduste rakendamisel võib osutuda vajalikuks "nullida" koostamine puhastamiskäsklusega:

.\/gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

See operatsioon tagastab kõik muudatused selle komponendi koostamises, pärast mida koostamine viiakse uuesti läbi. Seekord proovime projekti koostada docker-pildina:

.\/gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Ülesanne :hadoop-pkg-ind
Koostatakse 1.2.1 hadoop-pkg centos-7 Dockeris...
+++ dirname .\/bigtop-ci\/build.sh
++ cd .\/bigtop-ci\/..
++ pwd
+ BIGTOP_HOME=\/tmp\/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop\/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop\/slaves:1.2.1-centos-7 \/sbin\/init
+
KONTEINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
rohke väljundit
....
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-client-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Kirjutatud: \/bigtop\/build\/hadoop\/rpm\/RPMS\/x86_64\/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd \/bigtop\/build\/hadoop\/rpm\/\/BUILD
+ cd hadoop-2.8.5-src
+ \/usr\/bin\/rm -rf \/bigtop\/build\/hadoop\/rpm\/BUILDROOT\/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): \/bin\/sh -e \/var\/tmp\/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): \/bin\/sh -e \/var\/tmp\/rpm-tmp.CwDb22
+ cd \/bigtop\/build\/hadoop\/rpm\/\/BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Loome \/bigtop\/build\/hadoop\/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) lõpetatud. Kestis 38 min 1.151 sek.
:hadoop-pkg (Thread[Task worker for ':',5,main]) käivitunud.
> Ülesanne :hadoop-pkg
Ülesanne ':hadoop-pkg' ei ole ajakohane, kuna:
Ülesanne ei ole kuulutanud mingeid väljundeid, hoolimata tegevuste teostamisest.
:hadoop-pkg (Thread[Task worker for ':',5,main]) lõpetatud. Kestis 0.0 sek.
EHITUS ÕNNESTUS 40m 37s
6 teostatavat ülesannet: 6 teostatud
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:\/bigtop\/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:\/bigtop\/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Viga: Konteinerit ei leitud:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
EHITUS ÕNNESTUS 41m 24s
1 teostatav ülesanne: 1 teostatud

Kogumine tehti CentOS-i peale, kuid on võimalik teha ka Ubuntu peale:

.\/gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Lisaks pakettide kogumisele erinevatele Linuxi distributsioonidele, suudab tööriist luua ka repository kogutud paketiga, näiteks:

.\/gradlew yum

Samuti võib meenutada smoke-test'e ja juurutamist dockeris.

Loo kluster kolmest sõlmest:

.\/gradlew -Pnum_instances=3 docker-provisioner

Käivita smoke-testid kolmes sõlmes olevas klastris:

.\/gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Kustuta kluster:

.\/gradlew docker-provisioner-destroy

Saa käsud docker-konteineritesse sisenemiseks:

.\/gradlew docker-provisioner-ssh

Näita olekut:

.\/gradlew docker-provisioner-status

Rohkem teavet juurutamise ülesannete kohta saab lugeda dokumentatsioonist.

Testide arvu osas on neid üsna palju, peamiselt smoke- ja integratsioonitestid. Nende analüüs jääb käesolevast artiklist välja. Ütlen vaid, et distributsiooni kogumine ei ole nii keeruline ülesanne, kui see esmapilgul näida võib. Kõik komponendid, mida me enda tootmises kasutame, õnnestus kokku panna ja testida, samuti ei olnud meil probleeme nende juurutamise ja baasoperatsioonide teostamisega testkeskkonnas.

Lisaks olemasolevatele komponentidele Bigtopis, on võimalik lisada ka midagi muud, isegi oma tarkvaraarendus. Kõik see automatiseeritakse suurepäraselt ja sobib CI/CD kontseptsiooni.

Kokkuvõte

On ilmne, et sellisel viisil kokku pandud distributsiooni ei tohiks kohe tootmisse saata. Tuleb mõista, et kui on reaalne vajadus oma distributsiooni kogumise ja hooldamise järele, tuleb sellesse investeerida nii rahaliselt kui ajaliselt.

Siiski, õige lähenemise ja professionaalse meeskonnaga on täiesti võimalik läbi saada ka ilma kommertslahendusteta.

Oluline on märkida, et Bigtopi projekt vajab arengut ja tundub, et praegu ei toimu selles aktiivset arendust. Samuti pole selge, millised on perspektiivid Hadoop 3 ilmnemiseks. Kui teil on reaalne vajadus Hadoop 3 kogumise järele, võite vaadata fork Arenadata, kus lisaks tavakomponentidele
on veel terve rida täiendavaid (Ranger, Knox, NiFi).

Mis puutub Rostelekki, siis meie jaoks on Bigtop üks kaalutud variante tänasel päeval. Kas me valime seda või mitte - näitab aeg.

Lisa

Uue komponendi lisamiseks kogumisse tuleb selle kirjeldus lisada bigtop.bom ja ./bigtop-packages. Proovige seda teha sarnaste komponentide põhjal. Püüdke aru saada. See pole nii keeruline, nagu esmapilgul tundub.

Kuidas teie arvate? Oleme rõõmsad, kui jagate oma arvamust kommentaarides ning aitäh tähelepanu eest!

Artikli on koostanud Andmete Halduse Meeskond „Rostelecom“

Allikas: habr.com