Ehk ei ole kellelegi ĂŒllatus, et eelmine aasta oli Apache Hadoopile suurte muudatuste aasta. Eelmisel aastal toimus Cloudera ja Hortonworks'i ĂŒhinemine (sisuliselt teise omandamine), ning Mapr, seoses tĂ”siste rahaliste probleemidega, mĂŒĂŒdi Hewlett Packardile. Kui paar aastat tagasi, on-premises installatsioonide puhul, tuli valida enamasti Cloudera ja Hortonworks'i vahel, siis tĂ€na, kahjuks, seda valikut enam ei ole. Ăllatusena kuulutas Cloudera veebruarist selle aasta algusest, et lĂ”petab oma distributsiooni binaarsed kogumid avalikus hoidlas, ning nĂŒĂŒd on need saadaval vaid tasulise tellimuse alusel. Loomulikult on endiselt vĂ”imalik alla laadida viimased CDH ja HDP versioonid, mis on vĂ€lja antud enne 2019. aasta lĂ”ppu, ja nendele pakutakse toetust veel ĂŒhe kuni kahe aasta jooksul. Aga mis nĂŒĂŒd edasi? Need, kes varem tasusid tellimuse eest, ei pea midagi muutma. Ent need, kes ei soovi minna tasulise versiooni peale, kuid soovivad siiski vĂ”imalust saada vĂ€rskeid versioone klasterkomponentidest ning ka uusi plaastrite ja muid vĂ€rskendusi, leiavad siit artiklist vĂ”imalikke lahendusi.
Artikkel on pigem ĂŒlevaatlik. Selles ei toimu jaotuste vĂ”rdlemist ega nende pĂ”hjalikku analĂŒĂŒsi, samuti ei esitata retsepte nende paigaldamiseks ja seadistamiseks. Mis siis ikkagi toimub? RÀÀgime lĂŒhidalt jaotusest nimega Arenadata Hadoop, mis tĂ”eliselt vÀÀrib meie tĂ€helepanu oma kerguse tĂ”ttu, mis tĂ€na on suur haruldus. SeejĂ€rel rÀÀgime Vanilla Hadoopist, peamiselt sellest, kuidas seda "valmistada" Apache Bigtopi abil. Kas olete valmis? Siis tere tulemast allpool.
Arenadata Hadoop

See on tĂ€iesti uus ja praegu veel vĂ€he tuntud kodumaine jaotus. Kahjuks on praeguseks hetkeks Habrâis sellest vaid .
VÀÀrika teabe leiate ametlikult projektist. Viimased jaotuse versioonid pÔhinevad Hadoop 3.1.2 kolmandas versioonis ja 2.8.5 teises versioonis.
Teavet teekaardi kohta leiate .

Arenadata Cluster Manageri liides
Arenadata peamine toode on , mis kasutatakse erinevate tarkvaralahenduste seadistamiseks, haldamiseks ja jĂ€lgimiseks. ADCM jaotatakse tasuta ning selle funktsionaalsust saab laiendada bundlite lisamisega, mis on komplekt ansible-playbookâe. Bundlid jagunevad kaheks: enterprise ja community. Viimased on tasuta allalaadimiseks saadaval Arenadata veebisaidilt. Samuti on vĂ”imalus vĂ€lja töötada oma bundel ja see ADCM-iga ĂŒhendada.
Hadoop 3 paigaldamiseks ja haldamiseks on saadaval community-versioon bundlist koos ADCM-iga, kuid Hadoop 2 puhul on saadaval vaid alternatiivina. Mis puudutab pakettide hoidlaid, siis need on avatud avalikule juurdepÀÀsule ja neid saab alla laadida ning installida tavapĂ€rasel viisil kĂ”igi klastrikomponentide jaoks. Ăldiselt tundub distributiiv vĂ€ga huvitav. Olen kindel, et leidub inimesi, kes on harjunud selliste lahendustega nagu Cloudera Manager ja Ambari, kellele ka ADCM meeldib. Kellegi jaoks on suur pluss ka see, et distributiiv importimise asendamiseks.
Kui rÀÀkida miinusest, siis need on samad, mis kÔigi teiste Hadoopi distributiivide puhul. Nimelt:
- Nii nimetatud âvendor lock-inâ. Cloudera ja Hortonworks'i nĂ€ite pĂ”hjal oleme juba mĂ”istnud, et alati on olemas oht ettevĂ”tte poliitika muutumiseks.
- Oluline mahajÀÀmus Apache'i upstream'iga.
Vanilla Hadoop

Nagu te teate, Hadoop ei ole monoliitne toode, vaid tegelikult terve hulk teenuseid, mis ĂŒmbritsevad selle jaotatud failisĂŒsteemi HDFS. Harva on kellelegi piisav ainult ĂŒks failiklastern. Ăhele on vajalik Hive, teisele Presto, ja veel on HBase ja Phoenix, Spark'i kasutamine muutub ĂŒha sagedamaks. Andmete orkestreerimiseks ja laadimiseks kasutatakse mĂ”nikord Oozie, Sqoop ja Flume. Kui tekib kĂŒsimus turvalisuse tagamisest, meenub kohe Kerberos koos Rangeriga.
Hadoop'i komponendide binaarversioonid on saadaval iga ökosĂŒsteemi projekti veebilehelt tarball'ide kujul. Neid saab alla laadida ja alustada paigaldamist, kuid on ĂŒks tingimus: peale paketide iseĂŒritab komisjonide koostamise, mida te tĂ”enĂ€oliselt soovite teha, ei ole teil mingit kindlust, et ĂŒleslaaditud komponentide versioonid on omavahel ĂŒhilduvad. Eelistatud variant on koostamine Apache Bigtopiga. Bigtop vĂ”imaldab koostada maven-repositooriumitest Apache, lĂ€bida testid ja koguda pakette. Kuid mis on meie jaoks vĂ€ga oluline, Bigtop kogub sellised komponentide versioonid, mis on omavahel ĂŒhilduvad. Sellest rÀÀgime nĂŒĂŒd ĂŒksikasjalikumalt.
Apache Bigtop

Apache Bigtop on tööriist, mis vÔimaldab koostada, pakendada ja testida mitmeid
avatud lÀhtekoodiga projekte, nagu nÀiteks Hadoop ja Greenplum. Bigtop'il on mitmeid
vÀljaandeid. Artikli kirjutamise ajal oli viimane stabiilne vÀljaanne versioon 1.4,
samal ajal kui master'is oli 1.5. Erinevates vÀljaannetes kasutatakse erinevaid versioone,
komponentidest. NÀiteks versioonis 1.4 on Hadoop'i pÔhikomponentide versioon 2.8.5, samas kui master'is
2.10.0. Toetatud komponentide koosseis muutub. Vanad ja
uuendatavad lahendused lÀhevad vÀlja, asemele tuleb midagi uut ja nÔutumat ning
see ei pea tingimata olema Apache'i perekonnast.
Lisaks on Bigtopil palju .
Kui me Bigtopiga tutvuma hakkasime, ĂŒllatas meid eelkĂ”ige selle tagasihoidlik levik ja tuntus, vĂ”rreldes teiste Apache'i projektidega, ning samuti vĂ€ga vĂ€ike kogukond. Sellest jĂ€reldub, et toote kohta on minimaalne teave ning probleemide lahendamise otsimine foorumitest ja meililistidest ei pruugi midagi anda. Alguses osutus meie jaoks tĂ”eliselt keeruliseks ĂŒlesanne koostada tĂ€ielik jaotus, arvestades tööriista iseĂ€rasusi, kuid sellest rÀÀgime natuke hiljem.
Tease'ina â neile, kellele tol ajal nĂ€iteks Linuxi universumi projektid nagu Gentoo ja LFS meeldisid, vĂ”ib olla nostalgiliselt mĂ”nus töötada selle asjaga ja meenutada neid «tollaseid» aegu, mil me ise jĂ”udsime (vĂ”i isegi kirjutasime) ebuild'e ja korraldasime regulaarselt uusi patch'e Mozillale.
Bigtopi suurimaks eeliseks peetakse tööriistade avatud ja universaalset olemust, millel see pĂ”hineb. Selle alus on Gradle ja Apache Maven. Gradle on tuttav tööriist, mida Google kasutab Androidi kokku panemiseks. See on paindlik ja nagu öeldakse, "katsetatud lahingus". Maven on Apache projekti tĂ”hus tööriist ning kuna enamiku oma toodetest toodab Apache just Maven'i kaudu, ei saa ka siin ilma selleta hakkama. Oluline on mĂ€rgata POM-i (project object model) â fundamentaalset xml-faili, mis kirjeldab kĂ”ike vajalikku Maven'i tööks teie projektiga, mille ĂŒmber kogu töö keskendub. Just selles
Maveni osas tekivad mÔned takistused, millega esmakordselt Bigtop'i proovivad inimesed kokku puutuvad.
Praktika
Nii et kust alustada? Liigume allalaadimise lehele ja laadime viimase stabiilse versiooni arhiivina alla. Sealt leiate ka Bigtop'i poolt kokku pandud binaarset artefakti. Muide, sagedamini kasutatavad paketihaldurid, nagu YUM ja APT, on samuti toetatud.
Alternatiivse meetodina saab viimase stabiilse versiooni otse alla laadida
github'ist:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKloonimine "bigtop"âŠ
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Objektide saamine: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, valmis.
Muutuste mÀÀramine: 100% (20503/20503), valmis.
Failide vÀrskendamine: 100% (1998/1998), valmis.Saadud kataloog ./bigtop nÀeb vÀlja umbes nii:
./bigtop-bigpetstore â demonstreerimisrakendused, sĂŒnteetilised nĂ€ited
./bigtop-ci â CI tööriistakomplekt, jenkins
./bigtop-data-generators â andmete genereerimine, sĂŒnteetika, smoke-testide jaoks jne.
./bigtop-deploy â juurutamise tööriistad
./bigtop-packages â konfiguratsioonid, skriptid, plaastrid koostamiseks, pĂ”hiosa tööriistast
./bigtop-test-framework â testimise raamistik
./bigtop-tests â testid ise, koormustestid ja smoke-testid
./bigtop_toolchain â koostamiseks mĂ”eldud keskkond, tööriista tööks valmistamine
./build â koostamise töökaust
./dl â allalaetud lĂ€htekoodide kataloog
./docker â docker-piltide koostamine, testimine
./gradle â gradle konfiguratsioon
./output â kataloog, kuhu kogunevad koostamisartefaktid
./provisioner â proviisionimine
Selle etapi kÔige huvitavam asi on pÔhikonf ./bigtop/bigtop.bom, milles nÀeme kÔiki toetatavaid komponente koos versioonidega. Just siin saame mÀrkida mÔne muu toote versiooni (kui soovime seda proovida) vÔi versiooni koostamist (kui nÀiteks oleme lisanud olulise plaastri).
Samuti Àratab suurt huvi alamkataloog ./bigtop/bigtop-packages, mis on otseselt seotud komponentide ja nende paketiga koostamise protsessiga.
Nii, oleme arhiivi alla laadinud, lahti pakkunud vÔi teinud klooni github'ist, saab alustada koostamist?
Ei, kÔigepealt peame ette valmistama keskkonna.
Keskkonna ettevalmistamine
Siin on vĂ€ike kĂ”rvalepĂ”ik. Peaaegu iga keerukama toote koostamiseks on vajalik kindel keskkond â meie puhul on see JDK, samad jagatud raamatukogud, pĂ€ised jne, tööriistad nagu ant, ivy2 ja palju muud. Ăks vĂ”imalus Bigtopi keskkonna saamiseks on vajalike komponentide installimine koostamishostile. VĂ”in ajast eksida, aga nĂ€ib, et alates versioonist 1.0 on saadaval ka vĂ”imalus koostamiseks eelnevalt konfigureeritud ja kergesti kĂ€ttesaadavates docker-piltides, millega saab tutvuda siit.
Keskkonna ettevalmistamiseks on abiks - Puppet.
VÔid kasutada jÀrgmisi kÀske, kÀivitamine toimub juurkataloogist
tööriista, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
VĂ”i otse puppetâiga:
puppet apply --modulepath= -e "include bigtop_toolchain::installer"
puppet apply --modulepath= -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath= -e "include bigtop_toolchain::development-tools"Kahjuks vĂ”ivad juba sellel etapil esineda raskused. Ăldine soovitus on kasutada toetatud jaotust, mis on koostamise hostis ajakohane, vĂ”i proovida dockerit.
Koostamine
Mida me saame proovida kokku panna? Sellele kĂŒsimusele annab vastuse kĂ€sk
./gradlew tasks PaketiĂŒlesannete osas on mitmeid tooteid, mis on Bigtopi lĂ”plikud artefaktid.
Need on mÀÀratletud -rpm vÔi -pkg-ind suffiksi jÀrgi (dockeris koostamise korral). Meie puhul on kÔige huvitavam Hadoop.
Proovime koostamist meie build-serveri keskkonnas:
./gradlew hadoop-rpm
./gradlew hadoop-rpmBigtop laadib vajalikud allikakoodid alla, mis on vajalikud konkreetse komponendi jaoks, ja alustab kogumist. Seega sĂ”ltub tööriista toimimine Maven'i ja teiste allikate hoidlatest, mistĂ”ttu vajab see internetiĂŒhendust.
Töö kĂ€igus tekib standardne vĂ€ljund. MĂ”nikord saab selle pĂ”hjal ja veateadete jĂ€rgi aru, mis valesti lĂ€ks. Kuid mĂ”nikord on vajalik saada tĂ€iendavat teavet. Sel juhul tasub lisada argumente --info vĂ”i --debug, samuti vĂ”ib olla kasulik âstacktrace. On lihtne viis moodustada andmekogum edasisteks pöördumisteks postitusloenditesse, vĂ”tme --scan.
Selle abil kogub bigtop kogu teabe ja sisestab selle gradle'i, pÀrast mida annab see vÀlja lingi,
mille kaudu saab pÀdev inimene mÔista, miks kogumine ebaÔnnestus.
Pea meeles, et see valik vÔib muuta avalikuks soovimatut teavet, nÀiteks kasutajanimesid, node'e, keskkonnamuutujaid jne, seega ole ettevaatlik.
Sageli on vead pÔhjustatud sellest, et vajalikud komponendid ei ole ehitamiseks kÀttesaadavad. Probleemi lahendamiseks tuleb tavaliselt luua patch, et midagi allikakoodeksis parandada, nÀiteks aadress pom.xml-failis allikakoodeksis. Selleks luuakse ja asetatakse see vastavasse kataloogi. ./bigtop/bigtop-packages/src/common/oozie/ patƥ, nÀiteks kujul patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
central
- http://repo1.maven.org/maven2
+ https://repo1.maven.org/maven2
false
KÔige tÔenÀolisemalt ei pea te eespool nimetatud parandust tegemiseks ise midagi tegema, kui te seda artiklit loete.
MĂ”ningate patĆĄide ja muudatuste rakendamisel ehitussĂŒsteemis vĂ”ib osutuda vajalikuks âtaaskĂ€ivitadaâ ehitus puhastamise kĂ€suga:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedSee toiming tagastab kÔik muudatused antud komponendi ehituses, pÀrast mida ehitus toimub uuesti. Seekord proovime projekti koguda docker-pildis:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Ălesanne :hadoop-pkg-ind
Ehitatakse 1.2.1 hadoop-pkg centos-7 Dockeris...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
KONTENERI_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
palju vÀljundit
....
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
TĂ€itmine (%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
TĂ€itmine (--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Loodud /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) lÔpetatud. Kestis 38 min 1,151 sek.
:hadoop-pkg (Thread[Task worker for ':',5,main]) kÀivitati.
> Ălesanne :hadoop-pkg
Ălesanne ':hadoop-pkg' ei ole ajakohane, kuna:
Ălesanne ei ole deklareerinud vĂ€ljastusi, vaatamata toimingute tĂ€itmisele.
:hadoop-pkg (Thread[Task worker for ':',5,main]) lÔpetatud. Kestis 0.0 sek.
EHITUS ĂNNESTUS 40m 37s jooksul
6 teostatavat ĂŒlesannet: 6 tĂ€idetud
+ TULEMUS=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Viga: Sellist konteinerit ei ole:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
EHITUS ĂNNESTUS 41m 24s jooksul
1 teostatav ĂŒlesanne: 1 tĂ€idetudKogumine Ă”nnestus CentOS-il, kuid vĂ”imalik on ka Ubuntu all:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indLisaks pakettide koostamisele erinevatele Linuxi distributsioonidele oskab tööriist moodustada ka koostatud pakettide repo, nÀiteks:
./gradlew yumSamuti vÔib meenutada smoke-test'e ja juurutamist docker'is.
Luua kolme sÔlmega klaster:
./gradlew -Pnum_instances=3 docker-provisionerKÀivitada smoke-test'id kolmesÔlmeline klastris:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerKlastri eemaldamine:
./gradlew docker-provisioner-destroySaada kÀsklused docker-konteineritesse sisenemiseks:
./gradlew docker-provisioner-sshNĂ€idata olekut:
./gradlew docker-provisioner-statusTĂ€psemat teavet juurutamiseĂŒlesannete kohta saab lugeda dokumentatsioonist.
Kui rÀÀkida testidest, siis neid on piisavalt palju, peamiselt smoke ja integreerimistest. Nende analĂŒĂŒs jÀÀb selle artikli raames vĂ€lja. Ătlen vaid, et distributsi koostamine pole nii keeruline ĂŒlesanne, kui see esmapilgul tundub. KĂ”ik komponendid, mida kasutame tootmisreĆŸiimis, Ă”nnestus kokku panna ja nende testid lĂ€bitud, samuti ei tekinud meil probleeme nende juurutamise ja pĂ”hioperatsioonide tĂ€itmisega testkeskkonnas.
Bigtop'i olemasolevate komponentide kÔrval on vÔimalik lisada ka muid, isegi enda loodud tarkvaraarendusi. KÔik see automatiseeritakse suurepÀraselt ja sobib CI/CD kontseptsiooniga.
KokkuvÔte
On ilmne, et sellisel viisil kokku pandud jaotust ei tohiks kohe tootmisesse saata. Tuleb mÔista, et kui on reaalne vajadus enda jaotuse koostamise ja toe jÀrele, tuleks sellesse investeerida aega ja raha.
Kuid Ôige lÀhenemise ja professionaalse meeskonna korral on tÀiesti vÔimalik hakkama saada ka ilma kommertslahendusteta.
Oluline on mÀrkida, et Bigtopi projekt vajab arengut ja tundub, et sellel ei toimu praegu aktiivset arendust. Samuti ei ole selge, milline on perspektiiv Hadoop 3 toomisel. Kui teil on tÔeline vajadus Hadoop 3 koostamise jÀrele, siis vÔite vaadata Arenadata poolt, kus standardkomponentide kÔrval on olemas ka terve rida tÀiendavaid komponente (Ranger, Knox, NiFi).
Mis puudutab Rostelecomi, siis Bigtop on ĂŒks meie arutatavaid valikuid tĂ€nasel pĂ€eval. Kas me valime selle vĂ”i mitte, nĂ€itab aeg.
Mis puudutab Rostelecomi, siis Bigtop on praegu ĂŒks meie kaalutud variante. Kas me valime selle vĂ”i mitte, nĂ€itab aeg.
Lisa
Uue komponendi lisamiseks kogumisse tuleb selle kirjeldus lisada bigtop.bom-i ja ./bigtop-packages. Proovige seda teha olemasolevate komponentidega sarnasel viisil. See pole nii keeruline, kui esmapilgul paistab.
Mida teie arvate? Ootame teie arvamust kommentaarides ja tÀnan tÀhelepanu eest!
Artikkel on koostatud âRostelecomiâ andmejuhtimise meeskonna poolt.
Allikas: habr.com
