Apache Bigtop ja Hadoopi distributiivide valik täna

Apache Bigtop ja Hadoopi distributiivide valik täna

Ehk ei ole kellelegi üllatus, et eelmine aasta oli Apache Hadoopile suurte muudatuste aasta. Eelmisel aastal toimus Cloudera ja Hortonworks'i ühinemine (sisuliselt teise omandamine), ning Mapr, seoses tõsiste rahaliste probleemidega, müüdi Hewlett Packardile. Kui paar aastat tagasi, on-premises installatsioonide puhul, tuli valida enamasti Cloudera ja Hortonworks'i vahel, siis täna, kahjuks, seda valikut enam ei ole. Üllatusena kuulutas Cloudera veebruarist selle aasta algusest, et lõpetab oma distributsiooni binaarsed kogumid avalikus hoidlas, ning nüüd on need saadaval vaid tasulise tellimuse alusel. Loomulikult on endiselt võimalik alla laadida viimased CDH ja HDP versioonid, mis on välja antud enne 2019. aasta lõppu, ja nendele pakutakse toetust veel ühe kuni kahe aasta jooksul. Aga mis nüüd edasi? Need, kes varem tasusid tellimuse eest, ei pea midagi muutma. Ent need, kes ei soovi minna tasulise versiooni peale, kuid soovivad siiski võimalust saada värskeid versioone klasterkomponentidest ning ka uusi plaastrite ja muid värskendusi, leiavad siit artiklist võimalikke lahendusi.

Artikkel on pigem ülevaatlik. Selles ei toimu jaotuste võrdlemist ega nende põhjalikku analüüsi, samuti ei esitata retsepte nende paigaldamiseks ja seadistamiseks. Mis siis ikkagi toimub? Räägime lühidalt jaotusest nimega Arenadata Hadoop, mis tõeliselt väärib meie tähelepanu oma kerguse tõttu, mis täna on suur haruldus. Seejärel räägime Vanilla Hadoopist, peamiselt sellest, kuidas seda "valmistada" Apache Bigtopi abil. Kas olete valmis? Siis tere tulemast allpool.

Arenadata Hadoop

Apache Bigtop ja Hadoopi distributiivide valik täna

See on täiesti uus ja praegu veel vähe tuntud kodumaine jaotus. Kahjuks on praeguseks hetkeks Habr’is sellest vaid see artikkel.

Väärika teabe leiate ametlikult veebilehel projektist. Viimased jaotuse versioonid põhinevad Hadoop 3.1.2 kolmandas versioonis ja 2.8.5 teises versioonis.

Teavet teekaardi kohta leiate siit.

Apache Bigtop ja Hadoopi distributiivide valik täna
Arenadata Cluster Manageri liides

Arenadata peamine toode on Arenadata Cluster Manager (ADCM), mis kasutatakse erinevate tarkvaralahenduste seadistamiseks, haldamiseks ja jälgimiseks. ADCM jaotatakse tasuta ning selle funktsionaalsust saab laiendada bundlite lisamisega, mis on komplekt ansible-playbook’e. Bundlid jagunevad kaheks: enterprise ja community. Viimased on tasuta allalaadimiseks saadaval Arenadata veebisaidilt. Samuti on võimalus välja töötada oma bundel ja see ADCM-iga ühendada.

Hadoop 3 paigaldamiseks ja haldamiseks on saadaval community-versioon bundlist koos ADCM-iga, kuid Hadoop 2 puhul on saadaval vaid Apache Ambari alternatiivina. Mis puudutab pakettide hoidlaid, siis need on avatud avalikule juurdepääsule ja neid saab alla laadida ning installida tavapärasel viisil kõigi klastrikomponentide jaoks. Üldiselt tundub distributiiv väga huvitav. Olen kindel, et leidub inimesi, kes on harjunud selliste lahendustega nagu Cloudera Manager ja Ambari, kellele ka ADCM meeldib. Kellegi jaoks on suur pluss ka see, et distributiiv on tarkvara register importimise asendamiseks.

Kui rääkida miinusest, siis need on samad, mis kõigi teiste Hadoopi distributiivide puhul. Nimelt:

  • Nii nimetatud „vendor lock-in“. Cloudera ja Hortonworks'i näite põhjal oleme juba mõistnud, et alati on olemas oht ettevõtte poliitika muutumiseks.
  • Oluline mahajäämus Apache'i upstream'iga.

Vanilla Hadoop

Apache Bigtop ja Hadoopi distributiivide valik täna

Nagu te teate, Hadoop ei ole monoliitne toode, vaid tegelikult terve hulk teenuseid, mis ümbritsevad selle jaotatud failisüsteemi HDFS. Harva on kellelegi piisav ainult üks failiklastern. Ühele on vajalik Hive, teisele Presto, ja veel on HBase ja Phoenix, Spark'i kasutamine muutub üha sagedamaks. Andmete orkestreerimiseks ja laadimiseks kasutatakse mõnikord Oozie, Sqoop ja Flume. Kui tekib küsimus turvalisuse tagamisest, meenub kohe Kerberos koos Rangeriga.

Hadoop'i komponendide binaarversioonid on saadaval iga ökosüsteemi projekti veebilehelt tarball'ide kujul. Neid saab alla laadida ja alustada paigaldamist, kuid on üks tingimus: peale paketide iseüritab komisjonide koostamise, mida te tõenäoliselt soovite teha, ei ole teil mingit kindlust, et üleslaaditud komponentide versioonid on omavahel ühilduvad. Eelistatud variant on koostamine Apache Bigtopiga. Bigtop võimaldab koostada maven-repositooriumitest Apache, läbida testid ja koguda pakette. Kuid mis on meie jaoks väga oluline, Bigtop kogub sellised komponentide versioonid, mis on omavahel ühilduvad. Sellest räägime nüüd üksikasjalikumalt.

Apache Bigtop

Apache Bigtop ja Hadoopi distributiivide valik täna

Apache Bigtop on tööriist, mis võimaldab koostada, pakendada ja testida mitmeid
avatud lähtekoodiga projekte, nagu näiteks Hadoop ja Greenplum. Bigtop'il on mitmeid
väljaandeid. Artikli kirjutamise ajal oli viimane stabiilne väljaanne versioon 1.4,
samal ajal kui master'is oli 1.5. Erinevates väljaannetes kasutatakse erinevaid versioone,
komponentidest. Näiteks versioonis 1.4 on Hadoop'i põhikomponentide versioon 2.8.5, samas kui master'is
2.10.0. Toetatud komponentide koosseis muutub. Vanad ja
uuendatavad lahendused lähevad välja, asemele tuleb midagi uut ja nõutumat ning
see ei pea tingimata olema Apache'i perekonnast.

Lisaks on Bigtopil palju harufilosoofiaid..

Kui me Bigtopiga tutvuma hakkasime, üllatas meid eelkõige selle tagasihoidlik levik ja tuntus, võrreldes teiste Apache'i projektidega, ning samuti väga väike kogukond. Sellest järeldub, et toote kohta on minimaalne teave ning probleemide lahendamise otsimine foorumitest ja meililistidest ei pruugi midagi anda. Alguses osutus meie jaoks tõeliselt keeruliseks ülesanne koostada täielik jaotus, arvestades tööriista iseärasusi, kuid sellest räägime natuke hiljem.

Tease'ina — neile, kellele tol ajal näiteks Linuxi universumi projektid nagu Gentoo ja LFS meeldisid, võib olla nostalgiliselt mõnus töötada selle asjaga ja meenutada neid «tollaseid» aegu, mil me ise jõudsime (või isegi kirjutasime) ebuild'e ja korraldasime regulaarselt uusi patch'e Mozillale.

Bigtopi suurimaks eeliseks peetakse tööriistade avatud ja universaalset olemust, millel see põhineb. Selle alus on Gradle ja Apache Maven. Gradle on tuttav tööriist, mida Google kasutab Androidi kokku panemiseks. See on paindlik ja nagu öeldakse, "katsetatud lahingus". Maven on Apache projekti tõhus tööriist ning kuna enamiku oma toodetest toodab Apache just Maven'i kaudu, ei saa ka siin ilma selleta hakkama. Oluline on märgata POM-i (project object model) – fundamentaalset xml-faili, mis kirjeldab kõike vajalikku Maven'i tööks teie projektiga, mille ümber kogu töö keskendub. Just selles
Maveni osas tekivad mõned takistused, millega esmakordselt Bigtop'i proovivad inimesed kokku puutuvad.

Praktika

Nii et kust alustada? Liigume allalaadimise lehele ja laadime viimase stabiilse versiooni arhiivina alla. Sealt leiate ka Bigtop'i poolt kokku pandud binaarset artefakti. Muide, sagedamini kasutatavad paketihaldurid, nagu YUM ja APT, on samuti toetatud.

Alternatiivse meetodina saab viimase stabiilse versiooni otse alla laadida
github'ist:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Kloonimine "bigtop"…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Objektide saamine: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, valmis.
Muutuste määramine: 100% (20503/20503), valmis.
Failide värskendamine: 100% (1998/1998), valmis.

Saadud kataloog ./bigtop näeb välja umbes nii:

./bigtop-bigpetstore — demonstreerimisrakendused, sünteetilised näited
./bigtop-ci — CI tööriistakomplekt, jenkins
./bigtop-data-generators — andmete genereerimine, sünteetika, smoke-testide jaoks jne.
./bigtop-deploy — juurutamise tööriistad
./bigtop-packages — konfiguratsioonid, skriptid, plaastrid koostamiseks, põhiosa tööriistast
./bigtop-test-framework — testimise raamistik
./bigtop-tests — testid ise, koormustestid ja smoke-testid
./bigtop_toolchain — koostamiseks mõeldud keskkond, tööriista tööks valmistamine
./build — koostamise töökaust
./dl — allalaetud lähtekoodide kataloog
./docker — docker-piltide koostamine, testimine
./gradle — gradle konfiguratsioon
./output — kataloog, kuhu kogunevad koostamisartefaktid
./provisioner — proviisionimine

Selle etapi kõige huvitavam asi on põhikonf ./bigtop/bigtop.bom, milles näeme kõiki toetatavaid komponente koos versioonidega. Just siin saame märkida mõne muu toote versiooni (kui soovime seda proovida) või versiooni koostamist (kui näiteks oleme lisanud olulise plaastri).

Samuti äratab suurt huvi alamkataloog ./bigtop/bigtop-packages, mis on otseselt seotud komponentide ja nende paketiga koostamise protsessiga.

Nii, oleme arhiivi alla laadinud, lahti pakkunud või teinud klooni github'ist, saab alustada koostamist?

Ei, kõigepealt peame ette valmistama keskkonna.

Keskkonna ettevalmistamine

Siin on väike kõrvalepõik. Peaaegu iga keerukama toote koostamiseks on vajalik kindel keskkond — meie puhul on see JDK, samad jagatud raamatukogud, päised jne, tööriistad nagu ant, ivy2 ja palju muud. Üks võimalus Bigtopi keskkonna saamiseks on vajalike komponentide installimine koostamishostile. Võin ajast eksida, aga näib, et alates versioonist 1.0 on saadaval ka võimalus koostamiseks eelnevalt konfigureeritud ja kergesti kättesaadavates docker-piltides, millega saab tutvuda siit.

Keskkonna ettevalmistamiseks on abiks - Puppet.

Võid kasutada järgmisi käske, käivitamine toimub juurkataloogist
tööriista, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Või otse puppet’iga:

puppet apply --modulepath= -e "include bigtop_toolchain::installer"
puppet apply --modulepath= -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath= -e "include bigtop_toolchain::development-tools"

Kahjuks võivad juba sellel etapil esineda raskused. Üldine soovitus on kasutada toetatud jaotust, mis on koostamise hostis ajakohane, või proovida dockerit.

Koostamine

Mida me saame proovida kokku panna? Sellele küsimusele annab vastuse käsk

./gradlew tasks

Paketiülesannete osas on mitmeid tooteid, mis on Bigtopi lõplikud artefaktid.
Need on määratletud -rpm või -pkg-ind suffiksi järgi (dockeris koostamise korral). Meie puhul on kõige huvitavam Hadoop.
Proovime koostamist meie build-serveri keskkonnas:

./gradlew hadoop-rpm

./gradlew hadoop-rpm

Bigtop laadib vajalikud allikakoodid alla, mis on vajalikud konkreetse komponendi jaoks, ja alustab kogumist. Seega sõltub tööriista toimimine Maven'i ja teiste allikate hoidlatest, mistõttu vajab see internetiühendust.

Töö käigus tekib standardne väljund. Mõnikord saab selle põhjal ja veateadete järgi aru, mis valesti läks. Kuid mõnikord on vajalik saada täiendavat teavet. Sel juhul tasub lisada argumente --info või --debug, samuti võib olla kasulik –stacktrace. On lihtne viis moodustada andmekogum edasisteks pöördumisteks postitusloenditesse, võtme --scan.

Selle abil kogub bigtop kogu teabe ja sisestab selle gradle'i, pärast mida annab see välja lingi,
mille kaudu saab pädev inimene mõista, miks kogumine ebaõnnestus.
Pea meeles, et see valik võib muuta avalikuks soovimatut teavet, näiteks kasutajanimesid, node'e, keskkonnamuutujaid jne, seega ole ettevaatlik.

Sageli on vead põhjustatud sellest, et vajalikud komponendid ei ole ehitamiseks kättesaadavad. Probleemi lahendamiseks tuleb tavaliselt luua patch, et midagi allikakoodeksis parandada, näiteks aadress pom.xml-failis allikakoodeksis. Selleks luuakse ja asetatakse see vastavasse kataloogi. ./bigtop/bigtop-packages/src/common/oozie/ patš, näiteks kujul patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@


central
- http://repo1.maven.org/maven2
+ https://repo1.maven.org/maven2

false

Kõige tõenäolisemalt ei pea te eespool nimetatud parandust tegemiseks ise midagi tegema, kui te seda artiklit loete.

Mõningate patšide ja muudatuste rakendamisel ehitussüsteemis võib osutuda vajalikuks „taaskäivitada“ ehitus puhastamise käsuga:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

See toiming tagastab kõik muudatused antud komponendi ehituses, pärast mida ehitus toimub uuesti. Seekord proovime projekti koguda docker-pildis:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Ülesanne :hadoop-pkg-ind
Ehitatakse 1.2.1 hadoop-pkg centos-7 Dockeris...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
KONTENERI_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
palju väljundit
....
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Kirjutatud: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Täitmine (%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Täitmine (--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Loodud /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) lõpetatud. Kestis 38 min 1,151 sek.
:hadoop-pkg (Thread[Task worker for ':',5,main]) käivitati.
> Ülesanne :hadoop-pkg
Ülesanne ':hadoop-pkg' ei ole ajakohane, kuna:
Ülesanne ei ole deklareerinud väljastusi, vaatamata toimingute täitmisele.
:hadoop-pkg (Thread[Task worker for ':',5,main]) lõpetatud. Kestis 0.0 sek.
EHITUS ÕNNESTUS 40m 37s jooksul
6 teostatavat ülesannet: 6 täidetud
+ TULEMUS=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Viga: Sellist konteinerit ei ole:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
EHITUS ÕNNESTUS 41m 24s jooksul
1 teostatav ülesanne: 1 täidetud

Kogumine õnnestus CentOS-il, kuid võimalik on ka Ubuntu all:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Lisaks pakettide koostamisele erinevatele Linuxi distributsioonidele oskab tööriist moodustada ka koostatud pakettide repo, näiteks:

./gradlew yum

Samuti võib meenutada smoke-test'e ja juurutamist docker'is.

Luua kolme sõlmega klaster:

./gradlew -Pnum_instances=3 docker-provisioner

Käivitada smoke-test'id kolmesõlmeline klastris:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Klastri eemaldamine:

./gradlew docker-provisioner-destroy

Saada käsklused docker-konteineritesse sisenemiseks:

./gradlew docker-provisioner-ssh

Näidata olekut:

./gradlew docker-provisioner-status

Täpsemat teavet juurutamiseülesannete kohta saab lugeda dokumentatsioonist.

Kui rääkida testidest, siis neid on piisavalt palju, peamiselt smoke ja integreerimistest. Nende analüüs jääb selle artikli raames välja. Ütlen vaid, et distributsi koostamine pole nii keeruline ülesanne, kui see esmapilgul tundub. Kõik komponendid, mida kasutame tootmisrežiimis, õnnestus kokku panna ja nende testid läbitud, samuti ei tekinud meil probleeme nende juurutamise ja põhioperatsioonide täitmisega testkeskkonnas.

Bigtop'i olemasolevate komponentide kõrval on võimalik lisada ka muid, isegi enda loodud tarkvaraarendusi. Kõik see automatiseeritakse suurepäraselt ja sobib CI/CD kontseptsiooniga.

Kokkuvõte

On ilmne, et sellisel viisil kokku pandud jaotust ei tohiks kohe tootmisesse saata. Tuleb mõista, et kui on reaalne vajadus enda jaotuse koostamise ja toe järele, tuleks sellesse investeerida aega ja raha.

Kuid õige lähenemise ja professionaalse meeskonna korral on täiesti võimalik hakkama saada ka ilma kommertslahendusteta.

Oluline on märkida, et Bigtopi projekt vajab arengut ja tundub, et sellel ei toimu praegu aktiivset arendust. Samuti ei ole selge, milline on perspektiiv Hadoop 3 toomisel. Kui teil on tõeline vajadus Hadoop 3 koostamise järele, siis võite vaadata forki Arenadata poolt, kus standardkomponentide kõrval on olemas ka terve rida täiendavaid komponente (Ranger, Knox, NiFi).
Mis puudutab Rostelecomi, siis Bigtop on üks meie arutatavaid valikuid tänasel päeval. Kas me valime selle või mitte, näitab aeg.

Что касается Ростелекома, то для нас Bigtop – это один из рассматриваемых вариантов на сегодняшний день. Остановим мы свой выбор на нем или нет – покажет время.

Lisa

Uue komponendi lisamiseks kogumisse tuleb selle kirjeldus lisada bigtop.bom-i ja ./bigtop-packages. Proovige seda teha olemasolevate komponentidega sarnasel viisil. See pole nii keeruline, kui esmapilgul paistab.

Mida teie arvate? Ootame teie arvamust kommentaarides ja tänan tähelepanu eest!

Artikkel on koostatud „Rostelecomi” andmejuhtimise meeskonna poolt.

Allikas: habr.com

Osta usaldusväärne veebihosting DDoS kaitsega, VPS VDS serverid 🔥 Osta usaldusväärne veebihosting DDoS kaitsega, VPS VDS serverid | ProHoster