Apache Bigtop og að velja Hadoop dreifingu í dag

Það er líklega ekkert leyndarmál að síðasta ár var ár mikilla breytinga fyrir Apache Hadoop. Á síðasta ári sameinuðust Cloudera og Hortonworks (í meginatriðum, kaupin á því síðarnefnda) og Mapr, vegna alvarlegra fjárhagsvanda, var selt til Hewlett Packard. Og ef nokkrum árum fyrr, þegar um er að ræða uppsetningar á staðnum, þurfti oft að velja á milli Cloudera og Hortonworks, í dag, því miður, höfum við ekki þetta val. Annað sem kom á óvart var sú staðreynd að Cloudera tilkynnti í febrúar á þessu ári að það myndi hætta að gefa út tvíundarsamsetningar af dreifingu þess í almenningsgeymsluna og þær eru nú aðeins fáanlegar í gegnum greidda áskrift. Auðvitað er enn hægt að hlaða niður nýjustu útgáfum af CDH og HDP sem gefnar voru út fyrir árslok 2019 og er gert ráð fyrir stuðningi við þær í eitt til tvö ár. En hvað á að gera næst? Fyrir þá sem áður borguðu fyrir áskrift hefur ekkert breyst. Og fyrir þá sem vilja ekki skipta yfir í greidda útgáfu dreifingarinnar, en vilja á sama tíma geta fengið nýjustu útgáfur af klasahlutum, sem og plástra og aðrar uppfærslur, höfum við útbúið þessa grein. Í henni munum við íhuga mögulega möguleika til að komast út úr þessum aðstæðum.

Greinin er meira upprifjun. Það mun ekki innihalda samanburð á dreifingum og nákvæma greiningu á þeim, og engar uppskriftir verða til að setja upp og stilla þær. Hvað mun gerast? Við munum tala stuttlega um slíka dreifingu eins og Arenadata Hadoop, sem verðskuldar með réttu athygli okkar vegna þess að það er tiltækt, sem er mjög sjaldgæft í dag. Og þá munum við tala um Vanilla Hadoop, aðallega um hvernig hægt er að „elda“ það með Apache Bigtop. Tilbúinn? Þá velkominn í kött.

Arenadata Hadoop

Þetta er alveg nýtt og enn lítt þekkt dreifingarsett fyrir þróun innanlands. Því miður, í augnablikinu á Habré er aðeins Þessi grein.

Frekari upplýsingar er að finna á embættismanni Online verkefni. Nýjustu útgáfur dreifingarinnar eru byggðar á Hadoop 3.1.2 fyrir útgáfu 3 og 2.8.5 fyrir útgáfu 2.

Upplýsingar um vegakortið má finna hér.

Arenadata Cluster Manager tengi

Kjarnavara Arenadata er Arenadata klasastjóri (ADCM), sem er notað til að setja upp, stilla og fylgjast með ýmsum hugbúnaðarlausnum fyrirtækja. ADCM er dreift ókeypis og virkni þess er aukin með því að bæta við búntum, sem eru sett af ansible-leikbókum. Böndum er skipt í tvær tegundir: fyrirtæki og samfélag. Síðarnefndu er hægt að hlaða niður ókeypis frá Arenadata vefsíðunni. Það er líka hægt að þróa þinn eigin búnt og tengja hann við ADCM.

Fyrir uppsetningu og stjórnun Hadoop 3 er boðið upp á samfélagsútgáfu af búntinum í tengslum við ADCM, en fyrir Hadoop 2 er aðeins Apache Ambari sem valkostur. Hvað varðar geymslur með pakka, þá eru þær opnar fyrir almenning, hægt er að hlaða þeim niður og setja upp á venjulegan hátt fyrir alla íhluti klasans. Á heildina litið lítur dreifingin mjög áhugaverð út. Ég er viss um að það verða þeir sem eru vanir lausnum eins og Cloudera Manager og Ambari og munu líka við ADCM sjálft. Fyrir suma mun það líka vera mikill plús að dreifingin innifalinn í hugbúnaðarskránni í stað innflutnings.

Ef við tölum um ókostina verða þeir þeir sömu og fyrir allar aðrar Hadoop dreifingar. Nefnilega:

• Svokölluð „vendor lock-in“. Með því að nota dæmin Cloudera og Hortonworks höfum við þegar áttað okkur á því að það er alltaf hætta á að breyta stefnu fyrirtækisins.
• Veruleg töf á eftir Apache andstreymis.

Vanilla Hadoop

Eins og þú veist er Hadoop ekki einhlít vara, heldur í raun heil vetrarbraut af þjónustu í kringum dreifða skráarkerfið HDFS. Fáir munu hafa nóg af einum skráaklasa. Sumir þurfa Hive, aðrir Presto og svo eru HBase og Phoenix; Spark er í auknum mæli notað. Til að skipuleggja og hlaða gögnum eru stundum Oozie, Sqoop og Flume að finna. Og ef öryggisvandamálið kemur upp, þá kemur Kerberos ásamt Ranger strax upp í hugann.

Tvöfaldur útgáfur af Hadoop íhlutum eru fáanlegar á vefsíðu hvers vistkerfisverkefna í formi tarballs. Þú getur hlaðið þeim niður og byrjað uppsetningu, en með einu skilyrði: auk þess að setja saman pakka sjálfstætt úr „hráum“ tvíliðaþáttum, sem þú vilt líklegast gera, munt þú ekki treysta á samhæfni niðurhalaðra útgáfur af íhlutum með hverjum annað. Æskilegur kosturinn er að byggja með Apache Bigtop. Bigtop gerir þér kleift að byggja úr Apache maven geymslum, keyra próf og smíða pakka. En það sem er mjög mikilvægt fyrir okkur, Bigtop mun setja saman þessar útgáfur af íhlutum sem munu vera samhæfðar hver við annan. Við munum tala um það nánar hér að neðan.

Apache Bigtop

Apache Bigtop er tæki til að byggja, pakka og prófa fjölda
opinn hugbúnaður, eins og Hadoop og Greenplum. Bigtop hefur nóg
útgáfur. Þegar þetta var skrifað var nýjasta stöðuga útgáfan útgáfa 1.4,
og í master var 1.5. Mismunandi útgáfur af útgáfum nota mismunandi útgáfur
íhlutir. Til dæmis, fyrir 1.4 Hadoop kjarnahluti hafa útgáfu 2.8.5, og í master
2.10.0. Samsetning studdra íhluta er einnig að breytast. Eitthvað úrelt og
hið óendurnýjanlega hverfur og í staðinn kemur eitthvað nýtt, eftirsóttara og
það er ekki endilega eitthvað frá Apache fjölskyldunni sjálfri.

Að auki hefur Bigtop marga gafflar.

Þegar við fórum að kynnast Bigtop, kom okkur fyrst og fremst á óvart hversu hógvært, í samanburði við önnur Apache verkefni, algengi og vinsældir, auk mjög lítið samfélag. Af þessu leiðir að lágmarksupplýsingar eru til um vöruna og leit að lausnum á vandamálum sem upp hafa komið á spjallborðum og póstlistum skilar kannski engu. Í fyrstu reyndist það vera erfitt verkefni fyrir okkur að klára heildarsamsetningu dreifingarinnar vegna eiginleika tækisins sjálfs, en við munum tala um þetta aðeins síðar.

Sem plagg, þá sem á sínum tíma höfðu áhuga á slíkum verkefnum Linux alheimsins eins og Gentoo og LFS gæti fundist það nostalgískt notalegt að vinna með þetta og muna eftir þessum „epísku“ tímum þegar við sjálf vorum að leita að (eða jafnvel skrifa) ebuilds og reglulega endurbyggð Mozilla með nýjum plástrum.

Stóri kosturinn við Bigtop er hreinskilni og fjölhæfni tækjanna sem það byggir á. Hún er byggð á Gradle og Apache Maven. Gradle er nokkuð vel þekkt sem tólið sem Google notar til að smíða Android. Það er sveigjanlegt og eins og sagt er „bardagaprófað“. Maven er staðlað tól til að byggja verkefni í Apache sjálfum og þar sem flestar vörur þess eru gefnar út í gegnum Maven var ekki hægt að gera það án þess hér heldur. Það er þess virði að borga eftirtekt til POM (project object model) - „grundvallar“ xml-skráin sem lýsir öllu sem Maven þarf til að vinna með verkefnið þitt, sem öll vinna er byggð í kringum. Nákvæmlega kl
hluta Maven og það eru nokkrar hindranir sem Bigtop notendur í fyrsta skipti lenda venjulega í.

Practice

Svo hvar ættir þú að byrja? Farðu á niðurhalssíðuna og halaðu niður nýjustu stöðugu útgáfunni sem skjalasafn. Þú getur líka fundið tvöfalda gripi sem Bigtop hefur safnað þar. Við the vegur, meðal algengra pakkastjóra, eru YUM og APT studd.

Að öðrum kosti geturðu hlaðið niður nýjustu stöðugu útgáfunni beint frá
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Klónun í „bigtop“...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

./bigtop skráin sem myndast lítur eitthvað svona út:

./bigtop-bigpetstore — kynningarforrit, tilbúið dæmi
./bigtop-ci - CI verkfæri, jenkins
./bigtop-data-generators — gagnaöflun, gerviefni, fyrir reykpróf osfrv.
./bigtop-deploy - dreifingartæki
./bigtop-packages — stillingar, forskriftir, plástrar fyrir samsetningu, aðalhluti tólsins
./bigtop-test-framework — prófunarrammi
./bigtop-tests — prófin sjálf, álag og reyk
./bigtop_toolchain — umhverfi fyrir samsetningu, undirbúa umhverfið fyrir verkfærið til að virka
./build - smíða vinnuskrá
./dl — skrá fyrir niðurhalaðar heimildir
./docker - byggja inn bryggjumyndir, prófanir
./gradle - Gradle config
./output – möppuna þar sem byggingargripir fara
./provisioner — útvegun

Það áhugaverðasta fyrir okkur á þessu stigi er aðalstillingin ./bigtop/bigtop.bom, þar sem við sjáum alla studda íhluti með útgáfum. Þetta er þar sem við getum tilgreint aðra útgáfu af vörunni (ef við viljum skyndilega reyna að smíða hana) eða smíðaútgáfu (ef við til dæmis bættum við verulegum plástri).

Undirskráin er líka mjög áhugaverð ./bigtop/bigtop-packages, sem tengist beint ferlinu við að setja saman íhluti og pakka með þeim.

Svo við haluðum niður skjalasafninu, tókum það upp eða gerðum klón úr github, getum við byrjað að byggja?

Nei, við skulum undirbúa umhverfið fyrst.

Undirbúningur umhverfisins

Og hér þurfum við smá hörfa. Til að byggja næstum hvaða meira eða minna flókna vöru sem er þarftu ákveðið umhverfi - í okkar tilviki er þetta JDK, sömu samnýttu bókasöfnin, hausskrár osfrv., verkfæri, til dæmis maur, ivy2 og margt fleira. Einn af valkostunum til að fá umhverfið sem þú þarft fyrir Bigtop er að setja upp nauðsynlega íhluti á byggingarhýslinum. Ég gæti haft rangt fyrir mér í tímaröðinni, en svo virðist sem með útgáfu 1.0 hafi líka verið möguleiki á að byggja inn fyrirfram stilltar og aðgengilegar Docker myndir, sem má finna hér.

Eins og fyrir að undirbúa umhverfið, það er aðstoðarmaður fyrir þetta - Puppet.

Þú getur notað eftirfarandi skipanir, keyrt úr rótarskránni
verkfæri, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Eða beint í gegnum brúðu:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Því miður geta komið upp erfiðleikar þegar á þessu stigi. Almenn ráð hér eru að nota studda dreifingu, uppfærða á byggingarhýslinum, eða prófa bryggjuleiðina.

Þing

Hverju getum við reynt að safna? Svarið við þessari spurningu verður gefið með úttak skipunarinnar

./gradlew tasks

Í pakkaverkefnahlutanum eru nokkrar vörur sem eru lokagripir Bigtop.
Þeir geta verið auðkenndir með viðskeytinu -rpm eða -pkg-ind (ef um er að ræða byggingu
í Docker). Í okkar tilviki er áhugaverðast Hadoop.

Við skulum reyna að byggja inn umhverfi byggingarþjónsins okkar:

./gradlew hadoop-rpm

Bigtop sjálft mun hlaða niður nauðsynlegum heimildum sem þarf fyrir tiltekinn íhlut og hefja samsetningu. Þannig er virkni tólsins háð Maven geymslum og öðrum heimildum, það er að segja að það krefst internetaðgangs.

Við notkun myndast staðlað framleiðsla. Stundum geta það og villuboð hjálpað þér að skilja hvað fór úrskeiðis. Og stundum þarftu að fá frekari upplýsingar. Í þessu tilviki er rétt að bæta við rökum --info eða --debug, og getur líka verið gagnlegt –stacktrace. Það er þægileg leið til að búa til gagnasett fyrir síðari aðgang að póstlistum, lykillinn --scan.

Með hjálp hennar mun bigtop safna öllum upplýsingum og setja þær í gráðu, eftir það mun það gefa upp hlekk,
með því að fylgja því eftir mun bær maður geta skilið hvers vegna samkoman mistókst.
Vinsamlegast hafðu í huga að þessi valkostur gæti afhjúpað upplýsingar sem þú vilt ekki, eins og notendanöfn, hnúta, umhverfisbreytur osfrv., svo vertu varkár.

Oft eru villur afleiðing af vanhæfni til að fá íhluti sem nauðsynlegir eru fyrir samsetningu. Venjulega er hægt að laga vandamálið með því að búa til plástur til að laga eitthvað í heimildunum, til dæmis heimilisföng í pom.xml í rótarskrá heimildanna. Þetta er gert með því að búa til og setja það í viðeigandi möppu ./bigtop/bigtop-packages/src/common/oozie/ plástur, til dæmis í formi patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

Líklegast, þegar þú lest þessa grein, þarftu ekki að laga ofangreinda sjálfur.

Þegar þú kynnir plástra og breytingar á samsetningarbúnaðinum gætirðu þurft að „endurstilla“ samsetninguna með hreinsunarskipuninni:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

Þessi aðgerð mun afturkalla allar breytingar á samsetningu þessa íhluta, eftir það verður samsetningin framkvæmd aftur. Að þessu sinni reynum við að byggja verkefnið í bryggjumynd:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

Byggingin var framkvæmd undir CentOS, en einnig er hægt að gera undir Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Auk þess að smíða pakka fyrir ýmsar Linux dreifingar, getur tólið búið til geymslu með samansettum pökkum, til dæmis:

./gradlew yum

Þú getur líka muna eftir reykprófum og uppsetningu í Docker.

Búðu til þyrping af þremur hnútum:

./gradlew -Pnum_instances=3 docker-provisioner

Keyrðu reykpróf í hópi þriggja hnúta:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Eyða klasa:

./gradlew docker-provisioner-destroy

Fáðu skipanir til að tengja inni í hafnargámum:

./gradlew docker-provisioner-ssh

Sýna stöðu:

./gradlew docker-provisioner-status

Þú getur lesið meira um dreifingarverkefni í skjölunum.

Ef við tölum um prófanir, þá er fjöldi þeirra, aðallega reykur og samþætting. Greining þeirra er utan gildissviðs þessarar greinar. Leyfðu mér bara að segja að það að setja saman dreifingarsett er ekki eins erfitt verkefni og það kann að virðast við fyrstu sýn. Okkur tókst að setja saman og standast próf á öllum íhlutum sem við notum í framleiðslu okkar, og við áttum ekki í neinum vandræðum með að dreifa þeim og framkvæma grunnaðgerðir í prófunarumhverfinu.

Til viðbótar við núverandi íhluti í Bigtop er hægt að bæta við hverju sem er, jafnvel eigin hugbúnaðarþróun. Allt er þetta fullkomlega sjálfvirkt og passar inn í CI/CD hugmyndina.

Ályktun

Augljóslega ætti ekki að senda dreifingu sem þannig er saman komin strax í framleiðslu. Þú þarft að skilja að ef það er raunveruleg þörf á að byggja upp og styðja dreifingu þína, þá þarftu að fjárfesta peninga og tíma í þetta.

Hins vegar, ásamt réttri nálgun og faglegu teymi, er alveg hægt að vera án viðskiptalausna.

Það er mikilvægt að hafa í huga að Bigtop verkefnið sjálft þarfnast þróunar og virðist ekki vera í virkri þróun í dag. Líkurnar á því að Hadoop 3 birtist í henni er líka óljós. Við the vegur, ef þú hefur raunverulega þörf fyrir að byggja Hadoop 3, geturðu skoðað gaffal frá Arenadata, þar sem, auk staðlaðs
Það eru nokkrir viðbótaríhlutir (Ranger, Knox, NiFi).

Hvað Rostelecom varðar, þá er Bigtop einn af kostunum sem verið er að skoða í dag fyrir okkur. Hvort við veljum það eða ekki mun tíminn leiða í ljós.

Viðauki

Til að setja nýjan íhlut í samsetninguna þarftu að bæta lýsingu hans við bigtop.bom og ./bigtop-pakka. Þú getur reynt að gera þetta á hliðstæðan hátt við núverandi íhluti. Reyndu að átta þig á því. Það er ekki eins erfitt og það virðist við fyrstu sýn.

Hvað finnst þér? Við munum vera ánægð að sjá álit þitt í athugasemdunum og þökkum þér fyrir athyglina!

Greinin var unnin af Rostelecom gagnastjórnunarteymi

Heimild: www.habr.com