Það er líklega ekkert leyndarmál að síðasta ár var ár mikilla breytinga fyrir Apache Hadoop. Á síðasta ári sameinuðust Cloudera og Hortonworks (í meginatriðum, kaupin á því síðarnefnda) og Mapr, vegna alvarlegra fjárhagsvanda, var selt til Hewlett Packard. Og ef nokkrum árum fyrr, þegar um er að ræða uppsetningar á staðnum, þurfti oft að velja á milli Cloudera og Hortonworks, í dag, því miður, höfum við ekki þetta val. Annað sem kom á óvart var sú staðreynd að Cloudera tilkynnti í febrúar á þessu ári að það myndi hætta að gefa út tvíundarsamsetningar af dreifingu þess í almenningsgeymsluna og þær eru nú aðeins fáanlegar í gegnum greidda áskrift. Auðvitað er enn hægt að hlaða niður nýjustu útgáfum af CDH og HDP sem gefnar voru út fyrir árslok 2019 og er gert ráð fyrir stuðningi við þær í eitt til tvö ár. En hvað á að gera næst? Fyrir þá sem áður borguðu fyrir áskrift hefur ekkert breyst. Og fyrir þá sem vilja ekki skipta yfir í greidda útgáfu dreifingarinnar, en vilja á sama tíma geta fengið nýjustu útgáfur af klasahlutum, sem og plástra og aðrar uppfærslur, höfum við útbúið þessa grein. Í henni munum við íhuga mögulega möguleika til að komast út úr þessum aðstæðum.
Greinin er meira upprifjun. Það mun ekki innihalda samanburð á dreifingum og nákvæma greiningu á þeim, og engar uppskriftir verða til að setja upp og stilla þær. Hvað mun gerast? Við munum tala stuttlega um slíka dreifingu eins og Arenadata Hadoop, sem verðskuldar með réttu athygli okkar vegna þess að það er tiltækt, sem er mjög sjaldgæft í dag. Og þá munum við tala um Vanilla Hadoop, aðallega um hvernig hægt er að „elda“ það með Apache Bigtop. Tilbúinn? Þá velkominn í kött.
Arenadata Hadoop
Þetta er alveg nýtt og enn lítt þekkt dreifingarsett fyrir þróun innanlands. Því miður, í augnablikinu á Habré er aðeins .
Frekari upplýsingar er að finna á embættismanni verkefni. Nýjustu útgáfur dreifingarinnar eru byggðar á Hadoop 3.1.2 fyrir útgáfu 3 og 2.8.5 fyrir útgáfu 2.
Upplýsingar um vegakortið má finna .
Arenadata Cluster Manager tengi
Kjarnavara Arenadata er , sem er notað til að setja upp, stilla og fylgjast með ýmsum hugbúnaðarlausnum fyrirtækja. ADCM er dreift ókeypis og virkni þess er aukin með því að bæta við búntum, sem eru sett af ansible-leikbókum. Böndum er skipt í tvær tegundir: fyrirtæki og samfélag. Síðarnefndu er hægt að hlaða niður ókeypis frá Arenadata vefsíðunni. Það er líka hægt að þróa þinn eigin búnt og tengja hann við ADCM.
Fyrir uppsetningu og stjórnun Hadoop 3 er boðið upp á samfélagsútgáfu af búntinum í tengslum við ADCM, en fyrir Hadoop 2 er aðeins sem valkostur. Hvað varðar geymslur með pakka, þá eru þær opnar fyrir almenning, hægt er að hlaða þeim niður og setja upp á venjulegan hátt fyrir alla íhluti klasans. Á heildina litið lítur dreifingin mjög áhugaverð út. Ég er viss um að það verða þeir sem eru vanir lausnum eins og Cloudera Manager og Ambari og munu líka við ADCM sjálft. Fyrir suma mun það líka vera mikill plús að dreifingin í stað innflutnings.
Ef við tölum um ókostina verða þeir þeir sömu og fyrir allar aðrar Hadoop dreifingar. Nefnilega:
- Svokölluð „vendor lock-in“. Með því að nota dæmin Cloudera og Hortonworks höfum við þegar áttað okkur á því að það er alltaf hætta á að breyta stefnu fyrirtækisins.
- Veruleg töf á eftir Apache andstreymis.
Vanilla Hadoop
Eins og þú veist er Hadoop ekki einhlít vara, heldur í raun heil vetrarbraut af þjónustu í kringum dreifða skráarkerfið HDFS. Fáir munu hafa nóg af einum skráaklasa. Sumir þurfa Hive, aðrir Presto og svo eru HBase og Phoenix; Spark er í auknum mæli notað. Til að skipuleggja og hlaða gögnum eru stundum Oozie, Sqoop og Flume að finna. Og ef öryggisvandamálið kemur upp, þá kemur Kerberos ásamt Ranger strax upp í hugann.
Tvöfaldur útgáfur af Hadoop íhlutum eru fáanlegar á vefsíðu hvers vistkerfisverkefna í formi tarballs. Þú getur hlaðið þeim niður og byrjað uppsetningu, en með einu skilyrði: auk þess að setja saman pakka sjálfstætt úr „hráum“ tvíliðaþáttum, sem þú vilt líklegast gera, munt þú ekki treysta á samhæfni niðurhalaðra útgáfur af íhlutum með hverjum annað. Æskilegur kosturinn er að byggja með Apache Bigtop. Bigtop gerir þér kleift að byggja úr Apache maven geymslum, keyra próf og smíða pakka. En það sem er mjög mikilvægt fyrir okkur, Bigtop mun setja saman þessar útgáfur af íhlutum sem munu vera samhæfðar hver við annan. Við munum tala um það nánar hér að neðan.
Apache Bigtop
Apache Bigtop er tæki til að byggja, pakka og prófa fjölda
opinn hugbúnaður, eins og Hadoop og Greenplum. Bigtop hefur nóg
útgáfur. Þegar þetta var skrifað var nýjasta stöðuga útgáfan útgáfa 1.4,
og í master var 1.5. Mismunandi útgáfur af útgáfum nota mismunandi útgáfur
íhlutir. Til dæmis, fyrir 1.4 Hadoop kjarnahluti hafa útgáfu 2.8.5, og í master
2.10.0. Samsetning studdra íhluta er einnig að breytast. Eitthvað úrelt og
hið óendurnýjanlega hverfur og í staðinn kemur eitthvað nýtt, eftirsóttara og
það er ekki endilega eitthvað frá Apache fjölskyldunni sjálfri.
Að auki hefur Bigtop marga .
Þegar við fórum að kynnast Bigtop, kom okkur fyrst og fremst á óvart hversu hógvært, í samanburði við önnur Apache verkefni, algengi og vinsældir, auk mjög lítið samfélag. Af þessu leiðir að lágmarksupplýsingar eru til um vöruna og leit að lausnum á vandamálum sem upp hafa komið á spjallborðum og póstlistum skilar kannski engu. Í fyrstu reyndist það vera erfitt verkefni fyrir okkur að klára heildarsamsetningu dreifingarinnar vegna eiginleika tækisins sjálfs, en við munum tala um þetta aðeins síðar.
Sem smá sýnishorn fyrir þá sem höfðu áhuga á slíkum verkefnum á þeim tíma Linux-alheiminum, eins og Gentoo og LFS, gæti það virst nostalgískt ánægjulegt að vinna með þetta og minnast þeirra „stóru“ tíma þegar við sjálf leituðum að (og jafnvel skrifuðum) rafrænar útgáfur og endurþýddum Mozilla reglulega með nýjum uppfærslum.
Mikilvægur kostur Bigtop er hversu opin og fjölhæf verkfærin sem það byggir á eru. Það er byggt á Gradle og Apache Maven. Gradle er vel þekkt sem uppáhaldsverkfæri Google til að byggja upp... AndroidÞað er sveigjanlegt og, eins og sagt er, „prófað í bardaga“. Maven er innbyggt verkefnasmíðatól Apache og þar sem flestar vörur þess eru gefnar út í gegnum Maven, mátti ekki sleppa því hér heldur. Það er þess virði að gefa gaum að POM (verkefnahlutalíkaninu) — „grunn“ XML skránni sem lýsir öllu sem Maven þarf til að vinna með verkefnið þitt, sem öll vinna er byggð í kringum. Það er í
hluta Maven og það eru nokkrar hindranir sem Bigtop notendur í fyrsta skipti lenda venjulega í.
Practice
Svo hvar ættir þú að byrja? Farðu á niðurhalssíðuna og halaðu niður nýjustu stöðugu útgáfunni sem skjalasafn. Þú getur líka fundið tvöfalda gripi sem Bigtop hefur safnað þar. Við the vegur, meðal algengra pakkastjóra, eru YUM og APT studd.
Að öðrum kosti geturðu hlaðið niður nýjustu stöðugu útgáfunni beint frá
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKlónun í „bigtop“...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово../bigtop skráin sem myndast lítur eitthvað svona út:
./bigtop-bigpetstore — kynningarforrit, tilbúið dæmi
./bigtop-ci - CI verkfæri, jenkins
./bigtop-data-generators — gagnaöflun, gerviefni, fyrir reykpróf osfrv.
./bigtop-deploy - dreifingartæki
./bigtop-packages — stillingar, forskriftir, plástrar fyrir samsetningu, aðalhluti tólsins
./bigtop-test-framework — prófunarrammi
./bigtop-tests — prófin sjálf, álag og reyk
./bigtop_toolchain — umhverfi fyrir samsetningu, undirbúa umhverfið fyrir verkfærið til að virka
./build - smíða vinnuskrá
./dl — skrá fyrir niðurhalaðar heimildir
./docker - byggja inn bryggjumyndir, prófanir
./gradle - Gradle config
./output – möppuna þar sem byggingargripir fara
./provisioner — útvegun
Það áhugaverðasta fyrir okkur á þessu stigi er aðalstillingin ./bigtop/bigtop.bom, þar sem við sjáum alla studda íhluti með útgáfum. Þetta er þar sem við getum tilgreint aðra útgáfu af vörunni (ef við viljum skyndilega reyna að smíða hana) eða smíðaútgáfu (ef við til dæmis bættum við verulegum plástri).
Undirskráin er líka mjög áhugaverð ./bigtop/bigtop-packages, sem tengist beint ferlinu við að setja saman íhluti og pakka með þeim.
Svo við haluðum niður skjalasafninu, tókum það upp eða gerðum klón úr github, getum við byrjað að byggja?
Nei, við skulum undirbúa umhverfið fyrst.
Undirbúningur umhverfisins
Og hér þurfum við smá hörfa. Til að byggja næstum hvaða meira eða minna flókna vöru sem er þarftu ákveðið umhverfi - í okkar tilviki er þetta JDK, sömu samnýttu bókasöfnin, hausskrár osfrv., verkfæri, til dæmis maur, ivy2 og margt fleira. Einn af valkostunum til að fá umhverfið sem þú þarft fyrir Bigtop er að setja upp nauðsynlega íhluti á byggingarhýslinum. Ég gæti haft rangt fyrir mér í tímaröðinni, en svo virðist sem með útgáfu 1.0 hafi líka verið möguleiki á að byggja inn fyrirfram stilltar og aðgengilegar Docker myndir, sem má finna hér.
Eins og fyrir að undirbúa umhverfið, það er aðstoðarmaður fyrir þetta - Puppet.
Þú getur notað eftirfarandi skipanir, keyrt úr rótarskránni
verkfæri, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Eða beint í gegnum brúðu:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Því miður geta komið upp erfiðleikar þegar á þessu stigi. Almenn ráð hér eru að nota studda dreifingu, uppfærða á byggingarhýslinum, eða prófa bryggjuleiðina.
Þing
Hverju getum við reynt að safna? Svarið við þessari spurningu verður gefið með úttak skipunarinnar
./gradlew tasks Í pakkaverkefnahlutanum eru nokkrar vörur sem eru lokagripir Bigtop.
Þeir geta verið auðkenndir með viðskeytinu -rpm eða -pkg-ind (ef um er að ræða byggingu
í Docker). Í okkar tilviki er áhugaverðast Hadoop.
Við skulum reyna að byggja inn umhverfi byggingarþjónsins okkar:
./gradlew hadoop-rpmBigtop sjálft mun hlaða niður nauðsynlegum heimildum sem þarf fyrir tiltekinn íhlut og hefja samsetningu. Þannig er virkni tólsins háð Maven geymslum og öðrum heimildum, það er að segja að það krefst internetaðgangs.
Við notkun myndast staðlað framleiðsla. Stundum geta það og villuboð hjálpað þér að skilja hvað fór úrskeiðis. Og stundum þarftu að fá frekari upplýsingar. Í þessu tilviki er rétt að bæta við rökum --info eða --debug, og getur líka verið gagnlegt –stacktrace. Það er þægileg leið til að búa til gagnasett fyrir síðari aðgang að póstlistum, lykillinn --scan.
Með hjálp hennar mun bigtop safna öllum upplýsingum og setja þær í gráðu, eftir það mun það gefa upp hlekk,
með því að fylgja því eftir mun bær maður geta skilið hvers vegna samkoman mistókst.
Vinsamlegast hafðu í huga að þessi valkostur gæti afhjúpað upplýsingar sem þú vilt ekki, eins og notendanöfn, hnúta, umhverfisbreytur osfrv., svo vertu varkár.
Oft eru villur afleiðing af vanhæfni til að fá íhluti sem nauðsynlegir eru fyrir samsetningu. Venjulega er hægt að laga vandamálið með því að búa til plástur til að laga eitthvað í heimildunum, til dæmis heimilisföng í pom.xml í rótarskrá heimildanna. Þetta er gert með því að búa til og setja það í viðeigandi möppu ./bigtop/bigtop-packages/src/common/oozie/ plástur, til dæmis í formi patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Líklegast, þegar þú lest þessa grein, þarftu ekki að laga ofangreinda sjálfur.
Þegar þú kynnir plástra og breytingar á samsetningarbúnaðinum gætirðu þurft að „endurstilla“ samsetninguna með hreinsunarskipuninni:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedÞessi aðgerð mun afturkalla allar breytingar á samsetningu þessa íhluta, eftir það verður samsetningin framkvæmd aftur. Að þessu sinni reynum við að byggja verkefnið í bryggjumynd:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedSamkoman fór fram undir CentOS, en það er einnig hægt að gera það undir Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indAuk þess að smíða pakka fyrir ýmsar dreifingar Linux, tólið getur búið til geymslu með þýddum pakka, til dæmis:
./gradlew yumÞú getur líka muna eftir reykprófum og uppsetningu í Docker.
Búðu til þyrping af þremur hnútum:
./gradlew -Pnum_instances=3 docker-provisionerKeyrðu reykpróf í hópi þriggja hnúta:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerEyða klasa:
./gradlew docker-provisioner-destroyFáðu skipanir til að tengja inni í hafnargámum:
./gradlew docker-provisioner-sshSýna stöðu:
./gradlew docker-provisioner-statusÞú getur lesið meira um dreifingarverkefni í skjölunum.
Ef við tölum um prófanir, þá er fjöldi þeirra, aðallega reykur og samþætting. Greining þeirra er utan gildissviðs þessarar greinar. Leyfðu mér bara að segja að það að setja saman dreifingarsett er ekki eins erfitt verkefni og það kann að virðast við fyrstu sýn. Okkur tókst að setja saman og standast próf á öllum íhlutum sem við notum í framleiðslu okkar, og við áttum ekki í neinum vandræðum með að dreifa þeim og framkvæma grunnaðgerðir í prófunarumhverfinu.
Til viðbótar við núverandi íhluti í Bigtop er hægt að bæta við hverju sem er, jafnvel eigin hugbúnaðarþróun. Allt er þetta fullkomlega sjálfvirkt og passar inn í CI/CD hugmyndina.
Ályktun
Augljóslega ætti ekki að senda dreifingu sem þannig er saman komin strax í framleiðslu. Þú þarft að skilja að ef það er raunveruleg þörf á að byggja upp og styðja dreifingu þína, þá þarftu að fjárfesta peninga og tíma í þetta.
Hins vegar, ásamt réttri nálgun og faglegu teymi, er alveg hægt að vera án viðskiptalausna.
Það er mikilvægt að hafa í huga að Bigtop verkefnið sjálft þarfnast þróunar og virðist ekki vera í virkri þróun í dag. Líkurnar á því að Hadoop 3 birtist í henni er líka óljós. Við the vegur, ef þú hefur raunverulega þörf fyrir að byggja Hadoop 3, geturðu skoðað frá Arenadata, þar sem, auk staðlaðs
Það eru nokkrir viðbótaríhlutir (Ranger, Knox, NiFi).
Hvað Rostelecom varðar, þá er Bigtop einn af kostunum sem verið er að skoða í dag fyrir okkur. Hvort við veljum það eða ekki mun tíminn leiða í ljós.
Viðauki
Til að setja nýjan íhlut í samsetninguna þarftu að bæta lýsingu hans við bigtop.bom og ./bigtop-pakka. Þú getur reynt að gera þetta á hliðstæðan hátt við núverandi íhluti. Reyndu að átta þig á því. Það er ekki eins erfitt og það virðist við fyrstu sýn.
Hvað finnst þér? Við munum vera ánægð að sjá álit þitt í athugasemdunum og þökkum þér fyrir athyglina!
Greinin var unnin af Rostelecom gagnastjórnunarteymi
Heimild: www.habr.com
