Apache Bigtop lan milih distribusi Hadoop dina iki

Apache Bigtop lan milih distribusi Hadoop dina iki

Ora ana rahasia manawa taun kepungkur minangka taun owah-owahan gedhe kanggo Apache Hadoop. Pungkasan taun, Cloudera lan Hortonworks gabung (utamane, akuisisi sing terakhir), lan Mapr, amarga masalah finansial sing serius, didol menyang Hewlett Packard. Lan yen sawetara taun sadurunge, ing kasus instalasi ing panggonan, pilihan asring kudu digawe antarane Cloudera lan Hortonworks, dina iki, sayangé, kita ora duwe pilihan iki. Kaget liyane yaiku kasunyatan Cloudera ngumumake ing wulan Februari taun iki yen bakal mandheg ngeculake majelis binar distribusi kasebut menyang repositori umum, lan saiki mung kasedhiya liwat langganan mbayar. Mesthi wae, isih bisa ndownload versi CDH lan HDP paling anyar sing dirilis sadurunge pungkasan taun 2019, lan dhukungan kanggo wong-wong mau wis samesthine siji nganti rong taun. Nanging apa sing kudu ditindakake sabanjure? Kanggo sing sadurunge mbayar langganan, ora ana sing diganti. Lan kanggo wong-wong sing ora pengin ngalih menyang versi mbayar distribusi, nanging ing wektu sing padha pengin bisa nampa versi paling anyar saka komponen cluster, uga patch lan nganyari liyane, kita wis nyiapake artikel iki. Ing kono kita bakal nimbang opsi sing bisa metu saka kahanan iki.

Artikel luwih saka review. Ora bakal ngemot perbandingan distribusi lan analisis rinci, lan ora bakal ana resep kanggo nginstal lan ngatur. Apa sing bakal kelakon? Kita bakal ngomong babagan distribusi kaya Arenadata Hadoop, sing kudu digatekake amarga kasedhiyan, sing arang banget saiki. Banjur kita bakal ngomong babagan Vanilla Hadoop, utamane babagan carane bisa "masak" nggunakake Apache Bigtop. Siap? Banjur welcome kanggo kucing.

Arenadata Hadoop

Apache Bigtop lan milih distribusi Hadoop dina iki

Iki minangka kit distribusi pembangunan domestik sing anyar lan durung dingerteni. Sayange, ing wayahe ing Habré mung ana artikel iki.

Informasi liyane bisa ditemokake ing resmi situs proyek. Versi distribusi paling anyar adhedhasar Hadoop 3.1.2 kanggo versi 3, lan 2.8.5 kanggo versi 2.

Informasi babagan roadmap bisa ditemokake kene.

Apache Bigtop lan milih distribusi Hadoop dina iki
Antarmuka Manager Kluster Arenadata

produk inti Arenadata punika Manajer Kluster Arenadata (ADCM), sing digunakake kanggo nginstal, ngatur lan ngawasi macem-macem solusi piranti lunak perusahaan. ADCM mbagekke free , lan fungsi wis ditambahi dening nambah mbendel, kang pesawat saka ansible-playbooks. Bundel dipérang dadi rong jinis: perusahaan lan komunitas. Sing terakhir kasedhiya kanggo download gratis saka situs web Arenadata. Sampeyan uga bisa ngembangake bundel dhewe lan nyambung menyang ADCM.

Kanggo panyebaran lan manajemen Hadoop 3, versi komunitas bundel ditawakake bebarengan karo ADCM, nanging kanggo Hadoop 2 mung ana. Apache Ambari minangka alternatif. Minangka kanggo repositori karo paket, lagi mbukak kanggo akses umum, padha bisa diundhuh lan diinstal ing cara biasanipun kanggo kabeh komponen saka kluster. Sakabèhé, distribusi katon menarik banget. Aku yakin bakal ana sing wis biasa karo solusi kayata Cloudera Manager lan Ambari, lan sing bakal seneng ADCM dhewe. Kanggo sawetara, iku uga bakal plus ageng distribusi kalebu ing dhaptar piranti lunak kanggo substitusi impor.

Yen kita ngomong babagan kekurangan, bakal padha karo kabeh distribusi Hadoop liyane. yaiku:

  • Sing disebut "vendor lock-in". Nggunakake conto Cloudera lan Hortonworks, kita wis ngerti manawa ana risiko ngganti kabijakan perusahaan.
  • Ketinggalan sing signifikan ing mburi Apache hulu.

Vanilla Hadoop Kab

Apache Bigtop lan milih distribusi Hadoop dina iki

Kaya sing sampeyan ngerteni, Hadoop dudu produk monolitik, nanging, nyatane, kabeh galaksi layanan ing sekitar sistem file HDFS sing disebarake. Sawetara wong bakal duwe cukup siji kluster file. Sawetara butuh Hive, liyane Presto, banjur ana HBase lan Phoenix; Spark saya akeh digunakake. Kanggo orkestrasi lan loading data, Oozie, Sqoop lan Flume kadhangkala ditemokake. Lan yen masalah keamanan muncul, banjur Kerberos bebarengan karo Ranger langsung teka ing pikiran.

Versi binar komponen Hadoop kasedhiya ing situs web saben proyek ekosistem ing wangun tarballs. Sampeyan bisa ndownload lan miwiti instalasi, nanging kanthi syarat: saliyane kanggo ngumpulake paket kanthi mandiri saka binari "mentah", sing paling sampeyan pengin nindakake, sampeyan ora bakal duwe kapercayan babagan kompatibilitas versi komponen sing diunduh karo saben. liyane. Pilihan sing disenengi yaiku mbangun nggunakake Apache Bigtop. Bigtop bakal ngidini sampeyan mbangun saka repositori maven Apache, mbukak tes lan mbangun paket. Nanging, sing penting banget kanggo kita, Bigtop bakal nglumpukake versi komponen kasebut sing bakal kompatibel karo saben liyane. Kita bakal ngomong babagan iki kanthi luwih rinci ing ngisor iki.

Apache Bigtop

Apache Bigtop lan milih distribusi Hadoop dina iki

Apache Bigtop minangka alat kanggo mbangun, ngemas lan nguji sawetara
proyek open source, kayata Hadoop lan Greenplum. Bigtop wis akeh
rilis. Nalika nulis, rilis stabil paling anyar yaiku versi 1.4,
lan ing master ana 1.5. Versi rilis sing beda nggunakake versi sing beda
komponen. Contone, kanggo 1.4 Hadoop komponen inti duwe versi 2.8.5, lan ing master
2.10.0. Komposisi komponen sing didhukung uga ganti. Soko outdated lan
unrenewable dadi adoh, lan ing panggonan rawuh soko anyar, liyane ing dikarepake, lan
iku ora kudu soko saka kulawarga Apache dhewe.

Kajaba iku, Bigtop wis akeh garpu.

Nalika kita wiwit kenalan karo Bigtop, kita padha pisanan kaget dening andhap asor, dibandhingake karo proyèk Apache liyane, prevalensi lan popularitas, uga komunitas cilik banget. Saka iki ana informasi minimal babagan produk, lan nggoleki solusi kanggo masalah sing muncul ing forum lan mailing list bisa uga ora ngasilake apa-apa. Ing wiwitan, dadi tugas sing angel kanggo ngrampungake pangumpulan distribusi lengkap amarga fitur alat kasebut dhewe, nanging kita bakal ngomong babagan iki mengko.

Minangka teaser, wong-wong sing nate kepengin weruh proyek-proyek ing jagad Linux kaya Gentoo lan LFS bisa uga seneng nostalgia kanggo nggarap perkara iki lan ngelingi wektu-wektu "epik" nalika kita nggoleki (utawa malah nulis) ebuilds lan ajeg dibangun maneh Mozilla karo patch anyar.

Kauntungan gedhe saka Bigtop yaiku openness lan versatility saka alat sing adhedhasar. Iki adhedhasar Gradle lan Apache Maven. Gradle cukup kondhang minangka alat sing digunakake Google kanggo mbangun Android. Iku fleksibel, lan, kaya sing dikandhakake, "diuji perang." Maven minangka alat standar kanggo mbangun proyek ing Apache dhewe, lan amarga umume produk kasebut dirilis liwat Maven, ora bisa ditindakake tanpa ana ing kene. Sampeyan kudu menehi perhatian marang POM (model obyek proyek) - file xml "dasar" sing njlèntrèhaké kabeh sing perlu kanggo Maven kanggo nggarap proyek sampeyan, ing ngendi kabeh karya dibangun. Persis ing
bagean Maven lan ana sawetara alangan sing pisanan kedhaftar Bigtop biasane nemokke.

Praktek

Dadi ing ngendi sampeyan kudu miwiti? Bukak kaca download lan download versi stabil paling anyar minangka arsip. Sampeyan uga bisa nemokake artefak binar sing diklumpukake dening Bigtop ing kana. Miturut cara, ing antarane manajer paket umum, YUM lan APT didhukung.

Utawa, sampeyan bisa ndownload rilis stabil paling anyar langsung saka
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Kloning ing "bigtop"…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

Direktori ./bigtop sing diasilake katon kaya iki:

./bigtop-bigpetstore - aplikasi demo, conto sintetik
./bigtop-ci - Piranti CI, jenkins
./bigtop-data-generators - nggawe data, sintetik, kanggo tes kumelun, lsp.
./bigtop-deploy - alat panyebaran
./bigtop-packages - configs, Tulisan, patch kanggo perakitan, bagean utama saka alat
./bigtop-test-framework - kerangka testing
./bigtop-tests - tes dhewe, mbukak lan kumelun
./bigtop_toolchain - lingkungan kanggo perakitan, nyiapake lingkungan kanggo alat bisa digunakake
./build - mbangun direktori kerja
./dl — direktori kanggo sumber sing diundhuh
./docker - bangunan ing gambar docker, testing
./gradle - konfigurasi gradle
./output – direktori ngendi mbangun artefak pindhah
./provisioner - provisioning

Sing paling menarik kanggo kita ing tahap iki yaiku konfigurasi utama ./bigtop/bigtop.bom, ing ngendi kita ndeleng kabeh komponen sing didhukung kanthi versi. Ing kene kita bisa nemtokake versi produk sing beda (yen kita pengin nyoba mbangun) utawa versi mbangun (yen, contone, kita nambah patch sing signifikan).

Subdirektori uga menarik banget ./bigtop/bigtop-packages, sing langsung ana hubungane karo proses ngumpulake komponen lan paket karo dheweke.

Dadi, kita ndownload arsip kasebut, mbongkar utawa nggawe klon saka github, apa kita bisa miwiti mbangun?

Ora, ayo padha nyiapake lingkungan dhisik.

Nyiapake Lingkungan

Lan ing kene kita butuh mundur cilik. Kanggo mbangun meh wae produk sing luwih rumit, sampeyan butuh lingkungan tartamtu - ing kasus iki, JDK, perpustakaan sing padha, file header, lan liya-liyane, alat, contone, semut, ivy2 lan liya-liyane. Salah sawijining pilihan kanggo entuk lingkungan sing dibutuhake kanggo Bigtop yaiku nginstal komponen sing dibutuhake ing host mbangun. Aku bisa uga salah ing kronologi, nanging misale jek karo versi 1.0 uga ana pilihan kanggo mbangun gambar Docker sing wis dikonfigurasi lan bisa diakses, sing bisa ditemokake ing kene.

Kanggo nyiapake lingkungan, ana asisten kanggo iki - Wayang.

Sampeyan bisa nggunakake printah ing ngisor iki, mbukak saka direktori root
alat, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Utawa langsung liwat wayang:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Sayange, kangelan bisa njedhul wis ing tataran iki. Saran umum ing kene yaiku nggunakake distribusi sing didhukung, paling anyar babagan host build, utawa nyoba rute docker.

Majelis

Apa sing bisa kita coba ngumpulake? Jawaban kanggo pitakonan iki bakal diwenehi dening output saka printah

./gradlew tasks

Ing bagean Tugas Paket ana sawetara produk sing artefak final Bigtop.
Bisa diidentifikasi kanthi suffix -rpm utawa -pkg-ind (ing kasus bangunan
ing docker). Ing kasus kita, sing paling menarik yaiku Hadoop.

Ayo nyoba mbangun ing lingkungan server mbangun kita:

./gradlew hadoop-rpm

Bigtop dhewe bakal ndownload sumber sing dibutuhake kanggo komponen tartamtu lan miwiti perakitan. Mangkono, operasi alat kasebut gumantung ing repositori Maven lan sumber liyane, yaiku, mbutuhake akses Internet.

Sajrone operasi, output standar digawe. Kadhangkala lan pesen kesalahan bisa mbantu sampeyan ngerti apa sing salah. Lan kadhangkala sampeyan kudu njaluk informasi tambahan. Ing kasus iki iku worth nambah bantahan --info utawa --debug, lan uga bisa migunani –stacktrace. Ana cara sing trep kanggo ngasilake set data kanggo akses sabanjure menyang mailing list, kuncine --scan.

Kanthi bantuan, bigtop bakal ngumpulake kabeh informasi lan dilebokake ing gradle, sawise iku bakal menehi link,
kanthi ngetutake, wong sing kompeten bakal bisa ngerti sebabe gagal.
Wigati dimangerteni manawa pilihan iki bisa mbukak informasi sing ora dikarepake, kayata jeneng panganggo, simpul, variabel lingkungan, lsp, mula ati-ati.

Asring kesalahan minangka akibat saka ora bisa entuk komponen sing dibutuhake kanggo perakitan. Biasane, sampeyan bisa ndandani masalah kanthi nggawe tembelan kanggo ndandani soko ing sumber, contone, alamat ing pom.xml ing direktori ROOT saka sumber. Iki ditindakake kanthi nggawe lan nyelehake ing direktori sing cocog ./bigtop/bigtop-packages/src/common/oozie/ tembelan, contone, ing wangun patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

Paling kamungkinan, nalika maca artikel iki, sampeyan ora kudu nindakake ing ndhuwur ndandani dhewe.

Nalika ngenalake patch lan owah-owahan ing mekanisme perakitan, sampeyan bisa uga kudu "ngreset" perakitan nggunakake printah ngresiki:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

Operasi iki bakal mbalek maneh kabeh owah-owahan ing perakitan komponen iki, sawise perakitan bakal dileksanakake maneh. Wektu iki kita bakal nyoba mbangun proyek ing gambar docker:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

Bangunan kasebut ditindakake ing CentOS, nanging bisa uga ditindakake ing Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Saliyane mbangun paket kanggo macem-macem distribusi Linux, alat kasebut bisa nggawe repositori kanthi paket sing dikompilasi, contone:

./gradlew yum

Sampeyan uga bisa ngelingi babagan tes kumelun lan panyebaran ing Docker.

Nggawe klompok telung simpul:

./gradlew -Pnum_instances=3 docker-provisioner

Jalanake tes asap ing kluster telung simpul:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Mbusak kluster:

./gradlew docker-provisioner-destroy

Entuk perintah kanggo nyambungake ing wadhah docker:

./gradlew docker-provisioner-ssh

Tampilake status:

./gradlew docker-provisioner-status

Sampeyan bisa maca liyane babagan tugas Deployment ing dokumentasi.

Yen kita pirembagan bab tes, ana nomer akeh, utamané kumelun lan integrasi. Analisis kasebut ngluwihi ruang lingkup artikel iki. Ayo kula mung ngomong sing ngrakit distribusi ora minangka angel tugas minangka koyone ing kawitan marketing. Kita bisa ngumpul lan ngliwati tes kabeh komponen sing digunakake ing produksi, lan kita uga ora duwe masalah kanggo nyebarake lan nindakake operasi dhasar ing lingkungan tes.

Saliyane komponen ana ing Bigtop, iku bisa kanggo nambah tindakan liya, malah pembangunan piranti lunak dhewe. Kabeh iki sampurna otomatis lan cocog karo konsep CI / CD.

kesimpulan

Temenan, distribusi sing disusun kanthi cara iki ora kudu langsung dikirim menyang produksi. Sampeyan kudu ngerti yen ana kabutuhan nyata kanggo mbangun lan ndhukung distribusi sampeyan, mula sampeyan kudu nandur modal dhuwit lan wektu.

Nanging, kanthi kombinasi pendekatan sing tepat lan tim profesional, bisa ditindakake tanpa solusi komersial.

Wigati dimangerteni manawa proyek Bigtop dhewe mbutuhake pangembangan lan ora katon aktif dikembangake saiki. Prospek Hadoop 3 muncul ing kono uga ora jelas, yen sampeyan duwe kabutuhan nyata kanggo mbangun Hadoop 3, sampeyan bisa ndeleng garpu saka Arenadata, kang, saliyane standar
Ana sawetara komponen tambahan (Ranger, Knox, NiFi).

Kanggo Rostelecom, Bigtop minangka salah sawijining pilihan sing dianggep saiki. Apa kita milih utawa ora, wektu bakal ngomong.

Lampiran

Kanggo nyakup komponèn anyar ing Déwan, sampeyan kudu nambah gambaran kanggo bigtop.bom lan ./bigtop-packages. Sampeyan bisa nyoba nindakake iki kanthi analogi karo komponen sing ana. Coba pikirake. Iku ora minangka angel minangka misale jek ing kawitan marketing.

Piye menurutmu? Kita bakal seneng ndeleng pendapat sampeyan ing komentar lan matur nuwun kanggo perhatian sampeyan!

Artikel kasebut disiapake dening tim manajemen data Rostelecom

Source: www.habr.com

Add a comment