Éta sigana henteu rahasia yén taun ka tukang mangrupikeun taun parobihan ageung pikeun Apache Hadoop. Taun ka tukang, Cloudera sareng Hortonworks ngagabung (dasarna, akuisisi anu terakhir), sareng Mapr, kusabab masalah kauangan anu serius, dijual ka Hewlett Packard. Sareng upami sababaraha taun sateuacana, dina kasus pamasangan di tempat, pilihan sering kedah dilakukeun antara Cloudera sareng Hortonworks, ayeuna, sayangna, urang henteu gaduh pilihan ieu. Reuwas sanésna nyaéta kanyataan yén Cloudera ngumumkeun dina bulan Pebruari taun ieu yén éta bakal ngeureunkeun ngaleupaskeun majelis binér distribusina kana gudang umum, sareng aranjeunna ayeuna sayogi ngan ukur ku langganan anu mayar. Tangtosna, éta masih tiasa diunduh versi CDH sareng HDP panganyarna anu dileupaskeun sateuacan akhir taun 2019, sareng dukungan pikeun aranjeunna diperkirakeun salami hiji dugi ka dua taun. Tapi naon anu kudu dipigawé salajengna? Pikeun anu sateuacana mayar langganan, teu aya anu robih. Sareng pikeun anu henteu hoyong ngalih ka versi distribusi anu mayar, tapi dina waktos anu sami hoyong tiasa nampi vérsi pangénggalna komponén klaster, ogé patches sareng apdet anu sanés, kami parantos nyiapkeun tulisan ieu. Di jerona urang bakal mertimbangkeun pilihan anu mungkin pikeun kaluar tina kaayaan ieu.
artikel nu leuwih ti resensi. Éta moal ngandung perbandingan distribusi sareng analisa detil ngeunaan aranjeunna, sareng moal aya resep pikeun masang sareng ngonpigurasikeunana. Naon anu bakal kajadian? Urang sakeudeung bakal ngobrol ngeunaan distribusi sapertos Arenadata Hadoop, anu leres-leres pantes perhatian urang kusabab kasadiaanna, anu jarang pisan ayeuna. Teras we bakal ngobrol ngeunaan Vanilla Hadoop, utamina ngeunaan kumaha éta tiasa "masak" nganggo Apache Bigtop. Siap? Lajeng wilujeng sumping ucing.
Arenadata Hadoop
Ieu sagemblengna anyar jeung, sakumaha acan, kit distribution saeutik-dipikawanoh tina ngembangkeun domestik. Hanjakal, ayeuna on Habré ngan aya .
Inpo nu leuwih lengkep bisa kapanggih dina resmi proyék. Versi panganyarna tina distribusi dumasar kana Hadoop 3.1.2 kanggo versi 3, sareng 2.8.5 kanggo versi 2.
Inpormasi ngeunaan peta jalan tiasa dipendakan .
Arenadata Kluster Pangatur Interface
Produk inti Arenadata nyaéta , anu dianggo pikeun masang, ngonpigurasikeun sareng ngawaskeun sababaraha solusi parangkat lunak perusahaan. ADCM disebarkeun haratis, sarta pungsionalitasna dimekarkeun ku nambahkeun bundles, nu mangrupakeun susunan ansible-playbooks. Bungkusan dibagi jadi dua jenis: perusahaan sareng komunitas. Anu terakhir sayogi diunduh gratis tina situs wéb Arenadata. Ieu oge mungkin pikeun ngembangkeun kebat sorangan tur sambungkeun ka ADCM.
Pikeun panyebaran sareng ngokolakeun Hadoop 3, versi komunitas tina bundel ditawarkeun babarengan sareng ADCM, tapi pikeun Hadoop 2 ngan ukur aya. salaku alternatif. Sedengkeun pikeun repositories kalawan bungkusan, aranjeunna kabuka pikeun aksés umum, aranjeunna bisa diundeur jeung dipasang dina cara biasa pikeun sakabéh komponén tina klaster. Gemblengna, sebaran Sigana pisan metot. Kuring yakin bakal aya jalma anu biasa kana solusi sapertos Cloudera Manager sareng Ambari, sareng anu bakal resep ADCM sorangan. Kanggo sababaraha, éta ogé bakal janten tambah ageung yén distribusi pikeun substitusi impor.
Upami urang nyarioskeun kalemahan, aranjeunna bakal sami sareng sadaya distribusi Hadoop anu sanés. Nyaéta:
- Nu disebut "vendor lock-in". Nganggo conto Cloudera sareng Hortonworks, kami parantos sadar yén salawasna aya résiko ngarobih kawijakan perusahaan.
- lag signifikan balik Apache hulu.
Vanili Hadoop
Sakumaha anjeun terang, Hadoop sanés produk monolitik, tapi, kanyataanna, sadayana galaksi jasa dina sistem file HDFS anu disebarkeun. Sababaraha urang bakal cukup ku hiji klaster file. Sababaraha peryogi Hive, batur Presto, teras aya HBase sareng Phoenix; Spark beuki dianggo. Pikeun orchestration sarta loading data, Oozie, Sqoop na Flume kadang kapanggih. Sareng upami masalah kaamanan timbul, maka Kerberos sareng Ranger langsung kapikiran.
Versi binér komponén Hadoop sayogi dina situs wéb unggal proyék ékosistem dina bentuk tarball. Anjeun tiasa ngaunduh aranjeunna sareng ngawitan pamasangan, tapi kalayan hiji kaayaan: salian ngumpul sacara mandiri bungkusan tina binari "atah", anu paling dipikaresep anjeun hoyong laksanakeun, anjeun moal gaduh kapercayaan kana kasaluyuan versi komponén anu diunduh sareng masing-masing. séjén. Pilihan anu dipikaresep nyaéta ngawangun nganggo Apache Bigtop. Bigtop bakal ngantep anjeun ngawangun tina repositori Apache maven, ngajalankeun tés sareng ngawangun bungkusan. Tapi, anu penting pisan pikeun urang, Bigtop bakal ngarakit versi komponén-komponén anu bakal cocog sareng anu sanés. Urang bakal ngobrol ngeunaan eta dina leuwih jéntré di handap.
Apache Bigtop
Apache Bigtop mangrupakeun alat pikeun ngawangun, bungkusan jeung nguji sababaraha
proyék open source, sapertos Hadoop sareng Greenplum. Bigtop gaduh seueur
ngaleupaskeun. Dina waktos nyerat, sékrési stabil panganyarna nyaéta versi 1.4,
sareng dina master aya 1.5. versi béda tina release ngagunakeun versi béda
komponén. Contona, pikeun 1.4 Hadoop komponén inti boga versi 2.8.5, sarta dina master
2.10.0. Komposisi komponén anu dirojong ogé robih. Hal luntur na
unrenewable mana jauh, sarta dina tempatna asalna hal anyar, beuki paménta, jeung
teu merta hal ti kulawarga Apache sorangan.
Sajaba ti éta, Bigtop boga loba .
Nalika urang mimiti acquainted jeung Bigtop, urang mimiti kaget ku modest na, dibandingkeun jeung proyék Apache séjén, Prévalénsi jeung popularitas, kitu ogé komunitas leutik pisan. Ieu kieu yén aya informasi minimal dina produk, sarta néangan solusi pikeun masalah anu timbul dina panglawungan jeung milis bisa jadi teu ngahasilkeun nanaon pisan. Mimitina, tétéla janten tugas anu sesah pikeun urang pikeun ngarengsekeun pangumpulan lengkep distribusi kusabab fitur-fitur alatna sorangan, tapi urang bakal ngobrol ngeunaan éta engké.
Salaku teaser, jalma-jalma anu dina hiji waktos kabetot dina proyék-proyék dunya Linux sapertos Gentoo sareng LFS tiasa mendakan éta nostalgia pikaresepeun pikeun damel sareng hal ieu sareng émut kana waktos-waktos "épik" nalika urang sorangan milarian (atanapi nyerat) ebuilds sarta rutin diwangun deui Mozilla jeung patch anyar.
Kauntungan gedé tina Bigtop nyaéta kabuka sareng serbaguna alat anu didasarkeunana. Éta dumasar kana Gradle sareng Apache Maven. Gradle cukup dikenal salaku alat anu dianggo ku Google pikeun ngawangun Android. Éta fleksibel, sareng, sakumaha anu aranjeunna nyarios, "diuji perang." Maven mangrupikeun alat standar pikeun ngawangun proyék di Apache sorangan, sareng kusabab kalolobaan produkna dileupaskeun ngaliwatan Maven, éta ogé henteu tiasa dilakukeun tanpa éta di dieu. Perlu nengetan POM (model objék proyék) - file xml "dasar" anu ngajéntrékeun sadayana anu dipikabutuh pikeun Maven damel sareng proyék anjeun, dimana sadaya padamelan diwangun. Persis di
bagian tina Maven na aya sababaraha halangan anu mimitina-waktos pamaké Bigtop biasana sapatemon.
praktek
Janten dimana anjeun kedah ngamimitian? Pindah ka halaman unduh sareng unduh versi stabil pangénggalna salaku arsip. Anjeun ogé tiasa mendakan artefak binér anu dikumpulkeun ku Bigtop di dinya. Ku jalan kitu, diantara manajer pakét umum, YUM sareng APT dirojong.
Alternatipna, Anjeun bisa ngundeur release stabil panganyarna langsung ti
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKloning dina "bigtop"…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Diréktori ./bigtop hasilna sapertos kieu:
./bigtop-bigpetstore - aplikasi demo, conto sintétik
./bigtop-ci - CI toolkit, jenkins
./bigtop-data-generators - generasi data, sintétik, pikeun tés haseup, jsb.
./bigtop-deploy - parabot deployment
./bigtop-packages - configs, Aksara, patch pikeun assembly, bagian utama alat
./bigtop-test-framework - kerangka nguji
./bigtop-tests - tés sorangan, beban jeung haseup
./bigtop_toolchain - lingkungan pikeun assembly, Nyiapkeun lingkungan pikeun alat pikeun jalan
./build - ngawangun diréktori kerja
./dl — diréktori pikeun sumber anu diunduh
./docker - ngawangun dina gambar docker, nguji
./gradle - config gradle
./output - diréktori tempat ngawangun artefak
./provisioner - provisioning
Hal anu paling pikaresepeun pikeun urang dina tahap ieu nyaéta konfigurasi utama ./bigtop/bigtop.bom, dimana urang ningali sadaya komponén anu dirojong sareng versi. Ieu dimana urang bisa nangtukeun versi béda produk (lamun urang ujug-ujug hayang nyobaan ngawangun eta) atawa versi ngawangun (lamun, contona, urang ditambahkeun patch signifikan).
Subdirektori ogé dipikaresep pisan ./bigtop/bigtop-packages, anu langsung aya hubunganana sareng prosés assembling komponén sareng bungkusan sareng aranjeunna.
Janten, urang unduh arsip, ngabongkar atanapi ngadamel klon tina github, naha urang tiasa ngamimitian ngawangun?
Heueuh, urang siapkeun heula lingkungan.
Nyiapkeun Lingkungan
Sarta di dieu urang kudu mundur leutik. Pikeun ngawangun ampir produk anu langkung atanapi kirang kompleks, anjeun peryogi lingkungan anu tangtu - dina kasus urang, ieu JDK, perpustakaan anu sami, file header, jsb., Alat, contona, sireum, ivy2 sareng seueur deui. Salah sahiji pilihan pikeun kéngingkeun lingkungan anu anjeun peryogikeun pikeun Bigtop nyaéta masang komponén anu diperyogikeun dina host ngawangun. Abdi tiasa lepat dina kronologi, tapi sigana yén versi 1.0 ogé aya pilihan pikeun ngawangun dina gambar Docker anu tos dikonpigurasi sareng diaksés, anu tiasa dipendakan di dieu.
Sedengkeun pikeun nyiapkeun lingkungan, aya asisten pikeun ieu - Wayang.
Anjeun tiasa nganggo paréntah di handap ieu, ngajalankeun ti diréktori root
alat, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Atawa langsung via wayang:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Hanjakal, kasusah bisa timbul geus di tahap ieu. Saran umum di dieu nyaéta ngagunakeun distribusi anu dirojong, up to date dina ngawangun host, atanapi cobian rute docker.
Majelis
Naon anu urang tiasa nyobian ngumpulkeun? Jawaban kana patarosan ieu bakal dipasihkeun ku kaluaran paréntah
./gradlew tasks
Dina bagian tugas Paket aya sababaraha produk anu artefak ahir Bigtop.
Éta tiasa diidentifikasi ku sufiks -rpm atanapi -pkg-ind (dina kasus wangunan
dina docker). Dina kasus urang, anu paling narik nyaéta Hadoop.
Hayu urang coba ngawangun di lingkungan server build kami:
./gradlew hadoop-rpmBigtop sorangan bakal ngaunduh sumber anu dipikabutuh pikeun komponén khusus sareng ngawitan assembly. Ku kituna, operasi alat gumantung kana repositori Maven jeung sumber sejenna, nyaeta, merlukeun aksés Internet.
Salila operasi, kaluaran baku dihasilkeun. Kadang-kadang sareng pesen kasalahan tiasa ngabantosan anjeun ngartos naon anu salah. Sarta kadangkala anjeun kudu meunang informasi tambahan. Dina hal ieu, éta patut nambahkeun argumen --info atawa --debug, sarta ogé bisa jadi mangpaat –stacktrace. Aya cara merenah pikeun ngahasilkeun susunan data pikeun aksés saterusna ka milis, konci --scan.
Kalayan bantosanana, bigtop bakal ngumpulkeun sadaya inpormasi sareng nempatkeun kana gradle, saatos éta bakal nyayogikeun tautan,
ku handap nu, hiji jalma kompeten bakal tiasa ngartos naha assembly gagal.
Punten perhatikeun yén pilihan ieu tiasa ngalaan inpormasi anu anjeun pikahoyong, sapertos nami pangguna, titik, variabel lingkungan, jsb., janten ati-ati.
Mindeng kasalahan mangrupakeun konsekuensi tina henteu mampuh pikeun ménta sagala komponén dipikabutuh pikeun assembly. Ilaharna, anjeun tiasa ngalereskeun masalah ku nyieun patch pikeun ngalereskeun hal dina sumber, contona, alamat di pom.xml dina diréktori akar sumber. Hal ieu dilakukeun ku cara nyiptakeun sareng nempatkeun kana diréktori anu cocog ./bigtop/bigtop-packages/src/common/oozie/ patch, contona, dina formulir patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Paling dipikaresep, dina waktu maca artikel ieu, anjeun moal kudu ngalakukeun di luhur ngalereskeun sorangan.
Nalika ngenalkeun patch sareng parobihan kana mékanisme assembly, anjeun kedah "ngareset" assembly nganggo paréntah cleanup:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedOperasi ieu bakal ngagulung deui sagala parobahan dina assembly komponén ieu, nu satutasna assembly bakal dipigawé deui. Waktos ieu kami bakal nyobian ngawangun proyék dina gambar docker:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedPangwangunan dilaksanakeun dina CentOS, tapi ogé tiasa dilakukeun dina Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indSalian ngawangun pakét pikeun sababaraha distribusi Linux, alat éta tiasa nyiptakeun gudang kalayan bungkusan anu disusun, contona:
./gradlew yumAnjeun ogé tiasa émut ngeunaan tés haseup sareng panyebaran di Docker.
Jieun klaster tina tilu titik:
./gradlew -Pnum_instances=3 docker-provisionerJalankeun tés haseup dina klaster tilu titik:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerHapus klaster:
./gradlew docker-provisioner-destroyKéngingkeun paréntah pikeun nyambungkeun ka jero wadah docker:
./gradlew docker-provisioner-sshTémbongkeun status:
./gradlew docker-provisioner-statusAnjeun tiasa maca langkung seueur ngeunaan tugas Panyebaran dina dokuméntasi.
Lamun urang ngobrol ngeunaan tés, aya cukup loba di antarana, utamana haseup jeung integrasi. Analisis maranéhanana saluareun ruang lingkup artikel ieu. Hayu atuh ngan nyebutkeun yén assembling kit distribution teu sakumaha hésé tugas sakumaha eta bisa sigana di glance kahiji. Kami junun ngumpul sareng lulus tés dina sadaya komponén anu kami anggo dina produksi kami, sareng kami ogé henteu ngagaduhan masalah pikeun nyebarkeunana sareng ngalaksanakeun operasi dasar dina lingkungan tés.
Salian komponén aya di Bigtop, kasebut nyaéta dimungkinkeun pikeun nambahkeun nanaon sejenna, malah ngembangkeun software sorangan. Sadaya ieu sampurna otomatis sareng pas kana konsép CI / CD.
kacindekan
Jelas, distribusi anu disusun ku cara ieu henteu kedah langsung dikirim ka produksi. Anjeun kedah ngartos yén upami aya kabutuhan nyata pikeun ngawangun sareng ngadukung distribusi anjeun, maka anjeun kedah investasi artos sareng waktos dina ieu.
Sanajan kitu, dina kombinasi kalayan pendekatan katuhu sarta tim profésional, éta rada mungkin mun ngalakukeun tanpa solusi komérsial.
Kadé dicatet yén proyék Bigtop sorangan merlukeun ngembangkeun sarta teu sigana aktip keur dimekarkeun kiwari. Prospek Hadoop 3 muncul dina éta ogé teu jelas. Ku jalan kitu, upami anjeun gaduh kabutuhan nyata pikeun ngawangun Hadoop 3, anjeun tiasa ningali ti Arenadata, nu, salian standar
Aya sababaraha komponén tambahan (Ranger, Knox, NiFi).
Sedengkeun pikeun Rostelecom, Bigtop mangrupikeun salah sahiji pilihan anu dianggap ayeuna. Naha urang milih atanapi henteu, waktos bakal nyarios.
lampiran
Pikeun ngawengku komponén anyar dina assembly nu, anjeun kudu nambahan pedaran na bigtop.bom na ./bigtop-packages. Anjeun tiasa nyobian ngalakukeun ieu ku analogi sareng komponén anu tos aya. Coba terangkeun. Teu sakumaha hésé sakumaha sigana di glance kahiji.
Naon anu anjeun pikirkeun? Kami bakal bungah ningali pendapat anjeun dina koméntar sareng hatur nuhun kana perhatian anjeun!
Artikel ieu disiapkeun ku tim manajemen data Rostelecom
sumber: www.habr.com