Probabilmente ùn hè micca un sicretu chì l'annu passatu hè statu un annu di grandi cambiamenti per Apache Hadoop. L'annu passatu, Cloudera è Hortonworks fusionanu (essenzialmente, l'acquistu di l'ultime), è Mapr, per via di prublemi finanziarii seri, hè statu vindutu à Hewlett Packard. E se uni pochi d'anni prima, in u casu di installazioni in u locu, a scelta spessu deve esse fatta trà Cloudera è Hortonworks, oghje, sfortunatamente, ùn avemu micca sta scelta. Un'altra sorpresa era u fattu chì Cloudera hà annunziatu in u frivaru di questu annu chì smetterà di liberà assemblei binari di a so distribuzione in u repositoriu publicu, è avà sò dispunibuli solu per un abbunamentu pagatu. Di sicuru, hè sempre pussibule di scaricà l'ultime versioni di CDH è HDP liberate prima di a fine di 2019, è u supportu per elli hè previstu per unu à dui anni. Ma chì fà dopu? Per quelli chì anu pagatu prima per un abbonamentu, nunda hà cambiatu. È per quelli chì ùn volenu micca cambià à a versione pagata di a distribuzione, ma à u stessu tempu volenu esse capaci di riceve l'ultime versioni di cumpunenti di u cluster, è ancu patch è altre aghjurnamenti, avemu preparatu stu articulu. In questu, cunsideremu pussibuli opzioni per esce da sta situazione.
L'articulu hè più di una rivista. Ùn cuntene micca un paragone di distribuzioni è un analisi detallatu di elli, è ùn ci sarà micca ricette per installà è cunfigurà. Chì succede ? Parleremu brevemente di una distribuzione cum'è Arenadata Hadoop, chì meriteghja a nostra attenzione per via di a so dispunibilità, chì hè assai rara oghje. E poi parlemu di Vanilla Hadoop, principalmente di cumu si pò esse "cottu" cù Apache Bigtop. Pronti ? Allora benvenutu à cat.
Arenadata Hadoop
Questu hè un kit di distribuzione cumplettamente novu è, per ora, pocu cunnisciutu di u sviluppu domesticu. Sfurtunatamente, à u mumentu nantu à Habré ci hè solu .
Più infurmazione pò esse truvata nantu à u ufficiale prughjettu. L'ultime versioni di a distribuzione sò basate nantu à Hadoop 3.1.2 per a versione 3, è 2.8.5 per a versione 2.
L'infurmazione nantu à a strada di strada pò esse truvata .
Interfaccia Arenadata Cluster Manager
U pruduttu core di Arenadata hè , chì hè utilizatu per installà, cunfigurà è monitorà diverse soluzioni di software di l'impresa. L'ADCM hè distribuitu gratuitamente, è a so funziunalità hè allargata per aghjunghje bundle, chì sò un inseme di ansible-playbooks. Bundles sò spartuti in dui tipi: impresa è cumunità. L'ultimi sò dispunibuli per scaricamentu gratuitu da u situ web Arenadata. Hè ancu pussibule di sviluppà u vostru propiu bundle è cunnette à ADCM.
Per l'implementazione è a gestione di Hadoop 3, una versione comunitaria di u bundle hè offerta in cunjunzione cù ADCM, ma per Hadoop 2 ci hè solu cum'è alternativa. In quantu à i repositori cù pacchetti, sò aperti à l'accessu publicu, ponu esse scaricati è installati in u modu di solitu per tutti i cumpunenti di u cluster. In generale, a distribuzione pare assai interessante. Sò sicuru chì ci saranu quelli chì sò abituati à suluzioni cum'è Cloudera Manager è Ambari, è chì piacerà ADCM stessu. Per alcuni, serà ancu un grande plus chì a distribuzione per a sustituzione di l'impurtazioni.
Se parlemu di i disadvantages, seranu listessi per tutti l'altri distribuzioni Hadoop. Vale à dì:
- U cusì chjamatu "vendor lock-in". Utilizendu l'esempi di Cloudera è Hortonworks, avemu digià capitu chì ci hè sempre u risicu di cambià a pulitica di a cumpagnia.
- Ritardo significativu daretu à Apache upstream.
Vanilla Hadoop
Comu sapete, Hadoop ùn hè micca un pruduttu monoliticu, ma, in fattu, una galassia sana di servizii intornu à u so sistema di schedari distribuitu HDFS. Pochi persone anu abbastanza di un cluster di file. Certi anu bisognu di Hive, altri Presto, è dopu ci sò HBase è Phoenix; Spark hè sempre più utilizatu. Per l'orchestrazione è a carica di dati, Oozie, Sqoop è Flume sò qualchì volta truvati. È se a quistione di a sicurità si pone, allora Kerberos in cunghjunzione cù Ranger vene subitu in mente.
E versioni binari di i cumpunenti Hadoop sò dispunibili nantu à u situ web di ognunu di i prughjetti di l'ecosistema in forma di tarballs. Pudete scaricà è inizià a stallazione, ma cù una cundizione: in più di l'assemblea indipindente di pacchetti da binari "crudi", chì probabilmente vulete fà, ùn avete micca fiducia in a cumpatibilità di e versioni telecaricate di cumpunenti cù ognunu. altru. L'opzione preferita hè di custruisce cù Apache Bigtop. Bigtop vi permetterà di custruisce da i repositori Apache maven, eseguite testi è custruisce pacchetti. Ma, ciò chì hè assai impurtante per noi, Bigtop assemblerà quelli versioni di cumpunenti chì saranu cumpatibili cù l'altri. Ne parlerai più in dettaglio qui sotto.
Apache Bigtop
Apache Bigtop hè un strumentu per custruisce, imballà è pruvà una quantità di
prughjetti open source, cum'è Hadoop è Greenplum. Bigtop hà assai
libera. À u mumentu di a scrittura, l'ultima versione stabile era a versione 1.4,
è in maestru ci era 1.5. Diverse versioni di versioni utilizanu diverse versioni
cumpunenti. Per esempiu, per 1.4 i cumpunenti core Hadoop anu a versione 2.8.5, è in maestru
2.10.0. A cumpusizioni di cumpunenti supportati hè ancu cambiante. Qualcosa di anticu è
l'irrennuvevule si ne và, è in u so postu vene qualcosa di novu, più in dumanda, è
ùn hè micca necessariamente qualcosa di a famiglia Apache stessu.
Inoltre, Bigtop hà assai .
Quandu avemu cuminciatu à cunnosce Bigtop, avemu prima di tuttu sorpresu da u so modestu, in paragone cù altri prughjetti Apache, prevalenza è pupularità, è ancu una cumunità assai chjuca. Da questu, ci hè una infurmazione minima nantu à u pruduttu, è a ricerca di suluzioni à i prublemi chì sò ghjunti nantu à i fori è e listi di mailing ùn ponu micca rende nunda. À u principiu, hè statu un compitu difficiule per noi di compie l'assemblea cumpleta di a distribuzione per via di e caratteristiche di l'uttellu stessu, ma avemu da parlà di questu un pocu dopu.
Cum'è un teaser, quelli chì in un tempu eranu interessate in tali prughjetti di l'universu Linux cum'è Gentoo è LFS ponu truvà nostalgicamente piacevule à travaglià cù questa cosa è ricurdate di quelli tempi "epichi" quandu noi stessi cercavamu (o ancu scrive) ebuilds è ricustruisce regularmente Mozilla cù novi patch.
U grande vantaghju di Bigtop hè l'apertura è a versatilità di l'arnesi nantu à quale hè basatu. Hè basatu annantu à Gradle è Apache Maven. Gradle hè abbastanza cunnisciutu cum'è u strumentu chì Google usa per custruisce Android. Hè flessibile, è, cum'è dicenu, "pruvatu in battaglia". Maven hè un strumentu standard per custruisce prughjetti in Apache stessu, è postu chì a maiò parte di i so prudutti sò liberati attraversu Maven, ùn puderia micca esse fattu senza quì. Hè vale a pena attente à u POM (model d'ughjettu di prughjettu) - u schedariu xml "fundamental" chì descrive tuttu ciò chì hè necessariu per Maven per travaglià cù u vostru prughjettu, intornu à quale tuttu u travagliu hè custruitu. Esattamente à
parti di Maven è ci sò parechji ostaculi chì l'utilizatori di Bigtop per a prima volta incontranu di solitu.
Prutizzioni
Allora induve duvete principià? Andate à a pagina di scaricamentu è scaricate l'ultima versione stabile cum'è un archiviu. Pudete ancu truvà artefatti binari cullati da Bigtop quì. Per via, trà i gestori di pacchetti cumuni, YUM è APT sò supportati.
In alternativa, pudete scaricà l'ultima versione stabile direttamente da
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitClonazione in "bigtop"...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.U repertoriu ./bigtop risultante s'assumiglia à questu:
./bigtop-bigpetstore - applicazioni demo, esempi sintetici
./bigtop-ci - Strumenti CI, jenkins
./bigtop-data-generators - generazione di dati, sintetici, per teste di fumu, etc.
./bigtop-deploy - Strumenti di implementazione
./bigtop-packages - configs, scripts, patches per l'assemblea, a parte principale di l'uttellu
./bigtop-test-framework - quadru di prova
./bigtop-tests - i testi stessi, carica è fume
./bigtop_toolchain - ambiente per l'assemblea, preparanu l'ambienti per l'uttellu per travaglià
./build - custruì u cartulare di travagliu
./dl - repertoriu per e fonti scaricate
./docker - custruzzione in l'imaghjini docker, teste
./gradle - cunfigurazione di gradle
./output - u repertoriu induve l'artefatti di custruisce
./provisioner - pruvisione
A cosa più interessante per noi in questa fase hè a cunfigurazione principale ./bigtop/bigtop.bom, in quale vedemu tutti i cumpunenti supportati cù versioni. Hè quì chì pudemu specificà una versione differente di u pruduttu (se di colpu vulemu pruvà à custruisce) o una versione di custruzzione (se, per esempiu, avemu aghjustatu un patch significativu).
U subdirectory hè ancu di grande interessu ./bigtop/bigtop-packages, chì hè direttamente ligata à u prucessu di assemblea cumpunenti è pacchetti cun elli.
Allora, avemu scaricatu l'archiviu, sbulicatu o fattu un clone da github, pudemu cumincià à custruisce?
Innò, preparemu prima l'ambiente.
A preparazione di l'ambiente
È quì avemu bisognu di una piccula ritirata. Per custruisce quasi ogni pruduttu più o menu cumplessu, avete bisognu di un certu ambiente - in u nostru casu, questu hè u JDK, i stessi biblioteche spartuti, i schedarii di l'intestazione, etc., arnesi, per esempiu, ant, ivy2 è assai più. Una di l'opzioni per uttene l'ambiente chì avete bisognu per Bigtop hè di installà i cumpunenti necessarii nantu à l'ospite di custruzzione. Puderia esse sbagliatu in a cronologia, ma pare chì cù a versione 1.0 ci era ancu una opzione per custruisce l'imaghjini Docker pre-configurati è accessibili, chì ponu esse truvati quì.
In quantu à a preparazione di l'ambiente, ci hè un assistente per questu - Puppet.
Pudete aduprà i seguenti cumandamenti, eseguite da u cartulare radicali
strumentu, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
O direttamente via puppet:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Sfurtunatamente, i difficultà ponu esse digià in questa fase. U cunsigliu generale quì hè di utilizà una distribuzione supportata, aghjurnata nantu à l'ospite di custruzzione, o pruvate a strada docker.
Assemblea
Chì pudemu pruvà à cullà ? A risposta à sta quistione serà datu da a pruduzzioni di u cumandamentu
./gradlew tasks
In a sezione di i compiti di u pacchettu ci sò una quantità di prudutti chì sò artefatti finali di Bigtop.
Puderanu esse identificati da u suffissu -rpm o -pkg-ind (in casu di custruzzione
in docker). In u nostru casu, u più interessante hè Hadoop.
Pruvemu di custruisce in l'ambiente di u nostru servitore di custruzzione:
./gradlew hadoop-rpmBigtop stessu scaricarà e fonti necessarie necessarie per un cumpunente specificu è cumincià l'assemblea. Cusì, u funziunamentu di l'uttellu hè dipendente da i repositori Maven è altre fonti, vale à dì, hè bisognu di accessu à Internet.
Durante l'operazione, l'output standard hè generatu. Calchì volta è i missaghji d'errore ponu aiutà à capisce ciò chì hè andatu male. È qualchì volta avete bisognu di ottene infurmazioni supplementari. In questu casu, vale a pena aghjunghje argumenti --info o --debug, è pò ancu esse utile –stacktrace. Ci hè una manera còmuda di generà un settore di dati per l'accessu sussegwente à e listi di mailing, a chjave --scan.
Cù u so aiutu, bigtop raccoglierà tutte l'infurmazioni è a mette in gradle, dopu chì furnisce un ligame,
da seguita chì, una persona cumpetente hà da pudè capisce perchè l'assemblea hà fiascatu.
Per piacè esse cuscenti chì sta opzione pò espose l'infurmazioni chì ùn vulete micca, cum'è nomi d'utilizatori, nodi, variabili di l'ambiente, etc., cusì attentu.
Spessu l'errori sò una cunsequenza di l'incapacità di ottene qualsiasi cumpunenti necessarii per l'assemblea. Di genere, pudete riparà u prublema creendu un patch per riparà qualcosa in i fonti, per esempiu, indirizzi in pom.xml in u cartulare radicali di e fonti. Questu hè fattu creendu è mette in u cartulare appropritatu ./bigtop/bigtop-packages/src/common/oozie/ patch, per esempiu, in a forma patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Hè assai prubabile, à l'ora di leghje stu articulu, ùn avete micca bisognu di fà u sopra à riparà sè stessu.
Quandu introducendu qualsiasi patch è cambiamenti à u mecanismu di l'assemblea, pudete avè bisognu di "resettà" l'assemblea utilizendu u cumandamentu di pulizia:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedQuesta operazione hà da rinvià tutti i cambiamenti à l'assemblea di stu cumpunente, dopu chì l'assemblea serà realizatu di novu. Sta volta pruveremu di custruisce u prugettu in una maghjina docker:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedA custruzione hè stata realizata sottu CentOS, ma pò ancu esse fatta sottu Ubuntu:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indIn più di custruisce pacchetti per diverse distribuzioni Linux, l'uttellu pò creà un repository cù pacchetti compilati, per esempiu:
./gradlew yumPudete ancu ricurdà di e teste di fume è di implementazione in Docker.
Crea un cluster di trè nodi:
./gradlew -Pnum_instances=3 docker-provisionerEseguite testi di fumu in un gruppu di trè nodi:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerEliminate un cluster:
./gradlew docker-provisioner-destroyOttene cumandamenti per cunnette in cuntenituri docker:
./gradlew docker-provisioner-sshMostra u statutu:
./gradlew docker-provisioner-statusPudete leghje più nantu à e attività di implementazione in a documentazione.
Se parlemu di testi, ci sò un gran numaru di elli, principarmenti di fumu è integrazione. A so analisi hè fora di u scopu di stu articulu. Lasciami dì solu chì l'assemblea di un kit di distribuzione ùn hè micca un compitu cusì difficiule cum'è puderia pare à prima vista. Avemu riesciutu à assemblà è passà teste nantu à tutti i cumpunenti chì usemu in a nostra pruduzzione, è ùn avemu micca avutu ancu prublemi à implementà è eseguisce operazioni basi in l'ambiente di prova.
In più di i cumpunenti esistenti in Bigtop, hè pussibule aghjunghje qualcosa altru, ancu u vostru propiu sviluppu di software. Tuttu chistu hè perfettamente automatizatu è si mette in u cuncettu CI / CD.
cunchiusioni
Ovviamente, a distribuzione compilata in questu modu ùn deve esse immediatamente mandata à a produzzione. Avete bisognu di capisce chì s'ellu ci hè un veru bisognu di custruisce è sustene a vostra distribuzione, allora avete bisognu di investisce soldi è tempu in questu.
Tuttavia, in cumbinazioni cù l'approcciu ghjustu è una squadra prufessiunale, hè abbastanza pussibule di fà senza suluzioni cummerciale.
Hè impurtante à nutà chì u prughjettu di Bigtop stessu hè bisognu di sviluppu è ùn pare micca esse sviluppatu attivamente oghje. A pruspettiva di Hadoop 3 chì apparisce in questu ùn hè ancu chjaru. A propositu, sè vo avete un veru bisognu di custruisce Hadoop 3, pudete vede. da Arenadata, in quale, in più di standard
Ci hè una quantità di cumpunenti supplementari (Ranger, Knox, NiFi).
In quantu à Rostelecom, per noi Bigtop hè una di l'opzioni chì sò cunsiderate oghje. Ch'ella sia scelta o micca, u tempu ci dirà.
penale
Per include un novu cumpunente in l'assemblea, avete bisognu di aghjunghje a so descrizzione à bigtop.bom è ./bigtop-packages. Pudete pruvà à fà questu per analogia cù i cumpunenti esistenti. Pruvate à capisce. Ùn hè micca cusì difficiule cum'è pare à prima vista.
Chi pensi? Seremu felici di vede a vostra opinione in i cumenti è vi ringraziu per a vostra attenzione!
L'articulu hè statu preparatu da a squadra di gestione di dati Rostelecom
Source: www.habr.com