🥇Apache Bigtop et optio Hadoop distributionis hodie

Probabile est nullum secretum annum fuisse annum magnarum mutationum pro Apache Hadoop. Superiore anno, Cloudera et Hortonworks (se adeptio posterioris), et Mapr, propter graves quaestiones oeconomicas, Hewlett Packard venditae sunt. Et si paucis ante annis, in praemissis institutionibus, electio saepe facienda est inter Cloudera et Hortonworks, hodie, proh dolor, hanc electionem non habemus. Alia admiratio fuit quod Cloudera mense Februario huius anni denuntiavit ut binaria comitia suam distributionem in repositorio publico dimittere desineret, et nunc praesto sunt tantum per subscriptionem solutam. Utique, adhuc fieri potest ut recentissimas versiones CDH et HDP ante finem MMXIX emissas accipias, et auxilium earum expectatur pro uno ad biennium. Sed quid postea? Ad ea, quae ante subscriptionem solverant, nihil mutaverunt. Et iis qui ad versionem distributionis permutare nolunt, sed simul volentes recentissimas versiones glomerorum partium recipere, necnon resarcinas aliasque updates, hunc articulum paravimus. In ea optiones possibilis considerabimus pro exitu huius rei.

Articulus magis recensionis est. Comparationem distributionum ac accuratam analysim non continebit, nec recipies ad eas instituendas et configurandas nulla erit. Quæ in ea ventura? Breviter loquemur de tali distributione Arenadata Hadoop, quae operam nostram merito meretur ob eius promptitudinem, quae hodie rarissima est. Et tunc loquemur de Vanilla Hadoop, maxime quomodo possit "coctum" uti Apache Bigtop. Paratus? Tunc gratam cat.

Arenadata Hadoop

Haec res omnino nova est et, ut adhuc, parvae notae distributionis ornamentum progressionis domesticae. Donec in tempore Habré est solum hoc Commentarium.

Plura possunt inveniri in officialibus website exertus. Novissimae versiones distributionis in Hadoop 3.1.2 pro versione 3, et 2.8.5 pro versione 2 nituntur.

Information about in roadmap inveniri potest hic.

Arenadata Botrus Manager Interface

Arenadata core productum est Arenadata Botrus Manager (ADCM)quae ad instituendum, configurandum et monitor varias solutiones programmatum societatum adhibetur. ADCM gratis distribuitur, eiusque functionis ampliatur addendo fasciculos, qui sunt libri fabularum ansibilis. Fasciculi in duo genera dividuntur: inceptio et communitas. Haec praesto sunt gratis ex arenadata website. Possibile est etiam fasciculum suum evolvere et cum ADCM coniungere.

Ad instruere et administrationem Hadoop III, communitas fasciculi versio coniuncta cum ADCM offertur, sed pro Hadoop 3 tantum tantum est. Apache Ambari ut jocus. Repositoria cum fasciculis aperta ad accessum publicum, deponi et de more omnium partium botri more institui possunt. Super, distributio valde interesting spectat. Procurator et Ambari soleant solutiones ut Cloudera, et qui amo ACM ipsum. Quibusdam etiam erit ingens plus quam distributio inclusa in software mandare pro import substitutione.

Si de incommodis loquamur, eadem erunt ac pro omnibus aliis distributionibus Hadoop. Nempe:

Sic dictus "vendor cincinno-in". Exempla Cloudera et Hortonworks utentes, iam intelleximus periculum esse semper consilium societatis mutandae.
Insignes lag post Apache fluminis.

Vanilla Hadoop

Ut scis, Hadoop productum monolithicum non est, sed re vera tota galaxia officiorum circa systematis fasciculi HDFS distributa. Pauci homines satis unius fasciculi botrum habebunt. Alii opus Hive, alii Presto, et tunc sunt HBase et Phoenix, Scintilla magis magisque adhibetur. Nam orchestration et notitiae loading, Oozie, Sqoop et Flume interdum inveniuntur. Et si casus securitatis oriatur, Kerberos cum Ranger ilico in mentem venit.

Binarii versiones partium Hadoop praesto sunt in pagina singulorum ecosystematum in forma tarballorum. Eas deponere potes et institutionem inire, sed una conditione: praeter fasciculos ex "rudis" binariis independenter colligendis, quas maxime probabile facere vis, nullam fiduciam habebis in convenientia versionum receptarum partium cum singulis alterum. Optio praelata est utendo Apache Bigtop aedificare. Bigtop sinet te ex Apache maven repositoria aedificare, probata currere et fasciculos aedificare. Sed, quod maximum est nobis, Bigtop congregabit illas versiones partium quae inter se compatibilia erunt. De eo infra fusius loquemur.

Apache Bigtop

Apache Bigtop instrumentum ad aedificationem, packaging et probatio numerus
fons apertus eminet, ut Hadoop et Greenplum. Bigtop habet multa
solvo. In tempore scribendi, recentissima dimissio stabilis facta est version 1.4;
et in domino erat 1.5. Variae versiones emissionum diversis versionibus utuntur
tium. Exempli gratia, pro 1.4 Hadoop nucleus compositorum habent versionem 2.8.5, et in master
2.10.0. Compositio fultorum partium mutatur etiam. Quid outdated et
inrenovabile abit, et in eius locum venit aliquid novum, magis in postulatio, et
non necessario aliquid ex ipsa familia Apache.

Praeterea, Bigtop multos habet tridentes.

Cum Bigtopum cognoscere coepimus, in primis mirati sumus eius modestiam prae ceteris Apache inceptis, hominum multitudine et gratia, ac perexigua communitate. Ex quo sequitur, minimas esse informationes de facto, et quaerendo solutiones quaestionum ortarum in foris et in tabulis electronicis nihil omnino cedere posse. In primis, difficile esse negotium contigit ut integram congregationem distributionis propter ipsius instrumenti lineamenta compleamus, sed de hoc paulo post loquemur.

В качестве тизера — тем, кому в свое время заходили такие проекты Linux-вселенной, как Gentoo и LFS, возможно, покажется ностальгически приятно поработать с этой штукой и вспомнить те «былинные» времена, когда мы сами искали (а то и писали) ебилды и регулярно пересобирали с новыми патчами мозиллу.

Большим плюсом Bigtop можно считать открытость и универсальность инструментов, на которых он основан. В его фундаменте стоят Gradle и Apache Maven. Gradle достаточно хорошо известен как инструмент, которым Google собирает Android. Он гибкий, ну и, как говорится, «проверен в бою». Maven – это штатный инструмент для сборки проектов в самом Apache, и, поскольку большинство его продуктов выпускается именно через Maven, тут тоже без него не обошлось. Стоит обратить внимание на POM (project object model) – «фундаментальный» xml-файл с описанием всего необходимого для работы Maven с вашим проектом, вокруг которого строится вся работа. Именно в
partes Maven et sunt aliqua impedimenta quae primum utentes Bigtop occurrere solent.

praxi

Itaque ubi incipias? Vade ad paginam downloadionis et novissimum versionem stabilem in archivo depone. Ibi reperire potes artificia binaria a Bigtop collecta. Obiter inter administratores sarcinas communes, YUM et APT sustentantur.

Vel, novissimam stabilem emissionem protinus extrahere potes
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Cloning in "bigtop"...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

Inde ./bigtop directorium aliquid simile hoc spectat:

./bigtop-bigpetstore - demo applicationes, synthetica exempla
./bigtop-ci - CI instrumenta, jenkins
./bigtop-data-generators — data generatione, synthetica, pro fumo probat, etc.
./bigtop-deploy - instrumenta instruere
./bigtop-packages — configs, scriptor, resarcio pro contione, principalis pars instrumenti
./bigtop-test-framework - test compage
./bigtop-tests - ipsi probat, onus et fumus
./bigtop_toolchain - ambitus conventus, ambitum instrumenti ad operandum praeparans
./build - constructum opus Directory
./dl - Directory for downloaded sources
./docker - aedificationem in imaginibus docker, probatio
./gradle - gradus config
./output - indicem ubi constructum artificialium ire
./provisioner - cibariis

Maxime interesting res nobis in hac scaena est principale config ./bigtop/bigtop.bom, in quo videmus omnia composita cum versionibus suffragari. Hoc est ubi variam versionem producti denotare possumus (si repente eam aedificare volumus) vel versionem aedificare (si, exempli gratia, notam significativam addidimus).

Subdirectorium etiam magni interest ./bigtop/bigtop-packagesquae directe pertinent ad processum collectionum partium et fasciculorum cum illis.

Itaque archivum, eo pacto vel e github emissi, aedificare incipimus?

Praeparate amet ante.

Praeparans Opera

Et hic fuga minima eget. Ad fabricandum fere productum complexum plus minusve, ambitus quidam requiritur - in nostro casu, hoc est JDK, eadem bibliothecae communis, fasciculi capitis, etc., instrumenta, exempli gratia, formica, ivy2 et multo plura. Una optionum ut ambitum quam postulo pro Bigtop est instituere necessarias partes in aedificatione hospitis. In chronologia erravisse potui, sed videtur cum 1.0 versione optionem etiam fuisse aedificandi in imaginibus praefiguratis et accessivis Docker, quae hic inveniuntur.

Ad ambitum praeparandum, adiutor est huic - Puppet.

Praeceptis sequentibus uti potes, ab radice directorio
instrumentum, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Vel directe per puppam;

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Infeliciter difficultates oriri possunt iam hac in re. Commune consilium hic utendum est distributione sustentata, usque ad exercitum aedificandum, vel iter nauale tentandum.

conventus

Quid colligere conamur? Responsio huic quaestioni data est ex mandato praecepti

./gradlew tasks

In sectione Sarcina munerum multae sunt productorum quae artificia finalia Bigtop.
Possunt invenire per suffixo -rpm vel -pkg-ind (in casu aedificii
in docker). In nobis, maxime interesting Hadoop est.

Conemur aedificare in ambitu nostrae servo aedificare:

./gradlew hadoop-rpm

Bigtop ipsa colliget fontes necessarios ad certum componentem requisitos et conventum incipiet. Sic operatio instrumenti ab Maven repositoriis aliisque fontibus dependet, id est, interretialem accessum requirit.

Per operationem, vexillum output generatur. Aliquando nuntii et erroris auxilium intelligis quod erravit. Curabitur interdum eget quam et interdum. In hoc casu argumentis adiectis valet --info aut --debuget etiam utiles esse possunt –stacktrace. Commode modus est ad generandum notitias appositas pro subsequenti accessu ad tabulas electronicas, clavem --scan.

Auxilio, bigtopus omnia indicia colliget et in gradatim collocabit, postquam nexum providebit;
quae sequuntur, persona competens intelligere poterit quare ecclesia defecit.
Quaeso ut scias hanc optionem informationes exponere posse, quas non vis, sicut usores, nodos, variabiles ambitus, etc., ita cave.

Saepe errores consecuti sunt inhabilitatem adipiscendam componentium necessariam pro ecclesia. De more, problema figere potes moles creando aliquid in fontibus figere, exempli gratia, inscriptiones in pom.xml in directorio radicis fontium. Hoc fit creando et collocando in presul congruo ./bigtop/bigtop-packages/src/common/oozie/ repeciare, exempli gratia, in forma patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

Verisimile est, hoc articulum in tempore legendi, non te facere supra figere.

Cum aliquas inaequalitates et mutationes conventus mechanismi induces, necesse est ut ecclesiam "reset" utendo mandato tersus;

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

Haec operatio omnes mutationes ad coetum huius componentis revolvet, postquam conventus iterum peragetur. Hoc tempore temptabimus consilium in imagine fabricare:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

Сборка выполнилась под CentOS, но можно выполнить и под Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Кроме сборки пакетов под различные дистрибутивы Linux, инструмент умеет формировать репозиторий с собранными пакетами, например:

./gradlew yum

Meminisse etiam potes de fumo probationum ac instruere in Docker.

Botrus trium nodis crea

./gradlew -Pnum_instances=3 docker-provisioner

Fumus probat currere in botro trium nodis;

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Botrus delere:

./gradlew docker-provisioner-destroy

Adepto mandata connectens intus docker continentia

./gradlew docker-provisioner-ssh

Ostendere statum:

./gradlew docker-provisioner-status

Plura de operibus instruere in documentis legere potes.

Si de probationibus loquimur, satis magnus numerus est, maxime fumus et integratio. Eorum analysis est extra ambitum huius articuli. Modo dicam quod ornamentum distributionis congregare non est tam arduum munus quam primo intuitu videri posset. Experimenta convenire ac praeterire potuimus in omnibus componentibus, quibus in nostra productione utimur, et etiam difficultates non habemus eas explicandi et praecipuas operationes in ambitu experimenti faciendo.

Praeter elementa in Bigtop existentium, aliud addere potest, etiam progressionis tuae progressionis. Haec omnia perfecte automated et in conceptu CI/CD accommodat.

conclusio,

Videlicet distributio hoc modo confecta non debet statim ad productionem mittere. Scire debes quod, si vera necessitas est aedificandi et sustentandi distributionem tuam, tunc debes pecuniam et tempus in hoc collocare.

Nihilominus, coniunctim cum recta accessu et biga professionali, sine solutione commerciali fieri potest.

Illud notandum est ipsum project Bigtop progressu indigere et hodie non actuose augeri videtur. Prospectus Hadoop 3 apparens in ea quoque obscura est, obiter si Hadoop 3 aedificandi necessitatem habes, intueri potes. furca de Arenadata, in qua, praeter vexillum
Complures adiciendi sunt (Ranger, Knox, NiFi).

Pro Rostelecom, nobis Bigtop est una ex optionibus hodie consideratis. Sive eligamus sive non, tempus indicabit.

Appendix

Ut novum componentem in conventu includat, descriptionem eius ad bigtop.bom et ./bigtop-packages addere debes. Hoc facere potes per analogiam cum entibus componentibus. Try ut viderit. Non tam difficilis est quam prima facie videtur.

Quid tibi videtur? Laetamur in commentationibus sententiam tuam videre et gratias tibi attente!

Articulus paratus est per turmas suas Rostelecom data procuratio

Source: www.habr.com