Probabile est nullum secretum annum fuisse annum magnarum mutationum pro Apache Hadoop. Superiore anno, Cloudera et Hortonworks (se adeptio posterioris), et Mapr, propter graves quaestiones oeconomicas, Hewlett Packard venditae sunt. Et si paucis ante annis, in praemissis institutionibus, electio saepe facienda est inter Cloudera et Hortonworks, hodie, proh dolor, hanc electionem non habemus. Alia admiratio fuit quod Cloudera mense Februario huius anni denuntiavit ut binaria comitia suam distributionem in repositorio publico dimittere desineret, et nunc praesto sunt tantum per subscriptionem solutam. Utique, adhuc fieri potest ut recentissimas versiones CDH et HDP ante finem MMXIX emissas accipias, et auxilium earum expectatur pro uno ad biennium. Sed quid postea? Ad ea, quae ante subscriptionem solverant, nihil mutaverunt. Et iis qui ad versionem distributionis permutare nolunt, sed simul volentes recentissimas versiones glomerorum partium recipere, necnon resarcinas aliasque updates, hunc articulum paravimus. In ea optiones possibilis considerabimus pro exitu huius rei.
Articulus magis recensionis est. Comparationem distributionum ac accuratam analysim non continebit, nec recipies ad eas instituendas et configurandas nulla erit. Quæ in ea ventura? Breviter loquemur de tali distributione Arenadata Hadoop, quae operam nostram merito meretur ob eius promptitudinem, quae hodie rarissima est. Et tunc loquemur de Vanilla Hadoop, maxime quomodo possit "coctum" uti Apache Bigtop. Paratus? Tunc gratam cat.
Arenadata Hadoop
Haec res omnino nova est et, ut adhuc, parvae notae distributionis ornamentum progressionis domesticae. Donec in tempore HabrΓ© est solum .
Plura possunt inveniri in officialibus exertus. Novissimae versiones distributionis in Hadoop 3.1.2 pro versione 3, et 2.8.5 pro versione 2 nituntur.
Information about in roadmap inveniri potest .
Arenadata Botrus Manager Interface
Arenadata core productum est quae ad instituendum, configurandum et monitor varias solutiones programmatum societatum adhibetur. ADCM gratis distribuitur, eiusque functionis ampliatur addendo fasciculos, qui sunt libri fabularum ansibilis. Fasciculi in duo genera dividuntur: inceptio et communitas. Haec praesto sunt gratis ex arenadata website. Possibile est etiam fasciculum suum evolvere et cum ADCM coniungere.
Ad instruere et administrationem Hadoop III, communitas fasciculi versio coniuncta cum ADCM offertur, sed pro Hadoop 3 tantum tantum est. ut jocus. Repositoria cum fasciculis aperta ad accessum publicum, deponi et de more omnium partium botri more institui possunt. Super, distributio valde interesting spectat. Procurator et Ambari soleant solutiones ut Cloudera, et qui amo ACM ipsum. Quibusdam etiam erit ingens plus quam distributio pro import substitutione.
Si de incommodis loquamur, eadem erunt ac pro omnibus aliis distributionibus Hadoop. Nempe:
- Sic dictus "vendor cincinno-in". Exempla Cloudera et Hortonworks utentes, iam intelleximus periculum esse semper consilium societatis mutandae.
- Insignes lag post Apache fluminis.
Vanilla Hadoop
Ut scis, Hadoop productum monolithicum non est, sed re vera tota galaxia officiorum circa systematis fasciculi HDFS distributa. Pauci homines satis unius fasciculi botrum habebunt. Alii opus Hive, alii Presto, et tunc sunt HBase et Phoenix, Scintilla magis magisque adhibetur. Nam orchestration et notitiae loading, Oozie, Sqoop et Flume interdum inveniuntur. Et si casus securitatis oriatur, Kerberos cum Ranger ilico in mentem venit.
Binarii versiones partium Hadoop praesto sunt in pagina singulorum ecosystematum in forma tarballorum. Eas deponere potes et institutionem inire, sed una conditione: praeter fasciculos ex "rudis" binariis independenter colligendis, quas maxime probabile facere vis, nullam fiduciam habebis in convenientia versionum receptarum partium cum singulis alterum. Optio praelata est utendo Apache Bigtop aedificare. Bigtop sinet te ex Apache maven repositoria aedificare, probata currere et fasciculos aedificare. Sed, quod maximum est nobis, Bigtop congregabit illas versiones partium quae inter se compatibilia erunt. De eo infra fusius loquemur.
Apache Bigtop
Apache Bigtop instrumentum ad aedificationem, packaging et probatio numerus
fons apertus eminet, ut Hadoop et Greenplum. Bigtop habet multa
solvo. In tempore scribendi, recentissima dimissio stabilis facta est version 1.4;
et in domino erat 1.5. Variae versiones emissionum diversis versionibus utuntur
tium. Exempli gratia, pro 1.4 Hadoop nucleus compositorum habent versionem 2.8.5, et in master
2.10.0. Compositio fultorum partium mutatur etiam. Quid outdated et
inrenovabile abit, et in eius locum venit aliquid novum, magis in postulatio, et
non necessario aliquid ex ipsa familia Apache.
Praeterea, Bigtop multos habet .
Cum Bigtopum cognoscere coepimus, in primis mirati sumus eius modestiam prae ceteris Apache inceptis, hominum multitudine et gratia, ac perexigua communitate. Ex quo sequitur, minimas esse informationes de facto, et quaerendo solutiones quaestionum ortarum in foris et in tabulis electronicis nihil omnino cedere posse. In primis, difficile esse negotium contigit ut integram congregationem distributionis propter ipsius instrumenti lineamenta compleamus, sed de hoc paulo post loquemur.
Ut teaser, illi qui aliquando in talibus inceptis universitatis Linux ac Gentoo et LFS studebant, id nostalgice jucundum invenire possunt ad hanc rem operandam ac recordantur "epic" tempora, cum ipsi nos quaerebamus (vel etiam scribentes) aedificat et regulariter reaedificavit Mozilla novis inaequaliter.
Magna utilitas Bigtop est aperta et versatilis instrumentorum quibus innititur. Fundatur in Gradle et Apache Maven. Gradle satis notum est instrumentum Google usus ad Android aedificandum. Id est flexibile, et, ut aiunt, 'proelium probatum'. Maven signum est instrumentum ad operas aedificandas in ipsa Apache, et cum pleraque eius producta per Maven dimissa sint, sine hoc vel hic fieri non potest. Operae pretium est animadvertere POM (exemplari obiectum propositi) - fasciculus "fundamentalis" xml descriptis omnibus necessariis ad Maven ad operandum cum consilio tuo, circa quod omne opus aedificatur. Prorsus at
partes Maven et sunt aliqua impedimenta quae primum utentes Bigtop occurrere solent.
praxi
Itaque ubi incipias? Vade ad paginam downloadionis et novissimum versionem stabilem in archivo depone. Ibi reperire potes artificia binaria a Bigtop collecta. Obiter inter administratores sarcinas communes, YUM et APT sustentantur.
Vel, novissimam stabilem emissionem protinus extrahere potes
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitCloning in "bigtop"...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
ΠΠΎΠ»ΡΡΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ²: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, Π³ΠΎΡΠΎΠ²ΠΎ.
ΠΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ: 100% (20503/20503), Π³ΠΎΡΠΎΠ²ΠΎ.
Updating files: 100% (1998/1998), Π³ΠΎΡΠΎΠ²ΠΎ.Inde ./bigtop directorium aliquid simile hoc spectat:
./bigtop-bigpetstore - demo applicationes, synthetica exempla
./bigtop-ci - CI instrumenta, jenkins
./bigtop-data-generators β data generatione, synthetica, pro fumo probat, etc.
./bigtop-deploy - instrumenta instruere
./bigtop-packages β configs, scriptor, resarcio pro contione, principalis pars instrumenti
./bigtop-test-framework - test compage
./bigtop-tests - ipsi probat, onus et fumus
./bigtop_toolchain - ambitus conventus, ambitum instrumenti ad operandum praeparans
./build - constructum opus Directory
./dl - Directory for downloaded sources
./docker - aedificationem in imaginibus docker, probatio
./gradle - gradus config
./output - indicem ubi constructum artificialium ire
./provisioner - cibariis
Maxime interesting res nobis in hac scaena est principale config ./bigtop/bigtop.bom, in quo videmus omnia composita cum versionibus suffragari. Hoc est ubi variam versionem producti denotare possumus (si repente eam aedificare volumus) vel versionem aedificare (si, exempli gratia, notam significativam addidimus).
Subdirectorium etiam magni interest ./bigtop/bigtop-packagesquae directe pertinent ad processum collectionum partium et fasciculorum cum illis.
Itaque archivum, eo pacto vel e github emissi, aedificare incipimus?
Praeparate amet ante.
Praeparans Opera
Et hic fuga minima eget. Ad fabricandum fere productum complexum plus minusve, ambitus quidam requiritur - in nostro casu, hoc est JDK, eadem bibliothecae communis, fasciculi capitis, etc., instrumenta, exempli gratia, formica, ivy2 et multo plura. Una optionum ut ambitum quam postulo pro Bigtop est instituere necessarias partes in aedificatione hospitis. In chronologia erravisse potui, sed videtur cum 1.0 versione optionem etiam fuisse aedificandi in imaginibus praefiguratis et accessivis Docker, quae hic inveniuntur.
Ad ambitum praeparandum, adiutor est huic - Puppet.
Praeceptis sequentibus uti potes, ab radice directorio
instrumentum, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Vel directe per puppam;
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Infeliciter difficultates oriri possunt iam hac in re. Commune consilium hic utendum est distributione sustentata, usque ad exercitum aedificandum, vel iter nauale tentandum.
conventus
Quid colligere conamur? Responsio huic quaestioni data est ex mandato praecepti
./gradlew tasks
In sectione Sarcina munerum multae sunt productorum quae artificia finalia Bigtop.
Possunt invenire per suffixo -rpm vel -pkg-ind (in casu aedificii
in docker). In nobis, maxime interesting Hadoop est.
Conemur aedificare in ambitu nostrae servo aedificare:
./gradlew hadoop-rpmBigtop ipsa colliget fontes necessarios ad certum componentem requisitos et conventum incipiet. Sic operatio instrumenti ab Maven repositoriis aliisque fontibus dependet, id est, interretialem accessum requirit.
Per operationem, vexillum output generatur. Aliquando nuntii et erroris auxilium intelligis quod erravit. Curabitur interdum eget quam et interdum. In hoc casu argumentis adiectis valet --info aut --debuget etiam utiles esse possunt βstacktrace. Commode modus est ad generandum notitias appositas pro subsequenti accessu ad tabulas electronicas, clavem --scan.
Auxilio, bigtopus omnia indicia colliget et in gradatim collocabit, postquam nexum providebit;
quae sequuntur, persona competens intelligere poterit quare ecclesia defecit.
Quaeso ut scias hanc optionem informationes exponere posse, quas non vis, sicut usores, nodos, variabiles ambitus, etc., ita cave.
Saepe errores consecuti sunt inhabilitatem adipiscendam componentium necessariam pro ecclesia. De more, problema figere potes moles creando aliquid in fontibus figere, exempli gratia, inscriptiones in pom.xml in directorio radicis fontium. Hoc fit creando et collocando in presul congruo ./bigtop/bigtop-packages/src/common/oozie/ repeciare, exempli gratia, in forma patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Verisimile est, hoc articulum in tempore legendi, non te facere supra figere.
Cum aliquas inaequalitates et mutationes conventus mechanismi induces, necesse est ut ecclesiam "reset" utendo mandato tersus;
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedHaec operatio omnes mutationes ad coetum huius componentis revolvet, postquam conventus iterum peragetur. Hoc tempore temptabimus consilium in imagine fabricare:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
ΠΌΠ½ΠΎΠ³ΠΎ Π²ΡΠ²ΠΎΠ΄Π°
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedAedificium sub CentOS factum est, sed etiam sub Ubuntu fieri potest;
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indPraeter sarcinas aedificandas pro variis distributionibus Linux, instrumentum repositorium cum fasciculis confectis creare potest, exempli gratia:
./gradlew yumMeminisse etiam potes de fumo probationum ac instruere in Docker.
Botrus trium nodis crea
./gradlew -Pnum_instances=3 docker-provisionerFumus probat currere in botro trium nodis;
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerBotrus delere:
./gradlew docker-provisioner-destroyAdepto mandata connectens intus docker continentia
./gradlew docker-provisioner-sshOstendere statum:
./gradlew docker-provisioner-statusPlura de operibus instruere in documentis legere potes.
Si de probationibus loquimur, satis magnus numerus est, maxime fumus et integratio. Eorum analysis est extra ambitum huius articuli. Modo dicam quod ornamentum distributionis congregare non est tam arduum munus quam primo intuitu videri posset. Experimenta convenire ac praeterire potuimus in omnibus componentibus, quibus in nostra productione utimur, et etiam difficultates non habemus eas explicandi et praecipuas operationes in ambitu experimenti faciendo.
Praeter elementa in Bigtop existentium, aliud addere potest, etiam progressionis tuae progressionis. Haec omnia perfecte automated et in conceptu CI/CD accommodat.
conclusio,
Videlicet distributio hoc modo confecta non debet statim ad productionem mittere. Scire debes quod, si vera necessitas est aedificandi et sustentandi distributionem tuam, tunc debes pecuniam et tempus in hoc collocare.
Nihilominus, coniunctim cum recta accessu et biga professionali, sine solutione commerciali fieri potest.
Illud notandum est ipsum project Bigtop progressu indigere et hodie non actuose augeri videtur. Prospectus Hadoop 3 apparens in ea quoque obscura est, obiter si Hadoop 3 aedificandi necessitatem habes, intueri potes. de Arenadata, in qua, praeter vexillum
Complures adiciendi sunt (Ranger, Knox, NiFi).
Pro Rostelecom, nobis Bigtop est una ex optionibus hodie consideratis. Sive eligamus sive non, tempus indicabit.
Appendix
Ut novum componentem in conventu includat, descriptionem eius ad bigtop.bom et ./bigtop-packages addere debes. Hoc facere potes per analogiam cum entibus componentibus. Try ut viderit. Non tam difficilis est quam prima facie videtur.
Quid tibi videtur? Laetamur in commentationibus sententiam tuam videre et gratias tibi attente!
Articulus paratus est per turmas suas Rostelecom data procuratio
Source: www.habr.com