Seguruenik ez da sekretua iaz aldaketa handien urtea izan zela Apache Hadoopentzat. Iaz, Cloudera eta Hortonworks batu ziren (funtsean, azken honen erosketa), eta Mapr, finantza arazo larriak zirela eta, Hewlett Packard-i saldu zioten. Eta urte batzuk lehenago, lokaleko instalazioen kasuan, askotan Cloudera eta Hortonworks-en arteko hautua egin behar bazen, gaur, ai, ez dugu aukera hori. Beste sorpresa bat izan zen Clouderak aurtengo otsailean iragarri zuela bere banaketaren muntaia bitarrak biltegi publikoan kaleratzeari utziko ziola, eta orain ordainpeko harpidetzaren bidez soilik daude eskuragarri. Jakina, oraindik ere posible da 2019a amaitu baino lehen kaleratutako CDH eta HDPren azken bertsioak deskargatzeko, eta urtebete edo bi urterako laguntza espero da. Baina zer egin hurrengoan? Aurretik harpidetza ordaintzen zutenentzat, ez da ezer aldatu. Eta banaketaren ordainpeko bertsiora aldatu nahi ez dutenentzat, baina, aldi berean, klusterreko osagaien azken bertsioak, baita adabakiak eta bestelako eguneraketak ere jaso nahi dituztenentzat, artikulu hau prestatu dugu. Bertan egoera horretatik ateratzeko aukera posibleak aztertuko ditugu.
Artikulua berrikuspen bat da. Ez du banatuko konparaketarik eta horien azterketa zehatzik jasoko, eta ez da horiek instalatzeko eta konfiguratzeko errezetarik egongo. Zer gertatuko da? Laburki hitz egingo dugu Arenadata Hadoop bezalako banaketa bati buruz, gure arreta merezi duena bere erabilgarritasunagatik, gaur egun oso arraroa dena. Eta gero Vanilla Hadoop-i buruz hitz egingo dugu, batez ere Apache Bigtop erabiliz nola βegosiβ daitekeen. Prest? Orduan ongi etorri katuari.
Arenadata Hadoop
Etxeko garapenaren banaketa-kit guztiz berria eta oraindik ezezaguna da. Zoritxarrez, momentuz HabrΓ©-n bakarrik dago .
Informazio gehiago ofizialean aurki daiteke proiektua. Banaketaren azken bertsioak Hadoop 3.1.2 3. bertsiorako eta 2.8.5 2. bertsioan oinarritzen dira.
Bide orriari buruzko informazioa aurki daiteke .
Arenadata Cluster Manager Interfazea
Arenadataren oinarrizko produktua da , enpresaren hainbat software irtenbide instalatzeko, konfiguratzeko eta kontrolatzeko erabiltzen dena. ADCM doan banatzen da, eta bere funtzionalitatea sortak gehituz zabaltzen da, hau da, ansible-playbook-en multzoa. Sortak bi motatan banatzen dira: enpresa eta komunitatea. Azken hauek Arenadata webgunetik doan deskargatu daitezke. Zure sorta garatzea eta ADCMra konektatzea ere posible da.
Hadoop 3 hedatzeko eta kudeatzeko, sortaren komunitatearen bertsio bat eskaintzen da ADCMrekin batera, baina Hadoop 2rako bakarrik dago alternatiba gisa. Paketeak dituzten biltegiei dagokienez, sarbide publikorako irekita daude, ohiko moduan deskargatu eta instalatu daitezke klusterraren osagai guztientzat. Orokorrean, banaketa oso interesgarria dirudi. Seguru nago Cloudera Manager eta Ambari bezalako konponbideetara ohituta daudenak egongo direla eta ADCM bera gustatuko zaiena. Batzuentzat, gainera, banaketa hori abantaila handia izango da inportazioak ordezkatzeko.
Desabantailei buruz hitz egiten badugu, beste Hadoop banaketa guztien berdinak izango dira. Alegia:
- "Saltzaileen blokeoa" delakoa. Cloudera eta Hortonworks-en adibideak erabiliz, dagoeneko konturatu gara beti dagoela enpresaren politika aldatzeko arriskua.
- Apache-ren atzetik atzerapen handia.
Vanilla Hadoop
Dakizuenez, Hadoop ez da produktu monolitiko bat, baina, hain zuzen ere, bere HDFS fitxategi sistema banatuaren inguruko zerbitzu galaxia oso bat da. Jende gutxik nahikoa izango du fitxategi-kluster batekin. Batzuek Hive behar dute, beste batzuek Presto, eta gero HBase eta Phoenix daude; Spark gero eta gehiago erabiltzen da. Orkestraziorako eta datuak kargatzeko, Oozie, Sqoop eta Flume aurkitzen dira batzuetan. Eta segurtasunaren arazoa sortzen bada, berehala datorkit burura Kerberos Rangerrekin batera.
Hadoop osagaien bertsio bitarrak eskuragarri daude ekosistema proiektu bakoitzaren webgunean tarball moduan. Deskargatu eta instalatzen has zaitezke, baina baldintza bakarrarekin: "gordina" bitarren paketeak modu independentean muntatzeaz gain, ziurrenik egin nahi duzuna, ez duzu inongo konfiantzarik izango deskargatutako osagaien bertsioekin bateragarritasunean. beste. Aukera hobetsia Apache Bigtop erabiliz eraikitzea da. Bigtop-ek Apache maven biltegietatik eraikitzeko, probak exekutatzeko eta paketeak eraikitzeko aukera emango dizu. Baina, guretzat oso garrantzitsua dena, Bigtop-ek elkarren artean bateragarriak izango diren osagaien bertsio horiek muntatuko ditu. Jarraian zehatzago hitz egingo dugu horri buruz.
Apache Bigtop
Apache Bigtop hainbat eraikitzeko, ontziratzeko eta probatzeko tresna bat da
kode irekiko proiektuak, hala nola Hadoop eta Greenplum. Bigtop asko dauka
kaleratzeak. Idazteko unean, azken bertsio egonkorra 1.4 bertsioa zen,
eta maisuan 1.5 zegoen. Argitalpenen bertsio ezberdinek bertsio desberdinak erabiltzen dituzte
osagaiak. Adibidez, 1.4rako Hadoop core osagaiek 2.8.5 bertsioa dute eta maisuan
2.10.0. Onartutako osagaien konposizioa ere aldatzen ari da. Zerbait zaharkitua eta
berriztaezinak alde egiten du, eta bere lekuan zerbait berria dator, eskari handiagoa, eta
ez da zertan Apache familiakoa bera.
Horrez gain, Bigtop asko ditu .
Bigtop ezagutzen hasi ginenean, lehenik eta behin harritu gintuzten bere apala, beste Apache proiektu batzuekin alderatuta, nagusitasuna eta ospea, baita komunitate oso txikia izateak ere. Hortik ondorioztatzen da produktuari buruzko informazio minimoa dagoela, eta foroetan eta posta-zerrendetan sortu diren arazoei irtenbideak bilatzea agian ez da ezer emango. Hasieran, lana zaila egin zitzaigun banaketaren muntaketa osoa osatzea tresnaren beraren ezaugarriengatik, baina pixka bat geroago hitz egingo dugu honetaz.
Teaser gisa, garai batean Gentoo eta LFS bezalako Linux unibertsoko proiektuetan interesa zutenek nostalgikoki atsegina izan dezakete gauza honekin lan egitea eta guk geuk bilatzen (edo idazten ari ginen) garai "epiko" haiek gogoratzea. ebuilds eta Mozilla aldizka berreraikitzen du adabaki berriekin.
Bigtop-en abantaila handia oinarritzen den tresnen irekitasuna eta aldakortasuna da. Gradle eta Apache Maven-en oinarrituta dago. Gradle nahiko ezaguna da Googlek Android eraikitzeko erabiltzen duen tresna gisa. Malgua da, eta, diotenez, "borrokan probatua". Maven Apache-n bertan proiektuak eraikitzeko tresna estandarra da, eta bere produktu gehienak Maven-en bidez kaleratzen direnez, hemen ere ezin liteke egin. Merezi du arreta jartzea POM (proiektuaren objektu-eredua) - "funtsezko" xml fitxategia, Mavenek zure proiektuarekin lan egiteko beharrezkoa den guztia deskribatzen duena, eta horren inguruan eraikitzen da lan guztia. Zehazki ordun
Maven-en zatiak eta Bigtop-eko lehen aldiz erabiltzaileek aurkitu ohi dituzten oztopo batzuk daude.
Praktika
Beraz, nondik hasi behar duzu? Joan deskarga orrira eta deskargatu azken bertsio egonkorra artxibo gisa. Bertan Bigtop-ek bildutako artefaktu bitarrak ere aurki ditzakezu. Bide batez, paketeen kudeatzaile arrunten artean, YUM eta APT onartzen dira.
Bestela, azken bertsio egonkorra zuzenean deskarga dezakezu
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKlonazioa "bigtop"-en...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
ΠΠΎΠ»ΡΡΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ²: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, Π³ΠΎΡΠΎΠ²ΠΎ.
ΠΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ: 100% (20503/20503), Π³ΠΎΡΠΎΠ²ΠΎ.
Updating files: 100% (1998/1998), Π³ΠΎΡΠΎΠ²ΠΎ.Sortutako ./bigtop direktorioak honelako itxura du:
./bigtop-bigpetstore β Demo aplikazioak, adibide sintetikoak
./bigtop-ci - CI toolkit, jenkins
./bigtop-data-generators β datuak sortzea, sintetikoak, ke probak egiteko, etab.
./bigtop-deploy - hedatzeko tresnak
./bigtop-packages β konfigurazioak, scriptak, muntatzeko adabakiak, tresnaren zati nagusia
./bigtop-test-framework β Proba-esparrua
./bigtop-tests β probak berak, karga eta ke
./bigtop_toolchain β muntatzeko ingurunea, tresnak lan egiteko ingurunea prestatzea
./build β Eraiki lan-direktorioa
./dl β Deskargatutako iturrietarako direktorioa
./docker β Docker irudietan eraikitzea, probak
./gradle - gradle konfigurazioa
./output β eraikitzeko artefaktuak doazen direktorioa
./provisioner β hornidura
Etapa honetan guretzat interesgarriena konfigurazio nagusia da ./bigtop/bigtop.bom, zeinetan onartzen diren osagai guztiak bertsioekin ikusten ditugu. Hemen zehaztu dezakegu produktuaren beste bertsio bat (bat-batean eraikitzen saiatu nahi badugu) edo eraikitze bertsio bat (adabaki esanguratsu bat gehitu badugu, adibidez).
Azpidirektorioak ere interes handia du ./bigtop/bigtop-packages, osagaiak eta paketeak haiekin bateratzeko prozesuarekin zuzenean lotuta dagoena.
Beraz, artxiboa deskargatu, deskonpaktatu edo github-etik klon bat egin dugu, eraikitzen has al gaitezke?
Ez, prestatu dezagun ingurumena lehenik.
Ingurumena prestatzea
Eta hemen erretiro txiki bat behar dugu. Ia produktu konplexuago edo gutxiago sortzeko, ingurune jakin bat behar duzu; gure kasuan, hau da JDK, liburutegi partekatu berdinak, goiburuko fitxategiak, etab., tresnak, adibidez, ant, ivy2 eta askoz gehiago. Bigtop-erako behar duzun ingurunea lortzeko aukeretako bat eraikuntza-ostalari beharrezko osagaiak instalatzea da. Oker egon naiteke kronologian, baina badirudi 1.0 bertsioarekin aurrez konfiguratutako eta eskuragarri dauden Docker irudiak eraikitzeko aukera ere bazegoela, hemen aurki daitekeena.
Ingurumena prestatzeari dagokionez, horretarako laguntzaile bat dago - Txotxongiloa.
Hurrengo komandoak erabil ditzakezu, erroko direktoriotik exekutatu
tresna, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Edo zuzenean txotxongilo bidez:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Zoritxarrez, zailtasunak sor daitezke dagoeneko fase honetan. Hemen gomendio orokorra onartzen den banaketa bat erabiltzea da, eraikitzeko ostalari eguneratua edo docker ibilbidea probatzea.
muntaia
Zer saia gaitezke biltzen? Galdera honen erantzuna komandoaren irteerak emango du
./gradlew tasks
Pakete-zereginen atalean Bigtop-en azken artefaktuak diren hainbat produktu daude.
-rpm edo -pkg-ind atzizkiaren bidez identifikatu daitezke (eraikuntzaren kasuan
docker-en). Gure kasuan, interesgarriena Hadoop da.
Saia gaitezen gure eraikuntza zerbitzariaren ingurunean eraikitzen:
./gradlew hadoop-rpmBigtop-ek berak osagai zehatz baterako behar diren beharrezko iturriak deskargatuko ditu eta muntatzen hasiko da. Horrela, tresnaren funtzionamendua Maven biltegien eta beste iturri batzuen menpe dago, hau da, Interneterako sarbidea behar du.
Funtzionamenduan, irteera estandarra sortzen da. Batzuetan, horrek eta errore-mezuek zer gertatu den ulertzen lagun dezakete. Eta batzuetan informazio gehigarria lortu behar duzu. Kasu honetan merezi du argumentuak gehitzea --info edo --debug, eta erabilgarria ere izan daiteke βstacktrace. Posta zerrendetan gero sartzeko datu-multzo bat sortzeko modu eroso bat dago, gakoa --scan.
Bere laguntzarekin, bigtop-ek informazio guztia bildu eta gradlean jarriko du, ondoren esteka bat emango du,
horri jarraituz, pertsona eskudun batek batzarra zergatik huts egin duen ulertu ahal izango du.
Kontuan izan aukera honek nahi ez duzun informazioa azal dezakeela, hala nola erabiltzaile-izenak, nodoak, ingurune-aldagaiak, etab., beraz, kontuz ibili.
Askotan akatsak muntatzeko beharrezkoak diren osagaiak lortzeko ezintasunaren ondorio dira. Normalean, arazoa konpondu dezakezu iturburuetan zerbait konpontzeko adabaki bat sortuz, adibidez, iturrien erroko direktorioko pom.xml helbideak. Horretarako, dagokion direktorioa sortu eta jarriz egiten da ./bigtop/bigtop-packages/src/common/oozie/ adabakia, adibidez, forman patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Seguruenik, artikulu hau irakurtzeko unean, ez duzu zuk zeuk konpondu beharko goikoa.
Muntaia-mekanismoan adabakiak eta aldaketak sartzerakoan, baliteke muntaia "berrezarri" behar izatea garbiketa komandoa erabiliz:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedEragiketa honek osagai honen muntaian egindako aldaketa guztiak atzera egingo ditu, eta ondoren muntaia berriro egingo da. Oraingoan proiektua docker irudi batean eraikitzen saiatuko gara:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
ΠΌΠ½ΠΎΠ³ΠΎ Π²ΡΠ²ΠΎΠ΄Π°
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedEraikuntza CentOS-en egin zen, baina Ubuntu-n ere egin daiteke:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indLinux banaketa ezberdinetarako paketeak eraikitzeaz gain, tresnak konpilatutako paketeekin biltegi bat sor dezake, adibidez:
./gradlew yumDocker-en ke-probak eta hedapenaz ere gogoratu dezakezu.
Sortu hiru nodoko multzoa:
./gradlew -Pnum_instances=3 docker-provisionerEgin ke probak hiru nodoko multzo batean:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerEzabatu kluster bat:
./gradlew docker-provisioner-destroyLortu docker edukiontzien barruan konektatzeko komandoak:
./gradlew docker-provisioner-sshErakutsi egoera:
./gradlew docker-provisioner-statusInplementazio-zereginei buruzko informazio gehiago irakur dezakezu dokumentazioan.
Probei buruz hitz egiten badugu, nahiko ugari daude, batez ere kea eta integrazioa. Haien analisia artikulu honen esparrutik kanpo dago. Esan dezadan banaketa-kit bat muntatzea ez dela lehen begiratuan dirudien bezain zaila. Gure ekoizpenean erabiltzen ditugun osagai guztien probak muntatzea eta gainditzea lortu genuen, eta, gainera, ez genuen arazorik izan horiek zabaltzeko eta proba-ingurunean oinarrizko eragiketak egiteko.
Bigtop-en dauden osagaiez gain, beste edozer gehitzeko aukera dago, baita zure software-garapena ere. Hori guztia guztiz automatizatuta dago eta CI/CD kontzeptuan sartzen da.
Ondorioa
Jakina, modu honetan bildutako banaketa ez da berehala produkziora bidali behar. Ulertu behar duzu zure banaketa eraikitzeko eta laguntzeko benetako beharra badago, orduan dirua eta denbora inbertitu behar dituzula honetan.
Hala ere, ikuspegi egokiarekin eta talde profesionalarekin konbinatuta, nahiko posible da irtenbide komertzialik gabe.
Garrantzitsua da Bigtop proiektua bera garatzeko beharra dagoela eta ez dirudi gaur egun aktiboki garatzen ari denik. Hadoop 3 bertan agertzeko aukera ere ez dago argi. Bide batez, Hadoop 3 eraikitzeko benetako beharra baduzu, begiratu dezakezu Arenadatatik, zeinetan, estandarraz gain
Osagai gehigarri batzuk daude (Ranger, Knox, NiFi).
Rostelecom-i dagokionez, guretzat Bigtop da gaur egun aztertzen ari diren aukeretako bat. Aukeratzen dugun ala ez, denborak esango du.
eranskina
Osagai berri bat muntaian sartzeko, haren deskribapena gehitu behar duzu bigtop.bom eta ./bigtop-packages. Saia zaitezke hori egiten lehendik dauden osagaiekin analogia eginez. Saiatu asmatzen. Ez da lehen begiratuan dirudien bezain zaila.
Zer uste duzu? Pozik hartuko dugu zure iritzia iruzkinetan eta eskerrik asko zure arretagatik!
Artikulua Rostelecom datuen kudeaketa taldeak prestatu du
Iturria: www.habr.com