Apache Bigtop un Hadoop izplatīšanas izvēle šodien

Droši vien nav noslēpums, ka pagājušais gads Apache Hadoop bija lielu pārmaiņu gads. Pagājušajā gadā Cloudera un Hortonworks apvienojās (būtībā pēdējā iegāde), un Mapr nopietnu finansiālu problēmu dēļ tika pārdots Hewlett Packard. Un, ja dažus gadus iepriekš lokālo instalāciju gadījumā bieži bija jāizdara izvēle starp Cloudera un Hortonworks, šodien diemžēl mums šādas izvēles nav. Vēl viens pārsteigums bija fakts, ka Cloudera šā gada februārī paziņoja, ka pārtrauks izlaist tās izplatīšanas bināros komplektus publiskajā repozitorijā, un tagad tie ir pieejami tikai ar maksas abonementu. Protams, joprojām ir iespējams lejupielādēt jaunākās CDH un HDP versijas, kas izlaistas līdz 2019. gada beigām, un to atbalsts ir paredzēts vienu līdz divus gadus. Bet ko darīt tālāk? Tiem, kas iepriekš maksāja par abonementu, nekas nav mainījies. Un tiem, kuri nevēlas pārslēgties uz maksas distribūcijas versiju, bet tajā pašā laikā vēlas saņemt jaunākās klasteru komponentu versijas, kā arī ielāpus un citus atjauninājumus, esam sagatavojuši šo rakstu. Tajā mēs apsvērsim iespējamās iespējas, kā izkļūt no šīs situācijas.

Raksts drīzāk ir apskats. Tajā nebūs izplatījumu salīdzinājuma un detalizētas to analīzes, kā arī nebūs recepšu to instalēšanai un konfigurēšanai. Kas notiks? Mēs īsi runāsim par tādu izplatīšanu kā Arenadata Hadoop, kas pamatoti ir pelnījis mūsu uzmanību, pateicoties tā pieejamībai, kas mūsdienās ir ļoti reti sastopama. Un tad mēs runāsim par Vanilla Hadoop, galvenokārt par to, kā to var “pagatavot”, izmantojot Apache Bigtop. Vai esat gatavs? Tad laipni lūdzam kaķī.

Arenadata Hadoop

Šis ir pilnīgi jauns un pagaidām mazpazīstams vietējās attīstības izplatīšanas komplekts. Diemžēl šobrīd uz Habré ir tikai Šis raksts.

Plašāku informāciju var atrast oficiālajā vietnē Tiešsaistē projektu. Jaunākās izplatīšanas versijas ir balstītas uz Hadoop 3.1.2 3. versijai un 2.8.5 2. versijai.

Informāciju par ceļa karti var atrast šeit.

Arenadata klastera pārvaldnieka saskarne

Arenadata pamatprodukts ir Arenadata Cluster Manager (ADCM), kas tiek izmantots dažādu uzņēmuma programmatūras risinājumu instalēšanai, konfigurēšanai un uzraudzībai. ADCM tiek izplatīts bez maksas, un tā funkcionalitāte tiek paplašināta, pievienojot komplektus, kas ir iespējamu rokasgrāmatu komplekts. Pakas ir sadalītas divos veidos: uzņēmums un kopiena. Pēdējās ir pieejamas bezmaksas lejupielādei no Arenadata vietnes. Ir iespējams arī izveidot savu komplektu un savienot to ar ADCM.

Hadoop 3 izvietošanai un pārvaldībai komplekta kopienas versija tiek piedāvāta kopā ar ADCM, taču Hadoop 2 ir pieejama tikai Apache Ambari kā alternatīvu. Kas attiecas uz krātuvēm ar pakotnēm, tās ir pieejamas publiskai piekļuvei, tās var lejupielādēt un instalēt parastajā veidā visiem klastera komponentiem. Kopumā izplatīšana izskatās ļoti interesanta. Esmu pārliecināts, ka būs tādi, kas ir pieraduši pie tādiem risinājumiem kā Cloudera Manager un Ambari un kuriem patiks pats ADCM. Dažiem tas būs arī milzīgs pluss izplatīšanai iekļauts programmatūras reģistrā importa aizstāšanai.

Ja mēs runājam par trūkumiem, tie būs tādi paši kā visiem citiem Hadoop izplatījumiem. Proti:

• Tā sauktā “pārdevēja bloķēšana”. Izmantojot Cloudera un Hortonworks piemērus, mēs jau esam sapratuši, ka vienmēr pastāv risks mainīt uzņēmuma politiku.
• Ievērojama atpalicība no Apache augštecē.

Vaniļas Hadoop

Kā zināms, Hadoop nav monolīts produkts, bet patiesībā vesela pakalpojumu plejāde ap tās izplatīto failu sistēmu HDFS. Tikai dažiem cilvēkiem pietiks ar vienu failu kopu. Dažiem ir nepieciešams Hive, citiem Presto, un tad ir HBase un Phoenix; Spark tiek izmantots arvien vairāk. Orķestrēšanai un datu ielādei dažreiz tiek atrasti Oozie, Sqoop un Flume. Un, ja rodas jautājums par drošību, tad uzreiz nāk prātā Kerberos savienojumā ar Ranger.

Hadoop komponentu binārās versijas ir pieejamas katra ekosistēmas projekta vietnē tarballu veidā. Varat tos lejupielādēt un sākt instalēšanu, taču ar vienu nosacījumu: papildus pakotņu neatkarīgai salikšanai no “neapstrādātiem” bināriem failiem, ko jūs, visticamāk, vēlaties darīt, jums nebūs pārliecības par lejupielādēto komponentu versiju savietojamību ar katru. cits. Vēlamā iespēja ir veidot, izmantojot Apache Bigtop. Bigtop ļaus jums veidot no Apache maven krātuvēm, palaist testus un veidot pakotnes. Bet, kas mums ir ļoti svarīgi, Bigtop saliks tās komponentu versijas, kas būs savietojamas viena ar otru. Tālāk mēs par to runāsim sīkāk.

Apache Bigtop

Apache Bigtop ir rīks, lai izveidotu, iepakotu un pārbaudītu vairākus
atvērtā pirmkoda projekti, piemēram, Hadoop un Greenplum. Bigtop ir daudz
izlaidumi. Rakstīšanas laikā jaunākā stabilā versija bija 1.4,
un meistarā bija 1.5. Dažādās izlaidumu versijās tiek izmantotas dažādas versijas
sastāvdaļas. Piemēram, versijai 1.4 Hadoop pamata komponentiem ir versija 2.8.5 un galvenā versija
2.10.0. Mainās arī atbalstīto komponentu sastāvs. Kaut kas novecojis un
neatjaunojamais iet prom, un tā vietā nāk kaut kas jauns, pieprasītāks, un
tas ne vienmēr ir kaut kas no pašas Apache ģimenes.

Turklāt Bigtop ir daudz dakšas.

Kad sākām iepazīties ar Bigtop, mūs pirmām kārtām pārsteidza tā pieticīgā, salīdzinājumā ar citiem Apache projektiem, izplatība un popularitāte, kā arī ļoti mazā kopiena. No tā izriet, ka informācija par produktu ir minimāla, un, meklējot risinājumus problēmām, kas radušās forumos un adresātu sarakstos, var nebūt neko. Sākumā mums izrādījās sarežģīts uzdevums pabeigt distribūcijas pilnīgu montāžu paša rīka īpašību dēļ, taču mēs par to runāsim nedaudz vēlāk.

Tiem, kas savulaik interesējušies par tādiem Linux visuma projektiem kā Gentoo un LFS, var šķist nostalģiski patīkami strādāt ar šo lietu un atcerēties tos “episkos” laikus, kad mēs paši meklējām (vai pat rakstījām) pārbūvē un regulāri pārbūvē Mozilla ar jauniem ielāpiem.

Bigtop lielā priekšrocība ir tā pamatā esošo rīku atvērtība un daudzpusība. Tas ir balstīts uz Gradle un Apache Maven. Gradle ir diezgan labi pazīstams kā rīks, ko Google izmanto Android izveidei. Tas ir elastīgs un, kā saka, "pārbaudīts kaujā". Maven ir standarta rīks projektu veidošanai pašā Apache, un, tā kā lielākā daļa tā produktu tiek izlaisti caur Maven, bez tā arī šeit nevarētu iztikt. Ir vērts pievērst uzmanību POM (projekta objekta modelim) - “fundamentālajam” xml failam, kas apraksta visu, kas nepieciešams, lai Maven strādātu ar jūsu projektu, ap kuru tiek veidots viss darbs. Tieši plkst
Maven daļas un ir daži šķēršļi, ar kuriem parasti saskaras pirmie Bigtop lietotāji.

Prakse

Tātad, kur jums vajadzētu sākt? Dodieties uz lejupielādes lapu un lejupielādējiet jaunāko stabilo versiju kā arhīvu. Tur varat atrast arī Bigtop savāktos bināros artefaktus. Starp citu, starp parastajiem pakotņu pārvaldniekiem tiek atbalstīti YUM un APT.

Varat arī lejupielādēt jaunāko stabilo versiju tieši no
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Klonēšana “lielajā topā”…

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

Iegūtais ./bigtop direktorijs izskatās apmēram šādi:

./bigtop-bigpetstore — demonstrācijas lietojumprogrammas, sintētiskie piemēri
./bigtop-ci - CI instrumenti, jenkins
./bigtop-data-generators — datu ģenerēšana, sintētika, dūmu testiem utt.
./bigtop-deploy - izvietošanas rīki
./bigtop-packages — konfigurācijas, skripti, montāžas ielāpi, rīka galvenā daļa
./bigtop-test-framework — testēšanas sistēma
./bigtop-tests — paši testi, slodze un dūmi
./bigtop_toolchain — vide montāžai, darba vides sagatavošana instrumentam darbam
./build - izveidot darba direktoriju
./dl — lejupielādēto avotu direktorijs
./docker — Docker attēlu veidošana, testēšana
./gradle - pakāpes konfigurācija
./output - direktorijs, kurā atrodas būvēšanas artefakti
./provisioner — nodrošinājums

Visinteresantākā lieta mums šajā posmā ir galvenā konfigurācija ./bigtop/bigtop.bom, kurā mēs redzam visus atbalstītos komponentus ar versijām. Šeit mēs varam norādīt citu produkta versiju (ja pēkšņi vēlamies mēģināt to izveidot) vai būvējuma versiju (ja, piemēram, esam pievienojuši nozīmīgu ielāpu).

Lielu interesi rada arī apakšdirektorijs ./bigtop/bigtop-packages, kas ir tieši saistīts ar komponentu un iepakojumu komplektēšanas procesu ar tiem.

Tātad, mēs lejupielādējām arhīvu, izpakojām to vai izveidojām klonu no github, vai varam sākt veidot?

Nē, vispirms sagatavosim vidi.

Vides sagatavošana

Un šeit mums ir vajadzīga neliela atkāpšanās. Lai izveidotu gandrīz jebkuru vairāk vai mazāk sarežģītu produktu, ir nepieciešama noteikta vide - mūsu gadījumā tā ir JDK, tās pašas koplietotās bibliotēkas, galvenes faili utt., rīki, piemēram, ant, ivy2 un daudz kas cits. Viena no iespējām, kā iegūt Bigtop nepieciešamo vidi, ir instalēt nepieciešamos komponentus būvēšanas resursdatorā. Es varētu kļūdīties hronoloģijā, bet šķiet, ka ar versiju 1.0 bija arī iespēja iebūvēt iepriekš konfigurētus un pieejamus Docker attēlus, kurus var atrast šeit.

Runājot par vides sagatavošanu, tam ir palīgs - Lelle.

Varat izmantot šādas komandas, palaist no saknes direktorija
instruments, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Vai tieši, izmantojot lelli:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Diemžēl jau šajā posmā var rasties grūtības. Vispārīgs padoms šeit ir izmantot atbalstītu izplatīšanu, kas ir atjaunināta būvēšanas resursdatorā, vai izmēģināt docker maršrutu.

Montāža

Ko mēs varam mēģināt savākt? Atbildi uz šo jautājumu sniegs komandas izvade

./gradlew tasks

Sadaļā Pakotnes uzdevumi ir vairāki produkti, kas ir Bigtop galīgie artefakti.
Tos var identificēt pēc sufiksa -rpm vai -pkg-ind (ēkas gadījumā
dokerā). Mūsu gadījumā visinteresantākais ir Hadoop.

Mēģināsim izveidot mūsu būvēšanas servera vidē:

./gradlew hadoop-rpm

Bigtop pats lejupielādēs konkrētam komponentam nepieciešamos avotus un sāks montāžu. Tādējādi rīka darbība ir atkarīga no Maven krātuvēm un citiem avotiem, tas ir, tam ir nepieciešama piekļuve internetam.

Darbības laikā tiek ģenerēta standarta izvade. Dažreiz tas un kļūdu ziņojumi var palīdzēt saprast, kas nogāja greizi. Un dažreiz jums ir jāiegūst papildu informācija. Šajā gadījumā ir vērts pievienot argumentus --info vai --debugun var būt arī noderīgi –stacktrace. Ir ērts veids, kā ģenerēt datu kopu turpmākai piekļuvei adresātu sarakstiem, atslēga --scan.

Ar tās palīdzību bigtop apkopos visu informāciju un ievietos to gradle, pēc tam sniegs saiti,
pēc kuriem kompetenta persona varēs saprast, kāpēc montāža neizdevās.
Lūdzu, ņemiet vērā, ka šī opcija var atklāt informāciju, kuru jūs nevēlaties, piemēram, lietotājvārdus, mezglus, vides mainīgos utt., tāpēc esiet piesardzīgs.

Bieži kļūdas rodas tādēļ, ka nav iespējams iegūt montāžai nepieciešamās sastāvdaļas. Parasti problēmu var novērst, izveidojot ielāpu, lai kaut ko labotu avotos, piemēram, adreses pom.xml avota saknes direktorijā. Tas tiek darīts, izveidojot un ievietojot to attiecīgajā direktorijā ./bigtop/bigtop-packages/src/common/oozie/ plāksteris, piemēram, formā patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

Visticamāk, šī raksta lasīšanas laikā jums pašam nebūs jāveic iepriekšminētais labojums.

Ieviešot montāžas mehānisma ielāpus un izmaiņas, iespējams, vajadzēs “atiestatīt” montāžu, izmantojot tīrīšanas komandu:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

Šī darbība atcels visas šī komponenta montāžas izmaiņas, un pēc tam montāža tiks veikta vēlreiz. Šoreiz mēs mēģināsim izveidot projektu docker attēlā:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

Būvēšana tika veikta ar CentOS, bet to var veikt arī Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Papildus pakotņu veidošanai dažādiem Linux izplatījumiem, rīks var izveidot repozitoriju ar apkopotām pakotnēm, piemēram:

./gradlew yum

Varat arī atcerēties par dūmu testiem un izvietošanu programmā Docker.

Izveidojiet trīs mezglu kopu:

./gradlew -Pnum_instances=3 docker-provisioner

Veiciet dūmu testus trīs mezglu klasterī:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Dzēst kopu:

./gradlew docker-provisioner-destroy

Iegūstiet komandas docker konteineru savienošanai:

./gradlew docker-provisioner-ssh

Rādīt statusu:

./gradlew docker-provisioner-status

Vairāk par izvietošanas uzdevumiem varat lasīt dokumentācijā.

Ja runājam par testiem, tad to ir diezgan liels skaits, galvenokārt dūmi un integrācija. Viņu analīze ir ārpus šī raksta darbības jomas. Ļaujiet man tikai teikt, ka izplatīšanas komplekta salikšana nav tik grūts uzdevums, kā varētu šķist no pirmā acu uzmetiena. Mums izdevās samontēt un nokārtot testus visiem komponentiem, ko izmantojam savā ražošanā, un mums arī nebija problēmu ar to izvietošanu un pamata darbību veikšanu testa vidē.

Papildus Bigtop esošajām sastāvdaļām ir iespējams pievienot jebko citu, pat savu programmatūras izstrādi. Tas viss ir lieliski automatizēts un iekļaujas CI/CD koncepcijā.

Secinājums

Acīmredzot šādā veidā sastādīto izplatīšanas paketi nevajadzētu nekavējoties nosūtīt uz ražošanu. Jums ir jāsaprot, ka, ja ir reāla vajadzība izveidot un atbalstīt savu izplatīšanu, jums tajā jāiegulda nauda un laiks.

Taču kombinācijā ar pareizo pieeju un profesionālu komandu pilnīgi iespējams iztikt bez komerciāliem risinājumiem.

Ir svarīgi atzīmēt, ka pats Bigtop projekts ir jāattīsta, un šķiet, ka šodien tas netiek aktīvi attīstīts. Arī Hadoop 3 parādīšanās iespēja tajā nav skaidra. Starp citu, ja jums ir patiesa nepieciešamība izveidot Hadoop 3, varat apskatīt dakša no Arenadata, kurā papildus standarta
Ir vairāki papildu komponenti (Ranger, Knox, NiFi).

Kas attiecas uz Rostelecom, mums Bigtop ir viena no iespējām, kas tiek apsvērta šodien. Neatkarīgi no tā, vai mēs to izvēlēsimies, laiks rādīs.

Pielikums

Lai komplektā iekļautu jaunu komponentu, tā apraksts jāpievieno failiem bigtop.bom un ./bigtop-packages. Varat mēģināt to izdarīt pēc analoģijas ar esošajiem komponentiem. Mēģiniet to izdomāt. Tas nav tik grūti, kā šķiet no pirmā acu uzmetiena.

Ko tu domā? Priecāsimies redzēt jūsu viedokli komentāros un pateicamies par uzmanību!

Rakstu sagatavoja Rostelecom datu pārvaldības komanda

Avots: www.habr.com