Droši vien, ka neviens nav pārsteigts, ka pagājušais gads Apache Hadoop bija lielu pārmaiņu gads. Pagājušajā gadā notika Cloudera un Hortonworks apvienošanās (faktiski otrā uzņēmuma iegūšana), un Mapr, ņemot vērā nopietnās finanšu problēmas, tika pārdots Hewlett Packard. Un, ja pirms dažiem gadiem, runājot par on-premises instalācijām, izvēle biežāk krita starp Cloudera un Hortonworks, tad šodien, diemžēl, šīs izvēles mums nav palikušas. Pārsteigums bija arī tas, ka Cloudera no šā gada februāra paziņoja par bināro versiju izlaiduma pārtraukšanu savā izplatīšanas paketē publiskajos repozitorijos, un tagad tās ir pieejamas tikai par maksu. Protams, iespēja lejupielādēt jaunākās versijas CDH un HDP, kas izlaistas līdz 2019. gada beigām, joprojām pastāv, un to atbalsts ir paredzēts nākamajiem vienam diviem gadiem. Bet ko darīt tālāk? Tiem, kuri iepriekš maksāja par abonamentu, nekas nav mainījies. Bet tiem, kas nevēlas pāriet uz maksas versiju, bet tajā pašā laikā vēlas saņemt jaunākās klastera komponentu versijas, kā arī labojumus un citus atjauninājumus, mēs esam sagatavojuši šo rakstu. Tajā mēs izvērtēsim iespējas, kā izkļūt no izveidotās situācijas.
Raksts ir vairāk pārskata raksts. Tajā nebūs salīdzinājuma starp izplatījumiem un detalizēta to analīze, kā arī nebūs receptes to instalēšanai un konfigurēšanai. Bet ko tad būs? Mēs īsi pastāstīsim par tādu izplatījumu kā Arenadata Hadoop, kas pelnījis mūsu uzmanību, ņemot vērā pieejamību, kas šodien ir liela retums. Pēc tam runāsim par Vanilla Hadoop, galvenokārt par to, kā to var "pagatavot" ar Apache Bigtop. Gatavi? Tad laipni lūdzam zemāk.
Arenadata Hadoop

Tas ir pavisam jauns un, pagaidām, maz zināms izplatījums vietējās izstrādes. Diemžēl šobrīd Habrā par to ir pieejama tikai .
Sīkāku informāciju var atrast oficiālajā projektā. Pēdējās izplatījuma versijas ir balstītas uz Hadoop 3.1.2 trešajai versijai un 2.8.5 otrajai versijai.
Informāciju par ceļa karti var atrast .

Arenadata Cluster Manager interfeiss
Arenadata galvenais produkts ir , kas tiek izmantots dažādu uzņēmuma programmatūras risinājumu uzstādīšanai, konfigurēšanai un uzraudzībai. ADCM tiek izplatīts bez maksas, un tā funkcionalitāti var paplašināt, pievienojot tai pakotnes, kas ir ansible-playbook kopums. Pakotnes tiek iedalītas divos veidos: uzņēmuma un kopienas. Pēdējās ir pieejamas bezmaksas lejupielādei no Arenadata vietnes. Tāpat ir iespēja izstrādāt savu pakotni un pievienot to ADCM.
Hadoop 3 izvietošanai un pārvaldībai ir piedāvāta kopienas versija kopā ar ADCM, bet Hadoop 2 ir pieejams tikai kā alternatīva. Runājot par pakotņu repozitorijiem, tie ir pieejami publiskai piekļuvei, tos var lejupielādēt un uzstādīt ierastā veidā visām klastera sastāvdaļām. Kopumā izplatījums izskatās ļoti interesants. Esmu pārliecināts, ka būs tādi, kam patiks tādi risinājumi kā Cloudera Manager un Ambari, un kuri novērtēs pašu ADCM. Dažiem var būt liels ieguvums arī tas, ka izplatījums importa aizstāšanai.
Runājot par trūkumiem, tie būs tie paši, kas visiem citiem Hadoop izplatījumiem. Proti:
- Tā sauktais "vendor lock-in". Piemērā ar Cloudera un Hortonworks mēs jau sapratām, ka vienmēr pastāv risks mainīt uzņēmuma politiku.
- Ievērojams atpalicība no Apache avota.
Vanilla Hadoop

Kā jūs zināt, Hadoop nav monolīta produkts, bet, būtībā, visa virkne pakalpojumu ap tā sadalītās failu sistēmas HDFS. Mazākumam pietiks ar vienu failu klasteri. Dažiem nepieciešams Hive, bet citiem Presto, kā arī HBase un Phoenix, arvien biežāk tiek izmantots Spark. Datu orkestrācijai un ielādēšanai dažreiz tiek izmantoti Oozie, Sqoop un Flume. Un, ja rodas jautājums par drošību, uzreiz pieminams Kerberos kopā ar Ranger.
Hadoop komponentu binārās versijas ir pieejamas katra ekosistēmas projekta vietnē kā tarball faili. To var lejupielādēt un sākt instalāciju, taču ar vienu nosacījumu: papildus tam, ka jāveic iepakojumu salikšana no "neapstrādātām" binārajām versijām, par kurām, visticamāk, jūs vēlēsities veikt, jums nebūs nekādas garantijas par lejupielādēto komponentu versiju savietojamību. Vēlamāka ir salikšana, izmantojot Apache Bigtop. Bigtop ļaus veikt salikšanu no Apache maven krātuvēm, izpildīt testus un izveidot paketes. Bet, kas mums ir ļoti svarīgi, Bigtop savāks tās komponentu versijas, kas būs savietojamas savā starpā. Par to mēs sīkāk pastāstīsim vēlāk.
Apache Bigtop

Apache Bigtop ir rīks, kas paredzēts vairāku atvērtā koda projektu, piemēram, Hadoop un Greenplum, salikšanai, iepakošanai un testēšanai. Bigtop ir daudz versiju.
Pēdējā stabilā versija, rakstot šo rakstu, bija 1.4, bet master versijā bija 1.5. Atšķirīgās versijās ir izmantotas atšķirīgas komponentu versijas.
Piemēram, 1.4 versijā Hadoop kodola komponenti ir versijā 2.8.5, bet master versijā 2.10.0. Mainās arī atbalstīto komponentu sastāvs. Kas ir novecojis un netiek atjaunots, tiek aizvietots ar ko jaunu, pieprasītāku, un tas nav obligāti jābūt no paša Apache saimes.
Turklāt Bigtop ir daudz
pazīmju.
Kad mēs sākām iepazīties ar Bigtop, mūs galvenokārt pārsteidza tā pieticīgā, salīdzinājumā ar citiem Apache projektiem, izplatība un atpazīstamība, kā arī pavisam neliela kopiena. Tas nozīmē, ka informācijas par produktu ir minimāli, un risinājumu meklēšana radušajām problēmām forumos un izsūtījumos var vispār nenest augļus. Sākumā mums bija grūti veikt pilnu distribūcijas salikšanu paša rīka īpatnību dēļ, bet par to mēs runāsim nedaudz vēlāk.
Kā iepriekšējo: tiem, kuriem kādreiz patika tādi projekti Linux visumā kā Gentoo un LFS, varbūt būs patīkami nostalģiski strādāt ar šo lietu un atcerēties tos "varonīgos" laikus, kad mēs paši meklējām (vai pat rakstījām) ebuilds un regulāri pārbūvējām ar jaunām žurnāla versijām.
ne vienmēr tas ir kaut kas no paša Apache ģimenes.
Turklāt Bigtop piedāvā daudz .
Kad mēs sākām iepazīties ar Bigtop, vispirms mūs pārsteidza tā pieticīgā, salīdzinot ar citiem Apache projektiem, izplatība un atpazīstamība, kā arī ļoti mazā kopiena. Tas nozīmē, ka informācijas par produktu ir minimāli, un risinājumu meklēšana radušām problēmām forumos un diskusiju grupās var vispār nepavisam neko nedot. Sākumā pilnīgas distribūcijas sastādīšana mums izrādījās visai sarežģīta, ņemot vērā paša rīka īpatnības, bet par to mēs pastāstīsim nedaudz vēlāk.
Kā tēze — tiem, kam kādreiz patika tādi Linux pasaules projekti kā Gentoo un LFS, iespējams, būs patīkami nostalģiski strādāt ar šo lietu un atcerēties tos "leģendāros" laikus, kad mēs paši meklējām (un pat rakstījām) ebuildus un regulāri pārkompilējām ar jauniem plāksteriem Mozillu.
Liels ieguvums Bigtop ir rīku atklātība un universālums, uz kuriem tas balstās. Tā pamatā ir Gradle un Apache Maven. Gradle ir diezgan labi zināms instruments, ko Google izmanto Android izstrādē. Tas ir elastīgs un, kā teiciens, "iegūts kaujā". Maven ir oficiālais rīks projektu būvniecībai Apache, un, tā kā lielākā daļa tā produktu tiek izlaista tieši caur Maven, arī šeit bez tā neiztikt. Jāatzīmē POM (projekta objekta modelis) – "pamata" xml fails ar aprakstu par visu nepieciešamo, lai Maven darbotos ar jūsu projektu, ap kuru viss darbs tiek veidots. Tieši tajā
Maven daļā rodas daži šķēršļi, ar kuriem parasti saskaras tie, kas pirmo reizi pievēršas Bigtop.
Prakse
Tātad, ar ko sākt? Dodamies uz lejupielādes lapu un lejupielādējam pēdējo stabilo versiju arhīvā. Turpat var atrast arī Bigtop uzbūvētās binārās artefaktus. Starp citu, no izplatītajiem pakotņu pārvaldniekiem tiek atbalstīti YUM un APT.
Alternatīvs veids ir lejupielādēt pēdējo stabilo laidienu tieši no
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitKlonošana mapē "bigtop"…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Iegūst objektus: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, pabeigts.
Izmaiņu noteikšana: 100% (20503/20503), pabeigts.
Failu atjaunināšana: 100% (1998/1998), pabeigts.Iegūtā mapes struktūra ./bigtop izskatās aptuveni šādi:
./bigtop-bigpetstore — demonstrācijas lietojumprogrammas, sintētiski piemēri
./bigtop-ci — CI rīku komplekts, Jenkins
./bigtop-data-generators — datu ģenerēšana, sintētika, smoke testiem u.tml.
./bigtop-deploy — izplatīšanas rīki
./bigtop-packages — konfigurācijas, skripti, plāksteri būvniecībai, galvenā rīka daļa
./bigtop-test-framework — testēšanas ietvars
./bigtop-tests — paši testi, slodzes un smoke testi
./bigtop_toolchain — būvēšanas vide, rīka darba vides sagatavošana
./build — būvniecības darba katalogs
./dl — katalogs lejupielādētajiem avotiem
./docker — būvēšana docker attēlos, testēšana
./gradle — gradle konfigurācija
./output – katalogs, kuros nonāk būvēšanas artefakti
./provisioner — provizionēšana
Visinteresantākais šajā posmā mums ir galvenā konfigurācija ./bigtop/bigtop.bom, kurā mēs redzam visus atbalstītos komponentus ar versijām. Tieši šeit mēs varam norādīt citu produkta versiju (ja vēlamies to izmēģināt) vai būvēšanas versiju (ja, piemēram, esam pievienojuši ievērojamu labojumu).
Arī lielu interesi izraisa apakškatalogs .\/bigtop\/bigtop-packages, kas tieši attiecas uz komponentu un ar tiem saistīto pakotņu būvēšanas procesu.
Tātad, mēs esam lejupielādējuši arhīvu, iztērējuši to vai izveidojuši klonu no github, vai varam sākt būvēšanu?
Nē, vispirms sagatavosim vidi.
Vides sagatavošana
Un šeit būs neliels atkāpe. Lai uzbūvētu praktiski jebkuru sarežģītāku produktu, ir nepieciešama noteikta vide — mūsu gadījumā tas ir JDK, tās pašas koplietojamās bibliotēkas, galvenes faili utt., rīki, piemēram, ant, ivy2 un daudzas citas. Viens no variantiem, kā iegūt nepieciešamo Bigtop vidi, ir nepieciešamo komponentu uzstādīšana uz būvēšanas hosta. Varu kļūdīties hronoloģijā, bet, šķiet, kopš versijas 1.0 ir pieejama arī iespēja būvēt iepriekš konfigurētās un pieejamās docker attēlos, ar kuriem var iepazīties šeit.
Runājot par vides sagatavošanu, tam ir palīgs — Puppet.
Var izmantot šādas komandas, palaišana notiek no saknes katalogs
rīka, .\/bigtop:
.\/gradlew toolchain\n.\/gradlew toolchain-devtools\n.\/gradlew toolchain-puppetmodules
Vai tieši caur puppet:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"\npuppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"\npuppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Diemžēl jau šajā posmā var rasties grūtības. Vispārējais padoms šeit – izmantot atbalstītu distribūciju, kas ir aktuāla uz būvēšanas hosta vai izmēģināt ceļu ar docker.
Montāža
Ko mēs varam mēģināt uzbūvēt? Atbilde uz šo jautājumu sniegs komandas izvade
.\/gradlew tasks Iepakojumu uzdevumu sadaļā ir vairāki produkti, kas ir Bigtop galīgie artefakti.
Tos var identificēt pēc sufiksa -rpm vai -pkg-ind (ja būvē
docker). Mūsu gadījumā visinteresantākais ir Hadoop.
Mēģināsim veikt būvēšanu mūsu build-servera vidē:
.\/gradlew hadoop-rpmBigtop pats lejupielādēs nepieciešamās avota kodus, kas nepieciešami konkrētajam komponentam, un uzsāks būvēšanu. Tādējādi rīka darbs ir saistīts ar Maven krātuvēm un citiem avotiem, tas nozīmē, ka tam ir nepieciešams piekļuve internetam.
Darba procesā izveidojas standarta izvade. Dažreiz pēc tās un kļūdu ziņojumiem var saprast, kas noticis nepareizi. Taču dažkārt ir nepieciešams iegūt papildu informāciju. Šādā gadījumā ir jāpieņem argumenti --info vai --debug, kā arī var izrādīties noderīgs –stacktrace. Pastāv ērts veids, kā izveidot datu kopu turpmākai saziņai ar izplatīšanas sarakstiem, atslēga --scan.
Tās palīdzība bigtop apkopos visu informāciju un publicēs to gradle, pēc tam sniedzot saiti,
pārejot uz kuru kompetents cilvēks varēs saprast, kāpēc montāža neizdevās.
Jāņem vērā, ka šī opcija var padarīt publisku ne vēlētu informāciju, piemēram, lietotāju vārdus, mezglus, vides mainīgos utml., tāpēc esiet uzmanīgi.
Bieži kļūdas ir saistītas ar to, ka nav iespējams iegūt nepieciešamos komponentus montāžai. Parasti problēmu var novērst, izveidojot plāksteri, lai labotu kaut ko avota kodā, piemēram, adresi pom.xml avota katalogā. To var izdarīt, izveidojot un izvietojot to atbilstošajā katalogā .\/bigtop\/bigtop-packages\/src\/common\/oozie\/ plāksterī, piemēram, formātā patch2-fix.diff.
--- a\/pom.xml
+++ b\/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central<\/id>
- <url>http:\/\/repo1.maven.org\/maven2<\/url>
+ <url>https:\/\/repo1.maven.org\/maven2<\/url>
<snapshots>
<enabled>false<\/enabled>
<\/snapshots>
Visticamāk, šajā rakstā minētā labojuma jums nebūs pašam jāveic.
Ieviešot kādus plāksterus un izmaiņas montāžas mehānismā, var būt nepieciešams „atjaunot” montāžu, izmantojot tīrīšanas komandu:
.\/gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedŠī operācija atgriezīs visas izmaiņas šī komponenta montāžā, pēc tam montāža tiks izpildīta no jauna. Šoreiz mēģināsim sākt projektu docker attēlā:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedSalikšana tika veikta uz CentOS, bet var veikt arī uz Ubuntu:
. /gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indPapildus pakotņu salikšanai dažādiem Linux izsniegumiem, rīks spēj veidot repozitoriju ar saliktajām pakotnēm, piemēram:
. /gradlew yumTāpat var atcerēties par smoke testiem un izvietošanu docker.
Izveidot klasteri no trim mezgliem:
. /gradlew -Pnum_instances=3 docker-provisionerPalaidiet smoke testus trīs mezglu klasterī:
. /gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerIzdzēst klasteri:
. /gradlew docker-provisioner-destroyIegūt komandas, lai piekļūtu docker konteineriem:
. /gradlew docker-provisioner-sshParādīt stāvokli:
. /gradlew docker-provisioner-statusSīkāk par Deployment tasks var izlasīt dokumentācijā.
Runājot par testiem, to ir diezgan daudz, galvenokārt smoke un integrācijas. To izpēte ir ārpus šī raksta robežām. Teikšu tikai, ka izsnieguma salikšana nav tik sarežģīta, kā varētu šķist pirmajā mirklī. Visas komponentes, kuras mēs izmantojam ražošanā, izdevās salikt un veikt testus, un mums neradās problēmas ar to izvietošanu un pamata operāciju veikšanu testēšanas vidē.
Papildus Bigtop esošajiem komponentiem ir iespēja pievienot kaut ko citu, pat savu programmatūras izstrādi. Viss tas perfekti automatizējas un ietilpst CI/CD koncepcijā.
Secinājums
Acīmredzot, ka šādā veidā saliktais izsniegums nekavējoties nav jāsūta ražošanā. Jāņem vērā, ka, ja ir reāla nepieciešamība salikt un uzturēt savu izsniegumu, tad tajā ir jāiegulda līdzekļi un laiks.
Tomēr, pareizi apvienojot pareizo pieeju un profesionālo komandu, var iztikt arī bez komerciālajiem risinājumiem.
Svarīgi atzīmēt, ka pats projekts Bigtop prasa attīstību un šķiet, ka šobrīd tā aktīva attīstība nenotiek. Arī nav skaidra perspektīva, kad tajā parādīsies Hadoop 3. Starp citu, ja jums ir reāla nepieciešamība salikt Hadoop 3, varat apskatīt no Arenadata, kurā papildus standarta
komponentiem ir vēl vesela rinda papildu (Ranger, Knox, NiFi).
Runājot par Rostelecom, tad priekš mums Bigtop ir viens no šodienas apsvērtiem variantiem. Vai mēs izvēlēsimies to vai nē, rādīs laiks.
Pielikums
Lai iekļautu jaunu komponentu būvniecībā, nepieciešams pievienot tā aprakstu bigtop.bom un ./bigtop-packages. Varat mēģināt to izdarīt pēc parauga, izmantojot esošās komponentes. Mēģiniet saprast. Tas nav tik grūti, kā šķiet pirmajā mirklī.
Ko domājat jūs? Mēs būsim priecīgi redzēt jūsu viedokli komentāros un paldies par uzmanību!
Rakstu sagatavojusi datu pārvaldības komanda "Rostelecom"
Avots: habr.com
