Эҳтимол пӯшида нест, ки соли гузашта барои Apache Hadoop як соли дигаргуниҳои бузург буд. Соли гузашта Cloudera ва Hortonworks якҷоя шуданд (аслан ба даст овардани охирин) ва Mapr бо сабаби мушкилоти ҷиддии молиявӣ ба Hewlett Packard фурӯхта шуд. Ва агар чанд сол пеш, дар мавриди насби дохили бино, интихоби аксар вақт байни Cloudera ва Hortonworks сурат мегирифт, имрӯз, мутаассифона, мо ин интихобро надорем. Тааҷҷуби дигар он буд, ки Cloudera дар моҳи феврали соли ҷорӣ эълом дошт, ки интишори анҷуманҳои бинарии тақсимоти онро ба анбори ҷамъиятӣ қатъ мекунад ва онҳо ҳоло танҳо тавассути обунаи пулакӣ дастрасанд. Албатта, ҳоло ҳам версияҳои охирини CDH ва HDP-ро, ки то охири соли 2019 бароварда шудаанд, зеркашӣ кардан мумкин аст ва дастгирии онҳо барои як то ду сол интизор аст. Аммо минбаъд чӣ бояд кард? Барои онҳое, ки қаблан барои обуна пардохт кардаанд, ҳеҷ чиз тағйир наёфтааст. Ва барои онҳое, ки намехоҳанд ба версияи пулакии тақсимот гузаранд, аммо дар айни замон мехоҳанд версияҳои охирини ҷузъҳои кластер, инчунин часбҳо ва навсозиҳои дигарро гиранд, мо ин мақоларо омода кардем. Дар он мо имконоти имконпазири баромадан аз ин вазъиятро баррасӣ хоҳем кард.
Мақола бештар барраси аст. Он муқоисаи тақсимот ва таҳлили муфассали онҳоро дар бар намегирад ва ҳеҷ гуна дорухат барои насб ва танзими онҳо вуҷуд надорад. Чӣ мешавад? Мо ба таври мухтасар дар бораи чунин тақсимот ба монанди Arenadata Hadoop сӯҳбат хоҳем кард, ки аз сабаби мавҷудияти он, ки имрӯз хеле кам аст, сазовори диққати мост. Ва он гоҳ мо дар бораи Vanilla Hadoop сӯҳбат хоҳем кард, асосан дар бораи он, ки чӣ гуна онро бо истифода аз Apache Bigtop "пухта" кардан мумкин аст. Тайёр? Пас ба гурба хуш омадед.
Arenadata Hadoop
Ин як маҷмӯаи комилан нав ва то ҳол каме маълуми паҳнкунии рушди ватанӣ мебошад. Мутаассифона, дар айни замон дар Habré танҳо вуҷуд дорад .
Маълумоти бештарро дар расм пайдо кардан мумкин аст лоиҳа. Версияҳои охирини тақсимот ба Hadoop 3.1.2 барои версияи 3 ва 2.8.5 барои версияи 2 асос ёфтаанд.
Маълумотро дар бораи харитаи роҳ пайдо кардан мумкин аст .
Интерфейси менеҷери кластери Arenadata
Маҳсулоти асосии Arenadata аст , ки барои насб, танзим ва мониторинги қарорҳои гуногуни нармафзори ширкат истифода мешавад. ADCM ройгон паҳн карда мешавад ва функсияи он тавассути илова кардани бастаҳо, ки маҷмӯи китобҳои бозигарӣ мебошанд, васеъ карда мешавад. Маҷмӯаҳо ба ду намуд тақсим мешаванд: корхона ва ҷомеа. Охирин барои зеркашии ройгон аз вебсайти Arenadata дастрас аст. Инчунин мумкин аст, ки бастаи шахсии худро таҳия кунед ва онро ба ADCM пайваст кунед.
Барои ҷойгиркунӣ ва идоракунии Hadoop 3, версияи ҷамъиятии баста дар якҷоягӣ бо ADCM пешниҳод карда мешавад, аммо барои Hadoop 2 танҳо вуҷуд дорад. ҳамчун алтернатива. Дар мавриди анборҳои дорои бастаҳо, онҳо барои дастрасии ҷамъиятӣ кушодаанд, онҳоро метавон ба таври муқаррарӣ барои ҳама ҷузъҳои кластер зеркашӣ ва насб кард. Дар маҷмӯъ, тақсимот хеле ҷолиб ба назар мерасад. Ман боварӣ дорам, ки онҳое хоҳанд буд, ки ба қарорҳо ба монанди Cloudera Manager ва Ambari одат кардаанд ва худи ADCM-ро дӯст медоранд. Барои баъзеҳо, он инчунин як плюс бузург хоҳад буд, ки тақсимот барои иваз кардани воридот.
Агар мо дар бораи нуқсонҳо сухан ронем, онҳо мисли ҳама тақсимоти дигари Hadoop хоҳанд буд. Аз ҷумла:
- Ба ном «қуфлбандии фурӯшанда». Бо истифода аз мисолҳои Cloudera ва Hortonworks, мо аллакай дарк кардем, ки ҳамеша хатари тағир додани сиёсати ширкат вуҷуд дорад.
- Қафомонии назаррас аз Apache дар болооб.
Ваниль Хадуп
Тавре ки шумо медонед, Hadoop як маҳсулоти монолитӣ нест, балки дар асл як галактикаи тамоми хидматҳо дар атрофи системаи файлии тақсимшудаи HDFS мебошад. Шумораи ками одамон аз як кластери файл кофӣ хоҳанд буд. Баъзеҳо ба Hive, ба дигарон Presto ниёз доранд ва сипас HBase ва Phoenix мавҷуданд; Spark торафт бештар истифода мешавад. Барои оркестрсозӣ ва боркунии маълумот баъзан Oozie, Sqoop ва Flume пайдо мешаванд. Ва агар масъалаи амният ба миён ояд, Kerberos дар якҷоягӣ бо Рейнджер фавран ба хотир меояд.
Версияҳои дуии ҷузъҳои Hadoop дар вебсайти ҳар як лоиҳаи экосистема дар шакли тарболҳо мавҷуданд. Шумо метавонед онҳоро зеркашӣ кунед ва насбкуниро оғоз кунед, аммо бо як шарт: ба ғайр аз мустақилона васл кардани бастаҳо аз бинарҳои "хом", ки шумо эҳтимолан мехоҳед иҷро кунед, шумо ба мутобиқати версияҳои зеркашидашудаи ҷузъҳо бо ҳар яки онҳо боварӣ надоред. дигар. Варианти афзалиятнок сохтани Apache Bigtop мебошад. Bigtop ба шумо имкон медиҳад, ки аз анборҳои maven Apache созед, озмоишҳо гузаронед ва бастаҳо созед. Аммо, он чизе, ки барои мо хеле муҳим аст, Bigtop он версияҳои ҷузъҳоро ҷамъ хоҳад кард, ки бо ҳамдигар мувофиқ бошанд. Мо дар ин бора дар зер муфассалтар гап мезанем.
Apache Bigtop
Apache Bigtop асбобест барои сохтан, бастабандӣ ва озмоиши як қатор
лоиҳаҳои кушодаасос, аз қабили Hadoop ва Greenplum. Bigtop фаровонӣ дорад
мебарорад. Дар замони навиштан, версияи охирини устувор версияи 1.4 буд,
ва дар усто 1.5 буд. Версияҳои гуногуни нашрияҳо версияҳои гуногунро истифода мебаранд
ҷузъҳо. Масалан, барои 1.4 ҷузъҳои аслии Hadoop дорои версияи 2.8.5 ва дар усто
2.10.0. Таркиби ҷузъҳои дастгирӣшаванда низ тағйир меёбад. Чизи кӯҳна ва
таҷдиднашаванда меравад, ва ба ҷои он чизи нав меояд, бештар талабот ва
ин ҳатман чизе аз худи оилаи Апачи нест.
Илова бар ин, Bigtop дорои бисёр .
Вақте ки мо ба шиносоӣ бо Bigtop шурӯъ кардем, мо пеш аз ҳама аз хоксории он дар муқоиса бо дигар лоиҳаҳои Apache, паҳншавӣ ва маъруфият ва инчунин ҷомеаи хеле хурд ба ҳайрат омадем. Аз ин бармеояд, ки маълумоти ҳадди аққал дар бораи маҳсулот мавҷуд аст ва ҷустуҷӯи роҳҳои ҳалли мушкилоте, ки дар форумҳо ва рӯйхатҳои почтаи электронӣ ба вуҷуд омадаанд, метавонад ҳеҷ чиз надиҳад. Дар аввал, барои мо анҷом додани васлкунии пурраи тақсимот аз сабаби хусусиятҳои худи асбоб кори душвор буд, аммо мо дар ин бора каме дертар сӯҳбат хоҳем кард.
Ҳамчун тизер, онҳое, ки дар як вақт ба чунин лоиҳаҳои олами Linux, ба монанди Gentoo ва LFS таваҷҷӯҳ доштанд, метавонанд кор бо ин чиз ба таври ностальгивӣ гуворо бошанд ва он замонҳои "эпикӣ"-ро, ки худи мо дар ҷустуҷӯ (ё ҳатто навиштан) будем, ба ёд оранд. ebuilds ва Mozilla-ро мунтазам бо часбҳои нав аз нав сохтанд.
Бартарии бузурги Bigtop ин кушодагӣ ва гуногунҷабҳаи асбобҳое мебошад, ки ба он асос ёфтааст. Он ба Gradle ва Apache Maven асос ёфтааст. Gradle ҳамчун асбобе маълум аст, ки Google барои сохтани Android истифода мебарад. Он чандир аст ва, чунон ки мегӯянд, "дар ҷанг озмуда шудааст". Maven як воситаи стандартӣ барои сохтани лоиҳаҳо дар худи Apache аст ва азбаски аксари маҳсулоти он тавассути Maven бароварда мешаванд, дар ин ҷо ҳам бе он кор кардан ғайриимкон аст. Бояд таваҷҷуҳ ба POM (модели объекти лоиҳа) - файли "фундаменталӣ" xml, ки ҳама чизро барои Maven барои кор бо лоиҳаи шумо тавсиф мекунад, ки ҳама кор дар атрофи он сохта шудааст. Маҳз дар
қисмҳои Maven ва баъзе монеаҳо вуҷуд доранд, ки корбарони аввалини Bigtop одатан дучор меоянд.
Таҷҳизот
Пас аз куҷо бояд сар кард? Ба саҳифаи зеркашӣ гузаред ва версияи охирини устуворро ҳамчун бойгон зеркашӣ кунед. Шумо инчунин метавонед артефактҳои бинариро дар он ҷо пайдо кунед, ки аз ҷониби Bigtop ҷамъоварӣ шудааст. Дар омади гап, дар байни менеҷерҳои бастаҳои умумӣ, YUM ва APT дастгирӣ карда мешаванд.
Интихобан, шумо метавонед версияи охирини устуворро мустақиман аз он зеркашӣ кунед
github:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.gitКлонкунӣ дар "бигтоп"…
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.Феҳристи ./bigtop дар натиҷа чунин менамояд:
./bigtop-bigpetstore — барномаҳои намоишӣ, мисолҳои синтетикӣ
./bigtop-ci - Маҷмӯаи асбобҳои CI, Ҷенкинс
./bigtop-data-generators — тавлиди маълумот, синтетикӣ, барои санҷиши дуд ва ғайра.
./bigtop-deploy - воситаҳои ҷойгиркунӣ
./bigtop-packages — конфигуратсияҳо, скриптҳо, часбҳо барои васлкунӣ, қисми асосии асбоб
./bigtop-test-framework - чаҳорчӯбаи санҷиш
./bigtop-tests — худи имтихонхо бор карда, дуд мекунанд
./bigtop_toolchain — мухити монтаж, тайёр кардани шароит барои кори асбоб
./build — сохтани феҳристи корӣ
./dl — феҳрист барои манбаъҳои зеркашида
./docker — сохтани тасвирҳои докер, озмоиш
./gradle - конфигуратсияи gradle
./output - директорияе, ки артефактҳои сохташуда ба он ҷо мераванд
./provisioner — таъминот
Аз ҳама ҷолиб барои мо дар ин марҳила конфигуратсияи асосӣ аст ./bigtop/bigtop.bom, ки дар он мо ҳама ҷузъҳои дастгирӣшавандаро бо версияҳо мебинем. Дар ин ҷо мо метавонем версияи дигари маҳсулотро муайян кунем (агар мо ногаҳон хоҳем, ки онро сохтанием) ё версияи созанда (агар, масалан, мо ямоқи муҳим илова карда бошем).
Зердиректория низ мароки калон дорад ./bigtop/bigtop-packages, ки бевосита бо процесси бо онхо васл кардани детальхо ва бастахо вобаста аст.
Пас, мо бойгониро зеркашӣ кардем, онро кушодем ё аз github клон сохтем, оё мо метавонем ба сохтани он шурӯъ кунем?
Не, биёед аввал мухитро тайёр кунем.
Омода кардани муҳити зист
Ва дар ин ҷо ба мо як ақибнишинии хурд лозим аст. Барои сохтани қариб ҳама маҳсулоти камтар ё камтар мураккаб, ба шумо муҳити муайян лозим аст - дар ҳолати мо, ин JDK, ҳамон китобхонаҳои муштарак, файлҳои сарлавҳа ва ғайра, асбобҳо, масалан, ant, ivy2 ва ғайра мебошад. Яке аз имконоти ба даст овардани муҳити барои Bigtop лозим аст, насб кардани ҷузъҳои зарурӣ дар мизбони сохтмон аст. Ман дар хронология хато карда метавонам, аммо чунин ба назар мерасад, ки бо версияи 1.0 инчунин имкони сохтани тасвирҳои қаблан танзимшуда ва дастраси Docker мавҷуд буд, ки онҳоро дар ин ҷо пайдо кардан мумкин аст.
Дар бобати тайёр кардани мухит бошад, барои ин ёрдамчй — лухтак мавчуд аст.
Шумо метавонед фармонҳои зеринро истифода баред, аз директорияи реша иҷро кунед
асбоб, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
Ё бевосита тавассути лӯхтак:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"Мутаассифона, дар ин марҳила аллакай мушкилот ба миён омада метавонанд. Маслиҳати умумӣ дар ин ҷо ин аст, ки тақсимоти дастгирӣшаванда, то ба имрӯз дар мизбони сохташуда истифода шавад ё масири докерро санҷед.
Ассамблея
Мо чиро ҷамъ карда метавонем? Ҷавоб ба ин савол тавассути баромади фармон дода мешавад
./gradlew tasks
Дар бахши вазифаҳои бастаҳо як қатор маҳсулоте мавҷуданд, ки артефактҳои ниҳоии Bigtop мебошанд.
Онҳоро бо суффикси -rpm ё -pkg-ind муайян кардан мумкин аст (дар мавриди бино
дар докер). Дар ҳолати мо, ҷолибтаринаш Hadoop аст.
Биёед кӯшиш кунем, ки дар муҳити сервери сохтани худ созем:
./gradlew hadoop-rpmХуди Bigtop манбаъҳои заруриро барои ҷузъи мушаххас зеркашӣ мекунад ва ба васлкунӣ оғоз мекунад. Ҳамин тариқ, кори асбоб аз анборҳои Maven ва дигар манбаъҳо вобаста аст, яъне дастрасии интернетро талаб мекунад.
Дар давоми кор, баромади стандартӣ тавлид мешавад. Баъзан он ва паёмҳои хатогӣ метавонанд ба шумо фаҳманд, ки чӣ хато кардааст. Ва баъзан ба шумо лозим меояд, ки маълумоти иловагӣ гиред. Дар ин маврид ба таври илова далелҳо меарзанд --info ё --debug, ва инчунин метавонад муфид бошад –stacktrace. Роҳи қулайи тавлиди маҷмӯаи маълумот барои дастрасии минбаъда ба рӯйхатҳои почта мавҷуд аст, калид --scan.
Бо ёрии он, bigtop тамоми маълумотро ҷамъоварӣ мекунад ва онро дар gradle ҷойгир мекунад, ки пас аз он пайвандеро пешниҳод мекунад,
ки аз паи он шахеи салохиятдор фахмида метавонад, ки чаро анчуман ноком шуд.
Лутфан бифаҳмед, ки ин хосият метавонад иттилоотеро, ки шумо намехоҳед, ба монанди номи корбарон, гиреҳҳо, тағирёбандаҳои муҳити зист ва ғайра фош кунад, аз ин рӯ эҳтиёт шавед.
Аксар вақт хатогиҳо натиҷаи имконнопазирии ба даст овардани ҳама ҷузъҳои барои васлкунӣ мебошанд. Одатан, шумо метавонед ин мушкилотро тавассути сохтани ямоқи ислоҳи чизе дар манбаъҳо ҳал кунед, масалан, суроғаҳо дар pom.xml дар феҳристи решаи манбаъҳо. Ин тавассути эҷод ва ҷойгир кардани он дар директорияи мувофиқ анҷом дода мешавад ./bigtop/bigtop-packages/src/common/oozie/ ямоқи, масалан, дар шакли patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
Эҳтимол, ҳангоми хондани ин мақола ба шумо лозим нест, ки ислоҳи дар боло зикршударо худатон анҷом диҳед.
Ҳангоми ворид кардани ҳама часбҳо ва тағирот ба механизми васлкунӣ, ба шумо лозим меояд, ки бо истифода аз фармони тозакунӣ васлкуниро "аз нав танзим кунед":
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedИн амалиёт ҳамаи тағиротҳоро ба васлшавии ин ҷузъ бармегардонад ва баъд аз он васлкунӣ дубора иҷро карда мешавад. Ин дафъа мо кӯшиш мекунем, ки лоиҳаро дар тасвири докер созем:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedСохта дар зери CentOS иҷро карда шуд, аммо онро дар Ubuntu низ иҷро кардан мумкин аст:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indИлова ба сохтани бастаҳо барои дистрибюторҳои гуногуни Linux, асбоб метавонад як репозиторийро бо бастаҳои тартибдодашуда созад, масалан:
./gradlew yumШумо инчунин метавонед дар бораи санҷишҳои дуд ва ҷойгиркунӣ дар Docker ёдрас кунед.
Кластери аз се гиреҳ эҷод кунед:
./gradlew -Pnum_instances=3 docker-provisionerСанҷишҳои дудро дар як кластери се гиреҳ иҷро кунед:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerКластерро нест кунед:
./gradlew docker-provisioner-destroyФармонҳоро барои пайваст кардани дохили контейнерҳои докер гиред:
./gradlew docker-provisioner-sshНишон додани ҳолати:
./gradlew docker-provisioner-statusШумо метавонед бештар дар бораи вазифаҳои ҷойгиркунӣ дар ҳуҷҷатҳо хонед.
Агар мо дар бораи санҷишҳо гап занем, шумораи хеле зиёди онҳо, асосан дуд ва ҳамгироӣ мавҷуданд. Таҳлили онҳо аз доираи ин мақола берун аст. Фақат бигӯям, ки васл кардани маҷмӯаи тақсимот кори душвор нест, чунон ки дар назари аввал ба назар мерасад. Мо тавонистем ҳама ҷузъҳоеро, ки дар истеҳсоли худ истифода мебарем, ҷамъ кунем ва аз озмоишҳо гузарем ва инчунин дар ҷойгиркунии онҳо ва иҷрои амалиёти асосӣ дар муҳити озмоишӣ мушкилот надоштем.
Илова ба ҷузъҳои мавҷуда дар Bigtop, шумо метавонед ҳама чизи дигареро илова кунед, ҳатто таҳияи нармафзори шахсии шумо. Ҳамаи ин комилан автоматӣ шудааст ва ба консепсияи CI/CD мувофиқат мекунад.
хулоса
Равшан аст, ки тақсимоти бо ин роҳ тартиб додашуда набояд фавран ба истеҳсолот фиристода шавад. Шумо бояд фаҳмед, ки агар зарурати воқеӣ барои бунёд ва дастгирии тақсимоти шумо вуҷуд дошта бошад, пас шумо бояд пул ва вақтро ба ин сармоягузорӣ кунед.
Аммо, дар якҷоягӣ бо муносибати дуруст ва дастаи касбӣ, бе ҳалли тиҷоратӣ комилан имконпазир аст.
Бояд қайд кард, ки худи лоиҳаи Bigtop ба рушд ниёз дорад ва имрӯз ба таври фаъол таҳия карда намешавад. Дурнамои пайдо шудани Hadoop 3 дар он низ норавшан аст. Дар омади гап, агар шумо барои сохтани Hadoop 3 эҳтиёҷоти воқеӣ дошта бошед, шумо метавонед ба аз Arenadata, ки дар он, илова ба стандарт
Як қатор ҷузъҳои иловагӣ мавҷуданд (Ranger, Knox, NiFi).
Дар мавриди Ростелеком, барои мо Bigtop яке аз вариантҳои имрӯза мебошад. Мо онро интихоб мекунем ё не, вақт нишон медиҳад.
илова
Барои дохил кардани ҷузъи нав ба маҷлис, шумо бояд тавсифи онро ба bigtop.bom ва ./bigtop-packages илова кунед. Шумо метавонед инро бо қиёс бо ҷузъҳои мавҷуда кӯшиш кунед. Кӯшиш кунед, ки онро муайян кунед. Ин он қадар душвор нест, ки дар назари аввал ба назар мерасад.
Ту чӣ фикр мекунӣ? Мо аз дидани андешаи шумо дар шарҳҳо шод хоҳем шуд ва барои таваҷҷӯҳатон ташаккур!
Мақоларо гурӯҳи идоракунии маълумотҳои Ростелеком омода кардааст
Манбаъ: will.com