Apache Bigtop ובחירה בהפצת Hadoop היום

זה כנראה לא סוד שהשנה שעברה הייתה שנה של שינויים גדולים עבור Apache Hadoop. בשנה שעברה התמזגו Cloudera ו- Hortonworks (בעצם רכישת האחרונה), ומאפר, עקב בעיות כלכליות חמורות, נמכרה להיולט פקארד. ואם כמה שנים קודם לכן, במקרה של התקנות מקומיות, הבחירה הייתה צריכה להיעשות לעתים קרובות בין Cloudera לבין Hortonworks, היום, למרבה הצער, אין לנו את הבחירה הזו. הפתעה נוספת הייתה העובדה ש-Cloudera הודיעה בפברואר השנה שהיא תפסיק לשחרר מכלולים בינאריים של הפצתה למאגר הציבורי, והן זמינות כעת רק באמצעות מנוי בתשלום. כמובן שעדיין אפשר להוריד את הגרסאות העדכניות ביותר של CDH ו-HDP שיצאו לפני סוף 2019, ותמיכה בהן צפויה למשך שנה עד שנתיים. אבל מה לעשות הלאה? לאלו ששילמו בעבר עבור מנוי, שום דבר לא השתנה. ולמי שלא רוצה לעבור לגרסה בתשלום של ההפצה, אבל במקביל רוצה להיות מסוגל לקבל את הגרסאות העדכניות ביותר של רכיבי אשכול, כמו גם תיקונים ועדכונים אחרים, הכנו את המאמר הזה. בו נשקול אפשרויות אפשריות לצאת ממצב זה.

המאמר הוא יותר סקירה. היא לא תכיל השוואת הפצות וניתוח מפורט שלהן, ולא יהיו מתכונים להתקנה והגדרתן. מה יקרה? נדבר בקצרה על הפצה כזו כמו Arenadata Hadoop, שבצדק ראויה לתשומת לבנו בשל הזמינות שלה, שהיא נדירה מאוד כיום. ואז נדבר על Vanilla Hadoop, בעיקר על איך אפשר "לבשל" אותו באמצעות Apache Bigtop. מוּכָן? אז ברוך הבא לחתול.

Arenadata Hadoop

זוהי ערכת הפצה חדשה לחלוטין, ועדיין לא ידועה, לפיתוח מקומי. למרבה הצער, כרגע על Habré יש רק המאמר הזה.

מידע נוסף ניתן למצוא ברשמית מקוון פּרוֹיֶקט. הגרסאות האחרונות של ההפצה מבוססות על Hadoop 3.1.2 לגרסה 3, ו-2.8.5 לגרסה 2.

ניתן למצוא מידע על מפת הדרכים כאן.

ממשק מנהל אשכולות של Arenadata

מוצר הליבה של Arenadata הוא Arenadata Cluster Manager (ADCM), המשמש להתקנה, תצורה ומעקב אחר פתרונות תוכנה שונים של החברה. ADCM מופץ ללא תשלום, והפונקציונליות שלו מורחבת על ידי הוספת חבילות, שהן קבוצה של ספרי אנסible-playbook. החבילות מתחלקות לשני סוגים: מפעל וקהילה. האחרונים זמינים להורדה בחינם מאתר Arenadata. אפשר גם לפתח חבילה משלך ולחבר אותו ל-ADCM.

לפריסה וניהול של Hadoop 3, גרסה קהילתית של החבילה מוצעת בשילוב עם ADCM, אך עבור Hadoop 2 יש רק אפאצ'י אמברי כאלטרנטיבה. לגבי מאגרים עם חבילות, הם פתוחים לגישה ציבורית, ניתן להוריד ולהתקין אותם בדרך הרגילה עבור כל רכיבי האשכול. בסך הכל, ההפצה נראית מאוד מעניינת. אני בטוח שיהיו מי שרגילים לפתרונות כמו Cloudera Manager ו-Ambari, ואשר יאהבו את ADCM עצמה. עבור חלקם, זה יהיה גם יתרון עצום מההפצה כלול בפנקס התוכנה להחלפת ייבוא.

אם נדבר על החסרונות, הם יהיו זהים לכל ההפצות האחרות של Hadoop. כלומר:

• מה שנקרא "נעילת ספקים". בעזרת הדוגמאות של Cloudera ו- Hortonworks, כבר הבנו שתמיד קיים סיכון לשינוי מדיניות החברה.
• פיגור משמעותי מאחורי אפאצ'י במעלה הזרם.

וניל Hadoop

כידוע, Hadoop אינו מוצר מונוליטי, אלא, למעשה, גלקסיה שלמה של שירותים סביב מערכת הקבצים המבוזרת שלה HDFS. מעטים האנשים שיספיקו לאשכול קבצים אחד. חלקם צריכים Hive, אחרים Presto, ואז יש HBase ו-Phoenix; Spark נמצא בשימוש יותר ויותר. עבור תזמור וטעינת נתונים, לפעמים נמצאים Oozie, Sqoop ו-Flume. ואם מתעוררת נושא האבטחה, אז קרברוס בשיתוף עם ריינג'ר עולה מיד בראש.

גרסאות בינאריות של רכיבי Hadoop זמינות באתר האינטרנט של כל אחד מהפרויקטים האקולוגיים בצורה של כדורים. אתה יכול להוריד אותם ולהתחיל בהתקנה, אבל בתנאי אחד: בנוסף להרכבה עצמאית של חבילות מקבצים בינאריים "גולמיים", שככל הנראה תרצה לעשות, לא תהיה לך אמון בתאימות של גרסאות הרכיבים שהורדת עם כל אחת מהן. אַחֵר. האפשרות המועדפת היא לבנות באמצעות Apache Bigtop. Bigtop יאפשר לך לבנות ממאגרי Apache maven, להריץ בדיקות ולבנות חבילות. אבל, מה שחשוב לנו מאוד, Bigtop תרכיב את הגרסאות האלה של רכיבים שיהיו תואמים זה לזה. נדבר על זה ביתר פירוט להלן.

אפאצ'י ביגטופ

Apache Bigtop הוא כלי לבנייה, אריזה ובדיקה של מספר
פרויקטי קוד פתוח, כמו Hadoop ו-Greenplum. ל-Bigtop יש המון
משחרר. בזמן הכתיבה, המהדורה היציבה האחרונה הייתה גרסה 1.4,
ובמאסטר היה 1.5. גרסאות שונות של מהדורות משתמשות בגרסאות שונות
רכיבים. לדוגמה, עבור רכיבי הליבה של Hadoop 1.4 יש גרסה 2.8.5, ובמאסטר
2.10.0. גם הרכב הרכיבים הנתמכים משתנה. משהו מיושן ו
הבלתי מתחדש נעלם, ובמקומו בא משהו חדש, מבוקש יותר, ו
זה לא בהכרח משהו ממשפחת אפאצ'י עצמה.

בנוסף, ל-Bigtop יש הרבה מזלגות.

כשהתחלנו להכיר את Bigtop, הופתענו קודם כל מהצנוע שלו, בהשוואה לפרויקטים אחרים של אפאצ'י, מהשכיחות והתהילה, כמו גם מקהילה קטנה מאוד. מכאן נובע שיש מידע מינימלי על המוצר, וחיפוש אחר פתרונות לבעיות שעלו בפורומים וברשימות תפוצה עלול לא להניב דבר כלל. בהתחלה, התברר לנו כמשימה קשה להשלים את ההרכבה המלאה של ההפצה בגלל תכונות הכלי עצמו, אבל נדבר על זה קצת מאוחר יותר.

בתור טיזר, מי שבזמנו התעניין בפרויקטים כאלה של יקום לינוקס כמו Gentoo ו-LFS עשוי למצוא את זה נעים באופן נוסטלגי לעבוד עם הדבר הזה ולזכור את התקופות ה"אפיות" שבהן אנחנו בעצמנו חיפשנו (או אפילו כתבנו) ebuilds ובונה מחדש את Mozilla באופן קבוע עם תיקונים חדשים.

היתרון הגדול של Bigtop הוא הפתיחות והרבגוניות של הכלים עליהם היא מבוססת. הוא מבוסס על Gradle ו- Apache Maven. Gradle ידוע למדי ככלי שגוגל משתמשת בו לבניית אנדרואיד. זה גמיש, וכמו שאומרים "נבחן בקרב". Maven הוא כלי סטנדרטי לבניית פרויקטים באפצ'י עצמה, ומכיוון שרוב המוצרים שלו משוחררים דרך Maven, גם כאן לא ניתן היה לעשות זאת בלעדיו. כדאי לשים לב ל-POM (מודל אובייקט פרויקט) - קובץ xml "בסיסי" המתאר את כל הדרוש ל-Maven לעבוד עם הפרויקט שלך, שסביבו בנויה כל העבודה. בדיוק ב
חלקים של Maven ויש כמה מכשולים שמשתמשי Bigtop בפעם הראשונה נתקלים בהם בדרך כלל.

עיסוק

אז איפה כדאי להתחיל? עבור לדף ההורדה והורד את הגרסה היציבה העדכנית ביותר כארכיון. אתה יכול למצוא שם גם חפצים בינאריים שנאספו על ידי Bigtop. אגב, בין מנהלי החבילות הנפוצים נתמכות YUM ו-APT.

לחלופין, אתה יכול להוריד את המהדורה היציבה האחרונה ישירות מ
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

שיבוט ב-"bigtop"...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.

ספריית ./bigtop שהתקבלה נראית בערך כך:

./bigtop-bigpetstore - יישומי הדגמה, דוגמאות סינתטיות
./bigtop-ci - ערכת כלים של CI, ג'נקינס
./bigtop-data-generators - הפקת נתונים, חומרים סינתטיים, לבדיקות עשן וכו'.
./bigtop-deploy - כלי פריסה
./bigtop-packages - הגדרות, סקריפטים, תיקונים להרכבה, החלק העיקרי של הכלי
./bigtop-test-framework - מסגרת בדיקה
./bigtop-tests - הבדיקות עצמן, עומס ועשן
./bigtop_toolchain - סביבה להרכבה, הכנת הסביבה לעבודה של הכלי
./build - בניית ספריית עבודה
./dl - ספרייה למקורות שהורדו
./docker - בניית תמונות docker, בדיקות
./gradle - תצורת מדורג
./output - הספרייה שבה מגיעים חפצי בנייה
./provisioner - אספקה

הדבר המעניין ביותר עבורנו בשלב זה הוא התצורה הראשית ./bigtop/bigtop.bom, שבו אנו רואים את כל הרכיבים הנתמכים עם גרסאות. זה המקום שבו נוכל לציין גרסה אחרת של המוצר (אם נרצה פתאום לנסות לבנות אותו) או גרסת build (אם, למשל, הוספנו תיקון משמעותי).

גם ספריית המשנה מעוררת עניין רב ./bigtop/bigtop-packages, הקשור ישירות לתהליך הרכבת הרכיבים והחבילות איתם.

אז, הורדנו את הארכיון, פרקנו אותו או יצרנו שיבוט מ-github, האם נוכל להתחיל לבנות?

לא, תחילה נכין את הסביבה.

הכנת הסביבה

וכאן אנחנו צריכים נסיגה קטנה. כדי לבנות כמעט כל מוצר מורכב יותר או פחות, צריך סביבה מסוימת – במקרה שלנו מדובר ב-JDK, אותן ספריות משותפות, קבצי header וכו', כלים, למשל, ant, ivy2 ועוד הרבה יותר. אחת האפשרויות להשיג את הסביבה הדרושה לך עבור Bigtop היא להתקין את הרכיבים הדרושים על מארח הבנייה. יכול להיות שאני טועה בכרונולוגיה, אבל נראה שעם גרסה 1.0 הייתה גם אפשרות לבנות תמונות Docker מוגדרות מראש ונגישות, אותן ניתן למצוא כאן.

לגבי הכנת הסביבה, יש לזה עוזר - בובה.

אתה יכול להשתמש בפקודות הבאות, הפעל מספריית השורש
כְּלִי, ./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

או ישירות דרך בובה:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

למרבה הצער, קשיים עלולים להתעורר כבר בשלב זה. העצה הכללית כאן היא להשתמש בהפצה נתמכת, מעודכנת במארח הבנייה, או לנסות את מסלול ה-docker.

העצרת

מה אנחנו יכולים לנסות לאסוף? התשובה לשאלה זו תינתן על ידי הפלט של הפקודה

./gradlew tasks

בסעיף משימות החבילה יש מספר מוצרים שהם חפצים אחרונים של Bigtop.
ניתן לזהות אותם על ידי הסיומת -rpm או -pkg-ind (במקרה של בניין
בדוקר). במקרה שלנו, המעניין ביותר הוא Hadoop.

בואו ננסה לבנות בסביבה של שרת הבנייה שלנו:

./gradlew hadoop-rpm

Bigtop עצמה תוריד את המקורות הדרושים לרכיב מסוים ותתחיל בהרכבה. לפיכך, פעולת הכלי תלויה במאגרי Maven ובמקורות אחרים, כלומר, היא דורשת גישה לאינטרנט.

במהלך הפעולה נוצר פלט סטנדרטי. לפעמים זה והודעות שגיאה יכולים לעזור לך להבין מה השתבש. ולפעמים צריך לקבל מידע נוסף. במקרה זה כדאי להוסיף טיעונים --info או --debug, ועשויים גם להיות שימושיים –stacktrace. יש דרך נוחה ליצור מערך נתונים לגישה שלאחר מכן לרשימות דיוור, המפתח --scan.

בעזרתה, bigtop יאסוף את כל המידע ויכניס אותו לדרגל, ולאחר מכן יספק קישור,
בעקבות כך, אדם מוסמך יוכל להבין מדוע ההרכבה נכשלה.
אנא שים לב שהאפשרות הזו עלולה לחשוף מידע שאינך רוצה, כגון שמות משתמש, צמתים, משתני סביבה וכו', אז היזהר.

לעתים קרובות שגיאות הן תוצאה של חוסר היכולת להשיג את כל הרכיבים הדרושים להרכבה. בדרך כלל, אתה יכול לתקן את הבעיה על ידי יצירת תיקון לתיקון משהו במקורות, למשל, כתובות ב-pom.xml בספריית השורש של המקורות. זה נעשה על ידי יצירה והצבתו בספרייה המתאימה ./bigtop/bigtop-packages/src/common/oozie/ תיקון, למשל, בטופס patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

סביר להניח שבזמן קריאת מאמר זה, לא תצטרך לבצע את התיקון לעיל בעצמך.

כאשר מציגים תיקונים ושינויים כלשהם במנגנון ההרכבה, ייתכן שיהיה עליך "לאפס" את המכלול באמצעות פקודת הניקוי:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

פעולה זו תחזיר את כל השינויים בהרכבה של רכיב זה, ולאחר מכן ההרכבה תתבצע שוב. הפעם ננסה לבנות את הפרויקט בתמונת docker:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

הבנייה בוצעה תחת CentOS, אך ניתן לבצע אותה גם תחת אובונטו:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

בנוסף לבניית חבילות להפצות לינוקס שונות, הכלי יכול ליצור מאגר עם חבילות קומפילציה, למשל:

./gradlew yum

אתה יכול גם לזכור על בדיקות עשן ופריסה ב-Docker.

צור אשכול של שלושה צמתים:

./gradlew -Pnum_instances=3 docker-provisioner

הפעל בדיקות עשן באשכול של שלושה צמתים:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

מחק אשכול:

./gradlew docker-provisioner-destroy

קבל פקודות לחיבור בתוך מיכלי docker:

./gradlew docker-provisioner-ssh

הצג סטטוס:

./gradlew docker-provisioner-status

תוכל לקרוא עוד על משימות פריסה בתיעוד.

אם מדברים על מבחנים, יש מספר די גדול מהם, בעיקר עשן ואינטגרציה. הניתוח שלהם הוא מעבר לתחום המאמר הזה. הרשו לי רק לומר שהרכבת ערכת הפצה אינה משימה קשה כפי שהיא עשויה להיראות במבט ראשון. הצלחנו להרכיב ולהעביר בדיקות על כל הרכיבים בהם אנו משתמשים בייצור שלנו, וגם לא היו לנו בעיות בפריסתם ובביצוע פעולות בסיסיות בסביבת הבדיקה.

בנוסף לרכיבים הקיימים בביגטופ, אפשר להוסיף כל דבר אחר, אפילו פיתוח תוכנה משלך. כל זה אוטומטי לחלוטין ומתאים לקונספט ה-CI/CD.

מסקנה

ברור שאין לשלוח מיד את ההפצה שנערכה בצורה זו לייצור. אתה צריך להבין שאם יש צורך אמיתי לבנות ולתמוך בהפצה שלך, אז אתה צריך להשקיע בזה כסף וזמן.

עם זאת, בשילוב עם גישה נכונה וצוות מקצועי, בהחלט אפשר להסתדר בלי פתרונות מסחריים.

חשוב לציין שפרויקט Bigtop עצמו זקוק לפיתוח ולא נראה שהוא מפותח באופן פעיל כיום. גם הסיכוי ש-Hadoop 3 יופיע בו אינו ברור. אגב, אם יש לכם צורך אמיתי לבנות את Hadoop 3, תוכלו להסתכל על מזלג מ- Arenadata, שבו, בנוסף לסטנדרט
ישנם מספר רכיבים נוספים (Ranger, Knox, NiFi).

לגבי Rostelecom, עבורנו Bigtop היא אחת האפשרויות הנשקלות כיום. אם נבחר בזה או לא, הזמן יגיד.

נספח

כדי לכלול רכיב חדש בהרכבה, עליך להוסיף את התיאור שלו ל-bigtop.bom ול-./bigtop-packages. אתה יכול לנסות לעשות זאת באנלוגיה לרכיבים הקיימים. נסה להבין את זה. זה לא כל כך קשה כמו שזה נראה במבט ראשון.

מה אתה חושב? נשמח לראות את דעתך בתגובות ותודה על תשומת הלב!

המאמר הוכן על ידי צוות ניהול הנתונים של Rostelecom

מקור: www.habr.com