כשיש לך מאזני סבר. שימוש ב- Ab Initio עם Hive ו- GreenPlum

לפני זמן מה, עמדנו בפני השאלה של בחירת כלי ETL לעבודה עם Big Data. פתרון Informatica BDM שנעשה בו שימוש בעבר לא התאים לנו בגלל פונקציונליות מוגבלת. השימוש בו צומצם למסגרת להפעלת פקודות שליחה של ניצוץ. לא היו הרבה אנלוגים בשוק שהיו מסוגלים, באופן עקרוני, לעבוד עם נפח הנתונים שאנו עוסקים בו מדי יום. בסופו של דבר בחרנו באב איניטיו. במהלך הדגמות פיילוט, המוצר הראה מהירות עיבוד נתונים גבוהה מאוד. אין כמעט מידע על Ab Initio ברוסית, אז החלטנו לדבר על הניסיון שלנו ב-Habré.

ל- Ab Initio יש הרבה טרנספורמציות קלאסיות ויוצאות דופן, שאת הקוד שלהן ניתן להרחיב באמצעות שפת PDL משלה. עבור עסק קטן, ככל הנראה כלי רב עוצמה כזה יהיה מוגזם, ורוב היכולות שלו עשויות להיות יקרות ולא בשימוש. אבל אם קנה המידה שלך קרוב לזה של סברוב, אז Ab Initio עשוי להיות מעניין אותך.

זה עוזר לעסק לצבור ידע גלובלי ולפתח אקוסיסטם, ולמפתח לשפר את כישוריו ב-ETL, לשפר את הידע שלו במעטפת, מספק הזדמנות לשלוט בשפת PDL, נותן תמונה ויזואלית של תהליכי הטעינה ומפשט פיתוח בשל שפע הרכיבים הפונקציונליים.

בפוסט זה אדבר על היכולות של Ab Initio ואספק מאפיינים השוואתיים של עבודתה עם Hive ו-GreenPlum.

• תיאור של מסגרת MDW ועבודה על ההתאמה האישית שלה עבור GreenPlum
• השוואת ביצועים של Ab Initio בין Hive ל-GreenPlum
• עבודה Ab Initio עם GreenPlum במצב קרוב בזמן אמת

הפונקציונליות של מוצר זה רחבה מאוד ודורשת זמן רב ללימוד. עם זאת, עם כישורי העבודה הנכונים והגדרות הביצועים הנכונות, התוצאות של עיבוד הנתונים מרשימות מאוד. שימוש ב- Ab Initio עבור מפתח יכול לספק חוויה מעניינת. זהו גיבוש חדש לפיתוח ETL, הכלאה בין סביבה חזותית לפיתוח הורדות בשפה דמוית סקריפט.

עסקים מפתחים את המערכות האקולוגיות שלהם והכלי הזה שימושי יותר מתמיד. עם Ab Initio, תוכל לצבור ידע על העסק הנוכחי שלך ולהשתמש בידע זה כדי להרחיב עסקים ישנים ולפתוח עסקים חדשים. חלופות לאב איניטיו כוללות סביבות פיתוח חזותי Informatica BDM וסביבות פיתוח לא חזותיות Apache Spark.

תיאור של אב איניטיו

Ab Initio, כמו כלי ETL אחרים, הוא אוסף של מוצרים.

Ab Initio GDE (סביבה לפיתוח גרפי) היא סביבה עבור המפתח בה הוא מגדיר טרנספורמציות נתונים ומחבר אותם עם זרימות נתונים בצורת חצים. במקרה זה, קבוצה כזו של טרנספורמציות נקראת גרף:

חיבורי הקלט והפלט של רכיבים פונקציונליים הם יציאות ומכילים שדות המחושבים בתוך טרנספורמציות. מספר גרפים המחוברים בזרימות בצורה של חצים בסדר ביצועם נקראים תוכנית.

ישנם כמה מאות רכיבים פונקציונליים, וזה הרבה. רבים מהם מתמחים מאוד. היכולות של טרנספורמציות קלאסיות ב- Ab Initio רחבות יותר מאשר בכלי ETL אחרים. לדוגמה, ל- Join יש יציאות מרובות. בנוסף לתוצאה של חיבור מערכי נתונים, ניתן לקבל רשומות פלט של מערכי נתונים של קלט שלא ניתן היה לחבר את המפתחות שלהם. אתה יכול גם לקבל דחיות, שגיאות ויומן של פעולת הטרנספורמציה, אותם ניתן לקרוא באותה עמודה כמו קובץ טקסט ולעבד אותו עם טרנספורמציות אחרות:

או, למשל, אתה יכול לממש מקלט נתונים בצורה של טבלה ולקרוא ממנו נתונים באותה עמודה.

יש טרנספורמציות מקוריות. לדוגמה, לשינוי הסריקה יש פונקציונליות דומה לפונקציות אנליטיות. יש טרנספורמציות עם שמות שמסבירים את עצמם: צור נתונים, קרא אקסל, מנרמל, מיון בתוך קבוצות, הפעל תוכנית, הפעל SQL, הצטרף עם DB וכו'. גרפים יכולים להשתמש בפרמטרים של זמן ריצה, כולל אפשרות להעביר פרמטרים מ או אל מערכת ההפעלה. קבצים עם קבוצה מוכנה של פרמטרים המועברים לגרף נקראים ערכות פרמטרים (psets).

כצפוי, ל-Ab Initio GDE יש מאגר משלו בשם EME (Enterprise Meta Environment). למפתחים יש הזדמנות לעבוד עם גרסאות מקומיות של קוד ולבדוק את הפיתוחים שלהם לתוך המאגר המרכזי.

ניתן, במהלך הביצוע או לאחר ביצוע הגרף, ללחוץ על כל זרימה המחברת את הטרנספורמציה ולהסתכל על הנתונים שעברו בין הטרנספורמציות הללו:

אפשר גם ללחוץ על כל זרם ולראות פרטי מעקב - בכמה מקבילות עבדה הטרנספורמציה, כמה קווים ובייטים נטענו לאיזה מהמקבילות:

אפשר לחלק את ביצוע הגרף לשלבים ולסמן שצריך לבצע קודם כמה טרנספורמציות (בשלב האפס), הבאות בשלב הראשון, הבאות בשלב השני וכו'.

עבור כל טרנספורמציה, אתה יכול לבחור מה שנקרא פריסה (היכן היא תתבצע): ללא מקבילים או בשרשורים מקבילים, שניתן לציין את מספרם. יחד עם זאת, ניתן למקם קבצים זמניים ש-Ab Initio יוצר כאשר טרנספורמציות פועלות הן במערכת קבצי השרת והן ב-HDFS.

בכל טרנספורמציה, בהתבסס על תבנית ברירת המחדל, אתה יכול ליצור סקריפט משלך ב-PDL, שהוא קצת כמו מעטפת.

עם PDL אתה יכול להרחיב את הפונקציונליות של טרנספורמציות, ובפרט, אתה יכול ליצור באופן דינמי (בזמן ריצה) קטעי קוד שרירותיים בהתאם לפרמטרים של זמן ריצה.

ל- Ab Initio יש גם אינטגרציה מפותחת עם מערכת ההפעלה דרך מעטפת. באופן ספציפי, Sberbank משתמש ב- linux ksh. אתה יכול להחליף משתנים עם המעטפת ולהשתמש בהם כפרמטרים גרפים. אתה יכול לקרוא לביצוע גרפים של Ab Initio מהקליפה ולנהל את Ab Initio.

בנוסף ל-Ab Initio GDE, מוצרים רבים נוספים כלולים במשלוח. יש מערכת שיתוף פעולה משלה עם טענה להיקרא מערכת הפעלה. ישנו מרכז בקרה שבו אתה יכול לתזמן ולנטר זרימות הורדה. ישנם מוצרים לביצוע פיתוח ברמה פרימיטיבית יותר ממה ש-Ab Initio GDE מאפשר.

תיאור של מסגרת MDW ועבודה על ההתאמה האישית שלה עבור GreenPlum

יחד עם מוצריו, הספק מספק את המוצר MDW (Metadata Driven Warehouse), שהוא קופיגורטור גרפים שנועד לסייע במשימות טיפוסיות של איכלוס מחסני נתונים או כספות נתונים.

הוא מכיל מנתחי מטא נתונים מותאמים אישית (ספציפיים לפרויקט) ומחוללי קוד מוכנים מהקופסה.

כקלט, MDW מקבל מודל נתונים, קובץ תצורה להגדרת חיבור למסד נתונים (Oracle, Teradata או Hive) ועוד כמה הגדרות. החלק הספציפי לפרויקט, למשל, פורס את המודל למסד נתונים. החלק היוצא מהקופסה של המוצר מייצר עבורם גרפים וקבצי תצורה על ידי טעינת נתונים לטבלאות מודל. במקרה זה, גרפים (ו-psets) נוצרים עבור מספר מצבים של אתחול ועבודה מצטברת על עדכון ישויות.

במקרים של Hive ו-RDBMS, נוצרים גרפים שונים לאתחול ועדכוני נתונים מצטברים.

במקרה של Hive, נתוני הדלתא הנכנסים מחוברים דרך Ab Initio Join עם הנתונים שהיו בטבלה לפני העדכון. מעמיסי נתונים ב-MDW (הן ב-Hive והן ב-RDBMS) לא רק מכניסים נתונים חדשים מהדלתא, אלא גם סוגרים את תקופות הרלוונטיות של הנתונים שהמפתחות הראשיים שלהם קיבלו את הדלתא. בנוסף, עליך לשכתב את החלק ללא שינוי של הנתונים. אבל זה חייב להיעשות מכיוון של-Hive אין פעולות מחיקה או עדכון.

במקרה של RDBMS, גרפים לעדכון נתונים מצטבר נראים אופטימליים יותר, מכיוון של-RDBMS יש יכולות עדכון אמיתיות.

הדלתא שהתקבלה נטענת לטבלת ביניים במסד הנתונים. לאחר מכן, הדלתא מחוברת לנתונים שהיו בטבלה לפני העדכון. וזה נעשה באמצעות SQL באמצעות שאילתת SQL שנוצרה. לאחר מכן, באמצעות פקודות SQL delete+insert, נתונים חדשים מהדלתא מוכנסים לטבלת היעד וסגורות תקופות הרלוונטיות של הנתונים שהמפתחות הראשיים שלהם קיבלו את הדלתא.
אין צורך לשכתב נתונים ללא שינוי.

אז הגענו למסקנה שבמקרה של Hive, MDW צריך ללכת לשכתב את כל הטבלה כי ל-Hive אין פונקציית עדכון. ואין דבר טוב יותר מלכתוב מחדש לחלוטין את הנתונים כאשר העדכון הומצא. במקרה של RDBMS, להיפך, יוצרי המוצר מצאו צורך להפקיד את החיבור ועדכון הטבלאות לשימוש ב-SQL.

עבור פרויקט ב-Sberbank, יצרנו יישום חדש לשימוש חוזר של מטעין מסד נתונים עבור GreenPlum. זה נעשה על סמך הגרסה ש-MDW מייצרת עבור Teradata. זה היה Teradata, ולא אורקל, שהתקרב והכי טוב בשביל זה, כי... היא גם מערכת MPP. שיטות העבודה, כמו גם התחביר, של Teradata ו-GreenPlum התבררו כדומות.

דוגמאות להבדלים קריטיים ל-MDW בין RDBMSs שונים הם כדלקמן. ב-GreenPlum, בניגוד ל-Teradata, בעת יצירת טבלאות אתה צריך לכתוב סעיף

distributed by

Teradata כותב:

delete <table> all

, וב-GreenPlum הם כותבים

delete from <table>

באורקל, למטרות אופטימיזציה כותבים

delete from t where rowid in (<соединение t с дельтой>)

, ו-Teradata ו-GreenPlum כותבות

delete from t where exists (select * from delta where delta.pk=t.pk)

נציין גם שכדי ש-Ab Initio תעבוד עם GreenPlum, היה צורך להתקין את לקוח GreenPlum בכל הצמתים של אשכול Ab Initio. הסיבה לכך היא שהתחברנו ל-GreenPlum בו-זמנית מכל הצמתים באשכול שלנו. וכדי שהקריאה מ-GreenPlum תהיה מקבילה וכל שרשור מקביל של Ab Initio יקרא חלק משלו מהנתונים מ-GreenPlum, היינו צריכים למקם קונסטרוקציה המובנת ל-Ab Initio בקטע "היכן" של שאילתות SQL

where ABLOCAL()

ולקבוע את הערך של בנייה זו על ידי ציון קריאת הפרמטרים ממסד הנתונים של הטרנספורמציה

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, שמתחבר למשהו כמו

mod(sk,10)=3

, כלומר עליך להנחות את GreenPlum עם מסנן מפורש עבור כל מחיצה. עבור מסדי נתונים אחרים (Teradata, Oracle), Ab Initio יכול לבצע את ההקבלה הזו באופן אוטומטי.

השוואת ביצועים של Ab Initio בין Hive ל-GreenPlum

Sberbank ערכה ניסוי להשוואת הביצועים של גרפים שנוצרו על ידי MDW ביחס ל-Hive וביחס ל-GreenPlum. כחלק מהניסוי, במקרה של Hive היו 5 צמתים על אותו אשכול כמו Ab Initio, ובמקרה של GreenPlum היו 4 צמתים על אשכול נפרד. הָהֵן. ל-Hive היה יתרון חומרה מסוים על פני GreenPlum.

שקלנו שני זוגות של גרפים שמבצעים את אותה משימה של עדכון נתונים ב-Hive וב-GreenPlum. במקביל, הושקו הגרפים שנוצרו על ידי קופיגורטור MDW:

• טעינה ראשונית + עומס מצטבר של נתונים שנוצרו באופן אקראי לטבלה של Hive
• טעינה ראשונית + עומס מצטבר של נתונים שנוצרו באופן אקראי לאותה טבלה של GreenPlum

בשני המקרים (Hive ו-GreenPlum) הם הריצו העלאות ל-10 שרשורים מקבילים על אותו אשכול Ab Initio. Ab Initio שמרה נתוני ביניים לחישובים ב-HDFS (במונחים של Ab Initio, נעשה שימוש בפריסת MFS באמצעות HDFS). שורה אחת של נתונים שנוצרו באקראי תפסה 200 בתים בשני המקרים.

התוצאה הייתה כזו:

כוורת:

טעינה ראשונית בכוורת

נוספו שורות
6 000 000
60 000 000
600 000 000

משך אתחול
הורדות תוך שניות
41
203
1 601

טעינה מצטברת בכוורת

מספר השורות הזמינות ב
טבלת יעד בתחילת הניסוי
6 000 000
60 000 000
600 000 000

מספר קווי הדלתא שהוחלו עליהם
טבלת יעד במהלך הניסוי
6 000 000
6 000 000
6 000 000

משך הזמן המצטבר
הורדות תוך שניות
88
299
2 541

GreenPlum:

טעינה ראשונית ב-GreenPlum

נוספו שורות
6 000 000
60 000 000
600 000 000

משך אתחול
הורדות תוך שניות
72
360
3 631

טעינה מצטברת ב-GreenPlum

מספר השורות הזמינות ב
טבלת יעד בתחילת הניסוי
6 000 000
60 000 000
600 000 000

מספר קווי הדלתא שהוחלו עליהם
טבלת יעד במהלך הניסוי
6 000 000
6 000 000
6 000 000

משך הזמן המצטבר
הורדות תוך שניות
159
199
321

אנו רואים שמהירות הטעינה הראשונית ב-Hive וגם ב-GreenPlum תלויה באופן ליניארי בכמות הנתונים, ומטעמים של חומרה טובה יותר, היא מעט מהירה יותר עבור Hive מאשר עבור GreenPlum.

טעינה מצטברת בכוורת תלויה באופן ליניארי גם בנפח הנתונים שנטענו קודם לכן הזמינים בטבלת היעד ומתמשכת די לאט ככל שהנפח גדל. זה נגרם מהצורך לשכתב את טבלת היעד לחלוטין. משמעות הדבר היא שהחלת שינויים קטנים על טבלאות ענקיות אינה מקרה שימוש טוב עבור Hive.

טעינה מצטברת ב-GreenPlum תלויה במידה חלשה בנפח הנתונים שנטענו בעבר, הזמינים בטבלת היעד ומתמשכת די מהר. זה קרה בזכות SQL Joins וארכיטקטורת GreenPlum, המאפשרת את פעולת המחיקה.

אז, GreenPlum מוסיפה את הדלתא בשיטת delete+sert, אבל ל-Hive אין פעולות מחיקה או עדכון, כך שכל מערך הנתונים נאלץ להיכתב מחדש במלואו במהלך עדכון מצטבר. ההשוואה בין התאים המודגשים בהדגשה היא חושפנית ביותר, מכיוון שהיא מתאימה לאופציה הנפוצה ביותר לשימוש בהורדות עתירות משאבים. אנו רואים ש-GreenPlum ניצחה את Hive במבחן הזה פי 8.

עבודה Ab Initio עם GreenPlum במצב קרוב בזמן אמת

בניסוי זה, נבדוק את היכולת של Ab Initio לעדכן את טבלת GreenPlum עם נתחי נתונים שנוצרו באופן אקראי כמעט בזמן אמת. בואו נבחן את טבלת GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, איתה נעבוד.

נשתמש בשלושה גרפים של Ab Initio כדי לעבוד איתו:

1) גרף Create_test_data.mp - יוצר קבצי נתונים ב-HDFS עם 10 שורות ב-6 שרשורים מקבילים. הנתונים הם אקראיים, המבנה שלהם מאורגן להכנסה לטבלה שלנו

2) גרף mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset - גרף שנוצר על ידי MDW על ידי אתחול הכנסת הנתונים לטבלה שלנו ב-10 שרשורים מקבילים (נעשה שימוש בנתוני בדיקה שנוצרו על ידי גרף (1))

3) גרף mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset - גרף שנוצר על ידי MDW לעדכון מצטבר של הטבלה שלנו ב-10 שרשורים מקבילים תוך שימוש בחלק של נתונים טריים שהתקבלו (דלתא) שנוצרו על ידי גרף (1)

בואו נריץ את הסקריפט שלהלן במצב NRT:

• ליצור 6 קווי בדיקה
• בצע עומס ראשוני הכנס 6 שורות בדיקה לטבלה ריקה
• חזור על הורדה מצטברת 5 פעמים
  • ליצור 6 קווי בדיקה
  • בצע הוספה מצטברת של 6 שורות בדיקה לטבלה (במקרה זה, זמן התפוגה valid_to_ts מוגדר לנתונים הישנים ונתונים עדכניים יותר עם אותו מפתח ראשי מוכנסים)

תרחיש זה מחקה את אופן הפעולה האמיתי של מערכת עסקית מסוימת - חלק גדול למדי של נתונים חדשים מופיע בזמן אמת ונשפך מיד לתוך GreenPlum.

עכשיו בואו נסתכל על היומן של הסקריפט:

התחל את Create_test_data.input.pset ב-2020-06-04 11:49:11
סיים Create_test_data.input.pset ב-2020-06-04 11:49:37
התחל את mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:49:37
סיים את mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:50:42
התחל את Create_test_data.input.pset ב-2020-06-04 11:50:42
סיים Create_test_data.input.pset ב-2020-06-04 11:51:06
התחל את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:51:06
סיים את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:53:41
התחל את Create_test_data.input.pset ב-2020-06-04 11:53:41
סיים Create_test_data.input.pset ב-2020-06-04 11:54:04
התחל את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:54:04
סיים את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:56:51
התחל את Create_test_data.input.pset ב-2020-06-04 11:56:51
סיים Create_test_data.input.pset ב-2020-06-04 11:57:14
התחל את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:57:14
סיים את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 11:59:55
התחל את Create_test_data.input.pset ב-2020-06-04 11:59:55
סיים Create_test_data.input.pset ב-2020-06-04 12:00:23
התחל את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 12:00:23
סיים את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 12:03:23
התחל את Create_test_data.input.pset ב-2020-06-04 12:03:23
סיים Create_test_data.input.pset ב-2020-06-04 12:03:49
התחל את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 12:03:49
סיים את mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ב-2020-06-04 12:06:46

מסתבר שהתמונה הזו:

גרף
שעת התחלה
סיום הזמן
אורך

Create_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

אנו רואים ש-6 שורות מצטברות מעובדות ב-000 דקות, וזה די מהיר.
הנתונים בטבלת היעד התבררו כמחולקים באופן הבא:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

ניתן לראות את ההתאמה של הנתונים שהוכנסו לזמנים שבהם הושקו הגרפים.
זה אומר שאתה יכול להפעיל טעינה מצטברת של נתונים לתוך GreenPlum ב-Ab Initio בתדירות גבוהה מאוד ולצפות במהירות גבוהה של הכנסת נתונים אלה לתוך GreenPlum. כמובן, לא ניתן יהיה להפעיל פעם בשנייה, שכן Ab Initio, כמו כל כלי ETL, דורש זמן "להתחיל" בעת ההשקה.

מסקנה

Ab Initio משמש כיום ב-Sberbank לבניית שכבת נתונים סמנטית מאוחדת (ESS). פרויקט זה כולל בניית גרסה מאוחדת של מצבם של גופים עסקיים בנקאיים שונים. המידע מגיע ממקורות שונים, שהעותקים שלהם מוכנים ב-Hadoop. בהתבסס על הצרכים העסקיים, מכינים מודל נתונים ומתוארים טרנספורמציות נתונים. Ab Initio טוענת מידע לתוך ה-ESN והנתונים שהורדו לא רק מעניינים את העסק בפני עצמו, אלא גם משמשים כמקור לבניית Data March. יחד עם זאת, הפונקציונליות של המוצר מאפשרת שימוש במערכות שונות כמקלט (Hive, Greenplum, Teradata, Oracle), מה שמאפשר להכין נתונים לעסק בקלות בפורמטים השונים שהוא דורש.

היכולות של Ab Initio רחבות; לדוגמה, מסגרת ה-MDW הכלולה מאפשרת לבנות נתונים היסטוריים טכניים ועסקיים מחוץ לקופסה. עבור מפתחים, Ab Initio מאפשרת לא להמציא את הגלגל מחדש, אלא להשתמש ברכיבים פונקציונליים רבים קיימים, שהם בעצם ספריות הדרושות בעבודה עם נתונים.

הכותב הוא מומחה בקהילה המקצועית של Sberbank SberProfi DWH/BigData. הקהילה המקצועית SberProfi DWH/BigData אחראית לפיתוח מיומנויות בתחומים כמו האקוסיסטם של Hadoop, Teradata, Oracle DB, GreenPlum, וכן כלי BI Qlik, SAP BO, Tableau וכו'.

מקור: www.habr.com