איך להעביר, להעלות ולשלב נתונים גדולים מאוד בזול ומהיר? מהי אופטימיזציית דחיפה?

כל פעולת ביג דאטה דורשת כוח מחשוב רב. מעבר טיפוסי של נתונים ממסד נתונים ל-Hadoop יכול לקחת שבועות או לעלות כמו כנף של מטוס. לא רוצה לחכות ולבזבז כסף? איזון העומס על פני פלטפורמות שונות. דרך אחת היא אופטימיזציה של דחיפה.

ביקשתי מהמאמן המוביל ברוסיה לפיתוח וניהול מוצרי אינפורמטיקה, אלכסיי אנאנייב, לדבר על פונקציית האופטימיזציה של דחיפה ב-Informatica Big Data Management (BDM). האם אי פעם למדת לעבוד עם מוצרי אינפורמטיקה? סביר להניח, זה היה אלכסיי שסיפר לך את היסודות של PowerCenter והסביר איך לבנות מיפויים.

אלכסיי אנאנייב, ראש הדרכה בקבוצת DIS

מה זה דחיפה?

רבים מכם כבר מכירים את Informatica Big Data Management (BDM). המוצר יכול לשלב ביג דאטה ממקורות שונים, להעביר אותו בין מערכות שונות, מספק גישה נוחה אליו, מאפשר פרופיל אותו ועוד ועוד.
בידיים הנכונות, BDM יכול לחולל פלאים: משימות יושלמו במהירות ובמינימום משאבי מחשוב.

גם אתה רוצה את זה? למד להשתמש בתכונת הדחיפה ב-BDM כדי להפיץ את עומס המחשוב על פני פלטפורמות שונות. טכנולוגיית Pushdown מאפשרת להפוך את המיפוי לסקריפט ולבחור את הסביבה בה ירוץ הסקריפט הזה. בחירה זו מאפשרת לך לשלב את החוזקות של פלטפורמות שונות ולהשיג את הביצועים המקסימליים שלהן.

כדי להגדיר את סביבת ביצוע הסקריפט, עליך לבחור את סוג הדחיפה. ניתן להריץ את הסקריפט כולו על Hadoop או להפיץ חלקית בין המקור וה-Sink. ישנם 4 סוגי דחיפה אפשריים. אין צורך להפוך את המיפוי לסקריפט (מקורי). מיפוי יכול להתבצע כמה שיותר על המקור (מקור) או לגמרי על המקור (מלא). ניתן גם להפוך את המיפוי לסקריפט של Hadoop (אין).

אופטימיזציה של דחיפה

ניתן לשלב את 4 הסוגים המפורטים בדרכים שונות - ניתן לבצע אופטימיזציה של pushdown לצרכים הספציפיים של המערכת. לדוגמה, לעתים קרובות יותר מתאים לחלץ נתונים ממסד נתונים באמצעות היכולות שלו. והנתונים יומרו באמצעות Hadoop, כדי לא להעמיס על בסיס הנתונים עצמו.

בואו נשקול את המקרה כאשר גם המקור וגם היעד נמצאים במסד הנתונים, וניתן לבחור את פלטפורמת ביצוע הטרנספורמציה: בהתאם להגדרות, זה יהיה Informatica, שרת מסד נתונים או Hadoop. דוגמה כזו תאפשר לך להבין בצורה המדויקת ביותר את הצד הטכני של פעולת המנגנון הזה. באופן טבעי, בחיים האמיתיים, מצב זה אינו מתעורר, אך הוא מתאים ביותר להפגנת פונקציונליות.

בואו ניקח מיפוי כדי לקרוא שתי טבלאות במסד נתונים יחיד של אורקל. ותנו לתוצאות הקריאה להירשם בטבלה באותו מסד נתונים. סכימת המיפוי תהיה כזו:

בצורה של מיפוי ב-Informatica BDM 10.2.1 זה נראה כך:

סוג דחיפה - יליד

אם נבחר בסוג native pushdown, אז המיפוי יתבצע בשרת Informatica. הנתונים יקראו משרת Oracle, יועברו לשרת Informatica, יעברו טרנספורמציה לשם ויועברו ל-Hadoop. במילים אחרות, נקבל תהליך ETL רגיל.

סוג דחיפה - מקור

בעת בחירת סוג המקור, אנו מקבלים את ההזדמנות להפיץ את התהליך שלנו בין שרת מסד הנתונים (DB) לבין Hadoop. כאשר מבוצע תהליך עם הגדרה זו, בקשות לאחזור נתונים מטבלאות יישלחו למסד הנתונים. והשאר יבוצעו בצורה של צעדים על Hadoop.
דיאגרמת הביצוע תיראה כך:

להלן דוגמה להגדרת סביבת זמן הריצה.

במקרה זה, המיפוי יתבצע בשני שלבים. בהגדרות שלו נראה שהוא הפך לסקריפט שיישלח למקור. יתרה מכך, שילוב טבלאות והמרת נתונים יבוצעו בצורה של שאילתה מדרסת על המקור.
בתמונה למטה, אנו רואים מיפוי אופטימלי על ה-BDM, ושאילתה מוגדרת מחדש על המקור.

תפקידה של Hadoop בתצורה זו יצטמצם לניהול זרימת הנתונים - תזמורתו. תוצאת השאילתה תישלח אל Hadoop. לאחר השלמת הקריאה, הקובץ של Hadoop ייכתב לכיור.

סוג דחיקה - מלא

כאשר תבחר את הסוג המלא, המיפוי יהפוך לחלוטין לשאילתת מסד נתונים. ותוצאת הבקשה תישלח אל Hadoop. תרשים של תהליך כזה מוצג להלן.

דוגמה להגדרה מוצגת להלן.

כתוצאה מכך, נקבל מיפוי אופטימלי בדומה לזה הקודם. ההבדל היחיד הוא שכל ההיגיון מועבר למקלט בצורה של עקיפה של הכנסתו. דוגמה למיפוי אופטימלי מוצגת להלן.

כאן, כמו במקרה הקודם, Hadoop משחק את תפקיד המנצח. אבל כאן המקור נקרא בשלמותו, ואז לוגיקה של עיבוד הנתונים מתבצעת ברמת המקלט.

סוג הדחיפה הוא ריק

ובכן, האפשרות האחרונה היא סוג הדחיפה, שבתוכו המיפוי שלנו יהפוך לסקריפט של Hadoop.

המיפוי האופטימלי ייראה כעת כך:

כאן הנתונים מקבצי המקור ייקראו תחילה ב-Hadoop. לאחר מכן, תוך שימוש באמצעים שלו, שני הקבצים הללו ישולבו. לאחר מכן, הנתונים יומרו ויועלו למסד הנתונים.

על ידי הבנת העקרונות של אופטימיזציה של pushdown, אתה יכול לארגן ביעילות רבה תהליכים רבים לעבודה עם ביג דאטה. כך, ממש לאחרונה, חברה גדולה אחת, תוך כמה שבועות בלבד, הורידה נתונים גדולים מהאחסון אל Hadoop, שאספה בעבר במשך כמה שנים.

מקור: www.habr.com