פיתוח DATA VAULT ומעבר ל- BUSINESS DATA VAULT

במאמר הקודם דיברתי על היסודות של DATA VAULT, תיארתי את המרכיבים העיקריים של DATA VAULT ומטרתם. זה לא יכול להיחשב כמוצה לנושא של DATA VAULT; יש צורך לדבר על השלבים הבאים בהתפתחות של DATA VAULT.

ובמאמר זה אתמקד בפיתוח של DATA VAULT והמעבר ל- BUSINESS DATA VAULT או פשוט BUSINESS VAULT.

הסיבות להופעתה של BUSINESS DATA VULT

יש לציין ש-DATA VAULT, על אף שיש לה יתרונות מסוימים, אינו חף מחסרונות. אחד החסרונות הללו הוא הקושי בכתיבת שאילתות אנליטיות. לשאילתות יש מספר לא מבוטל של JOIN, הקוד ארוך ומסורבל. כמו כן, הנתונים הנכנסים ל-DATA VAULT אינם עוברים כל טרנספורמציה, לכן, מבחינה עסקית, ל-DATA VAULT בצורתו הטהורה אין ערך מוחלט.

כדי לבטל את החסרונות הללו, הורחבה מתודולוגיית DATA VAULT עם אלמנטים כגון:

• טבלאות PIT (נקודת זמן);
• שולחנות BRIDGE;
• נגזרות מוגדרות מראש.

בואו נסתכל מקרוב על המטרה של אלמנטים אלה.

שולחנות PIT

בדרך כלל, ישות עסקית אחת (HUB) עשויה להכיל נתונים עם קצבי עדכון שונים, למשל, אם אנו מדברים על נתונים המאפיינים אדם, אנו יכולים לומר שלמידע על מספר טלפון, כתובת או דואר אלקטרוני יש קצב עדכון גבוה יותר מאשר למשל, שם מלא, פרטי דרכון, מצב משפחתי או מין.

לכן, בעת קביעת לוויינים, עליך לזכור את תדירות העדכון שלהם. למה זה חשוב?

אם אתה מאחסן תכונות עם קצבי עדכון שונים באותה טבלה, תצטרך להוסיף שורה לטבלה בכל פעם שהתכונה המשתנה בתדירות הגבוהה ביותר מתעדכנת. התוצאה היא גידול בשטח הדיסק והגדלת זמן ביצוע השאילתה.

כעת, לאחר שחילקנו את הלוויינים לפי תדירות העדכון, ויכולנו לטעון לתוכם נתונים באופן עצמאי, עלינו לוודא שנוכל לקבל נתונים עדכניים. טוב יותר, מבלי להשתמש ב-JOIN מיותרים.

תן לי להסביר, למשל, אתה צריך להשיג מידע עדכני (לפי תאריך העדכון האחרון) מלוויינים בעלי קצבי עדכון שונים. כדי לעשות זאת, תצטרך לא רק לבצע JOIN, אלא גם ליצור מספר שאילתות מקוננות (עבור כל לוויין המכיל מידע) עם בחירת תאריך העדכון המקסימלי MAX (עדכון תאריך). עם כל JOIN חדש, קוד כזה גדל ומהר מאוד הופך להיות קשה להבנה.

טבלת PIT נועדה לפשט שאילתות כאלה; טבלאות PIT מתמלאות בו-זמנית עם כתיבת נתונים חדשים ל-DATA VAULT. טבלת PIT:

לפיכך, יש לנו מידע על הרלוונטיות של הנתונים עבור כל הלוויינים בכל נקודת זמן. באמצעות JOINs לטבלת PIT, נוכל לבטל לחלוטין שאילתות מקוננות, באופן טבעי בתנאי שה-PIT יתמלא כל יום וללא פערים. גם אם יש פערים ב-PIT, אתה יכול לקבל את הנתונים העדכניים ביותר רק באמצעות שאילתה מקוננת אחת ל-PIT עצמו. שאילתה מקוננת אחת תעבד מהר יותר מאשר שאילתות מקוננות לכל לוויין.

לְגַשֵׁר

טבלאות BRIDGE משמשות גם כדי לפשט שאילתות אנליטיות. עם זאת, מה ששונה מ-PIT הוא אמצעי לפשט ולהאיץ בקשות בין רכזות שונות, קישורים והלוויינים שלהם.

הטבלה מכילה את כל המפתחות הדרושים עבור כל הלוויינים, המשמשים לעתים קרובות בשאילתות. בנוסף, במידת הצורך, ניתן להוסיף מפתחות עסקיים מגובבים עם מפתחות בצורת טקסט אם יש צורך בשמות המפתחות לצורך ניתוח.

העובדה היא שללא שימוש ב-BRIDGE, בתהליך של קבלת נתונים הממוקמים בלוויינים השייכים לרכזות שונות, יהיה צורך לבצע JOIN לא רק של הלוויינים עצמם, אלא גם של הקישורים המחברים את הרכזות.

הנוכחות או היעדרות של BRIDGE נקבעת על ידי תצורת האחסון והצורך לייעל את מהירות ביצוע השאילתה. קשה להמציא דוגמה אוניברסלית של BRIGE.

נגזרות מוגדרות מראש

סוג נוסף של אובייקטים שמקרב אותנו אל BUSINESS DATA VAULT הם טבלאות המכילות אינדיקטורים מחושבים מראש. טבלאות כאלה חשובות מאוד לעסקים; הן מכילות מידע מצטבר על פי כללים נתונים ומקלות על הגישה אליהן.

מבחינה ארכיטקטונית, גזרות מוגדרות מראש הן לא יותר מעוד לוויין של רכזת מסוימת. הוא, כמו לוויין רגיל, מכיל מפתח עסקי ואת תאריך יצירת הרשומה בלוויין. אולם כאן מסתיימים קווי הדמיון. ההרכב הנוסף של התכונות של לוויין "מתמחה" כזה נקבע על ידי משתמשים עסקיים בהתבסס על האינדיקטורים הפופולריים ביותר, המחושבים מראש.

לדוגמה, רכזת המכילה מידע על עובד עשויה לכלול לוויין עם אינדיקטורים כגון:

• שכר מינימום;
• משכורת מקסימלית;
• משכורת ממוצעת;
• סך מצטבר של שכר צבר וכו'.

זה הגיוני לכלול גזרות מוגדרות מראש בטבלת ה-PIT של אותו רכזת, ואז תוכל להשיג בקלות פרוסות נתונים עבור עובד בתאריך שנבחר ספציפית.

מסקנות

כפי שמראה בפועל, השימוש ב-DATA VAULT על ידי משתמשים עסקיים הוא קצת קשה מכמה סיבות:

• קוד השאילתה מורכב ומסורבל;
• שפע ה-JOINs משפיע על ביצועי השאילתות;
• כתיבת שאילתות אנליטיות דורשת ידע יוצא דופן בתכנון אחסון.

כדי לפשט את הגישה לנתונים, DATA VAULT מורחבת עם אובייקטים נוספים:

• טבלאות PIT (נקודת זמן);
• שולחנות BRIDGE;
• נגזרות מוגדרות מראש.

הַבָּא статье אני מתכנן לספר, לדעתי, את הדבר הכי מעניין למי שעובד עם BI. אציג דרכים ליצירת טבלאות עובדות וטבלאות ממדים המבוססות על DATA VAULT.

החומרים של המאמר מבוססים על:

• על פרסום Kenta Graziano, אשר בנוסף לתיאור מפורט, מכיל דיאגרמות מודל;
• ספר: "בניית מחסן נתונים ניתן להרחבה עם DATA VAULT 2.0";
• סעיף יסודות כספת הנתונים.

מקור: www.habr.com