איכות נתונים במחסן

איכות הנתונים במחסן היא תנאי מוקדם חשוב להשגת מידע בעל ערך. איכות ירודה מובילה לתגובת שרשרת שלילית בטווח הארוך.
ראשית, האמון במידע המסופק אובד. אנשים מתחילים להשתמש פחות ביישומי Business Intelligence; הפוטנציאל של יישומים נותר ללא דרישה.
כתוצאה מכך, השקעה נוספת בפרויקט האנליטי מוטלת בספק.

אחריות על איכות הנתונים

ההיבט הקשור לשיפור איכות הנתונים הוא מגה-חשוב בפרויקטים של BI. עם זאת, אין זו הפריבילגיה של מומחים טכניים בלבד.
איכות הנתונים מושפעת גם מהיבטים כמו

תרבות ארגונית

• האם העובדים עצמם מעוניינים לייצר איכות טובה?
• אם לא, למה לא? ייתכן שיש ניגוד עניינים.
• אולי יש חוקים תאגידיים שקובעים מי אחראי לאיכות?

Процессы

• אילו נתונים נוצרים בסוף השרשראות הללו?
• אולי מערכות ההפעלה מוגדרות בצורה כזו שאתה צריך "להתפתל" כדי לשקף מצב זה או אחר במציאות.
• האם מערכות ההפעלה מבצעות אימות והתאמה של נתונים בעצמן?

כל אחד בארגון אחראי על איכות הנתונים במערכות הדיווח.

הגדרה ומשמעות

איכות היא שביעות רצון מוכחת של ציפיות הלקוח.

אבל איכות הנתונים אינה מכילה הגדרה. זה תמיד משקף את ההקשר של השימוש. מחסן הנתונים ומערכת ה-BI משרתים מטרות שונות מאשר מערכת ההפעלה ממנה מגיעים הנתונים.

לדוגמה, במערכת הפעלה, תכונת הלקוח עשויה להיות שדה אופציונלי. במאגר, תכונה זו יכולה לשמש כממד ומילוי שלה נדרש. מה, בתורו, מציג את הצורך למלא ערכי ברירת מחדל.

דרישות אחסון הנתונים משתנות כל הזמן והן בדרך כלל גבוהות יותר מאלו של מערכות הפעלה. אבל זה יכול להיות גם הפוך, כאשר אין צורך לאחסן מידע מפורט ממערכת ההפעלה באחסון.

כדי להפוך את איכות הנתונים למדידה, יש לתאר את הסטנדרטים שלו. אנשים המשתמשים במידע ובדמויות לצורך עבודתם חייבים להיות מעורבים בתהליך התיאור. התוצאה של מעורבות זו עשויה להיות כלל, שבעקבותיו ניתן לדעת במבט חטוף בטבלה אם יש טעות או לא. יש לעצב כלל זה כסקריפט/קוד לצורך אימות עוקב.

שיפור איכות הנתונים

אי אפשר לנקות ולתקן את כל השגיאות ההיפותטיות בתהליך טעינת הנתונים למחסן. ניתן להשיג איכות נתונים טובה רק באמצעות שיתוף פעולה הדוק בין כל המשתתפים. אנשים שמכניסים נתונים למערכות הפעלה צריכים ללמוד אילו פעולות מובילות לשגיאות.

איכות נתונים היא תהליך. למרבה הצער, לארגונים רבים אין אסטרטגיה לשיפור מתמיד. רבים מגבילים את עצמם לאחסון נתונים בלבד ואינם מנצלים את מלוא הפוטנציאל של מערכות אנליטיות. בדרך כלל, בעת פיתוח מחסני נתונים, 70-80% מהתקציב מושקע ביישום שילוב נתונים. תהליך המעקב והשיפור נותר חלקי, אם בכלל.

כלי עבודה

השימוש בכלי תוכנה יכול לסייע בתהליך של אוטומציה של שיפור וניטור איכות הנתונים. לדוגמה, הם יכולים לבצע אוטומציה מלאה של האימות הטכני של מבני אחסון: פורמט שדה, נוכחות של ערכי ברירת מחדל, עמידה בשמות שדות בטבלה.

ייתכן שיהיה קשה יותר לבדוק את התוכן. ככל שדרישות האחסון משתנות, גם הפרשנות של הנתונים עשויה להשתנות. הכלי עצמו יכול להפוך לפרויקט ענק שדורש תמיכה.

המועצה

לבסיסי נתונים יחסיים, שבהם חנויות מעוצבות בדרך כלל, יש את היכולת המדהימה ליצור צפיות. ניתן להשתמש בהם כדי לבדוק נתונים במהירות אם אתה יודע את הפרטים של התוכן. כל מקרה של מציאת שגיאה או בעיה בנתונים יכול להירשם בצורה של שאילתת מסד נתונים.

כך ייווצר בסיס ידע לגבי התוכן. כמובן שבקשות כאלה חייבות להיות מהירות. תצוגות בדרך כלל דורשות פחות זמן אנושי לתחזוקה מאשר כלים מבוססי טבלה. התצוגה תמיד מוכנה להציג את תוצאת הבדיקה.
במקרה של דוחות חשובים, התצוגה עשויה להכיל עמודה עם הנמען. הגיוני להשתמש באותם כלי BI כדי לדווח על מצב איכות הנתונים במחסן.

דוגמה

השאילתה נכתבה עבור מסד הנתונים של אורקל. בדוגמה זו, הבדיקות מחזירות ערך מספרי שניתן לפרש כרצונך. ניתן להשתמש בערכי T_MIN ו-T_MAX כדי להתאים את רמת האזעקה. השדה REPORT שימש פעם כהודעה במוצר ETL ​​מסחרי שלא ידע לשלוח מיילים נכון, ולכן rpad הוא "קב".

במקרה של טבלה גדולה, ניתן להוסיף, למשל, AND ROWNUM <= 10, כלומר. אם יש 10 שגיאות, זה מספיק כדי לגרום לאזעקה.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

ההוצאה עושה שימוש בחומרים מהספר
רונלד בכמן, ד"ר. גידו קמפר
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird

מקור: www.habr.com