ממשל נתונים פנימי

היי הבר!

נתונים הם הנכס היקר ביותר של החברה. כמעט כל חברה עם מיקוד דיגיטלי מצהירה על כך. קשה להתווכח עם זה: אף כנס IT מרכזי אחד לא מתקיים מבלי לדון בגישות לניהול, אחסון ועיבוד נתונים.

הנתונים מגיעים אלינו מבחוץ, הם נוצרים גם בתוך החברה, ואם מדברים על נתונים של חברת טלקום, אז עבור עובדים פנימיים מדובר במחסן מידע על הלקוח, תחומי העניין, הרגליו ומיקומו. עם פרופיל ופילוח נכונים, הצעות פרסום הן היעילות ביותר. עם זאת, בפועל, לא הכל כל כך ורוד. הנתונים שחברות מאחסנות עשויים להיות מיושנים ללא תקנה, מיותרים, חוזרים על עצמם, או שקיומם אינו ידוע לאיש מלבד מעגל צר של משתמשים. ¯_(ツ)_/¯

במילה אחת, הנתונים חייבים להיות מנוהלים בצורה יעילה – רק כך הם יהפכו לנכס שמביא יתרונות ורווח אמיתיים לעסק. למרבה הצער, פתרון בעיות ניהול נתונים דורש התגברות על מורכבויות רבות. הן נובעות בעיקר הן מהמורשת ההיסטורית בדמות "גני חיות" של מערכות והן מהיעדר תהליכים וגישות מאוחדות לניהולן. אבל מה זה אומר להיות "מונע נתונים"?

זה בדיוק מה שנדבר עליו תחת החתך, כמו גם איך מחסנית ה-opensource עזרה לנו.

הרעיון של ניהול נתונים אסטרטגי Data Governance (DG) כבר ידוע למדי בשוק הרוסי, והמטרות שהושגו על ידי העסקים כתוצאה מיישומה ברורות ומוצהרות בבירור. החברה שלנו לא הייתה יוצאת דופן והציבה לעצמה את המשימה להציג את הרעיון של ניהול נתונים.

אז מאיפה התחלנו? מלכתחילה, יצרנו לעצמנו מטרות מפתח:

1. שמור את הנתונים שלנו נגישים.
2. הבטח שקיפות של מחזור חיי הנתונים.
3. ספק למשתמשי החברה נתונים עקביים ועקביים.
4. ספק למשתמשי החברה נתונים מאומתים.

כיום, ישנם תריסר כלים בכיתה Data Governance בשוק התוכנה.

אבל לאחר ניתוח ולימוד מפורט של הפתרונות, רשמנו לעצמנו מספר הערות קריטיות:

• רוב היצרנים מציעים מערך פתרונות מקיף, אשר עבורנו מיותר ומשכפל את הפונקציונליות הקיימת. בנוסף, יקר במונחים של משאבים, אינטגרציה בנוף ה-IT הנוכחי.
• הפונקציונליות והממשק מיועדים לאנשי טכנולוגיה, לא למשתמשי קצה עסקיים.
• שיעור הישרדות נמוך של מוצרים והיעדר יישומים מוצלחים בשוק הרוסי.
• עלות גבוהה של תוכנה ותמיכה נוספת.

הקריטריונים וההמלצות שהושמעו לעיל לגבי החלפת יבוא של תוכנה עבור חברות רוסיות שכנעו אותנו להתקדם לפיתוח משלנו על ערימת קוד פתוח. הפלטפורמה שבחרנו הייתה Django, מסגרת חינמית וקוד פתוח שנכתבה בפייתון. וכך זיהינו מודולים מרכזיים שיתרמו למטרות שצוינו לעיל:

1. רישום דוחות.
2. מילון מונחים לעסקים.
3. מודול לתיאור טרנספורמציות טכניות.
4. מודול לתיאור מחזור חיי הנתונים מהמקור לכלי ה-BI.
5. מודול בקרת איכות נתונים.

רישום דוחות

על פי תוצאות מחקרים פנימיים בחברות גדולות, כאשר פותרים בעיות הקשורות לנתונים, העובדים מבלים 40-80% מזמנם בחיפושים אחריהם. לכן, הצבנו לעצמנו את המשימה ליצור מידע פתוח על דוחות קיימים שבעבר היו זמינים רק ללקוחות. לפיכך, אנו מצמצמים את הזמן להפקת דוחות חדשים ומבטיחים דמוקרטיזציה של הנתונים.

פנקס הדיווח הפך לחלון דיווח יחיד עבור משתמשים פנימיים מאזורים, מחלקות וחטיבות שונות. הוא מאחד מידע על שירותי מידע שנוצרו במספר מאגרים ארגוניים של החברה, ויש רבים מהם ב-Rostelecom.

אבל הרישום אינו רק רשימה יבשה של דוחות מפותחים. עבור כל דוח, אנו מספקים את המידע הדרוש למשתמש כדי להכיר אותו:

• תיאור קצר של הדו"ח;
• עומק זמינות הנתונים;
• פלח לקוחות;
• כלי הדמיה;
• שם האחסון הארגוני;
• דרישות פונקציונליות עסקיות;
• קישור לדוח;
• קישור לבקשת גישה;
• מצב יישום.

ניתוחי רמת שימוש זמינים עבור דוחות, והדוחות מדורגים בראש הרשימה על סמך ניתוחי יומן המבוססים על מספר המשתמשים הייחודיים. וזה לא זה. בנוסף למאפיינים הכלליים, סיפקנו גם תיאור מפורט של הרכב המאפיינים של הדוחות עם דוגמאות של ערכים ושיטות חישוב. פירוט כזה נותן מיד למשתמש תשובה האם הדוח מועיל לו או לא.

הפיתוח של מודול זה היה צעד חשוב בדמוקרטיזציה של הנתונים והפחית משמעותית את הזמן שלוקח למציאת המידע הנדרש. בנוסף לצמצום זמן החיפוש, ירד גם מספר הבקשות לצוות התמיכה למתן ייעוץ. אי אפשר שלא לציין עוד תוצאה שימושית שהשגנו על ידי פיתוח מאגר דוחות מאוחד - מניעת פיתוח דוחות כפולים ליחידות מבניות שונות.

מילון מונחים לעסקים

כולכם יודעים שגם בתוך אותה חברה עסקים מדברים שפות שונות. כן, הם משתמשים באותם מונחים, אבל הם מתכוונים לדברים שונים לחלוטין. מילון מונחים עסקי נועד לפתור בעיה זו.

עבורנו מילון מונחים לעסקים הוא לא רק ספר עיון עם תיאור מונחים ומתודולוגיית חישוב. זוהי סביבה מלאה לפיתוח, הסכמה ואישור טרמינולוגיה, בניית קשרים בין תנאים ונכסי מידע אחרים של החברה. לפני הכניסה למילון המונחים העסקי, מונח חייב לעבור את כל שלבי האישור מול לקוחות עסקיים ומרכז איכות הנתונים. רק לאחר מכן הוא הופך זמין לשימוש.

כפי שכתבתי למעלה, הייחוד של הכלי הזה הוא בכך שהוא מאפשר חיבורים מרמת מונח עסקי לדוחות משתמשים ספציפיים בהם נעשה בו שימוש, כמו גם לרמת אובייקטי מסד נתונים פיזיים.

הדבר מתאפשר באמצעות שימוש במזהי מונחי מונחים בתיאור המפורט של דוחות הרישום ובתיאור אובייקטי מסד נתונים פיזיים.

נכון לעכשיו, יותר מ-4000 מונחים הוגדרו וסוכמו במילון המונחים. השימוש בו מפשט ומזרז את הטיפול בבקשות נכנסות לשינויים במערכות המידע של החברה. אם המחוון הנדרש כבר מיושם בדוח כלשהו, ​​אזי המשתמש יראה מיד קבוצה של דוחות מוכנים שבהם נעשה שימוש באינדיקטור זה, ויוכל להחליט על שימוש חוזר יעיל בפונקציונליות קיימת או שינוי מינימלי שלה, מבלי ליזום בקשות חדשות לפיתוח דוח חדש.

מודול לתיאור טרנספורמציות טכניות ו-DataLineage

מה זה המודולים האלה, אתם שואלים? זה לא מספיק פשוט ליישם את מרשם הדוחות ואת מילון המונחים, יש צורך גם לבסס את כל המונחים העסקיים על מודל מסד הנתונים הפיזי. כך, הצלחנו להשלים את תהליך גיבוש מחזור חיי הנתונים ממערכות מקור ועד להדמיה של BI דרך כל שכבות מחסן הנתונים. במילים אחרות, בנה DataLineage.

פיתחנו ממשק המבוסס על הפורמט ששימש בעבר בחברה לתיאור הכללים וההיגיון של טרנספורמציה של נתונים. אותו מידע מוכנס דרך הממשק כבעבר, אך הגדרת המונח מזהה מתוך מילון המונחים העסקי הפכה לתנאי מוקדם. כך בונים חיבור בין הרובד העסקי והפיזי.

מי צריך את זה? מה היה רע בפורמט הישן שעבדת איתו כמה שנים? בכמה עלו עלויות העבודה ליצירת דרישות? נאלצנו להתמודד עם שאלות כאלה במהלך יישום הכלי. התשובות כאן די פשוטות - כולנו צריכים את זה, משרד הנתונים של החברה שלנו והמשתמשים שלנו.

אכן, העובדים נאלצו להסתגל, בהתחלה זה הוביל לעלייה קלה בעלויות העבודה להכנת תיעוד, אבל סידרנו את הנושא הזה. תרגול, זיהוי ואופטימיזציה של אזורים בעייתיים עשו את העבודה שלהם. השגנו את העיקר - שיפרנו את איכות הדרישות שפותחו. שדות חובה, ספרי עיון מאוחדים, מסכות קלט, צ'קים מובנים - כל זה אפשר לשפר משמעותית את איכות תיאורי הטרנספורמציה. התרחקנו מהנוהג של מסירת סקריפטים כדרישות פיתוח וידע משותף שהיה זמין רק לצוות הפיתוח. מסד הנתונים המטא-נתונים שנוצר מקטין משמעותית את הזמן הנדרש לביצוע ניתוח רגרסיה ומספק את היכולת להעריך במהירות את ההשפעה של שינויים על כל שכבה של נוף ה-IT (דוחות תצוגה, אגרגטים, מקורות).

מה זה קשור למשתמשים רגילים בדוחות, מה היתרונות עבורם? הודות ליכולת לבנות DataLineage, המשתמשים שלנו, גם אלה הרחוקים משפות SQL ושפות תכנות אחרות, מקבלים במהירות מידע על המקורות והאובייקטים שעל בסיסם מופק דוח מסוים.

מודול בקרת איכות נתונים

כל מה שדיברנו עליו לעיל במונחים של הבטחת שקיפות נתונים אינו חשוב מבלי להבין שהנתונים שאנו נותנים למשתמשים נכונים. אחד המודולים החשובים של תפיסת ניהול הנתונים שלנו הוא מודול בקרת איכות הנתונים.

בשלב הנוכחי מדובר בקטלוג שיקים עבור גופים נבחרים. המטרה המיידית לפיתוח המוצר היא הרחבת רשימת הבדיקות והשתלבות עם מרשם הדיווחים.
מה זה ייתן ולמי? למשתמש הקצה של הרישום תהיה גישה למידע על התאריכים המתוכננים והממשיים של מוכנות הדיווח, תוצאות הבדיקות שהושלמו עם דינמיקה ומידע על המקורות הטעונים לדוח.

עבורנו, מודול איכות הנתונים המשולב בתהליכי העבודה שלנו הוא:

• גיבוש מהיר של ציפיות הלקוח.
• קבלת החלטות לגבי שימוש נוסף בנתונים.
• השגת מערך ראשוני של נקודות בעייתיות בשלבים הראשונים של העבודה לפיתוח בקרות איכות קבועות.

כמובן, אלו הם השלבים הראשונים בבניית תהליך ניהול נתונים מלא. אך אנו בטוחים שרק על ידי ביצוע עבודה מכוונת, הכנסת כלי Data Governance באופן אקטיבי לתהליך העבודה, נספק ללקוחותינו תוכן מידע, רמת אמון גבוהה בנתונים, שקיפות בקליטתם ונעלה את מהירות ההשקה. פונקציונליות חדשה.

צוות DataOffice

מקור: www.habr.com