בודק נתונים גדולים וקטנים: מגמות, תיאוריה, הסיפור שלי

שלום לכולם, שמי אלכסנדר, ואני מהנדס איכות נתונים שבודק נתונים לאיכותם. המאמר הזה ידבר על איך הגעתי לזה ומדוע בשנת 2020 תחום הבדיקה הזה היה על פסגת הגל.

מגמה עולמית

העולם של היום חווה מהפכה טכנולוגית נוספת, שהיבט אחד שלה הוא השימוש בנתונים מצטברים על ידי כל מיני חברות כדי לקדם גלגל תנופה משלהן של מכירות, רווחים ויחסי ציבור. נראה שהנוכחות של נתונים טובים (איכותיים), כמו גם מוחות מיומנים שיכולים להרוויח מהם כסף (לעבד נכון, להמחיש, לבנות מודלים של למידת מכונה וכו'), הפכו למפתח להצלחה עבור רבים כיום. אם לפני 15-20 שנה חברות גדולות היו מעורבות בעיקר בעבודה אינטנסיבית עם צבירת נתונים ומונטיזציה, היום זה מנת חלקם של כמעט כל האנשים השפויים.

בהקשר זה, לפני מספר שנים, כל הפורטלים המוקדשים לחיפוש עבודה ברחבי העולם החלו להתמלא במשרות פנויות ל-Data Scientists, מאחר שכולם היו בטוחים כי לאחר ששכרו מומחה כזה, ניתן יהיה לבנות מודל-על של למידת מכונה. , לחזות את העתיד ולבצע "קפיצה קוונטית" עבור החברה. עם הזמן, אנשים הבינו שגישה זו כמעט אף פעם לא עובדת בשום מקום, שכן לא כל הנתונים הנופלים לידיהם של מומחים כאלה מתאימים למודלים של אימון.

והחלו בקשות של מדעני נתונים: "בואו נקנה עוד נתונים מאלה ומאלה...", "אין לנו מספיק נתונים...", "אנחנו צריכים עוד קצת נתונים, רצוי אחד באיכות גבוהה..." . בהתבסס על בקשות אלו, החלו להיבנות אינטראקציות רבות בין חברות שבבעלותן סט נתונים זה או אחר. מטבע הדברים, זה הצריך את הארגון הטכני של התהליך הזה - התחברות למקור הנתונים, הורדה שלו, בדיקה שהוא נטען במלואו וכו'. מספר התהליכים הללו החל לגדול, וכיום יש לנו צורך עצום בסוג אחר של מומחים - מהנדסי איכות נתונים - אלה שיפקחו על זרימת הנתונים במערכת (צנרת נתונים), על איכות הנתונים בקלט ובפלט, ויסיקו מסקנות לגבי מספיקותם, שלמותם ומאפיינים נוספים.

הטרנד של מהנדסי איכות נתונים הגיע אלינו מארה"ב, שם, בעיצומו של עידן הקפיטליזם המשתולל, אף אחד לא מוכן להפסיד בקרב על הנתונים. להלן סיפקתי צילומי מסך משני אתרי חיפוש העבודה הפופולריים ביותר בארה"ב: www.monster.com и www.dice.com - המציג נתונים נכון ל-17 במרץ 2020 על מספר המשרות הפנויות שהתקבלו באמצעות מילות המפתח: Data Quality and Data Scientist.

www.monster.com

Data Scientists – 21416 משרות פנויות
איכות נתונים – 41104 משרות פנויות

www.dice.com

Data Scientists – 404 משרות פנויות
איכות נתונים – משרות פנויות 2020

ברור שמקצועות אלה אינם מתחרים זה בזה. בעזרת צילומי מסך, רק רציתי להמחיש את המצב הנוכחי בשוק העבודה מבחינת בקשות למהנדסי Data Quality, שדרושים מהם הרבה יותר כעת מאשר Data Scientists.

ביוני 2019, EPAM, כמענה לצורכי שוק ה-IT המודרני, הפרידה את איכות הנתונים לפרקטיקה נפרדת. מהנדסי איכות נתונים, במסגרת עבודתם היומיומית, מנהלים נתונים, בודקים את התנהגותם בתנאים ומערכות חדשות, עוקבים אחר הרלוונטיות של הנתונים, ספיקותם ורלוונטיותם. עם כל זה, במובן המעשי, מהנדסי איכות נתונים באמת מקדישים מעט זמן לבדיקות פונקציונליות קלאסיות, אבל זה מאוד תלוי בפרויקט (אתן דוגמה למטה).

תחומי האחריות של מהנדס איכות נתונים אינם מוגבלים רק לבדיקות ידניות/אוטומטיות שגרתיות של "אפסים, ספירות וסכומים" בטבלאות מסד נתונים, אלא דורשות הבנה מעמיקה של הצרכים העסקיים של הלקוח, ובהתאם, היכולת להפוך נתונים זמינים ל מידע עסקי שימושי.

תורת איכות הנתונים

כדי לדמיין בצורה מלאה יותר את תפקידו של מהנדס כזה, בואו נבין מהי איכות נתונים בתיאוריה.

איכות הנתונים - אחד משלבי ניהול הנתונים (עולם שלם שנשאיר לך ללמוד בעצמך) ואחראי לניתוח נתונים לפי הקריטריונים הבאים:

אני חושב שאין צורך לפענח כל אחת מהנקודות (בתיאוריה הן נקראות "ממדי נתונים"), הן מתוארות היטב בתמונה. אך תהליך הבדיקה עצמו אינו מרמז על העתקה קפדנית של תכונות אלו למקרי בדיקה ובדיקתן. ב-Data Quality, כמו בכל סוג אחר של בדיקות, יש צורך, קודם כל, להתבסס על דרישות איכות הנתונים המוסכמות עם משתתפי הפרויקט שמקבלים החלטות עסקיות.

בהתאם לפרויקט Data Quality, מהנדס יכול לבצע פונקציות שונות: מבוחן אוטומציה רגיל עם הערכה שטחית של איכות הנתונים ועד לאדם המבצע פרופילים עמוקים של הנתונים לפי הקריטריונים לעיל.

תיאור מפורט מאוד של ניהול הנתונים, איכות הנתונים והתהליכים הקשורים מתואר היטב בספר שנקרא "DAMA-DMBOK: גוף הידע לניהול נתונים: מהדורה 2". אני ממליץ בחום על ספר זה כהקדמה לנושא זה (קישור אליו תמצאו בסוף המאמר).

הסיפור שלי

בתעשיית ה-IT, עליתי מבוחן ג'וניור בחברות מוצרים למהנדס איכות נתונים מוביל ב-EPAM. לאחר כשנתיים של עבודה כטסטר, הייתה לי משוכנע שעשיתי לחלוטין את כל סוגי הבדיקות: רגרסיה, תפקוד, לחץ, יציבות, אבטחה, ממשק משתמש וכו' - וניסיתי מספר רב של כלי בדיקה, לאחר עבד במקביל בשלוש שפות תכנות: Java, Scala, Python.

במבט לאחור, אני מבין מדוע מערך המיומנויות שלי היה כל כך מגוון - הייתי מעורב בפרויקטים מונעי נתונים, גדולים כקטנים. זה מה שהביא אותי לעולם של הרבה כלים והזדמנויות לצמיחה.

כדי להעריך את מגוון הכלים וההזדמנויות להשיג ידע ומיומנויות חדשים, פשוט תסתכל על התמונה למטה, המציגה את הפופולריים ביותר בעולם "Data & AI".

איור מסוג זה נערך מדי שנה על ידי אחד מאנשי ההון סיכון המפורסמים מאט טורק, שמגיע מפיתוח תוכנה. כאן קשר לבלוג שלו ו חברה להון סיכון, שם הוא עובד כשותף.

צמחתי מקצועית מהר במיוחד כשהייתי הבוחן היחיד בפרויקט, או לפחות בתחילת הפרויקט. זה ברגע כזה שאתה צריך להיות אחראי על כל תהליך הבדיקה, ואין לך הזדמנות לסגת, רק קדימה. בהתחלה זה היה מפחיד, אבל עכשיו כל היתרונות של מבחן כזה ברורים לי:

• אתה מתחיל לתקשר עם כל הצוות כמו שלא היה מעולם, מכיוון שאין פרוקסי לתקשורת: לא מנהל הבדיקה ולא בודקים אחרים.
• השקיעה בפרויקט הופכת עמוקה להפליא, ויש לך מידע על כל המרכיבים, הן באופן כללי והן בפירוט.
• מפתחים לא מסתכלים עליך כ"הבחור הזה מהבדיקה שלא יודע מה הוא עושה", אלא כשווה ערך שמייצר יתרונות מדהימים לצוות עם הבדיקות האוטומטיות שלו והציפייה לבאגים שיופיעו ברכיב ספציפי של מוצר.
• כתוצאה מכך, אתה יעיל יותר, מוסמך יותר ומבוקש יותר.

ככל שהפרויקט גדל, ב-100% מהמקרים הפכתי למנטור של בודקים חדשים, לימדתי אותם והעברתי את הידע שלמדתי בעצמי. יחד עם זאת, בהתאם לפרויקט, לא תמיד קיבלתי מההנהלה את הרמה הגבוהה ביותר של מומחי בדיקות רכב והיה צורך או להכשיר אותם באוטומציה (למעוניינים) או ליצור כלים לשימוש בפעילויות יומיומיות (כלים). להפקת נתונים וטעינתם למערכת , כלי לביצוע בדיקות עומס/בדיקות יציבות "מהיר" וכו').

דוגמה לפרויקט ספציפי

לצערי, עקב חובות סודיות, איני יכול לדבר בפירוט על הפרויקטים בהם עבדתי, אך אתן דוגמאות למשימות טיפוסיות של מהנדס איכות נתונים באחד הפרויקטים.

מהות הפרויקט היא הטמעת פלטפורמה להכנת נתונים לאימון מודלים של למידת מכונה המבוססים עליה. הלקוח היה חברת תרופות גדולה מארה"ב. טכנית זה היה אשכול קוברנט, עולה ל AWS EC2 מופעים, עם מספר שירותי מיקרו ופרויקט הקוד הפתוח הבסיסי של EPAM - לגיון, מותאם לצרכים של לקוח ספציפי (כעת הפרויקט נולד מחדש לתוך אודהו). תהליכי ETL אורגנו באמצעות זרימת אוויר של אפאצ'י והעבירו נתונים מ כוח מכירות מערכות לקוחות ב AWS S3 דליים. לאחר מכן, תמונת Docker של מודל למידת מכונה נפרסה על הפלטפורמה, אשר הוכשרה על נתונים טריים ובאמצעות ממשק REST API, הפיקה תחזיות שעניינו את העסק ופתרו בעיות ספציפיות.

מבחינה ויזואלית, הכל נראה בערך כך:

היו הרבה בדיקות פונקציונליות בפרויקט הזה, ובהתחשב במהירות פיתוח התכונות והצורך לשמור על קצב מחזור השחרור (ספרינטים של שבועיים), היה צורך לחשוב מיד על אוטומציה של בדיקות של הרכיבים הקריטיים ביותר של המערכת. רוב הפלטפורמה מבוססת Kubernetes עצמה כוסתה על ידי בדיקות אוטומטיות שהוטמעו ב מסגרת רובוטים + Python, אבל היה צורך גם לתמוך ולהרחיב אותם. בנוסף, לנוחות הלקוח, נוצר GUI לניהול מודלים של למידת מכונה הפרוסים לאשכול, כמו גם יכולת לציין היכן והיכן יש להעביר נתונים לצורך אימון המודלים. תוספת נרחבת זו כללה הרחבה של בדיקות פונקציונליות אוטומטיות, שנעשו בעיקר באמצעות קריאות REST API ומספר קטן של בדיקות ממשק משתמש קצה 2. מסביב לקו המשווה של כל התנועה הזו, הצטרף אלינו בודק ידני שעשה עבודה מצוינת עם בדיקת קבלה של גרסאות המוצר ותקשורת עם הלקוח לגבי קבלת המהדורה הבאה. בנוסף, עקב הגעתו של מומחה חדש, הצלחנו לתעד את עבודתנו ולהוסיף מספר בדיקות ידניות חשובות מאוד שקשה היה לבצע אוטומציה מיידית.

ולבסוף, לאחר שהשגנו יציבות מהפלטפורמה ומהתוסף ה-GUI מעליה, התחלנו לבנות צינורות ETL באמצעות Apache Airflow DAGs. בדיקת איכות נתונים אוטומטית בוצעה על ידי כתיבת Airflow DAGs מיוחדים שבדקו את הנתונים על סמך תוצאות תהליך ה-ETL. כחלק מהפרויקט הזה, התמזל מזלנו והלקוח נתן לנו גישה למערכים אנונימיים שעליהם בדקנו. בדקנו את הנתונים שורה אחר שורה עבור תאימות לסוגים, נוכחות נתונים שבורים, המספר הכולל של רשומות לפני ואחרי, השוואה של טרנספורמציות שנעשו על ידי תהליך ה-ETL לצבירה, שינוי שמות עמודות ודברים נוספים. בנוסף, בדיקות אלו הותאמו למקורות נתונים שונים, למשל, בנוסף ל-SalesForce, גם ל-MySQL.

בדיקות איכות נתונים סופיות בוצעו כבר ברמת S3, שם הם אוחסנו והיו מוכנים לשימוש לאימון מודלים של למידת מכונה. כדי לקבל נתונים מקובץ ה-CSV הסופי הממוקם ב-S3 Bucket ולאמת אותו, נכתב קוד באמצעות לקוחות boto3.

כמו כן הייתה דרישה מהלקוח לאחסן חלק מהנתונים ב-S3 Bucket אחד וחלק אחר. הדבר דרש גם כתיבת צ'קים נוספים לבדיקת מהימנות מיון כזה.

ניסיון כללי מפרויקטים אחרים

דוגמה לרשימת הפעילויות הכללית ביותר של מהנדס איכות נתונים:

• הכן נתוני בדיקה (תקף לא חוקי גדול קטן) באמצעות כלי אוטומטי.
• העלה את ערכת הנתונים המוכנה למקור המקורי ובדוק שהיא מוכנה לשימוש.
• הפעל תהליכי ETL לעיבוד קבוצת נתונים מאחסון המקור לאחסון הסופי או הביניים באמצעות קבוצה מסוימת של הגדרות (אם אפשר, הגדר פרמטרים הניתנים להגדרה עבור משימת ה-ETL).
• אמת את הנתונים המעובדים בתהליך ה-ETL עבור איכותם ותאימותם לדרישות העסקיות.

יחד עם זאת, הדגש העיקרי של הבדיקות צריך להיות לא רק בעובדה שזרימת הנתונים במערכת, עקרונית, עבדה והגיעה לסוף (שהיא חלק מבדיקות פונקציונליות), אלא בעיקר בבדיקה ואימות נתונים. לעמידה בדרישות הצפויות, זיהוי חריגות ודברים אחרים.

כלי עבודה

אחת הטכניקות לבקרת נתונים כזו יכולה להיות ארגון בדיקות שרשרת בכל שלב של עיבוד הנתונים, מה שמכונה "שרשרת נתונים" בספרות - שליטה בנתונים מהמקור ועד לנקודת השימוש הסופי. סוגים אלה של בדיקות מיושמים לרוב על ידי כתיבת שאילתות בדיקת SQL. ברור ששאילתות כאלה צריכות להיות קלות ככל האפשר ולבדוק חלקים בודדים של איכות נתונים (מטאדטה של ​​טבלאות, שורות ריקות, NULLs, שגיאות בתחביר - תכונות אחרות הנדרשות לבדיקה).

במקרה של בדיקות רגרסיה, המשתמשות במערכות נתונים מוכנות (בלתי ניתנות לשינוי, מעט ניתנות לשינוי), קוד הבדיקה האוטומטית יכול לאחסן תבניות מוכנות לבדיקת תאימות של נתונים לאיכות (תיאורים של מטא נתונים צפויים בטבלה; אובייקטים לדוגמה של שורה שיכולים להיות נבחר באקראי במהלך המבחן וכו').

כמו כן, במהלך הבדיקה, עליך לכתוב תהליכי בדיקת ETL באמצעות מסגרות כגון Apache Airflow, אפאצ 'י ספארק או אפילו כלי מסוג ענן קופסה שחורה GCP Dataprep, זרימת נתונים של GCP וכולי. נסיבות אלו מאלצות את מהנדס הבדיקה לשקוע בעקרונות הפעולה של הכלים הנ"ל ואף יותר יעילה גם לבצע בדיקות פונקציונליות (למשל, תהליכי ETL קיימים בפרויקט) וגם להשתמש בהם כדי לבדוק נתונים. בפרט, ל- Apache Airflow יש מפעילים מוכנים לעבודה עם מסדי נתונים אנליטיים פופולריים, למשל GCP BigQuery. הדוגמה הבסיסית ביותר לשימוש בו כבר פורטה כאן, אז אני לא אחזור על עצמי.

מלבד פתרונות מוכנים, אף אחד לא אוסר עליך ליישם את הטכניקות והכלים שלך. זה לא רק יועיל לפרויקט, אלא גם למהנדס איכות הנתונים עצמו, שישפר בכך את האופקים הטכניים ואת כישורי הקידוד שלו.

איך זה עובד על פרויקט אמיתי

המחשה טובה לפסקאות האחרונות על "שרשרת הנתונים", ETL ובדיקות בכל מקום היא התהליך הבא מאחד הפרויקטים האמיתיים:

כאן, נתונים שונים (באופן טבעי, שהוכנו על ידינו) נכנסים ל"משפך" הקלט של המערכת שלנו: חוקיים, לא חוקיים, מעורבים וכו', לאחר מכן הם מסוננים ומגיעים לאחסון ביניים, ואז הם שוב עוברים סדרה של טרנספורמציות וממוקמים באחסון הסופי, שממנו, בתורו, יתבצעו ניתוחים, בניית נתונים מרטים וחיפוש תובנות עסקיות. במערכת כזו, מבלי לבדוק פונקציונלית את פעולת תהליכי ETL, אנו מתמקדים באיכות הנתונים לפני ואחרי טרנספורמציות, כמו גם בפלט לניתוח.

לסיכום האמור לעיל, ללא קשר למקומות שבהם עבדתי, בכל מקום הייתי מעורב בפרויקטי Data שחלקו את התכונות הבאות:

• רק באמצעות אוטומציה ניתן לבדוק מקרים מסוימים ולהשיג מחזור שחרור מקובל על העסק.
• בודק בפרויקט כזה הוא אחד החברים המוערכים בצוות, שכן הוא מביא תועלת רבה לכל אחד מהמשתתפים (האצת בדיקות, נתונים טובים מ-Data Scientist, זיהוי ליקויים בשלבים מוקדמים).
• זה לא משנה אם אתה עובד על החומרה שלך או בעננים - כל המשאבים מופשטים לאשכול כמו Hortonworks, Cloudera, Mesos, Kubernetes וכו'.
• פרויקטים בנויים בגישת מיקרו-שירות, מחשוב מבוזר ומקביל שולטים.

ברצוני לציין כי בעת ביצוע בדיקות בתחום איכות הנתונים, מומחה בדיקות מעביר את המיקוד המקצועי שלו לקוד המוצר ולכלים בהם נעשה שימוש.

מאפיינים ייחודיים של בדיקת איכות נתונים

בנוסף, בעצמי, זיהיתי את המאפיינים הבאים (אני מיד אסתיג שהם מאוד כלליים ובלעדיים סובייקטיביים) המאפיינים הייחודיים של בדיקות בפרויקטים (מערכות) של Data (Big Data) ובתחומים אחרים:

קישורים שימושיים

1. תיאוריה: DAMA-DMBOK: גוף הידע לניהול נתונים: מהדורה 2.
2. מרכז אימון EPAM 
3. חומרים מומלצים למהנדס איכות נתונים מתחיל:
   1. קורס חינם על סטפיק: מבוא למאגרי מידע. 
   2. קורס למידת לינקדאין: יסודות מדעי הנתונים: הנדסת נתונים.
   3. מאמרים:
      • בינה עסקית ואיכות נתונים; 
      • בדיקת ETL; 
      • מהו פרופיל נתונים? תהליך, שיטות עבודה מומלצות וכלים; 
      • יצירת נתוני בדיקה: מה זה, איך, דוגמה, כלים; 
      • 5 טכניקות יצירת נתונים לבדיקה שאתה צריך לדעת. 
   4. וידאו:
      • מושגי איכות נתונים | מדריך לאיכות נתונים | מדריך לאחסון נתונים;
      • פרופיל נתונים באמצעות SSIS;
      • פרופיל נתונים ועיבוד צנרת עם Spark.

מסקנה

איכות הנתונים הוא כיוון צעיר מאוד ומבטיח, להיות חלק ממנו פירושו להיות חלק מסטארט-אפ. לאחר האיכות נתונים, תהיו שקועים במספר רב של טכנולוגיות מודרניות מבוקשות, אבל הכי חשוב, הזדמנויות אדירות יפתחו לכם להפיק וליישם את הרעיונות שלכם. תוכל להשתמש בגישת השיפור המתמיד לא רק בפרויקט, אלא גם עבור עצמך, תוך התפתחות מתמדת כמומחה.

מקור: www.habr.com