סיווג נתונים ניתן להרחבה עבור אבטחה ופרטיות

סיווג נתונים מבוסס תוכן הוא בעיה פתוחה. מערכות מסורתיות למניעת אובדן נתונים (DLP) פותרות בעיה זו על ידי טביעת אצבע של הנתונים הרלוונטיים וניטור נקודות הקצה לטביעת אצבע. בהתחשב במספר הרב של משאבי הנתונים המשתנים ללא הרף בפייסבוק, גישה זו לא רק שאינה ניתנת להרחבה, אלא גם לא יעילה לקביעה היכן הנתונים נמצאים. מאמר זה מתמקד במערכת מקצה לקצה שנבנתה כדי לזהות סוגים סמנטיים רגישים בפייסבוק בקנה מידה ולאכוף אוטומטית אחסון נתונים ובקרת גישה.

הגישה המתוארת כאן היא מערכת הפרטיות הראשונה שלנו מקצה לקצה שמנסה לפתור בעיה זו על ידי שילוב אותות נתונים, למידת מכונה וטכניקות מסורתיות של טביעת אצבע למיפוי וסיווג כל הנתונים בפייסבוק. המערכת המתוארת מופעלת בסביבת ייצור, ומשיגה ציון F2 ממוצע של 0,9+ על פני מחלקות פרטיות שונות תוך עיבוד כמויות גדולות של משאבי נתונים על פני עשרות מאגרים. הצגת תרגום של מאמר ArXiv של פייסבוק על סיווג נתונים ניתן להרחבה לאבטחה ופרטיות על בסיס למידת מכונה.

מבוא

כיום, ארגונים אוספים ומאחסנים כמויות גדולות של נתונים במגוון פורמטים ומיקומים [1], ואז הנתונים נצרכים במקומות רבים, לעיתים מועתקים או מאוחסנים מספר פעמים במטמון, וכתוצאה מכך מפוזר מידע עסקי בעל ערך ורגיש על פני נתונים ארגוניים רבים. חנויות. כאשר ארגון נדרש לעמוד בדרישות חוקיות או רגולטוריות מסוימות, כגון עמידה בתקנות בהליכים אזרחיים, נוצר צורך באיסוף נתונים לגבי מיקומם של הנתונים הנדרשים. כאשר תקנת פרטיות קובעת שארגון חייב להסוות את כל מספרי הביטוח הלאומי (SSN) בעת שיתוף מידע אישי עם גורמים לא מורשים, הצעד הראשון הטבעי הוא חיפוש בכל ה-SSN ברחבי מאגרי הנתונים של הארגון. בנסיבות כאלה, סיווג הנתונים הופך להיות קריטי [1]. מערכת הסיווג תאפשר לארגונים לאכוף אוטומטית מדיניות פרטיות ואבטחה, כגון הפעלת מדיניות בקרת גישה, שמירת נתונים. פייסבוק מציגה מערכת שבנינו בפייסבוק המשתמשת במספר אותות נתונים, ארכיטקטורת מערכת ניתנת להרחבה ולמידת מכונה כדי לגלות סוגי נתונים סמנטיים רגישים.

גילוי וסיווג נתונים הוא תהליך מציאת וסימון נתונים כך שניתן יהיה לאחזר מידע רלוונטי במהירות וביעילות בעת הצורך. התהליך הנוכחי הוא ידני במהותו ומורכב מבחינת החוקים או התקנות הרלוונטיים, קביעה אילו סוגי מידע צריכים להיחשב כרגישים ומהן רמות הרגישות השונות, ולאחר מכן בניית מחלקות ומדיניות סיווג בהתאם [1]. מניעת אובדן נתונים (DLP) לאחר מכן מטביעת את הנתונים ועוקבת אחר נקודות קצה במורד הזרם כדי להשיג את טביעות האצבע. כאשר עוסקים במחסן עתיר נכסים עם פטה-בייט של נתונים, הגישה הזו פשוט לא מתרחבת.

המטרה שלנו היא לבנות מערכת סיווג נתונים המותאמת לנתוני משתמש חזקים וחולפים כאחד, ללא הגבלות נוספות על סוג הנתונים או הפורמט. זו מטרה נועזת, ובאופן טבעי היא מלווה באתגרים. רשומת נתונים נתונה יכולה להיות באורך של אלפי תווים.

איור 1. זרימות תחזיות מקוונות ולא מקוונות

לכן, עלינו לייצג אותו ביעילות באמצעות מערכת משותפת של תכונות שניתן לשלב מאוחר יותר ולהזיז אותה בקלות. תכונות אלו צריכות לא רק לספק סיווג מדויק, אלא גם לספק גמישות והרחבה כדי להוסיף ולגלות בקלות סוגי נתונים חדשים בעתיד. שנית, אתה צריך להתמודד עם שולחנות לא מקוונים גדולים. ניתן לאחסן נתונים עמידים בטבלאות בגודל פטה-בייט רבים. זה עלול לגרום למהירויות סריקה איטיות יותר. שלישית, עלינו לדבוק בסיווג SLA קפדני על נתונים נדיפים. זה מאלץ את המערכת להיות יעילה ביותר, מהירה ומדויקת. לבסוף, עלינו לספק סיווג נתונים עם חביון נמוך עבור נתונים נדיפים לביצוע סיווג בזמן אמת וכן עבור מקרי שימוש באינטרנט.

מאמר זה מתאר כיצד התמודדנו עם האתגרים לעיל ומציג מערכת סיווג מהירה וניתנת להרחבה המסווגת רכיבי נתונים מכל הסוגים, הפורמטים והמקורות על סמך קבוצה משותפת של תכונות. הרחבנו את ארכיטקטורת המערכת ויצרנו מודל למידת מכונה מותאם אישית כדי לסווג במהירות נתונים לא מקוונים ומקוונים. מאמר זה מאורגן באופן הבא: חלק 2 מציג את העיצוב הכולל של המערכת. סעיף 3 דן בחלקים של מערכת למידת מכונה. סעיפים 4 ו-5 מדגישים עבודה קשורה ומתווים כיווני עבודה עתידיים.

אדריכלות

כדי להתמודד עם האתגרים של נתונים מקוונים מתמשכים ובקנה מידה של פייסבוק, למערכת הסיווג שני זרמים נפרדים, עליהם נדון בהרחבה.

נתונים בר קיימא

בתחילה על המערכת ללמוד על נכסי המידע הרבים של פייסבוק. עבור כל מאגר נאסף מידע בסיסי, כגון מרכז הנתונים המכיל את הנתונים, המערכת המכילה את הנתונים והנכסים הממוקמים במאגר הנתונים הספציפי. זה יוצר קטלוג מטא נתונים המאפשר למערכת לאחזר נתונים ביעילות מבלי להעמיס על לקוחות ומשאבים המשמשים מהנדסים אחרים.

קטלוג מטא נתונים זה מספק מקור סמכותי לכל הנכסים הסרוקים ומאפשר לך לעקוב אחר מצבם של נכסים שונים. באמצעות מידע זה, קביעת עדיפות תזמון מבוססת על הנתונים שנאספו ומידע פנימי מהמערכת, כגון הזמן האחרון שבו הנכס נסרק בהצלחה והזמן שבו הוא נוצר, כמו גם דרישות הזיכרון והמעבד בעבר עבור אותו נכס אם זה נסרק בעבר. לאחר מכן, עבור כל משאב נתונים (ככל שהמשאבים הופכים זמינים), נקראת עבודה כדי לסרוק את המשאב בפועל.

כל עבודה היא קובץ בינארי מהול שמבצע דגימת ברנולי על הנתונים העדכניים ביותר הזמינים עבור כל נכס. הנכס מחולק לעמודות בודדות, כאשר תוצאת הסיווג של כל עמודה מעובדת באופן עצמאי. בנוסף, המערכת סורקת אחר כל נתונים רוויים בתוך העמודות. JSON, מערכים, מבנים מקודדים, כתובות URL, נתונים בסידרה של בסיס 64 ועוד נסרקים כולם. זה יכול להגדיל משמעותית את זמן ביצוע הסריקה מכיוון שטבלה בודדת יכולה להכיל אלפי עמודות מקוננות בגוש json.

עבור כל שורה שנבחרה בנכס הנתונים, מערכת הסיווג מחלצת את אובייקטי הציפה והטקסט מהתוכן ומשייכת כל אובייקט חזרה לעמודה ממנה הוא נלקח. הפלט של שלב חילוץ התכונות הוא מפה של כל התכונות עבור כל עמודה שנמצאת בנכס הנתונים.

בשביל מה הסימנים?

מושג התכונות הוא המפתח. במקום ציפה ותכונות טקסט, אנו יכולים להעביר דגימות מחרוזות גולמיות המופקות ישירות מכל משאב נתונים. בנוסף, ניתן לאמן מודלים של למידת מכונה ישירות על כל מדגם, במקום על מאות חישובי תכונות שרק מנסים להעריך את המדגם. יש לכך מספר סיבות:

1. פרטיות תחילה: והכי חשוב, הרעיון של תכונות מאפשר לנו לאחסן בזיכרון רק את התבניות שאנו מאחזרים. זה מבטיח שאנו מאחסנים דוגמאות למטרה אחת ולעולם לא רושמים אותן במאמצים שלנו. זה חשוב במיוחד עבור נתונים נדיפים, מכיוון שהשירות חייב לשמור על מצב סיווג כלשהו לפני מתן תחזית.
2. זיכרון: דוגמאות מסוימות יכולות להיות באורך של אלפי תווים. אחסון נתונים כאלה והעברתם לחלקים מהמערכת צורכים בתים רבים נוספים שלא לצורך. שני הגורמים יכולים להשתלב לאורך זמן, בהתחשב בכך שישנם משאבי נתונים רבים עם אלפי עמודות.
3. צבירת תכונות: תכונות מייצגות בבירור את התוצאות של כל סריקה באמצעות סט של תכונות, מה שמאפשר למערכת לשלב את התוצאות של סריקות קודמות של אותו משאב נתונים בצורה נוחה. זה יכול להיות שימושי עבור צבירת תוצאות סריקה ממשאב נתונים בודד על פני ריצות מרובות.

התכונות נשלחות לאחר מכן לשירות חיזוי שבו אנו משתמשים בסיווג מבוסס כללים ולמידת מכונה כדי לחזות את תוויות הנתונים של כל עמודה. השירות מסתמך גם על מסווג כללים וגם על למידת מכונה ובוחר את החיזוי הטוב ביותר שניתן מכל אובייקט חיזוי.

מסווגים של כללים הם היוריסטיות ידניות, הם משתמשים בחישובים ובמקדמים כדי לנרמל אובייקט לטווח שבין 0 ל-100. ברגע שנוצר ציון ראשוני כזה עבור כל סוג נתונים ושם עמודה המשויכים לנתונים אלה, הוא אינו נכלל בשום "באן" רשימות", מסווג הכללים בוחר את הציון המנורמל הגבוה ביותר מבין כל סוגי הנתונים.

בשל מורכבות הסיווג, הסתמכות על היוריסטיות ידניות בלבד גורמת לדיוק סיווג נמוך, במיוחד עבור נתונים לא מובנים. מסיבה זו, פיתחנו מערכת למידת מכונה לעבודה עם סיווג נתונים לא מובנים כגון תוכן וכתובת המשתמש. למידת מכונה אפשרה להתחיל להתרחק מהיוריסטיקה ידנית וליישם אותות נתונים נוספים (למשל שמות עמודות, מקור נתונים), מה ששיפר משמעותית את דיוק הזיהוי. נצלול עמוק לתוך ארכיטקטורת למידת המכונה שלנו מאוחר יותר.

שירות החיזוי מאחסן את התוצאות עבור כל עמודה יחד עם מטא נתונים לגבי הזמן והמצב של הסריקה. כל צרכן ותהליכים במורד הזרם התלויים בנתונים אלה יכולים לקרוא אותם ממערך הנתונים היומי המתפרסם. קבוצה זו אוספת את התוצאות של כל עבודות הסריקה הללו, או ממשקי API של קטלוג נתונים בזמן אמת. תחזיות שפורסמו הן הבסיס לאכיפה אוטומטית של מדיניות פרטיות ואבטחה.

לבסוף, לאחר ששירות החיזוי כותב את כל הנתונים וכל התחזיות מאוחסנות, ה-API של קטלוג הנתונים שלנו יכול להחזיר את כל תחזיות סוגי הנתונים עבור המשאב בזמן אמת. מדי יום המערכת מפרסמת מערך נתונים המכיל את כל התחזיות העדכניות ביותר עבור כל נכס.

נתונים נדיפים

למרות שהתהליך שלמעלה מיועד לנכסים מתמשכים, תעבורה לא מתמשכת נחשבת גם לחלק מהנתונים של הארגון ויכולה להיות חשובה. מסיבה זו, המערכת מספקת API מקוון להפקת תחזיות סיווג בזמן אמת עבור כל תעבורה לסירוגין. מערכת חיזוי בזמן אמת נמצאת בשימוש נרחב בסיווג תנועה יוצאת, תנועה נכנסת למודלים של למידת מכונה ונתוני מפרסמים.

כאן ה-API לוקח שני ארגומנטים עיקריים: מפתח הקיבוץ והנתונים הגולמיים שיש לחזות. השירות מבצע את אותה אחזור אובייקטים כמתואר לעיל ומקבץ את האובייקטים יחד עבור אותו מפתח. תכונות אלה נתמכות גם במטמון הקביעות לשחזור כשלים. עבור כל מפתח קיבוץ, השירות מבטיח שהוא ראה מספיק דוגמאות לפני התקשרות לשירות החיזוי, בעקבות התהליך שתואר לעיל.

אופטימיזציה

כדי לסרוק חלק מהאחסון, אנו משתמשים בספריות ובטכניקות כדי לייעל את הקריאה מאחסון חם [2] ולהבטיח שאין הפרעות ממשתמשים אחרים שניגשים לאותו אחסון.

עבור טבלאות גדולות במיוחד (50+ פטה-בייט), למרות כל האופטימיזציות ויעילות הזיכרון, המערכת פועלת לסרוק ולחשב הכל לפני שיגמר הזיכרון. אחרי הכל, הסריקה מחושבת כולה בזיכרון ואינה נשמרת במהלך הסריקה. אם טבלאות גדולות מכילות אלפי עמודות עם גושים לא מובנים של נתונים, העבודה עלולה להיכשל עקב משאבי זיכרון לא מספיקים בעת ביצוע תחזיות על הטבלה כולה. זה יביא להפחתת הכיסוי. כדי להילחם בזה, ביצענו אופטימיזציה למערכת כדי להשתמש במהירות הסריקה כפרוקסי לאופן שבו המערכת מתמודדת עם עומס העבודה הנוכחי. אנו משתמשים במהירות כמנגנון חיזוי כדי לראות בעיות זיכרון ולחשב באופן חזוי את מפת התכונות. יחד עם זאת, אנו משתמשים בפחות נתונים מהרגיל.

אותות נתונים

מערכת סיווג טובה רק כמו האותות מהנתונים. כאן נבחן את כל האותות המשמשים את מערכת הסיווג.

• מבוסס תוכן: כמובן, האות הראשון והחשוב ביותר הוא תוכן. דגימת ברנולי מתבצעת על כל נכס נתונים שאנו סורקים ומחלצים תכונות על סמך תוכן הנתונים. סימנים רבים מגיעים מהתוכן. כל מספר של עצמים צפים אפשרי, המייצגים חישובים של כמה פעמים נראה סוג מדגם מסוים. לדוגמה, ייתכן שיש לנו סימנים של מספר האימיילים שנראו בדוגמה, או סימנים של כמה אימוג'ים נראים בדוגמה. ניתן לנרמל את חישובי התכונות הללו ולצבור על פני סריקות שונות.
• מקור נתונים: אות חשוב שיכול לעזור כאשר התוכן השתנה מטבלת האב. דוגמה נפוצה היא נתונים גיבובים. כאשר נתונים בטבלת צאצא עוברים גיבוב, הם מגיעים לרוב מטבלת האב, שם הם נשארים ברורים. נתוני שושלת מסייעים לסווג סוגים מסוימים של נתונים כאשר הם אינם נקראים בבירור או מומרים מטבלה במעלה הזרם.
• הערות: עוד אות איכותי המסייע בזיהוי נתונים לא מובנים. למעשה, הערות ונתוני מקור יכולים לעבוד יחד כדי להפיץ תכונות על פני נכסי נתונים שונים. הערות עוזרות לזהות את המקור של נתונים לא מובנים, בעוד שנתוני שושלת יכולים לעזור לעקוב אחר זרימת הנתונים הללו לאורך המאגר.
• הזרקת נתונים היא טכניקה שבה תווים מיוחדים, בלתי קריאים, מוכנסים בכוונה למקורות ידועים של סוגי נתונים ידועים. לאחר מכן, בכל פעם שאנו סורקים תוכן עם אותו רצף תווים בלתי קריא, אנו יכולים להסיק שהתוכן מגיע מאותו סוג נתונים ידוע. זהו עוד אות נתונים איכותי הדומה להערות. אלא שזיהוי מבוסס תוכן עוזר לגלות את הנתונים שהוזנו.

מדידת מדדים

מרכיב חשוב הוא מתודולוגיה קפדנית למדידת מדדים. המדדים העיקריים לאיטרציה של שיפור הסיווג הם דיוק וזכירה של כל תווית, כאשר ציון F2 הוא החשוב ביותר.

כדי לחשב מדדים אלו, יש צורך במתודולוגיה עצמאית לתיוג נכסי נתונים שאינה תלויה במערכת עצמה, אך ניתן להשתמש בה לצורך השוואה ישירה איתה. להלן אנו מתארים כיצד אנו אוספים אמת יסוד מפייסבוק ומשתמשים בה כדי לאמן את מערכת הסיווג שלנו.

איסוף נתונים מהימנים

אנו צוברים נתונים מהימנים מכל מקור המפורט להלן לטבלה משלו. כל טבלה אחראית לצבירה את הערכים האחרונים שנצפו מאותו מקור מסוים. לכל מקור יש בדיקות איכות נתונים כדי להבטיח שהערכים שנצפו עבור כל מקור הם באיכות גבוהה ומכילים את תוויות סוגי הנתונים העדכניות ביותר.

• תצורות פלטפורמת רישום: שדות מסוימים בטבלאות כוורת מאוכלסים בנתונים מסוג מסוים. השימוש וההפצה של נתונים אלה משמשים מקור אמין לאמת.
• תיוג ידני: מפתחים המתחזקים את המערכת כמו גם מתוויים חיצוניים מאומנים לסמן עמודות. זה בדרך כלל עובד היטב עבור כל סוגי הנתונים במחסן, ויכול להיות מקור האמת העיקרי עבור נתונים לא מובנים, כגון נתוני הודעות או תוכן משתמש.
• ניתן לסמן או להוסיף הערות עמודות מטבלאות אב כמכילות נתונים מסוימים, ואנחנו יכולים לעקוב אחר הנתונים האלה בטבלאות הילדים.
• שליפת שרשורי ביצוע: שרשורי ביצוע בפייסבוק נושאים סוגים ספציפיים של נתונים. באמצעות הסורק שלנו כארכיטקטורת שירות, אנו יכולים לדגום זרמים בעלי סוגי נתונים ידועים ולשלוח אותם דרך המערכת. המערכת מבטיחה לא לאחסן את הנתונים הללו.
• טבלאות לדוגמא: טבלאות כוורת גדולות, שכידוע מכילות את כל קורפוס הנתונים, יכולות לשמש גם כנתוני הדרכה ולהעביר אותן דרך הסורק כשירות. זה נהדר לטבלאות עם מגוון שלם של סוגי נתונים, כך שדגימה של עמודה באקראי שווה ערך לדגימה של כל הסט של סוג הנתונים הזה.
• נתונים סינתטיים: אנחנו יכולים אפילו להשתמש בספריות שמייצרות נתונים תוך כדי תנועה. זה עובד היטב עבור סוגי נתונים פשוטים וציבוריים כגון כתובת או GPS.
• מנהלי נתונים: תוכניות פרטיות משתמשות בדרך כלל במנהלי נתונים כדי להקצות מדיניות לחלקי נתונים באופן ידני. זה משמש כמקור מדויק ביותר לאמת.

אנו משלבים כל מקור עיקרי של אמת לגוף אחד עם כל הנתונים האלה. האתגר הגדול ביותר עם תוקף הוא לוודא שהוא מייצג את מחסן הנתונים. אחרת, מנועי סיווג עלולים להתאמן יתר על המידה. כדי להילחם בזה, כל המקורות לעיל משמשים כדי להבטיח איזון בעת ​​אימון מודלים או חישוב מדדים. בנוסף, מתייגים אנושיים דוגמים באופן אחיד עמודות שונות במאגר ומתייגים את הנתונים בהתאם כך שאיסוף האמת הבסיסית נשאר חסר פניות.

אינטגרציה מתמשכת

כדי להבטיח איטרציה ושיפור מהירים, חשוב למדוד תמיד את ביצועי המערכת בזמן אמת. אנחנו יכולים למדוד כל שיפור סיווג מול המערכת היום, כך שנוכל להנחות טקטית שיפורים עתידיים על סמך נתונים. כאן אנו מסתכלים כיצד המערכת משלימה את לולאת המשוב שמסופקת על ידי נתונים חוקיים.

כאשר מערכת התזמון נתקלת בנכס בעל תווית ממקור מהימן, אנו מתזמנים שתי משימות. הראשון משתמש בסורק הייצור שלנו ובכך ביכולות הייצור שלנו. המשימה השנייה משתמשת בסורק הבנייה העדכני ביותר עם התכונות העדכניות ביותר. כל משימה כותבת את הפלט שלה לטבלה משלה, מתייגת גרסאות יחד עם תוצאות הסיווג.

כך אנו משווים את תוצאות הסיווג של מועמד השחרור ומודל הייצור בזמן אמת.

בעוד מערכי הנתונים משווים תכונות RC ו-PROD, וריאציות רבות של מנוע הסיווג ML של שירות החיזוי נרשמות. מודל למידת המכונה שנבנה לאחרונה, המודל הנוכחי בייצור וכל מודל ניסיוני. אותה גישה מאפשרת לנו "לחתוך" גרסאות שונות של המודל (אגנוסטי למסווג הכללים שלנו) ולהשוות מדדים בזמן אמת. זה מקל לקבוע מתי ניסוי ML מוכן להיכנס לייצור.

בכל לילה, תכונות ה-RC המחושבות לאותו יום נשלחות לצינור האימונים של ML, שם המודל מאומן על תכונות ה-RC העדכניות ביותר ומעריך את הביצועים שלו מול מערך האמת הקרקעי.

בכל בוקר, המודל מסיים אימון ומתפרסם באופן אוטומטי כמודל ניסיוני. זה נכלל אוטומטית ברשימת הניסויים.

כמה תוצאות

למעלה מ-100 סוגים שונים של נתונים מסומנים עם דיוק גבוה. סוגים מובנים היטב כגון מיילים ומספרי טלפון מסווגים עם ציון f2 גבוה מ-0,95. סוגי נתונים חינמיים כגון תוכן ושמות שנוצרו על ידי משתמשים גם הם בעלי ביצועים טובים מאוד, עם ציוני F2 גבוהים מ-0,85.

מספר רב של עמודות בודדות של נתונים מתמשכים והפכפכים מסווגים מדי יום בכל המאגרים. יותר מ-500 טרה-בייט נסרקים מדי יום על פני יותר מ-10 מחסני נתונים. לרוב המאגרים הללו יש מעל 98% כיסוי.

עם הזמן, הסיווג נעשה יעיל מאוד, כאשר עבודות סיווג בזרם לא מקוון מתמשך לוקחות בממוצע 35 שניות מסריקת נכס ועד לחישוב התחזיות עבור כל עמודה.

אורז. 2. תרשים המתאר את זרימת האינטגרציה המתמשכת כדי להבין כיצד אובייקטי RC נוצרים ונשלחים למודל.

איור 3. דיאגרמה ברמה גבוהה של רכיב למידת מכונה.

רכיב מערכת למידת מכונה

בסעיף הקודם, צללנו עמוק לתוך ארכיטקטורת המערכת הכוללת, תוך הדגשת קנה מידה, אופטימיזציה וזרימות נתונים לא מקוונות ומקוונות. בחלק זה, נסתכל על שירות החיזוי ונתאר את מערכת למידת המכונה המניעה את שירות החיזוי.

עם יותר מ-100 סוגי נתונים ותוכן לא מובנה כמו נתוני הודעות ותוכן משתמש, שימוש בהיוריסטיקה ידנית בלבד מביא לדיוק סיווג תת-פרמטרי, במיוחד עבור נתונים לא מובנים. מסיבה זו, פיתחנו גם מערכת למידת מכונה כדי להתמודד עם המורכבות של נתונים לא מובנים. שימוש בלמידה חישובית מאפשר לך להתחיל להתרחק מהיוריסטיקה ידנית ולעבוד עם תכונות ואותות נתונים נוספים (לדוגמה, שמות עמודות, מקור נתונים) כדי לשפר את הדיוק.

המודל המיושם בוחן ייצוגים וקטוריים [3] על אובייקטים צפופים ודלילים בנפרד. אלה משולבים לאחר מכן ליצירת וקטור, שעובר סדרה של נורמליזציה של אצווה [4] ושלבי אי-לינאריות כדי להפיק את התוצאה הסופית. התוצאה הסופית היא מספר נקודה צפה בין [0-1] עבור כל תווית, המציין את ההסתברות שהדוגמה שייכת לסוג הרגישות הזה. השימוש ב- PyTorch עבור המודל איפשר לנו לנוע מהר יותר, ואיפשר למפתחים מחוץ לצוות לבצע ולבדוק שינויים במהירות.

בעת תכנון הארכיטקטורה, היה חשוב לדגמן אובייקטים דלילים (למשל טקסט) וצפופים (למשל מספריים) בנפרד בשל ההבדלים המובנים ביניהם. עבור הארכיטקטורה הסופית, היה חשוב גם לבצע סוויפ של פרמטרים כדי למצוא את הערך האופטימלי עבור קצב הלמידה, גודל האצווה והיפרפרמטרים אחרים. הבחירה באופטימיזציה הייתה גם היפרפרמטר חשוב. מצאנו שזה מייעל פופולרי אדםלעיתים קרובות מוביל להתאמת יתר, ואילו דגם עם SGD יציב יותר. היו ניואנסים נוספים שהיינו צריכים לכלול ישירות במודל. לדוגמה, כללים סטטיים שהבטיחו שהמודל יבצע חיזוי דטרמיניסטי כאשר לתכונה יש ערך מסוים. כללים סטטיים אלו מוגדרים על ידי לקוחותינו. מצאנו ששילובם ישירות במודל הביא לארכיטקטורה עצמאית וחזקה יותר, בניגוד ליישום שלב שלאחר עיבוד לטיפול במקרים מיוחדים אלו. כמו כן, שימו לב שהכללים הללו מושבתים במהלך האימון כדי לא להפריע לתהליך האימון בירידה בשיפוע.

בעיות

אחד האתגרים היה איסוף נתונים איכותיים ומהימנים. המודל צריך ביטחון עבור כל כיתה כדי שהוא יוכל ללמוד אסוציאציות בין אובייקטים ותוויות. בסעיף הקודם, דנו בשיטות איסוף נתונים הן למדידת המערכת והן לאימון מודלים. הניתוח הראה שקטגוריות נתונים כגון כרטיסי אשראי ומספרי חשבון בנק אינם נפוצים במיוחד במחסן שלנו. זה מקשה על איסוף כמויות גדולות של נתונים אמינים כדי להכשיר מודלים. כדי לטפל בבעיה זו, פיתחנו תהליכים להשגת נתוני אמת יסוד סינתטיים עבור מחלקות אלו. אנו מייצרים נתונים כאלה עבור טיפוסים רגישים כולל SSN, מספרי כרטיסי אשראי и IBAN-מספרים שעבורם המודל לא יכול היה לחזות קודם לכן. גישה זו מאפשרת לעבד סוגי נתונים רגישים ללא סיכוני הפרטיות הקשורים להסתרת הנתונים הרגישים בפועל.

מלבד בעיות היסוד, ישנן סוגיות אדריכליות פתוחות שאנו עובדים עליהן, כגון לשנות את הבידוד и עצירה מוקדמת. בידוד שינוי חשוב כדי להבטיח שכאשר מתבצעים שינויים שונים בחלקים שונים של הרשת, ההשפעה מבודדת למחלקות ספציפיות ואין לה השפעה רחבה על ביצועי החיזוי הכוללים. שיפור הקריטריונים לעצירה מוקדמת הוא גם קריטי כדי שנוכל לעצור את תהליך האימון בנקודה יציבה לכל השיעורים, ולא בנקודה שבה חלק מהשיעורים מתאמנים יתר על המידה ואחרים לא.

חשיבות תכונה

כאשר תכונה חדשה מוצגת למודל, אנו רוצים לדעת את ההשפעה הכוללת שלה על המודל. אנחנו גם רוצים לוודא שהתחזיות ניתנות לפירוש אנושי כדי שנוכל להבין בדיוק באילו תכונות נעשה שימוש עבור כל סוג של נתונים. לשם כך פיתחנו והצגנו לפי כיתות חשיבות התכונות עבור מודל PyTorch. שימו לב שזה שונה מחשיבות התכונה הכוללת, שבדרך כלל נתמכת, מכיוון שהיא לא אומרת לנו אילו תכונות חשובות למחלקה מסוימת. אנו מודדים את חשיבותו של אובייקט על ידי חישוב העלייה בשגיאת החיזוי לאחר סידור מחדש של האובייקט. תכונה היא "חשובה" כאשר החלפת ערכים מגדילה את השגיאה של המודל מכיוון שבמקרה זה המודל הסתמך על התכונה כדי לבצע חיזוי. תכונה היא "לא חשובה" כאשר ערבוב ערכיה משאיר את שגיאת הדגם ללא שינוי, מכיוון שבמקרה זה המודל התעלם ממנה [5].

חשיבות התכונה עבור כל מחלקה מאפשרת לנו להפוך את המודל לפרשנות כך שנוכל לראות על מה המודל מסתכל בעת חיזוי תווית. למשל, כאשר אנו מנתחים ADDR, אז אנו מבטיחים שהשלט המשויך לכתובת, כגון AddressLinesCount, מדורג גבוה בטבלת חשיבות התכונות עבור כל מחלקה כך שהאינטואיציה האנושית שלנו תואמת היטב את מה שהמודל למד.

הערכה

חשוב להגדיר מדד בודד להצלחה. בחרנו F2 - איזון בין זכירה לדיוק (הטיית היזכרות מעט גדולה יותר). ההיזכרות חשובה יותר במקרה של שימוש בפרטיות מאשר דיוק מכיוון שחשוב שהצוות לא יחמיץ שום מידע רגיש (תוך הקפדה על דיוק סביר). הערכת ביצועי F2 בפועל של המודל שלנו היא מעבר להיקף של מאמר זה. עם זאת, עם כוונון קפדני נוכל להשיג ציוני F0,9 גבוהים (2+) עבור הכיתות הרגישות החשובות ביותר.

עבודה קשורה

ישנם אלגוריתמים רבים לסיווג אוטומטי של מסמכים לא מובנים באמצעות שיטות שונות כמו התאמת דפוסים, חיפוש דמיון מסמכים ושיטות שונות של למידת מכונה (בייסיאנית, עצי החלטה, שכנים קרובים ורבים אחרים) [6]. כל אחד מאלה יכול לשמש כחלק מסיווג. עם זאת, הבעיה היא מדרגיות. גישת הסיווג במאמר זה מוטה לגמישות וביצועים. זה מאפשר לנו לתמוך בשיעורים חדשים בעתיד ולשמור על זמן אחזור נמוך.

יש גם עבודה רבה על טביעת אצבע של נתונים. לדוגמה, המחברים ב-[7] תיארו פתרון המתמקד בבעיה של לכידת דליפות נתונים רגישים. ההנחה הבסיסית היא שניתן לטביעת אצבע של הנתונים כדי להתאים אותם לקבוצה של נתונים רגישים ידועים. המחברים ב-[8] מתארים בעיה דומה של דליפת פרטיות, אך הפתרון שלהם מבוסס על ארכיטקטורת אנדרואיד ספציפית והוא מסווג רק אם פעולות המשתמש מביאות לשיתוף מידע אישי או אם האפליקציה הבסיסית מדליפה נתוני משתמש. המצב כאן שונה במקצת מכיוון שגם נתוני המשתמש יכולים להיות מאוד לא מובנים. לכן, אנחנו צריכים טכניקה מורכבת יותר מאשר טביעת אצבע.

לבסוף, כדי להתמודד עם מחסור בנתונים עבור סוגים מסוימים של נתונים רגישים, הצגנו נתונים סינתטיים. ישנו גוף גדול של ספרות על הגדלת נתונים, לדוגמה, המחברים ב-[9] חקרו את התפקיד של הזרקת רעש במהלך האימון וצפו בתוצאות חיוביות בלמידה מפוקחת. הגישה שלנו לפרטיות שונה מכיוון שהכנסת נתונים רועשים עלולה להיות לא מועיל, ובמקום זאת אנו מתמקדים בנתונים סינתטיים באיכות גבוהה.

מסקנה

במאמר זה הצגנו מערכת שיכולה לסווג פיסת נתונים. זה מאפשר לנו ליצור מערכות לאכיפת מדיניות פרטיות ואבטחה. הראינו שתשתית ניתנת להרחבה, אינטגרציה מתמשכת, למידת מכונה והבטחת נתונים באיכות גבוהה ממלאים תפקיד מפתח בהצלחת רבות מיוזמות הפרטיות שלנו.

יש הרבה כיוונים לעבודה עתידית. זה עשוי לכלול מתן תמיכה לנתונים לא מסוכמים (קבצים), סיווג לא רק של סוג הנתונים אלא גם רמת הרגישות, ושימוש בלמידה בפיקוח עצמי במהלך האימון על ידי יצירת דוגמאות סינתטיות מדויקות. מה, בתורו, יעזור למודל להפחית את ההפסדים בסכום הגדול ביותר. עבודה עתידית יכולה גם להתמקד בזרימת העבודה של החקירה, שבה אנו הולכים מעבר לזיהוי ומספקים ניתוח שורש של הפרות פרטיות שונות. זה יעזור במקרים כמו ניתוח רגישות (כלומר האם רגישות הפרטיות של סוג נתונים גבוהה (למשל IP של משתמש) או נמוכה (למשל IP פנימי של פייסבוק)).

ביבליוגרפיה

1. דוד בן דוד, תמר דומני ואביגיל טארם. סיווג נתונים ארגוני באמצעות טכנולוגיות אינטרנט סמנטיות. ב-Peter F.Ï Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks, and Birte Glimm, עורכים, הרשת הסמנטית - ISWC 2010, עמודים 66–81, ברלין, היידלברג, 2010. שפרינגר ברלין היידלברג.
2. Subramanian Muralidhar, Wyatt Lloyd, Sabyasachi Roy, Cory Hill, Ernest Lin, Weiwen Liu, Satadru Pan, Shiva Shankar, Viswanath Sivakumar, Linpeng Tang, Sanjeev Kumar. f4: מערכת האחסון החמה BLOB של פייסבוק. ב סימפוזיון USENIX ה-11 על עיצוב ויישום מערכות הפעלה (OSDI 14), עמודים 383–398, Broomfield, CO, אוקטובר 2014. USENIX Association.
3. תומס מיקולוב, איליה סוצקבר, קאי צ'ן, גרג ס קוראדו וג'ף דין. ייצוגים מבוזרים של מילים וביטויים והרכבם. ב-C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, עורכים, התקדמות במערכות עיבוד מידע עצבי 26, עמודים 3111–3119. Curran Associates, Inc., 2013.
4. סרגיי איופה וכריסטיאן סגדי. נורמליזציה של אצווה: האצת אימון רשת עמוק על ידי הפחתת הסטת משתנים פנימיים. בפרנסיס באך ודיוויד בליי, עורכים, דברי הכנס הבינלאומי ה-32 ללמידת מכונה, כרך 37 של הליכי מחקר למידת מכונה, עמודים 448–456, ליל, צרפת, 07–09 ביולי 2015. PMLR.
5. ליאו בריימן. יערות אקראיים. מאך. לִלמוֹד., 45(1):5–32, אוקטובר 2001.
6. תאיר נו פיו. סקר טכניקות סיווג בכריית נתונים.
7. X. Shu, D. Yao, and E. Bertino. זיהוי שמירה על פרטיות של חשיפת נתונים רגישים. עסקאות IEEE בנושא משפטי מידע ואבטחה, 10(5):1092–1103, 2015.
8. Zhemin Yang, Min Yang, Yuan Zhang, Guofei Gu, Peng Ning ו- Xiaoyang Wang. מועמד: ניתוח שידור נתונים רגיש באנדרואיד לזיהוי דליפת פרטיות. עמודים 1043–1054, 11 2013.
9. Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong, ו-Quoc V. Le. הגדלת נתונים ללא פיקוח.

גלה פרטים על איך להשיג מקצוע מבוקש מאפס או לעלות ברמה מבחינת מיומנויות ושכר על ידי לימוד קורסים מקוונים של SkillFactory:

• מלמדת את מקצוע הנתונים מאפס (12 חודשים)
• קורס למידת מכונה (12 שבועות)
• קורס מתקדם "Machine Learning Pro + Deep Learning" (20 שבועות)
• קורס "מתמטיקה ולמידת מכונה למדעי הנתונים" (20 שבועות)

קורסים נוספים

• קורס פייתון לפיתוח אתרים (9 חודשים)
• מקצוע מפתח אתרים (8 חודשים)
• מקצוע אנליסט בכל רמה מתחילה (9 חודשים)
• קורס DevOps (12 חודשים)
• מקצוע מפתח Java מאפס (18 חודשים)
• קורס JavaScript (12 חודשים)
• מקצוע מעצב UX מאפס (9 חודשים)
• מקצוע מעצב אתרים (7 חודשים)

מקור: www.habr.com