איך לפתוח תגובות ולא לטבוע בספאם

כשהתפקיד שלך הוא ליצור משהו יפה, אתה לא צריך לדבר על זה יותר מדי, כי התוצאה היא לנגד עיני כולם. אבל אם תמחק כתובות מגדרות, אף אחד לא ישים לב לעבודה שלך כל עוד הגדרות נראות הגונות או עד שתמחק משהו לא בסדר.

כל שירות שבו אתה יכול להשאיר תגובה, לסקור, לשלוח הודעה או להעלות תמונות במוקדם או במאוחר מתמודד עם בעיית ספאם, הונאה וגסות. אי אפשר להימנע מזה, אבל צריך לטפל בזה.

שמי מיכאיל, אני עובד בצוות Antispam, שמגן על המשתמשים בשירותי Yandex מבעיות כאלה. העבודה שלנו מורגשת לעתים רחוקות (וטוב שכך!), אז היום אספר לכם עליה יותר. תלמד מתי מתינות היא חסרת תועלת ומדוע הדיוק אינו המדד היחיד ליעילות שלה. נדבר גם על קללות באמצעות הדוגמה של חתולים וכלבים ומדוע לפעמים שימושי "לחשוב כמו מקלל".

יותר ויותר שירותים מופיעים ב-Yandex שבהם משתמשים מפרסמים את התוכן שלהם. אתה יכול לשאול שאלה או לכתוב תשובה ב-Yandex.Q, לדון בחדשות החצר ב-Yandex.District, לשתף את תנאי התנועה בשיחות ב-Yandex.Maps. אבל כאשר קהל השירות גדל, הוא הופך לאטרקטיבי עבור רמאים וספאמרים. הם באים וממלאים הערות: הם מציעים כסף קל, מפרסמים תרופות פלא ומבטיחים הטבות חברתיות. בגלל שולחי דואר זבל, חלק מהמשתמשים מפסידים כסף, בעוד שאחרים מאבדים את הרצון לבזבז זמן על שירות לא מטופח מפוצץ בספאם.

וזו לא הבעיה היחידה. אנו שואפים לא רק להגן על המשתמשים מפני רמאים, אלא גם ליצור אווירה נוחה לתקשורת. אם אנשים יתמודדו עם קללות ועלבונות בתגובות, סביר שהם יעזבו ולא יחזרו לעולם. זה אומר שאתה גם צריך להיות מסוגל להתמודד עם זה.

אינטרנט נקי

כפי שקורה לרוב אצלנו, ההתפתחויות הראשונות נולדו בחיפוש, בחלק שנלחם בספאם בתוצאות החיפוש. לפני כעשר שנים הופיעה שם משימת סינון התוכן למבוגרים לחיפושים משפחתיים ולשאילתות שלא דרשו תשובות מקטגוריית 18+. כך הופיעו המילונים הראשונים שהוקלדו ידנית של פורנו וקללות, הם התחדשו על ידי אנליסטים. המשימה העיקרית הייתה לסווג בקשות לאלו שבהן מקובל להציג תוכן למבוגרים והיכן לא. למשימה זו נאסף סימון, נבנה היוריסטיות והוכשרו מודלים. כך הופיעו הפיתוחים הראשונים לסינון תוכן לא רצוי.

עם הזמן, UGC (תוכן שנוצר על ידי משתמשים) החל להופיע ב-Yandex - הודעות שנכתבות על ידי המשתמשים עצמם, ו-Yandex מפרסמת רק. מהסיבות שתוארו לעיל, לא ניתן היה לפרסם הודעות רבות מבלי להסתכל - נדרשה מתן. לאחר מכן הם החליטו ליצור שירות שיספק הגנה מפני דואר זבל ותוקפים עבור כל מוצרי Yandex UGC ולהשתמש בפיתוחים כדי לסנן תוכן לא רצוי בחיפוש. השירות נקרא "רשת נקייה".

משימות חדשות ועזרה מדוחפים

בהתחלה, רק אוטומציה פשוטה עבדה עבורנו: השירותים שלחו לנו טקסטים, והרצנו עליהם מילוני גסויות, מילוני פורנו וביטויים רגולריים - אנליסטים ערכו הכל באופן ידני. אבל עם הזמן, השירות שימש במספר הולך וגדל של מוצרי Yandex, והיינו צריכים ללמוד לעבוד עם בעיות חדשות.

לעתים קרובות, במקום ביקורת, משתמשים מפרסמים סט חסר משמעות של מכתבים, מנסים להגדיל את ההישגים שלהם, לפעמים הם מפרסמים את החברה שלהם בביקורות על חברה של מתחרה, ולפעמים הם פשוט מבלבלים ארגונים וכותבים בביקורת על חנות חיות: " דג מבושל בצורה מושלמת!” אולי מתישהו בינה מלאכותית תלמד לתפוס בצורה מושלמת את המשמעות של כל טקסט, אבל עכשיו אוטומציה מתמודדת לפעמים גרוע יותר מבני אדם.

התברר שלא נוכל לעשות זאת ללא סימון ידני, והוספנו שלב שני למעגל שלנו - שליחתו לבדיקה ידנית על ידי אדם. אותם טקסטים שפורסמו שעבורם המסווג לא ראה בעיות נכללו שם. אתה יכול בקלות לדמיין את קנה המידה של משימה כזו, אז לא רק הסתמכנו על שמאים, אלא גם ניצלנו את "חוכמת ההמון", כלומר, פנינו לעזרה של הטולוקרים. הם אלה שעוזרים לנו לזהות מה החמיצה המכונה, ובכך ללמד אותה.

מטמון חכם וגיבוב LSH

בעיה נוספת שנתקלנו בה כשעבדנו עם תגובות הייתה ספאם, או ליתר דיוק, נפח ומהירות הפצתו. כאשר הקהל של Yandex.Region החל לגדול במהירות, הגיעו לשם שולחי דואר זבל. הם למדו לעקוף ביטויים רגולריים על ידי שינוי קל של הטקסט. דואר זבל, כמובן, עדיין נמצא ונמחק, אבל בקנה מידה של Yandex, מאות אנשים יכולים לראות הודעה לא מקובלת שפורסמה אפילו למשך 5 דקות.

כמובן שזה לא התאים לנו, ויצרנו מטמון טקסט חכם על בסיס LSH (hashing רגיש ליישוב). זה עובד כך: נרמלנו את הטקסט, הסרנו ממנו קישורים וחתכנו אותו ל-n-גרם (רצפים של n אותיות). לאחר מכן חושבו הגיבובים של n-גרם, ומהם נבנה וקטור LSH של המסמך. הנקודה היא שטקסטים דומים, גם אם שונו מעט, הפכו לוקטורים דומים.

פתרון זה איפשר לעשות שימוש חוזר בפסקי דין של מסווגים וטולוקרים עבור טקסטים דומים. במהלך מתקפת דואר זבל, ברגע שההודעה הראשונה עברה את הסריקה ונכנסה למטמון עם פסק דין של "ספאם", כל ההודעות הדומות החדשות, אפילו ששונו, קיבלו את אותו פסק הדין ונמחקו אוטומטית. מאוחר יותר, למדנו כיצד לאמן ולהכשיר מחדש את מסווגי הספאם באופן אוטומטי, אבל ה"מטמון החכם" הזה נשאר איתנו ועדיין עוזר לנו לעתים קרובות.

מסווג טקסט טוב

מבלי שהספקנו לקחת הפסקה מהמלחמה בספאם, הבנו ש-95% מהתוכן שלנו מנוהל באופן ידני: המסווגים מגיבים רק להפרות, ורוב הטקסטים טובים. אנו מעמיסים מנקים שב-95 מקרים מתוך 100 נותנים את הדירוג "הכל בסדר". נאלצתי לעשות עבודה יוצאת דופן - להכין סיווגים של תוכן טוב, למרבה המזל הצטבר מספיק סימון במהלך הזמן הזה.

המסווג הראשון נראה כך: אנו עושים הלמטציה לטקסט (מצמצמים את המילים לצורתן הראשונית), זורקים את כל חלקי העזר של הדיבור ומשתמשים ב"מילון הלמות הטובות" שהוכן מראש. אם כל המילים בטקסט "טובות", אז הטקסט כולו אינו מכיל הפרות כלשהן. בשירותים שונים, גישה זו נתנה מיד בין 25 ל-35% אוטומציה של סימון ידני. כמובן שגישה זו אינה אידיאלית: קל לשלב כמה מילים תמימות ולקבל אמירה מאוד פוגענית, אבל היא אפשרה לנו להגיע במהירות לרמת אוטומציה טובה ונתנה לנו זמן להכשיר מודלים מורכבים יותר.

הגרסאות הבאות של מסווגי טקסט טובים כבר כללו מודלים ליניאריים, עצי החלטה והשילובים שלהם. כדי לסמן גסות ועלבונות, למשל, אנחנו מנסים את הרשת העצבית BERT. חשוב להבין את המשמעות של מילה בהקשרה ואת הקשר בין מילים ממשפטים שונים, ו-BERT עושה עבודה טובה בכך. (אגב, לאחרונה עמיתים מ-News סיפר, כיצד משתמשים בטכנולוגיה למשימה לא סטנדרטית - מציאת שגיאות בכותרות.) כתוצאה מכך, ניתן היה לבצע אוטומציה של עד 90% מהזרימה, בהתאם לשירות.

דיוק, שלמות ומהירות

כדי להתפתח, אתה צריך להבין אילו יתרונות מביאים מסווגים אוטומטיים מסוימים, שינויים בהם, והאם איכות הבדיקות הידניות משפילה. לשם כך, אנו משתמשים במדדי דיוק וזכירה.

דיוק הוא השיעור של פסקי הדין הנכונים בין כל פסקי הדין לגבי תוכן גרוע. ככל שהדיוק גבוה יותר, כך פחות תוצאות חיוביות שגויות. אם אתה לא שם לב לדיוק, אז בתיאוריה אתה יכול למחוק את כל הספאם והגסויות, ויחד איתם חצי מההודעות הטובות. מצד שני, אם אתה מסתמך רק על דיוק, אז הטכנולוגיה הטובה ביותר תהיה זו שלא תופסת אף אחד בכלל. לכן, יש גם אינדיקטור לשלמות: חלקם של תוכן רע שזוהה בין הנפח הכולל של תוכן רע. שני מדדים אלו מאזנים זה את זה.

כדי למדוד, אנו דוגמים את כל הזרם הנכנס עבור כל שירות ונותנים דוגמאות תוכן למעריכים לצורך הערכת מומחים והשוואה עם פתרונות מכונות.

אבל יש עוד אינדיקטור חשוב.

כתבתי למעלה שמאות אנשים יכולים לראות הודעה לא מקובלת אפילו תוך 5 דקות. אז אנחנו סופרים כמה פעמים הראינו לאנשים תוכן רע לפני שהסתרנו אותו. זה חשוב כי לא מספיק לעבוד ביעילות – צריך גם לעבוד מהר. וכשבנינו הגנה מפני קללות, הרגשנו את זה עד תום.

אנטימטיזם בדוגמה של חתולים וכלבים

סטייה לירית קטנה. יש שיגידו שגסות ועלבונות אינם מסוכנים כמו קישורים זדוניים, ואינם מעצבנים כמו ספאם. אבל אנחנו שואפים לשמור על תנאים נוחים לתקשורת עבור מיליוני משתמשים, ואנשים לא אוהבים לחזור למקומות שבהם הם נעלבים. לא בכדי האיסור על קללות ועלבונות כתוב בכללים של קהילות רבות, כולל על האברה. אבל אנחנו מתרחקים.

מילוני השבעה אינם יכולים להתמודד עם כל העושר של השפה הרוסית. למרות העובדה שיש רק ארבעה שורשי קללות עיקריים, מהם אתה יכול להמציא אינספור מילים שלא ניתן לתפוס על ידי שום מנוע רגיל. בנוסף, ניתן לכתוב חלק ממילה בתעתיק, להחליף אותיות בצירופים דומים, לסדר מחדש אותיות, להוסיף כוכביות וכו'. לפעמים, ללא הקשר, בעצם אי אפשר לקבוע שהמשתמש התכוון לקללה. אנו מכבדים את הכללים של הבר, אז נדגים זאת לא באמצעות דוגמאות חיות, אלא עם חתולים וכלבים.

"חוק," אמר החתול. אבל אנחנו מבינים שהחתול אמר מילה אחרת...

התחלנו לחשוב על אלגוריתמים של "התאמה מטושטשת" למילון שלנו ועל עיבוד מקדים חכם יותר: סיפקנו תעתיק, הדבקנו רווחים וסימני פיסוק יחד, חיפשנו תבניות וכתבנו עליהם ביטויים רגולריים נפרדים. גישה זו הביאה לתוצאות, אך לעתים קרובות הפחיתה את הדיוק ולא סיפקה את השלמות הרצויה.

ואז החלטנו "לחשוב כמו מקללים". התחלנו להכניס רעש לנתונים בעצמנו: סידרנו מחדש אותיות, יצרנו שגיאות הקלדה, החלפנו אותיות באיות דומה וכו'. הסימון הראשוני לכך נלקח על ידי החלת מילוני מחצלת על קורפוסים גדולים של טקסטים. אם אתה לוקח משפט אחד ומעוות אותו בכמה אופנים, אתה מסיים עם משפטים רבים. כך תוכלו להגדיל את מדגם האימון עשרות מונים. כל מה שנותר הוא להתאמן על הבריכה שהתקבלה איזה דגם חכם יותר או פחות שלקח בחשבון את ההקשר.

מוקדם מדי לדבר על ההחלטה הסופית. אנחנו עדיין מתנסים בגישות לבעיה זו, אבל אנחנו כבר יכולים לראות שרשת קונבולוציונית סמלית פשוטה של ​​כמה שכבות גוברת משמעותית על מילונים ומנועים רגילים: אפשר להגביר גם את הדיוק וגם את ההיזכרות.

כמובן, אנחנו מבינים שתמיד יהיו דרכים לעקוף אפילו את האוטומציה המתקדמת ביותר, במיוחד כשהעניין כל כך מסוכן: כתוב בצורה כזו שמכונה טיפשה לא תבין. כאן, כמו במאבק בספאם, המטרה שלנו היא לא למגר את עצם האפשרות לכתוב משהו מגונה, המשימה שלנו היא לוודא שהמשחק לא שווה את הנר.

לא קשה לפתוח את ההזדמנות לחלוק את דעתך, לתקשר ולהגיב. הרבה יותר קשה להשיג תנאים בטוחים, נוחים ויחס מכבד לאנשים. ובלי זה לא תהיה התפתחות של אף קהילה.

מקור: www.habr.com