שלום לכולם! שמי סשה, אני CTO ומייסד שותף ב-LoyaltyLab. לפני שנתיים, אני וחבריי, כמו כל הסטודנטים העניים, הלכנו בערב לקנות בירה בחנות הקרובה לביתנו. התעצבנו מאוד שהקמעונאי, מתוך ידיעה שנבוא בשביל בירה, לא הציע הנחה על צ'יפס או קרקרים, למרות שזה היה כל כך הגיוני! לא הבנו למה המצב הזה קורה והחלטנו להקים חברה משלנו. ובכן, כבונוס, תן לעצמך הנחות בכל יום שישי על אותם צ'יפס.

והכל הגיע לנקודה שבה אני מציג חומר על הצד הטכני של המוצר ב NVIDIA GTC. אנו שמחים לחלוק את עבודתנו עם הקהילה, ולכן אני מפרסם את הדו"ח שלי בצורת מאמר.

מבוא

כמו כולם בתחילת הדרך, התחלנו בסקירה כללית של אופן יצירת מערכות ממליצים. והארכיטקטורה הפופולרית ביותר התבררה כסוג הבא:

הוא מורכב משני חלקים:

1. דגימת מועמדים להמלצות באמצעות מודל פשוט ומהיר, לרוב שיתופי.
2. דירוג מועמדים עם מודל תוכן מורכב ואיטי יותר, תוך התחשבות בכל התכונות האפשריות בנתונים.

להלן אשתמש במונחים הבאים:

• מועמד/מועמד להמלצות - זוג משתמש-מוצר שעלול להיכלל בהמלצות בייצור.
• שיטת מיצוי/חולץ/מיצוי מועמדים - תהליך או שיטה לחילוץ "מועמדים להמלצות" מנתונים זמינים.

הצעד הראשון כולל בדרך כלל שימוש בווריאציות שונות של סינון שיתופי. הפופולרי ביותר - ALS. מפתיע שרוב המאמרים על מערכות ממליצים חושפות רק בשלב הראשון שיפורים שונים במודלים שיתופיים, אבל אף אחד לא מדבר הרבה על שיטות דגימה אחרות. מבחינתנו, הגישה של שימוש רק במודלים שיתופיים ואופטימיזציות שונות איתם לא עבדה באיכות לה ציפינו, אז חפרנו במחקר ספציפי על החלק הזה. ובסוף המאמר אראה עד כמה הצלחנו לשפר את ה-ALS, שהיה קו הבסיס שלנו.

לפני שאעבור לתיאור הגישה שלנו, חשוב לציין שבהמלצות בזמן אמת, כשחשוב לנו לקחת בחשבון נתונים שהתרחשו לפני 30 דקות, באמת שאין הרבה גישות שיכולות לעבוד בזמן הנדרש. אבל, במקרה שלנו, אנחנו צריכים לאסוף המלצות לא יותר מפעם אחת ביום, וברוב המקרים - פעם בשבוע, מה שנותן לנו את האפשרות להשתמש במודלים מורכבים ולשפר את האיכות פי כמה.

בואו ניקח כבסיס את המדדים שרק ALS מציג במשימה של חילוץ מועמדים. מדדי המפתח שאנו עוקבים אחריהם הם:

• דיוק - שיעור המועמדים שנבחרו נכון מבין הנדגמים.
• ריקול הוא שיעור המועמדים שקרו מתוך אלו שבאמת היו במרווח היעד.
• F1-score - מדד F מחושב על שתי הנקודות הקודמות.

נבחן גם את המדדים של המודל הסופי לאחר אימון הגברת שיפוע עם תכונות תוכן נוספות. יש כאן גם 3 מדדים עיקריים:

• precision@5 - האחוז הממוצע של מוצרים מה-5 המובילים מבחינת הסתברות לכל קונה.
• response-rate@5 - המרה של לקוחות מביקור בחנות לרכישת הצעה אישית אחת לפחות (5 מוצרים במבצע אחד).
• avg roc-auc למשתמש - ממוצע roc-auc עבור כל קונה.

חשוב לציין שכל המדדים הללו נמדדים על אימות צולב של סדרות זמןכלומר, האימון מתרחש ב-k השבועות הראשונים, ו-k+1 week נלקח כנתוני מבחן. לפיכך, לעליות ומורדות עונתיות הייתה השפעה מינימלית על הפרשנות של איכות הדגמים. בהמשך בכל הגרפים, ציר האבשיסה יציין את מספר השבוע באימות צולב, וציר הסמיכה יציין את הערך של המדד שצוין. כל הגרפים מבוססים על נתוני עסקאות מלקוח אחד כך שההשוואות ביניהן נכונות.

לפני שנתחיל לתאר את הגישה שלנו, אנו מסתכלים תחילה על קו הבסיס, שהוא מודל מאומן ALS.
מדדי אחזור מועמדים:

מדדים סופיים:

אני מתייחס לכל ההטמעות של האלגוריתמים כאל סוג של השערה עסקית. לפיכך, בערך, כל מודל שיתופי יכול להיחשב כהשערה ש"אנשים נוטים לקנות מה שאנשים דומים להם קונים". כפי שכבר אמרתי, לא הגבלנו את עצמנו לסמנטיקה כזו, והנה כמה השערות שעובדות היטב על נתונים בקמעונאות לא מקוונת:

1. שכבר קניתי בעבר.
2. דומה למה שקניתי קודם.
3. תקופה של רכישה מזמן.
4. פופולרי לפי קטגוריות/מותגים.
5. רכישות חלופיות של סחורות שונות משבוע לשבוע (רשתות מרקוב).
6. מוצרים דומים לקונים, לפי מאפיינים שנבנו על ידי דגמים שונים (Word2Vec, DSSM וכו').

מה קנית קודם?

ההיוריסטיקה הברורה ביותר שעובדת טוב מאוד בקמעונאות מכולת. כאן ניקח את כל הסחורה שרכש בעל כרטיס הנאמנות ב-K הימים האחרונים (בדרך כלל 1-3 שבועות), או K ימים לפני שנה. באמצעות שיטה זו בלבד, אנו משיגים את המדדים הבאים:

כאן זה די ברור שככל שאנו לוקחים את התקופה, כך יש לנו יותר ריקול ופחות דיוק ולהיפך. בממוצע, "השבועיים האחרונים" מספקים תוצאות טובות יותר ללקוחות.

דומה למה שקניתי קודם

זה לא מפתיע שעבור קמעונאות מכולת "מה שקניתי קודם" עובד טוב, אבל לחלץ מועמדים רק ממה שהמשתמש כבר קנה זה לא מאוד מגניב, כי זה לא סביר להפתיע את הקונה עם איזה מוצר חדש. לכן, אנו מציעים לשפר מעט היוריסטיקה זו באמצעות אותם מודלים שיתופיים. מהווקטורים שקיבלנו במהלך אימון ALS, נוכל לקבל מוצרים דומים למה שהמשתמש כבר רכש. רעיון זה דומה מאוד ל"סרטונים דומים" בשירותי צפייה בתכני וידאו, אך מכיוון שאיננו יודעים מה המשתמש אוכל/קונה ברגע מסוים, נוכל לחפש רק דומים למה שהוא כבר קנה, במיוחד מאז אנחנו אנחנו כבר יודעים כמה טוב זה עובד. יישום שיטה זו על עסקאות משתמשים במהלך השבועיים האחרונים, אנו משיגים את המדדים הבאים:

כאן k - מספר המוצרים הדומים שנאספו עבור כל מוצר שנרכש על ידי הקונה במהלך 14 הימים האחרונים.
גישה זו עבדה טוב במיוחד עבור הלקוח שלנו, שעבורו היה קריטי לא להמליץ ​​על שום דבר שכבר נמצא בהיסטוריית הרכישות של המשתמש.

תקופת רכישה מאוחרת

כפי שכבר גילינו, בשל התדירות הגבוהה של רכישת מוצרים, הגישה הראשונה עובדת היטב עבור הצרכים הספציפיים שלנו. אבל מה לגבי מוצרים כמו אבקת כביסה/שמפו/וכו'. כלומר, עם מוצרים שסביר שלא יהיה צורך בהם כל שבוע או שבועיים וששיטות קודמות לא יכולות לחלץ. זה מוביל לרעיון הבא - מוצע לחשב את תקופת הרכישה של כל מוצר בממוצע ללקוחות שרכשו את המוצר יותר k פַּעַם. ואז לחלץ את מה שסביר להניח שכבר אזל לקונה. ניתן לבדוק את התקופות המחושבות עבור סחורות בעיניים לגבי הלימות:

ואז נבדוק אם סוף תקופת המוצר נופל במרווח הזמן שבו ההמלצות יהיו בייצור ונדגום מה קורה. ניתן להמחיש את הגישה כך:

יש לנו 2 מקרים עיקריים שניתן לשקול:

1. האם יש צורך לדגום מוצרים מלקוחות שרכשו את המוצר פחות מ-K פעמים.
2. האם יש צורך לדגום מוצר אם סוף תקופתו חל לפני תחילת מרווח היעד.

הגרף הבא מציג אילו תוצאות משיגה שיטה זו עם היפרפרמטרים שונים:

ft — קח רק לקוחות שרכשו את המוצר לפחות K (כאן K=5) פעמים
tm - קח רק מועמדים הנופלים במרווח היעד

זה לא מפתיע שהוא מסוגל (0, 0) הכי גדול זוכר והקטן ביותר דיוק, שכן בתנאי זה מחזירים את מירב המועמדים. עם זאת, התוצאות הטובות ביותר מושגות כאשר אנו לא דוגמים מוצרים עבור לקוחות שקנו מוצר מסוים בפחות מ k זמנים ותמצית, לרבות סחורות שסוף התקופה שלהן חל לפני מרווח היעד.

פופולרי לפי קטגוריות

רעיון די ברור נוסף הוא לדגום מוצרים פופולריים בקטגוריות או מותגים שונים. כאן אנו מחשבים עבור כל קונה top-k קטגוריות/מותגים "מועדפים" וחלץ "פופולרי" מקטגוריה/מותג זה. במקרה שלנו, נקבע "מועדף" ו"פופולרי" לפי מספר הרכישות של המוצר. יתרון נוסף של גישה זו הוא ישימותה במקרה של התחלה קרה. כלומר, ללקוחות שביצעו מעט מאוד רכישות, או שלא היו בחנות הרבה זמן, או שזה עתה הנפיקו כרטיס נאמנות. עבורם, קל וטוב יותר להחזיק פריטים פופולריים בקרב לקוחות ובעלי היסטוריה. המדדים המתקבלים הם:

כאן המספר אחרי המילה "קטגוריה" פירושו רמת הקינון של הקטגוריה.

בסך הכל, זה גם לא מפתיע שקטגוריות צרות יותר משיגות תוצאות טובות יותר, מכיוון שהן מחלצות מוצרים "מועדפים" מדויקים יותר לקונים.

רכישות חלופיות של סחורות שונות משבוע לשבוע

גישה מעניינת שלא ראיתי במאמרים על מערכות ממליצים היא שיטה סטטיסטית די פשוטה ובו זמנית עובדת של רשתות מרקוב. כאן אנחנו לוקחים 2 שבועות שונים, ואז לכל לקוח אנחנו בונים זוגות של מוצרים [קנה בשבוע i]-[קנה בשבוע י], כאשר j > i, ומכאן אנו מחשבים עבור כל מוצר את ההסתברות לעבור למוצר אחר בשבוע הבא. כלומר, לכל זוג סחורה producti-productj אנו סופרים את מספרם בזוגות שנמצאו ומחלקים במספר הזוגות, היכן מוצרים היה בשבוע הראשון. כדי לחלץ מועמדים, אנו לוקחים את הקבלה האחרונה של הקונה ומחלצים top-k המוצרים הבאים הסבירים ביותר ממטריצת המעבר שקיבלנו. תהליך בניית מטריצת מעבר נראה כך:

מדוגמאות אמיתיות במטריצת הסתברות המעבר אנו רואים את התופעות המעניינות הבאות:

כאן אפשר להבחין בתלות מעניינות שמתגלות בהתנהגות הצרכנים: למשל אוהבי פירות הדר או מותג חלב שממנו הם צפויים לעבור לאחר. זה גם לא מפתיע שגם מוצרים עם תדירות גבוהה של קניות חוזרות, כמו חמאה, מגיעים לכאן.

המדדים בשיטה עם רשתות מרקוב הם כדלקמן:

k - מספר המוצרים שנאספו עבור כל מוצר שנרכש מהעסקה האחרונה של הקונה.
כפי שאנו יכולים לראות, התוצאה הטובה ביותר מוצגת על ידי התצורה עם k=4. את הזינוק בשבוע 4 ניתן להסביר על ידי התנהגות עונתית סביב החגים. 

מוצרים דומים לקונים, לפי מאפיינים שנבנו על ידי דגמים שונים

כעת הגענו לחלק הקשה והמעניין ביותר – חיפוש השכנים הקרובים ביותר על סמך וקטורים של לקוחות ומוצרים הבנויים לפי דגמים שונים. בעבודה שלנו אנו משתמשים ב-3 דגמים כאלה:

• ALS
• Word2Vec (Item2Vec עבור משימות כאלה)
• DSSM

כבר עסקנו ב-ALS, אתה יכול לקרוא איך זה לומד כאן. במקרה של Word2Vec, אנו משתמשים ביישום הידוע של המודל מ ג'נסים. באנלוגיה לטקסטים, אנו מגדירים את ההצעה כקבלת רכישה. כך, בעת בניית וקטור מוצר, המודל לומד לחזות עבור המוצר בקבלה את ה"הקשר" שלו (שאר המוצרים בקבלה). בנתוני מסחר אלקטרוני, עדיף להשתמש בסשן של הקונה במקום בקבלה; החבר'ה מ אוזון. ו-DSSM יותר מעניין לנתח. בתחילה, זה נכתב על ידי החבר'ה ממיקרוסופט כמודל לחיפוש, אתה יכול לקרוא את עבודת המחקר המקורית כאן. הארכיטקטורה של הדגם נראית כך:

כאן Q - שאילתה, שאילתת חיפוש משתמש, ד[i] - מסמך, דף אינטרנט. הקלט למודל הוא התכונות של הבקשה והדפים, בהתאמה. לאחר כל שכבת קלט ישנן מספר שכבות מחוברות במלואן (פרצפטרון רב שכבתי). לאחר מכן, המודל לומד למזער את הקוסינוס בין הוקטורים המתקבלים בשכבות האחרונות של המודל.
משימות המלצות משתמשות בדיוק באותה ארכיטקטורה, רק שבמקום בקשה יש משתמש, ובמקום דפים יש מוצרים. ובמקרה שלנו, הארכיטקטורה הזו הופכת לדברים הבאים:

כעת, כדי לבדוק את התוצאות, נותר לכסות את הנקודה האחרונה - אם במקרה של ALS ו-DSSM הגדרנו במפורש וקטורים של משתמש, אז במקרה של Word2Vec יש לנו רק וקטורים של מוצר. כאן, כדי לבנות את וקטור המשתמש, הגדרנו 3 גישות עיקריות:

1. פשוט הוסיפו את הוקטורים, ואז למרחק הקוסינוס מסתבר שפשוט עשינו ממוצע של המוצרים בהיסטוריית הרכישה.
2. סיכום וקטור עם שקלול זמן מסוים.
3. שקילת סחורה עם מקדם TF-IDF.

במקרה של שקלול ליניארי של וקטור הקונה, אנו יוצאים מההשערה שלמוצר שהמשתמש קנה אתמול יש השפעה גדולה יותר על התנהגותו מאשר למוצר שקנה ​​לפני חצי שנה. אז אנחנו רואים את השבוע הקודם של הקונה בסיכויים של 1, ואת מה שקרה אחר כך עם סיכויים של ½, ⅓ וכו':

עבור מקדמי TF-IDF, אנו עושים בדיוק כמו ב-TF-IDF עבור טקסטים, רק שאנו רואים את הקונה כמסמך, ואת הצ'ק כהצעה, בהתאמה, המילה היא מוצר. בדרך זו, הווקטור של המשתמש יעבור יותר לכיוון מוצרים נדירים, בעוד שמוצרים תכופים ומוכרים עבור הקונה לא ישנו אותו הרבה. ניתן להמחיש את הגישה כך:

עכשיו בואו נסתכל על המדדים. כך נראות תוצאות ה-ALS:

מדדים עבור Item2Vec עם וריאציות שונות של בניית וקטור הקונה:

במקרה זה, בדיוק אותו מודל משמש כמו בקו הבסיס שלנו. ההבדל היחיד הוא באיזו k נשתמש. על מנת להשתמש רק במודלים שיתופיים, יש לקחת כ-50-70 מוצרים הקרובים ביותר לכל לקוח.

ומדדים לפי DSSM:

איך לשלב את כל השיטות?

מגניב, אתה אומר, אבל מה לעשות עם סט גדול כל כך של כלי חילוץ מועמדים? כיצד לבחור את התצורה האופטימלית עבור הנתונים שלך? כאן יש לנו מספר בעיות:

1. יש צורך להגביל איכשהו את מרחב החיפוש עבור היפרפרמטרים בכל שיטה. זה כמובן דיסקרטי בכל מקום, אבל מספר הנקודות האפשריות גדול מאוד.
2. באמצעות מדגם מצומצם קטן של שיטות ספציפיות עם היפרפרמטרים ספציפיים, כיצד תוכל לבחור את התצורה הטובה ביותר עבור המדד שלך?

עדיין לא מצאנו תשובה נכונה סופית לשאלה הראשונה, אז נמשיך מהדברים הבאים: עבור כל שיטה נכתב מגביל חיפוש היפרפרמטר, בהתאם לכמה סטטיסטיקות על הנתונים שברשותנו. לפיכך, לדעת את התקופה הממוצעת בין רכישות מאנשים, אנו יכולים לנחש באיזו תקופה להשתמש בשיטת "מה כבר נקנה" ו"תקופה של רכישה שעברה הרבה זמן".

ואחרי שעברנו מספר הולם מסוים של וריאציות של שיטות שונות, נציין את הדברים הבאים: כל יישום מחלץ מספר מסוים של מועמדים ויש לו ערך מסוים של מדד המפתח עבורנו (ריקול). אנחנו רוצים לקבל סך של מספר מסוים של מועמדים, בהתאם לכוח המחשוב המותר שלנו, עם המדד הגבוה ביותר האפשרי. כאן הבעיה קורסת יפה לבעיית התרמיל.

כאן מספר המועמדים הוא משקל המטיל, ושיטת הריקול היא ערכו. עם זאת, יש עוד 2 נקודות שיש לקחת בחשבון בעת ​​יישום האלגוריתם:

• ייתכן שלשיטות יש חפיפה במועמדים שהם מאחזרים.
• במקרים מסוימים, יהיה נכון לקחת שיטה אחת פעמיים עם פרמטרים שונים, והפלט המועמד מהראשון לא יהיה תת-קבוצה של השנייה.

לדוגמה, אם ניקח את היישום של שיטת "מה כבר קניתי" עם מרווחים שונים לאחזור, אז קבוצות המועמדים שלהם יהיו מקוננות זו בתוך זו. יחד עם זאת, פרמטרים שונים ב"רכישות תקופתיות" ביציאה אינם מספקים צומת מוחלט. לכן, אנו מחלקים את גישות הדגימה עם פרמטרים שונים לבלוקים כך שמכל בלוק נרצה לנקוט לכל היותר גישת מיצוי אחת עם היפרפרמטרים ספציפיים. כדי לעשות זאת, אתה צריך להתחכם קצת ביישום בעיית הכנאפה, אבל האסימפטוטיקה והתוצאה לא ישתנו.

השילוב החכם הזה מאפשר לנו לקבל את המדדים הבאים בהשוואה למודלים פשוטים של שיתוף פעולה:

במדדים הסופיים אנו רואים את התמונה הבאה:

עם זאת, כאן אתה יכול לשים לב שיש נקודה אחת לא מכוסה להמלצות שמועילות לעסקים. עכשיו בדיוק למדנו איך לעשות עבודה מצוינת לחזות מה המשתמש יקנה, למשל, בשבוע הבא. אבל פשוט לתת הנחה על משהו שהוא כבר יקנה זה לא מאוד מגניב. אבל זה מגניב למקסם את הציפייה, למשל, מהמדדים הבאים:

1. מרווח/מחזור לפי המלצות אישיות.
2. צ'ק לקוח ממוצע.
3. תדירות הביקורים.

אז אנחנו מכפילים את ההסתברויות שהתקבלו במקדמים שונים ומדרגים אותם מחדש כך שהמוצרים המשפיעים על המדדים שלמעלה יגיעו לראש. אין פתרון מוכן לאיזו גישה הכי כדאי להשתמש. אנחנו אפילו מתנסים במקדמים כאלה ישירות בייצור. אבל הנה טכניקות מעניינות שלרוב נותנות לנו את התוצאות הטובות ביותר:

1. הכפל במחיר/הרווח של המוצר.
2. הכפל בקבלה הממוצעת בה מופיע המוצר. אז תעלה סחורה, איתה הם בדרך כלל לוקחים משהו אחר.
3. הכפל בתדירות הביקור הממוצעת של קונים של מוצר זה, בהתבסס על ההשערה שמוצר זה מעורר אנשים לחזור אליו לעתים קרובות יותר.

לאחר עריכת ניסויים עם מקדמים, השגנו את המדדים הבאים בייצור:

כאן המרת מוצרים כוללת - חלקם של המוצרים שנרכשו מתוך כל המוצרים בהמלצות שהפקנו.

הקורא הקשוב יבחין בהבדל משמעותי בין מדדים לא מקוונים לאונליין. התנהגות זו מוסברת בכך שלא ניתן לקחת בחשבון את כל המסננים הדינמיים למוצרים שניתן להמליץ ​​עליהם בעת אימון הדגם. עבורנו, זה סיפור נורמלי כאשר ניתן לסנן מחצית מהמועמדים שאוחזרו; הספציפיות הזו אופיינית בתעשייה שלנו.

מבחינת הכנסות מתקבל הסיפור הבא, ברור שאחרי השקת ההמלצות ההכנסות של קבוצת הבדיקות צומחות מאוד, כעת הגידול הממוצע בהכנסות עם ההמלצות שלנו הוא 3-4%:

לסיכום, אני רוצה לומר שאם אתה צריך המלצות שאינן בזמן אמת, אז ניתן למצוא עלייה גדולה מאוד באיכות בניסויים בחילוץ מועמדים להמלצות. כמות גדולה של זמן לדור שלהם מאפשרת לשלב שיטות רבות וטובות, שבסך הכל יתנו תוצאות מצוינות לעסק.

אשמח לשוחח בתגובות עם כל מי שמוצא את החומר מעניין. אתה יכול לשאול אותי שאלות באופן אישי ב מברק. אני גם חולק את המחשבות שלי על בינה מלאכותית/סטארט-אפים שלי ערוץ טלגרם - ברוך הבא :)

מקור: www.habr.com