Retentioneering: איך כתבנו כלים בקוד פתוח לניתוח מוצר ב-Python ו-Pandas

שלום, הבר. מאמר זה מוקדש לתוצאות של ארבע שנים של פיתוח של מערך שיטות וכלים לעיבוד מסלולי תנועת משתמשים באפליקציה או אתר אינטרנט. מחבר הפיתוח - מקסים גודז'י, שעומד בראש צוות יוצרי המוצר והוא גם כותב המאמר. המוצר עצמו נקרא Retentioneering; כעת הוא הומר לספריית קוד פתוח ופורסם ב- Github כך שכל אחד יכול להשתמש בו. כל זה עשוי לעניין את העוסקים בניתוח מוצר ושיווק, קידום ופיתוח מוצר. אגב, על האברה כבר פורסם מאמר על אחד מהמקרים של עבודה עם Retentioneering. החומר החדש מסביר מה המוצר יכול לעשות וכיצד ניתן להשתמש בו.

לאחר קריאת המאמר, תוכל בעצמך לכתוב Retentioneering משלך; זו יכולה להיות כל שיטה סטנדרטית לעיבוד מסלולי משתמשים באפליקציה ומחוצה לה, המאפשרת לך לראות בפירוט את מאפייני ההתנהגות ולהפיק ממנו תובנות לצמיחה של מדדים עסקיים.

מהי Retentioneering ולמה זה נחוץ?

המטרה הראשונית שלנו הייתה להעביר את Growth Hacking מעולם ה"כישוף הדיגיטלי" לעולם המספרים, הניתוח והתחזיות. כתוצאה מכך, ניתוח מוצר מצטמצם למתמטיקה ותכנות טהורים למי שמעדיף מספרים במקום סיפורים פנטסטיים, ונוסחאות למילות באזז כמו "מיתוג מחדש", "מיצוב מחדש" וכו', שנשמעות נחמדות, אבל בפועל עוזרות מעט.

כדי לפתור את הבעיות הללו, היינו צריכים מסגרת לניתוח באמצעות גרפים ומסלולים, ובמקביל לספרייה שמפשטת שגרות אנליסטים טיפוסיות, כדרך לתאר משימות ניתוח מוצר רגילות שיהיו מובנות הן לאנשים והן לרובוטים. הספרייה מעניקה את היכולת לתאר את התנהגות המשתמש ולקשר אותה למדדים עסקיים של המוצר בשפה כל כך רשמית וברורה שהיא מפשטת ואוטומטית את המשימות השגרתיות של מפתחים ואנליסטים, ומקלה על התקשורת שלהם עם העסק.

Retentioneering היא שיטה וכלי תוכנה אנליטיים הניתנים להתאמה ולשילוב בכל מוצר דיגיטלי (ולא רק).

התחלנו לעבוד על המוצר ב-2015. כעת מדובר בסט כלים מוכן, אם כי עדיין לא אידיאלי, ב-Python ו-Pandas לעבודה עם נתונים, מודלים של למידת מכונה עם API דמוי sklearn, כלים לפירוש התוצאות של מודלים למידת מכונה eli5 ו-shap.

הכל סגור לספריית קוד פתוח נוחה במאגר Github הפתוח - כלים ל-retentioneering. השימוש בספרייה אינו קשה; כמעט כל מי שאוהב ניתוח מוצר, אך לא כתב קוד בעבר, יכול ליישם את שיטות הניתוח שלנו על הנתונים שלו באופן עצמאי וללא השקעת זמן משמעותית.

ובכן, מתכנת, יוצר אפליקציה או חבר בצוות פיתוח או בדיקות שמעולם לא עשה ניתוח לפני כן יכול להתחיל לשחק עם הקוד הזה ולראות את דפוסי השימוש של האפליקציה שלהם ללא עזרה מבחוץ.

מסלול משתמש כמרכיב בסיסי של ניתוח ושיטות לעיבודו

מסלול משתמש הוא רצף של מצבי משתמש בנקודות זמן מסוימות. יתרה מכך, אירועים יכולים להגיע ממקורות נתונים שונים, הן מקוונות והן לא מקוונות. אירועים שקורים למשתמש הם חלק מהמסלול שלו. דוגמאות:
• לחץ על הכפתור
• ראה את התמונה
• לחץ על המסך
• קיבל מייל
• המליץ ​​לחבר על המוצר
• מילא את הטופס
• הקש על המסך
• גלילה
• הלך לקופה
• הזמין בוריטו
• אכל בוריטו
• הורעל מאכילת בוריטו
• נכנסו לבית הקפה מהכניסה האחורית
• נכנסים מהכניסה הקדמית
• צמצם את היישום
• קיבלה הודעת דחיפה
• היה תקוע על המסך יותר מ-X
• שילם עבור ההזמנה
• רכש את ההזמנה
• סירב להלוואה

אם תיקחו את נתוני המסלול של קבוצת משתמשים ותלמדו כיצד בנויים מעברים, תוכלו לעקוב בדיוק כיצד בנויה ההתנהגות שלהם באפליקציה. זה נוח לעשות זאת באמצעות גרף שבו מצבים הם צמתים, ומעברים בין מצבים הם קצוות:

"מסלול" הוא מושג נוח מאוד - הוא מכיל מידע מפורט על כל פעולות המשתמש, עם היכולת להוסיף כל מידע נוסף לתיאור הפעולות הללו. זה הופך אותו לאובייקט אוניברסלי. אם יש לך כלים יפים ונוחים המאפשרים לך לעבוד עם מסלולים, אז אתה יכול למצוא קווי דמיון ולפלח אותם.

פילוח מסלול עשוי להיראות מסובך מאוד בהתחלה. במצב רגיל, זה המצב - אתה צריך להשתמש בהשוואת מטריצות קישוריות או יישור רצף. הצלחנו למצוא דרך פשוטה יותר - ללמוד מספר רב של מסלולים ולפלח אותם באמצעות clustering.

כפי שהתברר, ניתן להפוך מסלול לנקודה באמצעות ייצוגים רציפים, למשל, צה"ל. לאחר הטרנספורמציה, המסלול הופך לנקודה במרחב בה משרטטים את ההתרחשות המנורמלת של אירועים ומעברים שונים ביניהם במסלול לאורך הצירים. ניתן להקרין את הדבר הזה ממרחב עצום של אלף ממדים או יותר (dimS=sum(types event)+sum(ngrams_2 types)) על מישור באמצעות TSNE. TSNE היא טרנספורמציה שמקטינה את ממד המרחב ל-2 צירים, ובמידת האפשר, משמרת את המרחקים היחסיים בין נקודות. בהתאם לכך, מתאפשר במפה שטוחה, מפת הקרנה פיגורטיבית של מסלולים, ללמוד כיצד נקודות של מסלולים שונים היו ממוקמים בינם לבין עצמם. הוא מנתח עד כמה הם היו קרובים או שונים זה לזה, אם הם יצרו אשכולות או היו מפוזרים על פני המפה וכו':

כלי אנליטיקה של Retentioneering מספקים את היכולת להפוך נתונים ומסלולים מורכבים לנוף שניתן להשוות זה עם זה, ואז ניתן לבחון ולפרש את תוצאת השינוי.

אם כבר מדברים על שיטות סטנדרטיות לעיבוד מסלולים, אנחנו מתכוונים לשלושה כלים עיקריים שהטמענו ב-Retentioneering - גרפים, מטריצות צעדים ומפות הקרנת מסלולים.

העבודה עם גוגל אנליטיקס, Firebase ומערכות ניתוח דומות היא די מורכבת ולא יעילה ב-100%. הבעיה היא מספר הגבלות למשתמש, וכתוצאה מכך עבודת האנליסט במערכות כאלה תלויה בלחיצות עכבר ובחירת פרוסות. Retentioneering מאפשר לעבוד עם מסלולי משתמשים, ולא רק עם משפכים, כמו בגוגל אנליטיקס, שבו רמת הפירוט מצטמצמת לרוב למשפך, אם כי נבנה עבור פלח מסוים.

שימור ומקרים

כדוגמה לשימוש בכלי שפותח, אנו יכולים לצטט את המקרה של שירות נישה גדול ברוסיה. לחברה זו יש אפליקציה סלולרית לאנדרואיד הפופולרית בקרב לקוחות. המחזור השנתי מהאפליקציה לנייד עמד על כ-7 מיליון רובל, תנודות עונתיות נעו בין 60-130 אלף. לאותה חברה יש גם אפליקציה ל-iOS, והחשבון הממוצע של משתמש באפליקציית אפל היה גבוה מהחשבון הממוצע של לקוח המשתמש באפליקציית אנדרואיד - 1080 שפשוף. לעומת 1300 שפשוף.

החברה החליטה להגביר את היעילות של אפליקציית אנדרואיד, עבורה ערכה ניתוח יסודי. נוצרו כמה עשרות השערות לגבי הגברת יעילות היישום. לאחר השימוש ב-Retentionneering, התברר שהבעיה הייתה בהודעות שהוצגו למשתמשים חדשים. הם קיבלו מידע על המותג, הטבות החברה והמחירים. אבל, כפי שהתברר, ההודעות היו אמורות לעזור למשתמש ללמוד כיצד לעבוד באפליקציה.

הדבר נעשה, וכתוצאה מכך האפליקציה פחות הוסרה, והגידול בהמרה להזמנה עמד על 23%. בתחילה ניתנו 20 אחוז מהתנועה הנכנסת לבדיקה, אך לאחר מספר ימים, לאחר ניתוח התוצאות הראשונות והערכת המגמה, הפכו את הפרופורציות ולהפך, השאירו 20 אחוז לקבוצת הביקורת, וכן שמונים אחוז הוכנסו למבחן. שבוע לאחר מכן, הוחלט להוסיף ברצף בדיקה של שתי השערות נוספות. בתוך שבעה שבועות בלבד גדל המחזור מאפליקציית אנדרואיד פי אחד וחצי בהשוואה לרמה הקודמת.

איך לעבוד עם Retentioneering?

הצעדים הראשונים די פשוטים - הורד את הספרייה עם הפקודה pip install retentioneering. המאגר עצמו מכיל דוגמאות מוכנות ומקרים של עיבוד נתונים עבור כמה משימות ניתוח מוצר. הסט מתעדכן כל הזמן עד שהוא מספיק להיכרות ראשונה. כל אחד יכול לקחת מודולים מוכנים וליישם אותם מיד במשימות שלו - זה מאפשר לו להגדיר באופן מיידי תהליך של ניתוח מפורט יותר ואופטימיזציה של מסלולי המשתמש במהירות וביעילות ככל האפשר. כל זה מאפשר למצוא דפוסי שימוש באפליקציה באמצעות קוד ברור ולשתף את החוויה הזו עם עמיתים.

שימור הוא כלי ששווה להשתמש בו לאורך כל חיי האפליקציה שלך, והנה הסיבה:

• Retentioneering יעיל למעקב ואופטימיזציה מתמדת של מסלולי משתמשים ושיפור הביצועים העסקיים. לפיכך, לעיתים קרובות מתווספים פיצ'רים חדשים ליישומי מסחר אלקטרוני, שלא תמיד ניתן לחזות נכון את השפעתם על המוצר. במקרים מסוימים, מתעוררות בעיות תאימות בין פונקציות חדשות וישנות - לדוגמה, חדשות "מקניבלות" את הקיימות. ובמצב זה, ניתוח מתמיד של מסלולים הוא בדיוק מה שצריך.
• המצב דומה בעבודה עם ערוצי פרסום: מקורות תנועה וקריאייטיבים פרסומיים חדשים נבחנים כל הזמן, יש צורך לעקוב אחר עונתיות, טרנדים והשפעת אירועים אחרים, מה שמוביל להופעת עוד ועוד סוגים חדשים של בעיות. זה גם דורש ניטור ופרשנות מתמדת של מכניקת המשתמש.
• ישנם מספר גורמים המשפיעים כל הזמן על הביצועים של אפליקציה. לדוגמה, מהדורות חדשות ממפתחים: סוגרים בעיה נוכחית, הם מחזירים מבלי משים את הישנה או יוצרים אחת חדשה לגמרי. עם הזמן, מספר המהדורות החדשות גדל, ותהליך המעקב אחר שגיאות צריך להיות אוטומטי, כולל על ידי ניתוח מסלולי משתמשים.

בסך הכל, Retentioneering הוא כלי יעיל. אבל אין גבול לשלמות - אפשר וצריך לשפר, לפתח ולבנות מוצרים מגניבים חדשים על הבסיס שלו. ככל שקהילת הפרויקט תהיה פעילה יותר, כך יהיו יותר מזלגות, ויופיעו אפשרויות מעניינות חדשות לשימוש בו.

מידע נוסף על כלי שימור:

• Наш сайт: retentioneering.com
• לוח פגישות והרשמה להשתתפות
• צ'אט של מוצרים ואנליסטים בטלגרם
• חופשי מאגר שימור ב-GitHub

מקור: www.habr.com