Big Data Big Billing: על BigData בטלקום

בשנת 2008, BigData היה מונח חדש וטרנד אופנתי. בשנת 2019, BigData הוא אובייקט מכירה, מקור רווח וסיבה לחשבונות חדשים.

בסתיו האחרון, ממשלת רוסיה יזמה הצעת חוק להסדרת נתונים גדולים. לא ניתן לזהות אנשים ממידע, אך הם רשאים לעשות זאת לפי בקשת הרשויות הפדרליות. עיבוד BigData עבור צדדים שלישיים הוא רק לאחר הודעה מ-Roskomnadzor. חברות שיש להן יותר מ-100 אלף כתובות רשת נופלות תחת החוק. וכמובן, איפה בלי רישומים - זה אמור ליצור אחד עם רשימה של מפעילי מסד נתונים. ואם לפני הביג דאטה הזה לא נלקח ברצינות על ידי כולם, עכשיו יהיה צריך לקחת את זה בחשבון.

אני, כמנהל של חברת בילינג מפתחת שמעבדת את הביג דאטה הזה, לא יכול להתעלם ממסד הנתונים. אחשוב על ביג דאטה דרך הפריזמה של מפעילי טלקום, שדרכם עוברות מערכות החיוב שלהם זרימות מידע על אלפי מנויים מדי יום.

מִשׁפָּט

נתחיל, כמו בבעיה מתמטית: ראשית אנו מוכיחים שניתן לקרוא לנתונים של מפעילי טלקום BigDat. בדרך כלל, נתונים גדולים מאופיינים בשלושה מאפיינים של VVV, אם כי בפרשנויות חופשיות מספר ה-"Vs" הגיע לשבעה.

כרך. ה-MVNO של Rostelecom לבדו משרת יותר ממיליון מנויים. מפעילי מארחים מרכזיים מטפלים בנתונים של 44 עד 78 מיליון אנשים. התנועה גדלה בכל שנייה: ברבעון הראשון של 2019, מנויים כבר ניגשו ל-3,3 מיליארד ג'יגה-בייט מטלפונים ניידים.

מְהִירוּת. אף אחד לא יכול לספר לך על הדינמיקה טוב יותר מסטטיסטיקה, אז אני אעבור על התחזיות של סיסקו. עד שנת 2021, 20% מתעבורת ה-IP תעבור לתעבורה בסלולר - היא כמעט תשולש תוך חמש שנים. שליש מהחיבורים הניידים יהיו M2M - פיתוח ה-IoT יוביל לגידול של פי שישה בחיבורים. האינטרנט של הדברים יהפוך לא רק לרווחי, אלא גם עתיר משאבים, כך שחלק מהמפעילים יתמקדו רק בו. ומי שיפתח את ה-IoT כשירות נפרד יקבל תעבורה כפולה.

מגוון. גיוון הוא מושג סובייקטיבי, אבל מפעילי טלקום באמת יודעים כמעט הכל על המנויים שלהם. החל מפרטי שם ודרכון ועד לדגם הטלפון, רכישות, מקומות ביקרו ותחומי עניין. על פי חוק Yarovaya, קבצי מדיה נשמרים למשך שישה חודשים. אז בואו ניקח את זה כאקסיומה שהנתונים שנאספו מגוונים.

תוכנה ומתודולוגיה

ספקים הם אחד הצרכנים העיקריים של BigData, כך שרוב טכניקות ניתוח הביג דאטה ישימות לתעשיית הטלקום. שאלה נוספת היא מי מוכן להשקיע בפיתוח ML, AI, Deep Learning, להשקיע במרכזי נתונים וכריית נתונים. עבודה מלאה עם מסד נתונים מורכבת מתשתית וצוות, שלא כל אחד יכול לעמוד בעלויות. ארגונים שכבר יש להם מחסן תאגידי או מפתחים מתודולוגיית Data Governance צריכים להמר על BigData. למי שעדיין לא מוכן להשקעות לטווח ארוך, אני ממליץ לך לבנות בהדרגה את ארכיטקטורת התוכנה ולהתקין רכיבים אחד אחד. אתה יכול להשאיר את המודולים הכבדים ואת Hadoop לסוף. מעטים האנשים שקונים פתרון מוכן לבעיות כמו Data Quality ו-Data Mining; חברות בדרך כלל מתאימות את המערכת למפרטים ולצרכים הספציפיים שלהן - בעצמן או בעזרת מפתחים.

אבל לא ניתן לשנות כל חיוב כך שיעבוד עם BigData. או ליתר דיוק, לא רק הכל ניתן לשנות. מעטים האנשים שיכולים לעשות זאת.

שלושה סימנים לכך שלמערכת חיוב יש סיכוי להפוך לכלי לעיבוד מסד נתונים:

• מדרגיות אופקית. תוכנה חייבת להיות גמישה - אנחנו מדברים על ביג דאטה. יש להתייחס לגידול בכמות המידע על ידי גידול פרופורציונלי בחומרה באשכול.
• סובלנות לתקלות. מערכות רציניות בתשלום מראש הן בדרך כלל סובלניות לתקלות כברירת מחדל: החיוב נפרס באשכול במספר מיקומים גיאוגרפיים כך שהן מבטחות אחת את השנייה באופן אוטומטי. כמו כן, צריכים להיות מספיק מחשבים באשכול Hadoop למקרה שאחד או יותר ייכשלו.
• מָקוֹם. נתונים חייבים להיות מאוחסנים ולעבד בשרת אחד, אחרת אתה יכול להשתבש בהעברת נתונים. אחת מתכניות הגישה הפופולריות של Map-Reduce: חנויות HDFS, תהליכי Spark. באופן אידיאלי, התוכנה צריכה להשתלב בצורה חלקה בתשתית מרכז הנתונים ולהיות מסוגלת לעשות שלושה דברים באחד: לאסוף, לארגן ולנתח מידע.

קבוצה

מה, איך ולאיזו מטרה התוכנית תעבד ביג דאטה נקבע על ידי הצוות. לעתים קרובות זה מורכב מאדם אחד - מדען נתונים. למרות שלדעתי חבילת המינימום של עובדים לביג דאטה כוללת גם מנהל מוצר, מהנדס נתונים ומנהל. הראשון מבין את השירותים, מתרגם שפה טכנית לשפה אנושית ולהיפך. Data Engineer מחייה מודלים באמצעות Java/Scala וניסויים עם Machine Learning. המנהל מתאם, קובע יעדים ושולט בשלבים.

בעיות

זה מצד צוות BigData שבדרך כלל מתעוררות בעיות בעת איסוף ועיבוד נתונים. התוכנית צריכה להסביר מה לאסוף ואיך לעבד את זה - כדי להסביר את זה צריך קודם כל להבין את זה בעצמך. אבל עבור ספקים, הדברים אינם כל כך פשוטים. אני מדבר על הבעיות באמצעות הדוגמה של המשימה של צמצום נטישת מנויים - זה מה שמפעילי טלקום מנסים לפתור בעזרת Big Data מלכתחילה.

לקבוע מטרות. מפרטים טכניים כתובים היטב והבנות שונות של מונחים היו כאב בן מאות שנים לא רק עבור פרילנסרים. אפילו מנויים "שנפלו" יכולים להתפרש בדרכים שונות - כמי שלא השתמשו בשירותי המפעיל במשך חודש, שישה חודשים או שנה. וכדי ליצור MVP המבוסס על נתונים היסטוריים, אתה צריך להבין את תדירות ההחזרות של מנויים מ-churn - אלה שניסו מפעילים אחרים או עזבו את העיר והשתמשו במספר אחר. שאלה חשובה נוספת: כמה זמן לפני שהמנוי צפוי לעזוב צריך הספק לקבוע זאת ולפעול? שישה חודשים זה מוקדם מדי, שבוע זה מאוחר מדי.

החלפת מושגים. בדרך כלל, מפעילים מזהים לקוח לפי מספר טלפון, ולכן הגיוני להעלות את השלטים באמצעותו. מה לגבי החשבון האישי או מספר אפליקציית השירות שלך? יש צורך להחליט איזו יחידה יש ​​לקחת כלקוח כדי שהנתונים במערכת של המפעיל לא ישתנו. גם הערכת הערך של לקוח מוטלת בספק - איזה מנוי שווה יותר לחברה, איזה משתמש דורש יותר מאמץ לשמר, ומי מהם "ייפול" בכל מקרה ואין טעם לבזבז עליהם משאבים.

חוסר מידע. לא כל עובדי הספק מסוגלים להסביר לצוות BigData מה משפיע ספציפית על נטישת מנויים וכיצד מחושבים גורמים אפשריים בחיוב. גם אם קראו לאחד מהם - ARPU - מסתבר שניתן לחשב אותו בדרכים שונות: או על ידי תשלומים תקופתיים של לקוחות, או על ידי חיובי חיוב אוטומטיים. ובתהליך העבודה עולות עוד מיליון שאלות. האם המודל מכסה את כל הלקוחות, מה המחיר לשימור לקוח, האם יש טעם לחשוב על מודלים חלופיים, ומה לעשות עם לקוחות שנשמרו בטעות מלאכותית.

הגדרת מטרה. אני מכיר שלושה סוגים של שגיאות תוצאה שגורמות למפעילים להיות מתוסכלים מהמסד.

1. הספק משקיע ב-BigData, מעבד ג'יגה-בייט של מידע, אך מקבל תוצאה שניתן היה להשיג בזול יותר. נעשה שימוש בתרשימים ומודלים פשוטים, אנליטיקה פרימיטיבית. העלות גבוהה פי כמה, אבל התוצאה זהה.
2. המפעיל מקבל נתונים רב-גוני כפלט, אך אינו מבין כיצד להשתמש בהם. יש אנליטיקה - הנה היא, מובנת ונפחית, אבל היא לא מועילה. התוצאה הסופית, שאינה יכולה להיות מורכבת מהמטרה של "עיבוד נתונים", לא נבחנה. לא מספיק לעבד - אנליטיקה צריכה להפוך לבסיס לעדכון תהליכים עסקיים.
3. מכשולים לשימוש ב-BigData Analytics יכולים להיות תהליכים עסקיים מיושנים ותוכנה שאינה מתאימה למטרות חדשות. זה אומר שהם עשו טעות בשלב ההכנה - הם לא חשבו דרך אלגוריתם הפעולות ושלבי הכנסת Big Data לעבודה.

בשביל מה

אם כבר מדברים על תוצאות. אני אעבור על דרכי השימוש והמונטיזציה של Big Data שמפעילי טלקום כבר משתמשים בהם.
הספקים צופים לא רק את יציאת המנויים, אלא גם את העומס על תחנות הבסיס.

1. מנותח מידע על תנועות מנויים, פעילות ותדרים. תוצאה: הפחתה במספר עומסי יתר עקב אופטימיזציה ומודרניזציה של אזורים בעייתיים של התשתית.
2. מפעילי טלקום משתמשים במידע על מיקום גיאוגרפי של מנויים וצפיפות תנועה בעת פתיחת נקודות מכירה. לפיכך, ניתוח BigData כבר נמצא בשימוש על ידי MTS ו-VimpelCom לתכנון מיקומם של משרדים חדשים.
3. ספקים מייצרים רווחים מהנתונים הגדולים שלהם על ידי הצעתם לצדדים שלישיים. הלקוחות העיקריים של מפעילי BigData הם בנקים מסחריים. באמצעות מאגר המידע, הם עוקבים אחר פעילויות חשודות בכרטיס ה-SIM של המנוי אליו מקושרים הכרטיסים, ומשתמשים בשירותי ניקוד סיכונים, אימות וניטור. ובשנת 2017, ממשלת מוסקבה ביקשה דינמיקה תנועתית המבוססת על נתוני BigData מ-Tele2 כדי לתכנן תשתית טכנית ותחבורה.
4. BigData Analytics הוא מכרה זהב למשווקים, שיכולים ליצור קמפיינים פרסומיים מותאמים אישית לאלפי קבוצות מנויים אם יבחרו. חברות טלקום אוספות פרופילים חברתיים, תחומי עניין של צרכנים ודפוסי התנהגות של מנויים, ולאחר מכן משתמשות ב-BigData שנאסף כדי למשוך לקוחות חדשים. אבל עבור קידום בקנה מידה גדול ותכנון יחסי ציבור, לחיוב לא תמיד יש מספיק פונקציונליות: התוכנית חייבת לקחת בחשבון גורמים רבים במקביל למידע מפורט על לקוחות.

בעוד שחלקם עדיין רואים ב-BigData ביטוי ריק, ארבעת הגדולים כבר מרוויחים על זה כסף. MTS מרוויחה 14 מיליארד רובל מעיבוד ביג דאטה בשישה חודשים, ו-Tele2 הגדילה את ההכנסות מפרויקטים פי שלושה וחצי. BigData הופכת ממגמה לחובה, שבמסגרתה ייבנה מחדש כל המבנה של מפעילי הטלקום.

מקור: www.habr.com