فواتير البيانات الضخمة: حول البيانات الكبيرة في مجال الاتصالات

في عام 2008، كانت البيانات الكبيرة مصطلحًا جديدًا واتجاهًا عصريًا. في عام 2019، أصبحت البيانات الضخمة موضوعًا للبيع ومصدر ربح وسببًا لفواتير جديدة.

في الخريف الماضي، طرحت الحكومة الروسية مشروع قانون لتنظيم البيانات الضخمة. لا يجوز التعرف على الأفراد من خلال المعلومات، ولكن يمكنهم القيام بذلك بناءً على طلب السلطات الفيدرالية. تتم معالجة البيانات الكبيرة لأطراف ثالثة فقط بعد إخطار Roskomnadzor. الشركات التي لديها أكثر من 100 ألف عنوان شبكة تخضع للقانون. وبطبيعة الحال، حيث بدون سجلات - من المفترض إنشاء واحد مع قائمة مشغلي قاعدة البيانات. وإذا لم تكن هذه البيانات الضخمة تؤخذ على محمل الجد من قبل الجميع، فيجب أن تؤخذ الآن في الاعتبار.

أنا، بوصفي مديرًا لشركة تطوير الفوترة التي تعالج هذه البيانات الضخمة، لا يمكنني تجاهل قاعدة البيانات. سأفكر في البيانات الضخمة من منظور مشغلي الاتصالات، الذين تمر من خلال أنظمة الفوترة الخاصة بهم تدفقات معلومات حول آلاف المشتركين كل يوم.

نظرية

لنبدأ، كما هو الحال في مسألة رياضية: أولاً نثبت أن بيانات مشغلي الاتصالات يمكن أن تسمى BigDat. عادة، تتميز البيانات الضخمة بثلاث خصائص VVV، على الرغم من أن عدد "Vs" في التفسيرات الحرة يصل إلى سبعة.

مقدار. يخدم MVNO الخاص بـ Rostelecom وحده أكثر من مليون مشترك. يتعامل المشغلون المضيفون الرئيسيون مع بيانات ما بين 44 إلى 78 مليون شخص. تنمو حركة المرور كل ثانية: في الربع الأول من عام 2019، تمكن المشتركون بالفعل من الوصول إلى 3,3 مليار جيجابايت من الهواتف المحمولة.

سرعة. لا يمكن لأحد أن يخبرك عن الديناميكيات أفضل من الإحصائيات، لذلك سأطلع على توقعات Cisco. بحلول عام 2021، ستذهب 20% من حركة مرور IP إلى حركة مرور الهاتف المحمول - وستتضاعف ثلاث مرات تقريبًا في غضون خمس سنوات. سيكون ثلث اتصالات الهاتف المحمول عبارة عن تقنية M2M، وسيؤدي تطوير إنترنت الأشياء إلى زيادة الاتصالات بمقدار ستة أضعاف. لن تصبح إنترنت الأشياء مربحة فحسب، بل ستكون أيضًا كثيفة الاستخدام للموارد، لذلك سيركز بعض المشغلين عليها فقط. وأولئك الذين يطورون إنترنت الأشياء كخدمة منفصلة سيحصلون على حركة مرور مضاعفة.

متنوع. يعد التنوع مفهومًا شخصيًا، لكن مشغلي الاتصالات يعرفون كل شيء تقريبًا عن المشتركين لديهم. من الاسم وتفاصيل جواز السفر إلى طراز الهاتف والمشتريات والأماكن التي تمت زيارتها والاهتمامات. وفقا لقانون ياروفايا، يتم تخزين ملفات الوسائط لمدة ستة أشهر. لذلك دعونا نعتبر أن البيانات التي تم جمعها متنوعة.

البرمجيات والمنهجية

يعد مقدمو الخدمات أحد المستهلكين الرئيسيين للبيانات الضخمة، لذا فإن معظم تقنيات تحليل البيانات الضخمة قابلة للتطبيق في صناعة الاتصالات. سؤال آخر هو من هو المستعد للاستثمار في تطوير التعلم الآلي والذكاء الاصطناعي والتعلم العميق والاستثمار في مراكز البيانات واستخراج البيانات. يتكون العمل الكامل مع قاعدة البيانات من بنية تحتية وفريق لا يستطيع الجميع تحمل تكاليفه. يجب على الشركات التي لديها بالفعل مستودع للشركة أو تقوم بتطوير منهجية لإدارة البيانات أن تراهن على البيانات الكبيرة. بالنسبة لأولئك الذين ليسوا مستعدين بعد للاستثمارات طويلة الأجل، أنصحك ببناء بنية البرنامج تدريجيًا وتثبيت المكونات واحدًا تلو الآخر. يمكنك ترك الوحدات الثقيلة وHadoop للأخير. قليل من الناس يشترون حلاً جاهزًا لمشاكل مثل جودة البيانات واستخراج البيانات؛ تقوم الشركات عمومًا بتخصيص النظام وفقًا لمواصفاتها واحتياجاتها المحددة - بنفسها أو بمساعدة المطورين.

ولكن لا يمكن تعديل كل الفواتير للعمل مع BigData. أو بالأحرى، لا يمكن تعديل كل شيء فقط. قليل من الناس يمكنهم القيام بذلك.

ثلاث علامات تشير إلى أن نظام الفوترة لديه فرصة ليصبح أداة لمعالجة قاعدة البيانات:

• قابلية التوسع الأفقي. يجب أن تكون البرامج مرنة - نحن نتحدث عن البيانات الضخمة. يجب معالجة الزيادة في كمية المعلومات من خلال زيادة متناسبة في الأجهزة الموجودة في المجموعة.
• التسامح مع الخطأ. عادةً ما تكون أنظمة الدفع المسبق الخطيرة متسامحة مع الأخطاء بشكل افتراضي: يتم نشر الفواتير في مجموعة في عدة مواقع جغرافية بحيث تقوم تلقائيًا بتأمين بعضها البعض. يجب أن يكون هناك أيضًا عدد كافٍ من أجهزة الكمبيوتر في مجموعة Hadoop في حالة فشل جهاز واحد أو أكثر.
• محلية. يجب تخزين البيانات ومعالجتها على خادم واحد، وإلا قد تتعرض للإفلاس عند نقل البيانات. أحد مخططات نهج Map-Reduce الشائعة: متاجر HDFS وعمليات Spark. من الناحية المثالية، يجب أن يندمج البرنامج بسلاسة في البنية التحتية لمركز البيانات وأن يكون قادرًا على القيام بثلاثة أشياء في واحد: جمع المعلومات وتنظيمها وتحليلها.

فريق

ماذا وكيف ولأي غرض سيقوم البرنامج بمعالجة البيانات الضخمة يتم تحديده من قبل الفريق. غالبًا ما يتكون من شخص واحد – عالم بيانات. على الرغم من أن الحد الأدنى من الموظفين في مجال البيانات الضخمة، في رأيي، يشمل أيضًا مدير المنتج ومهندس البيانات والمدير. الأول يفهم الخدمات، ويترجم اللغة التقنية إلى لغة الإنسان والعكس. يقوم مهندس البيانات بإحضار النماذج إلى الحياة باستخدام Java/Scala وتجارب التعلم الآلي. يقوم المدير بالتنسيق وتحديد الأهداف والتحكم في المراحل.

مشاكل

عادةً ما تنشأ المشكلات من جانب فريق BigData عند جمع البيانات ومعالجتها. يحتاج البرنامج إلى شرح ما يجب جمعه وكيفية معالجته - لشرح ذلك، عليك أولاً أن تفهمه بنفسك. لكن بالنسبة لمقدمي الخدمات، الأمور ليست بهذه البساطة. أنا أتحدث عن المشكلات باستخدام مثال مهمة تقليل تباطؤ المشتركين - وهذا ما يحاول مشغلو الاتصالات حله بمساعدة البيانات الضخمة في المقام الأول.

يضع اهداف. لقد كانت المواصفات الفنية المكتوبة جيدًا والفهم المختلف للمصطلحات بمثابة ألم على مدار قرون، ليس فقط للموظفين المستقلين. حتى المشتركين "المسقطين" يمكن تفسيرهم بطرق مختلفة - على أنهم أولئك الذين لم يستخدموا خدمات المشغل لمدة شهر أو ستة أشهر أو سنة. ولإنشاء MVP بناءً على البيانات التاريخية، تحتاج إلى فهم تكرار عوائد المشتركين من الاضطراب - أولئك الذين جربوا مشغلين آخرين أو غادروا المدينة واستخدموا رقمًا مختلفًا. سؤال مهم آخر: كم من الوقت قبل أن يغادر المشترك المتوقع يجب على مقدم الخدمة تحديد ذلك واتخاذ الإجراء؟ ستة أشهر مبكرة جدًا، وأسبوع متأخر جدًا.

استبدال المفاهيم. عادة، يحدد المشغلون العميل عن طريق رقم الهاتف، لذا فمن المنطقي أن يتم تحميل العلامات باستخدامه. ماذا عن حسابك الشخصي أو رقم طلب الخدمة؟ من الضروري تحديد الوحدة التي يجب اعتبارها عميلاً حتى لا تختلف البيانات الموجودة في نظام المشغل. يعد تقييم قيمة العميل أمرًا مشكوكًا فيه أيضًا - أي المشتركين أكثر قيمة بالنسبة للشركة، وأي مستخدم يتطلب المزيد من الجهد للاحتفاظ به، وأي منهم سوف "يسقط" في أي حال، ولا فائدة من إنفاق الموارد عليهم.

نقص المعلومات. ليس كل موظفي الخدمة قادرين على أن يشرحوا لفريق BigData ما الذي يؤثر على وجه التحديد على تراجع المشتركين وكيفية حساب العوامل المحتملة في الفوترة. حتى لو أطلقوا على واحد منهم - ARPU - فقد اتضح أنه يمكن حسابه بطرق مختلفة: إما عن طريق دفعات العميل الدورية، أو عن طريق رسوم الفواتير التلقائية. وفي عملية العمل، هناك مليون سؤال آخر. هل يغطي النموذج جميع العملاء، وما هو ثمن الاحتفاظ بالعميل، وهل هناك أي فائدة من التفكير من خلال نماذج بديلة، وما يجب فعله مع العملاء الذين تم الاحتفاظ بهم عن طريق الخطأ.

تحديد الأهداف. أعرف ثلاثة أنواع من أخطاء النتائج التي تتسبب في إحباط المشغلين من قاعدة البيانات.

1. يستثمر المزود في BigData، ويعالج غيغابايت من المعلومات، لكنه يحصل على نتيجة كان من الممكن الحصول عليها بسعر أرخص. يتم استخدام الرسوم البيانية والنماذج البسيطة والتحليلات البدائية. التكلفة أعلى عدة مرات، ولكن النتيجة واحدة.
2. يتلقى المشغل بيانات متعددة الأوجه كمخرجات، لكنه لا يفهم كيفية استخدامها. هناك تحليلات - ها هي مفهومة وضخمة، لكنها لا فائدة منها. النتيجة النهائية، التي لا يمكن أن تتكون من هدف "معالجة البيانات"، لم يتم التفكير فيها جيدًا. لا يكفي المعالجة - يجب أن تصبح التحليلات الأساس لتحديث العمليات التجارية.
3. يمكن أن تكون العوائق التي تعترض استخدام تحليلات البيانات الضخمة هي العمليات التجارية القديمة والبرامج غير المناسبة للأغراض الجديدة. هذا يعني أنهم ارتكبوا خطأً في مرحلة الإعداد - لم يفكروا في خوارزمية الإجراءات ومراحل إدخال البيانات الضخمة في العمل.

لماذا

الحديث عن النتائج. سأتناول طرق استخدام البيانات الضخمة وتحقيق الدخل منها التي يستخدمها مشغلو الاتصالات بالفعل.
لا يتوقع مقدمو الخدمة تدفق المشتركين فحسب، بل يتوقعون أيضًا الحمل على المحطات الأساسية.

1. يتم تحليل المعلومات حول تحركات المشتركين والنشاط وخدمات التردد. النتيجة: تقليل عدد الأحمال الزائدة بسبب تحسين وتحديث مناطق المشاكل في البنية التحتية.
2. يستخدم مشغلو الاتصالات معلومات حول الموقع الجغرافي للمشتركين وكثافة حركة المرور عند فتح نقاط البيع. وبالتالي، يتم استخدام تحليلات BigData بالفعل بواسطة MTS وVimpelCom لتخطيط موقع المكاتب الجديدة.
3. يقوم مقدمو الخدمة بتحقيق الدخل من بياناتهم الضخمة من خلال تقديمها لأطراف ثالثة. العملاء الرئيسيون لمشغلي BigData هم البنوك التجارية. باستخدام قاعدة البيانات، يقومون بمراقبة الأنشطة المشبوهة لبطاقة SIM الخاصة بالمشترك التي ترتبط بها البطاقات، ويستخدمون خدمات تسجيل المخاطر والتحقق والمراقبة. وفي عام 2017، طلبت حكومة موسكو ديناميكيات الحركة بناءً على بيانات BigData من Tele2 لتخطيط البنية التحتية التقنية والنقل.
4. تعد تحليلات البيانات الضخمة بمثابة منجم ذهب للمسوقين، الذين يمكنهم إنشاء حملات إعلانية مخصصة لما يصل إلى الآلاف من مجموعات المشتركين إذا اختاروا ذلك. تقوم شركات الاتصالات بتجميع الملفات الاجتماعية واهتمامات المستهلكين والأنماط السلوكية للمشتركين، ثم تستخدم البيانات الكبيرة المجمعة لجذب عملاء جدد. ولكن بالنسبة للترويج على نطاق واسع وتخطيط العلاقات العامة، لا تحتوي الفواتير دائما على وظائف كافية: يجب أن يأخذ البرنامج في الاعتبار العديد من العوامل بالتوازي مع معلومات مفصلة عن العملاء.

في حين أن البعض لا يزال يعتبر البيانات الكبيرة مجرد عبارة فارغة، إلا أن الشركات الأربع الكبرى تجني الأموال بالفعل منها. تكسب MTS 14 مليار روبل من معالجة البيانات الضخمة في ستة أشهر، وزادت Tele2 إيرادات المشاريع ثلاث مرات ونصف. تتحول البيانات الضخمة من اتجاه إلى شيء لا بد منه، والذي بموجبه سيتم إعادة بناء الهيكل الكامل لمشغلي الاتصالات.

المصدر: www.habr.com