بگ ڊيٽا وڏي بلنگ: ٽيلي ڪام ۾ بگ ڊيٽا بابت

2008 ۾، بگ ڊيٽا ھڪڙو نئون اصطلاح ۽ فيشن وارو رجحان ھو. 2019 ۾، بگ ڊيٽا وڪرو جو هڪ اعتراض، نفعي جو هڪ ذريعو ۽ نئين بلن جو هڪ سبب آهي.

آخري زوال، روسي حڪومت وڏي ڊيٽا کي منظم ڪرڻ لاء هڪ بل شروع ڪيو. معلومات مان فردن جي سڃاڻپ نه ٿي سگھي، پر وفاقي اختيارين جي درخواست تي ڪري سگھي ٿي. ٽئين پارٽين لاء بگ ڊيٽا پروسيسنگ صرف Roskomnadzor جي اطلاع کان پوء آهي. اهي ڪمپنيون جيڪي 100 هزار کان وڌيڪ نيٽ ورڪ ايڊريس آهن قانون هيٺ اچي وڃن ٿيون. ۽، يقينا، جتي بغير رجسٽرڊ - اهو هڪ ڊيٽابيس آپريٽرز جي فهرست سان ٺاهيو وڃي ٿو. ۽ جيڪڏهن هن کان اڳ بگ ڊيٽا هر ڪنهن کي سنجيده نه ورتو ويو، هاڻي ان کي حساب ۾ رکڻو پوندو.

مان، هڪ بلنگ ڊولپر ڪمپنيءَ جي ڊائريڪٽر جي حيثيت سان جيڪو هن تمام وڏي ڊيٽا کي پروسيس ڪري ٿو، ڊيٽابيس کي نظرانداز نٿو ڪري سگهان. مان ٽيليڪ آپريٽرز جي پرزم ذريعي وڏي ڊيٽا بابت سوچيندس، جن جي بلنگ سسٽم ذريعي هر روز هزارين سبسڪرائبرز جي باري ۾ معلومات جي وهڪري.

نظريو

اچو ته شروع ڪريون، جيئن رياضي جي مسئلي ۾: پهرين اسان ثابت ڪريون ٿا ته ٽيليڪ آپريٽرز جي ڊيٽا کي بگ ڊيٽ سڏيو وڃي ٿو. عام طور تي، وڏي ڊيٽا کي ٽن VVV خاصيتن سان منسوب ڪيو ويو آهي، جيتوڻيڪ مفت تشريح ۾ "Vs" جو تعداد ست تائين پهچي ويو.

حجم. Rostelecom جي MVNO اڪيلو هڪ ملين کان وڌيڪ رڪنيت جي خدمت ڪري ٿو. اهم ميزبان آپريٽرز 44 کان 78 ملين ماڻهن جي ڊيٽا کي سنڀاليندا آهن. ٽريفڪ هر سيڪنڊ ۾ وڌي رهي آهي: 2019 جي پهرين ٽه ماهي ۾، صارفين اڳ ۾ ئي 3,3 بلين GB تائين رسائي حاصل ڪري چڪا آهن موبائل فونن مان.

رفتار. ڪو به توهان کي انگن اکرن کان بهتر متحرڪ بابت نٿو ٻڌائي سگهي، تنهن ڪري مان سسڪو جي اڳڪٿين جي ذريعي وڃان ٿو. 2021 تائين، IP ٽريفڪ جو 20٪ موبائيل ٽرئفڪ ڏانهن ويندي - اهو لڳ ڀڳ پنجن سالن ۾ ٽي ڀيرا ٿيندو. موبائيل ڪنيڪشن جو ٽيون حصو M2M هوندو - IoT جي ترقي سان رابطن ۾ ڇھ گنا اضافو ٿيندو. شين جو انٽرنيٽ نه رڳو منافعي وارو ٿيندو، پر وسيلن جي لحاظ کان پڻ، تنهنڪري ڪجهه آپريٽرز صرف ان تي ڌيان ڏيندا. ۽ جيڪي IoT کي الڳ خدمت جي طور تي ترقي ڪن ٿا ٻيڻو ٽرئفڪ حاصل ڪندا.

قسمين قسمين. تنوع هڪ موضوعي تصور آهي، پر ٽيليڪ آپريٽرز حقيقت ۾ انهن جي سبسڪرائبرن جي باري ۾ تقريبن سڀ ڪجهه ڄاڻن ٿا. نالو ۽ پاسپورٽ جي تفصيلن کان وٺي فون ماڊل، خريداري، جڳهن جو دورو ڪيو ويو ۽ دلچسپيون. Yarovaya قانون موجب، ميڊيا فائلون ڇهن مهينن لاء محفوظ آهن. سو اچو ته ان کي هڪ محوري طور وٺون ته گڏ ڪيل ڊيٽا مختلف آهي.

سافٽ ويئر ۽ طريقيڪار

مهيا ڪندڙ آهن بگ ڊيٽا جي مکيه صارفين مان، تنهنڪري سڀ کان وڏو ڊيٽا تجزياتي ٽيڪنڪ ٽيليڪ انڊسٽري تي لاڳو ٿين ٿيون. ٻيو سوال اهو آهي ته ڪير تيار آهي ML، AI، Deep Learning جي ترقيءَ ۾، ڊيٽا سينٽرن ۽ ڊيٽا مائننگ ۾ سيڙپڪاري ڪرڻ لاءِ. ڊيٽابيس سان مڪمل ڪم ڪندڙ بنيادي ڍانچي ۽ ٽيم تي مشتمل آهي، جنهن جي قيمت هرڪو برداشت نه ڪري سگهي. اهي ادارا جيڪي اڳ ۾ ئي ڪارپوريٽ گودام آهن يا ٺاهي رهيا آهن ڊيٽا گورننس جو طريقو بگ ڊيٽا تي شرط رکڻ گهرجي. انهن لاءِ جيڪي اڃا تائين ڊگهي مدي واري سيڙپڪاري لاءِ تيار نه آهن، آئون توهان کي صلاح ڏيان ٿو ته تدريجي طور تي سافٽ ويئر آرڪيٽيڪچر کي ٺاهيو ۽ اجزاء کي هڪ هڪ ڪري انسٽال ڪريو. توهان ڇڏي سگهو ٿا ڳري ماڊلز ۽ آخري لاء Hadoop. ڪجھ ماڻھو ھڪڙي تيار ٿيل حل خريد ڪندا آھن مسئلن لاءِ ڊيٽا جي معيار ۽ ڊيٽا مائننگ؛ ڪمپنيون عام طور تي سسٽم کي پنھنجي مخصوص وضاحتن ۽ ضرورتن مطابق ترتيب ڏين ٿيون - پاڻ يا ڊولپرز جي مدد سان.

پر هر بلنگ بگ ڊيٽا سان ڪم ڪرڻ لاءِ تبديل نه ٿي ڪري سگھجي. يا بلڪه، نه رڳو هر شيء کي تبديل ڪري سگهجي ٿو. ٿورا ماڻهو اهو ڪري سگهن ٿا.

ٽي نشانيون آهن ته هڪ بلنگ سسٽم کي هڪ ڊيٽابيس پروسيسنگ اوزار بنائڻ جو موقعو آهي:

• افقي اسڪاليبلٽي. سافٽ ويئر لچڪدار هجڻ گهرجي - اسان وڏي ڊيٽا بابت ڳالهائي رهيا آهيون. معلومات جي مقدار ۾ واڌ کي ڪلستر ۾ هارڊويئر ۾ تناسب وڌائڻ سان علاج ڪيو وڃي.
• عيب رواداري. سنجيده پريپيڊ سسٽم عام طور تي ڊفالٽ طور تي غلطي برداشت ڪن ٿا: بلنگ ڪيترن ئي جغرافيائي هنڌن ۾ ڪلستر ۾ ترتيب ڏني وئي آهي ته جيئن اهي خودڪار طور تي هڪ ٻئي کي بيمه ڪن. هڪ يا وڌيڪ ناڪام ٿيڻ جي صورت ۾ هدوپ ڪلستر ۾ ڪافي ڪمپيوٽرن کي پڻ هجڻ گهرجي.
• مقاميت. ڊيٽا کي هڪ سرور تي ذخيرو ۽ پروسيس ڪيو وڃي، ٻي صورت ۾ توهان ڊيٽا جي منتقلي تي ڀڃڪڙي ڪري سگهو ٿا. ھڪڙو مشهور نقشو گھٽائڻ واري اسڪيمون: HDFS اسٽور، اسپارڪ پروسيس. مثالي طور، سافٽ ويئر کي بيحد طور تي ڊيٽا سينٽر انفراسٽرڪچر ۾ ضم ٿيڻ گهرجي ۽ هڪ ۾ ٽي شيون ڪرڻ جي قابل ٿي وڃن: معلومات گڏ ڪرڻ، منظم ڪرڻ ۽ تجزيو ڪرڻ.

ٽيم

ڇا، ڪيئن ۽ ڪهڙي مقصد لاءِ پروگرام وڏي ڊيٽا کي پروسيس ڪندو ٽيم پاران فيصلو ڪيو ويندو آهي. گهڻو ڪري اهو هڪ شخص تي مشتمل آهي - هڪ ڊيٽا سائنسدان. جيتوڻيڪ، منهنجي خيال ۾، بگ ڊيٽا لاءِ ملازمن جو گهٽ ۾ گهٽ پيڪيج پڻ شامل آهي هڪ پراڊڪٽ مئنيجر، ڊيٽا انجنيئر، ۽ مئنيجر. پهرين هڪ خدمتن کي سمجهي ٿو، ٽيڪنيڪل ٻولي کي انساني ٻولي ۾ ترجمو ڪري ٿو ۽ ان جي برعڪس. ڊيٽا انجنيئر جاوا/اسڪالا استعمال ڪندي ماڊلز کي زندگي ۾ آڻي ٿو ۽ مشين لرننگ سان تجربا ڪري ٿو. مينيجر همراه ڪري ٿو، مقصدن کي سيٽ ڪري ٿو، ۽ مرحلن کي سنڀاليندو آهي.

پريشاني

اهو BigData ٽيم جي حصي تي آهي ته مسئلا عام طور تي پيدا ٿيندا آهن جڏهن ڊيٽا گڏ ڪرڻ ۽ پروسيسنگ ڪندا آهن. پروگرام کي وضاحت ڪرڻ جي ضرورت آهي ته ڇا گڏ ڪيو وڃي ۽ ان کي ڪيئن پروسيس ڪيو وڃي - انهي جي وضاحت ڪرڻ لاء، توهان کي پهريان پاڻ کي سمجهڻ جي ضرورت آهي. پر مهيا ڪندڙن لاء، شيون ايترو سادو نه آهن. مان انهن مسئلن جي باري ۾ ڳالهائي رهيو آهيان مثال استعمال ڪندي سبسڪرائبر چرن کي گهٽائڻ جي ڪم جو - هي اهو آهي جيڪو ٽيليڪ آپريٽرز پهرين جڳهه ۾ بگ ڊيٽا جي مدد سان حل ڪرڻ جي ڪوشش ڪري رهيا آهن.

مقصد مقرر ڪرڻ. چڱي طرح لکيل ٽيڪنيڪل وضاحتون ۽ اصطلاحن جي مختلف سمجھڻ صدين کان پراڻو درد رهيو آهي نه رڳو فري لانسرز لاءِ. ايستائين جو ”گرد ٿيل“ سبسڪرائبرز کي مختلف طريقن سان تشريح ڪري سگهجي ٿو - جيئن اهي جن هڪ مهيني، ڇهن مهينن يا هڪ سال لاءِ آپريٽر جون خدمتون استعمال نه ڪيون آهن. ۽ تاريخي ڊيٽا جي بنياد تي هڪ ايم وي پي ٺاهڻ لاءِ، توهان کي سمجھڻ جي ضرورت آهي ته رڪنن جي واپسي جي تعدد کي چرن کان - جن ٻين آپريٽرن جي ڪوشش ڪئي يا شهر ڇڏي ڏنو ۽ هڪ مختلف نمبر استعمال ڪيو. ٻيو اهم سوال: ڪيترو وقت اڳ سبسڪرائبر جي ڇڏڻ جي توقع ڪئي وڃي ته فراهم ڪندڙ کي اهو طئي ڪرڻ گهرجي ۽ ڪارروائي ڪرڻ گهرجي؟ ڇهه مهينا تمام جلدي آهي، هڪ هفتي تمام دير سان آهي.

تصورن جي متبادل. عام طور تي، آپريٽرز هڪ ڪلائنٽ کي فون نمبر ذريعي سڃاڻيندا آهن، تنهنڪري اهو منطقي آهي ته نشانيون ان کي استعمال ڪندي اپلوڊ ڪيو وڃي. توهان جي ذاتي اڪائونٽ يا خدمت جي درخواست نمبر بابت ڇا آهي؟ اهو فيصلو ڪرڻ ضروري آهي ته ڪهڙي يونٽ کي ڪلائنٽ طور ورتو وڃي ته جيئن آپريٽر جي سسٽم ۾ ڊيٽا مختلف نه ٿئي. ڪلائنٽ جي قيمت جو اندازو لڳائڻ پڻ قابل اعتراض آهي - ڪهڙو سبسڪرائبر ڪمپني لاء وڌيڪ قيمتي آهي، ڪهڙي صارف کي برقرار رکڻ لاء وڌيڪ ڪوشش جي ضرورت آهي، ۽ ڪير ڪنهن به صورت ۾ "گر" ويندا ۽ انهن تي وسيلن کي خرچ ڪرڻ جو ڪو به مطلب ناهي.

معلومات جي کوٽ. نه سڀئي فراهم ڪندڙ ملازم BigData ٽيم کي وضاحت ڪرڻ جي قابل آهن ته ڇا خاص طور تي سبسڪرائبر چرن کي متاثر ڪري ٿو ۽ بلنگ ۾ ڪئين ممڪن عنصر ڳڻيا وڃن ٿا. ايستائين جو انهن مان هڪ جو نالو رکيو آهي - ARPU - اهو ظاهر ٿئي ٿو ته اهو مختلف طريقن سان حساب ڪري سگهجي ٿو: يا ته وقتي ڪلائنٽ جي ادائيگين ذريعي، يا خودڪار بلنگ چارجز ذريعي. ۽ ڪم جي عمل ۾، هڪ لک ٻيا سوال پيدا ٿين ٿا. ڇا ماڊل سڀني گراهڪن کي ڍڪيندو آهي، هڪ ڪلائنٽ کي برقرار رکڻ جي قيمت ڇا آهي، ڇا متبادل ماڊل ذريعي سوچڻ ۾ ڪو نقطو آهي، ۽ انهن گراهڪن سان ڇا ڪجي جيڪي غلطي سان مصنوعي طور تي برقرار رکيا ويا آهن.

گول سيٽنگ. مان ڄاڻان ٿو نتيجن جي غلطين جي ٽن قسمن جي جيڪي آپريٽرز کي ڊيٽابيس سان مايوس ٿيڻ جو سبب بڻجن ٿيون.

1. مهيا ڪندڙ BigData ۾ سيڙپ ڪري ٿو، معلومات جي گيگا بائيٽ کي پروسيس ڪري ٿو، پر نتيجو حاصل ڪري ٿو جيڪو سستو حاصل ڪري سگهجي ٿو. سادي نموني ۽ ماڊل، ابتدائي تجزياتي استعمال ڪيا ويا آهن. قيمت ڪيترائي ڀيرا وڌيڪ آهي، پر نتيجو ساڳيو آهي.
2. آپريٽر ٻاھرين ڊيٽا کي ٻاھرين طور حاصل ڪري ٿو، پر سمجھي نٿو سگھي ته ان کي ڪيئن استعمال ڪجي. هتي تجزياتي آهي - هتي اهو آهي، سمجھڻ وارو ۽ وڏو، پر اهو ڪو به فائدو نه آهي. آخري نتيجو، جنهن ۾ "ڊيٽا پروسيسنگ" جي مقصد تي مشتمل نه ٿي سگھي، ذريعي نه سوچيو ويو آهي. اهو عمل ڪرڻ لاءِ ڪافي ناهي - تجزياتي ڪاروباري عملن کي اپڊيٽ ڪرڻ جو بنياد بڻجڻ گهرجي.
3. بگ ڊيٽا اينالائيٽڪس جي استعمال ۾ رڪاوٽون پراڻيون ڪاروباري عملن ۽ سافٽ ويئر کي نون مقصدن لاءِ نا مناسب ٿي سگھي ٿو. هن جو مطلب آهي ته انهن تياري جي مرحلي ۾ غلطي ڪئي - انهن عملن جي الگورتھم ۽ ڪم ۾ بگ ڊيٽا کي متعارف ڪرائڻ جي مرحلن ذريعي نه سوچيو.

ڇو

نتيجن جي ڳالهائيندي. مان بگ ڊيٽا کي استعمال ڪرڻ ۽ مانيٽائيز ڪرڻ جي طريقن تي ويندس جيڪي ٽيليڪ آپريٽرز اڳ ۾ ئي استعمال ڪري رهيا آهن.
مهيا ڪندڙ پيش ڪن ٿا نه رڳو سبسڪرائبرن جو نڪرڻ، پر بيس اسٽيشنن تي لوڊ پڻ.

1. سبسڪرائبر جي تحريڪن، سرگرمي ۽ تعدد خدمتن بابت معلومات جو تجزيو ڪيو ويو آهي. نتيجو: اوورلوڊ جي تعداد ۾ گھٽتائي جي ڪري انفراسٽرڪچر جي مسئلن جي علائقن جي اصلاح ۽ جديديت جي ڪري.
2. ٽيلي ڪام آپريٽرز استعمال ڪندا آهن معلومات جي جغرافيائي مقام بابت سبسڪرائبرز ۽ ٽرئفڪ جي کثافت جڏهن وڪرو جي پوائنٽن کي کولڻ. اهڙيء طرح، بگ ڊيٽا اينالائيٽڪس اڳ ۾ ئي استعمال ڪيا ويا آهن MTS ۽ VimpelCom پاران نئين آفيسن جي جڳهه جي منصوبابندي ڪرڻ لاء.
3. مهيا ڪندڙ ان کي ٽئين پارٽين کي پيش ڪندي انهن جي پنهنجي وڏي ڊيٽا کي پئسا ڏيڻ. بگ ڊيٽا آپريٽرز جا مکيه گراهڪ تجارتي بئنڪ آهن. ڊيٽابيس کي استعمال ڪندي، اهي سبسڪرائبر جي سم ڪارڊ جي مشڪوڪ سرگرمين جي نگراني ڪن ٿا جن سان ڪارڊ ڳنڍيل آهن، ۽ خطري جي اسڪورنگ، تصديق ۽ نگراني جي خدمتن کي استعمال ڪن ٿا. ۽ 2017 ۾، ماسڪو حڪومت ٽيڪنيڪل ۽ ٽرانسپورٽ انفراسٽرڪچر جي منصوبابندي ڪرڻ لاءِ Tele2 کان BigData ڊيٽا جي بنياد تي حرڪت جي متحرڪ جي درخواست ڪئي.
4. BigData اينالائيٽڪس مارڪيٽن لاءِ سون جي منڊي آهي، جيڪي ٺاهي سگهن ٿا ذاتي اشتهارن جي مهمن لاءِ جيئن ته هزارين سبسڪرائبر گروپن لاءِ جيڪڏهن اهي چونڊي. ٽيلي ڪام ڪمپنيون مجموعي طور تي سماجي پروفائلز، صارفين جي مفادن ۽ صارفين جي رويي جي نمونن کي گڏ ڪن ٿيون، ۽ پوء گڏ ڪيل بگ ڊيٽا استعمال ڪن ٿا نوان گراهڪن کي راغب ڪرڻ لاء. پر وڏي پئماني تي پروموشن ۽ پي آر پلاننگ لاءِ، بلنگ ۾ هميشه ڪافي ڪارڪردگي نه هوندي آهي: پروگرام کي هڪ ئي وقت ڪيترن ئي عنصرن کي غور ۾ رکڻو پوندو جنهن سان گڏ ڪلائنٽ بابت تفصيلي ڄاڻ هوندي.

جڏهن ته ڪجهه اڃا تائين بگ ڊيٽا کي هڪ خالي جملو سمجهن ٿا، بگ چار پهريان ئي ان تي پئسا ڪمائي رهيا آهن. MTS ڇهن مهينن ۾ وڏي ڊيٽا پروسيسنگ مان 14 بلين روبل ڪمائي ٿي، ۽ ٽيلي 2 منصوبن مان آمدني ساڍا ٽي ڀيرا وڌائي ٿي. بگ ڊيٽا هڪ رجحان مان تبديل ٿي رهيو آهي لازمي طور تي، جنهن جي تحت ٽيليڪ آپريٽرز جي پوري جوڙجڪ کي ٻيهر تعمير ڪيو ويندو.

جو ذريعو: www.habr.com