2008 میں، بگ ڈیٹا ایک نئی اصطلاح اور فیشن کا رجحان تھا۔ 2019 میں، BigData فروخت کا ایک مقصد، منافع کا ذریعہ اور نئے بلوں کی وجہ ہے۔
گزشتہ موسم خزاں میں، روسی حکومت نے بڑے ڈیٹا کو ریگولیٹ کرنے کے لیے ایک بل شروع کیا۔ معلومات سے افراد کی شناخت نہیں کی جا سکتی ہے، لیکن وہ وفاقی حکام کی درخواست پر ایسا کر سکتے ہیں۔ تیسرے فریقوں کے لیے بگ ڈیٹا پر کارروائی Roskomnadzor کی اطلاع کے بعد ہی ہوتی ہے۔ وہ کمپنیاں جن کے 100 ہزار سے زیادہ نیٹ ورک ایڈریس ہیں وہ قانون کے تحت آتی ہیں۔ اور، بالکل، جہاں رجسٹر کے بغیر - یہ ڈیٹا بیس آپریٹرز کی ایک فہرست کے ساتھ ایک بنانے کے لئے سمجھا جاتا ہے. اور اگر اس سے پہلے بگ ڈیٹا کو ہر کسی نے سنجیدگی سے نہیں لیا تھا تو اب اسے بھی مدنظر رکھنا پڑے گا۔
میں، ایک بلنگ ڈویلپر کمپنی کے ڈائریکٹر کے طور پر جو اس بہت بڑے ڈیٹا پر کارروائی کرتی ہے، ڈیٹا بیس کو نظر انداز نہیں کر سکتا۔ میں ٹیلی کام آپریٹرز کے پرزم کے ذریعے بڑے ڈیٹا کے بارے میں سوچوں گا، جن کے بلنگ سسٹمز کے ذریعے روزانہ ہزاروں سبسکرائبرز کے بارے میں معلومات کا بہاؤ ہوتا ہے۔
تھیوریم
آئیے شروع کرتے ہیں، جیسا کہ ریاضی کے مسئلے میں ہے: پہلے ہم ثابت کرتے ہیں کہ ٹیلی کام آپریٹرز کے ڈیٹا کو BigDat کہا جا سکتا ہے۔ عام طور پر، بڑے ڈیٹا میں تین VVV خصوصیات ہوتی ہیں، حالانکہ مفت تشریحات میں "بمقابلہ" کی تعداد سات تک پہنچ گئی ہے۔
حجم۔ Rostelecom کا MVNO اکیلے دس لاکھ سے زیادہ سبسکرائبرز کی خدمت کرتا ہے۔ کلیدی میزبان آپریٹرز 44 سے 78 ملین لوگوں کا ڈیٹا ہینڈل کرتے ہیں۔ ٹریفک ہر سیکنڈ میں بڑھ رہی ہے: 2019 کی پہلی سہ ماہی میں، سبسکرائبرز پہلے ہی موبائل فونز سے 3,3 بلین جی بی تک رسائی حاصل کر چکے ہیں۔
رفتار کوئی بھی آپ کو اعداد و شمار سے بہتر حرکیات کے بارے میں نہیں بتا سکتا، اس لیے میں Cisco کی پیشین گوئیوں پر غور کروں گا۔ 2021 تک، IP ٹریفک کا 20% موبائل ٹریفک میں جائے گا - یہ پانچ سالوں میں تقریباً تین گنا ہو جائے گا۔ موبائل کنکشن کا ایک تہائی M2M ہوگا - IoT کی ترقی کنکشن میں چھ گنا اضافہ کا باعث بنے گی۔ چیزوں کا انٹرنیٹ نہ صرف منافع بخش ہو جائے گا، بلکہ وسائل کے لحاظ سے بھی، اس لیے کچھ آپریٹرز صرف اس پر توجہ مرکوز کریں گے۔ اور جو لوگ IoT کو علیحدہ سروس کے طور پر تیار کرتے ہیں ان کو دوگنا ٹریفک ملے گا۔
ورائٹی تنوع ایک موضوعی تصور ہے، لیکن ٹیلی کام آپریٹرز واقعی اپنے سبسکرائبرز کے بارے میں تقریباً سب کچھ جانتے ہیں۔ نام اور پاسپورٹ کی تفصیلات سے لے کر فون ماڈل، خریداریاں، دیکھنے والے مقامات اور دلچسپیاں۔ یارووایا قانون کے مطابق میڈیا فائلوں کو چھ ماہ تک محفوظ کیا جاتا ہے۔ تو آئیے اسے ایک محور کے طور پر لیں کہ جمع کردہ ڈیٹا مختلف ہے۔
سافٹ ویئر اور طریقہ کار
فراہم کنندگان BigData کے اہم صارفین میں سے ایک ہیں، لہذا زیادہ تر بڑی ڈیٹا تجزیہ تکنیک ٹیلی کام انڈسٹری پر لاگو ہوتی ہے۔ ایک اور سوال یہ ہے کہ ایم ایل، اے آئی، ڈیپ لرننگ کی ترقی، ڈیٹا سینٹرز اور ڈیٹا مائننگ میں سرمایہ کاری کرنے کے لیے کون تیار ہے۔ ڈیٹا بیس کے ساتھ مکمل کام بنیادی ڈھانچے اور ایک ٹیم پر مشتمل ہوتا ہے، جس کے اخراجات ہر کوئی برداشت نہیں کر سکتا۔ وہ کاروباری ادارے جن کے پاس پہلے سے ہی کارپوریٹ گودام ہے یا وہ ڈیٹا گورننس کا طریقہ کار تیار کر رہے ہیں انہیں BigData پر شرط لگانی چاہیے۔ ان لوگوں کے لیے جو ابھی تک طویل مدتی سرمایہ کاری کے لیے تیار نہیں ہیں، میں آپ کو مشورہ دیتا ہوں کہ آہستہ آہستہ سافٹ ویئر کے فن تعمیر کو تیار کریں اور ایک ایک کرکے اجزاء انسٹال کریں۔ آپ بھاری ماڈیولز اور ہڈوپ کو آخری کے لیے چھوڑ سکتے ہیں۔ بہت کم لوگ ڈیٹا کوالٹی اور ڈیٹا مائننگ جیسے مسائل کے لیے ریڈی میڈ حل خریدتے ہیں؛ کمپنیاں عام طور پر سسٹم کو اپنی مخصوص خصوصیات اور ضروریات کے مطابق بناتی ہیں - خود یا ڈویلپرز کی مدد سے۔
لیکن بگ ڈیٹا کے ساتھ کام کرنے کے لیے ہر بلنگ میں ترمیم نہیں کی جا سکتی۔ یا بلکہ، نہ صرف ہر چیز میں ترمیم کی جاسکتی ہے۔ یہ کام بہت کم لوگ کر سکتے ہیں۔
تین نشانیاں کہ بلنگ سسٹم کو ڈیٹا بیس پروسیسنگ ٹول بننے کا موقع ملتا ہے:
- افقی اسکیل ایبلٹی۔ سافٹ ویئر لچکدار ہونا چاہیے - ہم بڑے ڈیٹا کے بارے میں بات کر رہے ہیں۔ معلومات کی مقدار میں اضافے کا علاج کلسٹر میں ہارڈ ویئر میں متناسب اضافے سے کیا جانا چاہیے۔
- غلطی کی رواداری۔ سنجیدہ پری پیڈ سسٹم عام طور پر ڈیفالٹ طور پر غلطی برداشت کرنے والے ہوتے ہیں: بلنگ کو کئی جغرافیائی مقامات پر ایک کلسٹر میں تعینات کیا جاتا ہے تاکہ وہ خود بخود ایک دوسرے کا بیمہ کر لیں۔ ایک یا زیادہ ناکام ہونے کی صورت میں ہڈوپ کلسٹر میں کافی کمپیوٹرز بھی ہونے چاہئیں۔
- محلہ۔ ڈیٹا کو ایک سرور پر اسٹور اور پروسیس کیا جانا چاہیے، بصورت دیگر آپ ڈیٹا کی منتقلی پر ٹوٹ سکتے ہیں۔ مقبول میپ-ریڈوس اپروچ اسکیموں میں سے ایک: ایچ ڈی ایف ایس اسٹورز، اسپارک پروسیس۔ مثالی طور پر، سافٹ ویئر کو بغیر کسی رکاوٹ کے ڈیٹا سینٹر کے بنیادی ڈھانچے میں ضم ہونا چاہیے اور ایک میں تین چیزیں کرنے کے قابل ہونا چاہیے: معلومات کو جمع کرنا، منظم کرنا اور تجزیہ کرنا۔
ٹیم
کیا، کیسے اور کس مقصد کے لیے پروگرام بگ ڈیٹا پر کارروائی کرے گا اس کا فیصلہ ٹیم کرتا ہے۔ اکثر یہ ایک شخص پر مشتمل ہوتا ہے – ایک ڈیٹا سائنسدان۔ اگرچہ، میری رائے میں، بگ ڈیٹا کے ملازمین کے کم از کم پیکیج میں پروڈکٹ مینیجر، ڈیٹا انجینئر، اور مینیجر بھی شامل ہیں۔ پہلا شخص خدمات کو سمجھتا ہے، تکنیکی زبان کا انسانی زبان میں ترجمہ کرتا ہے اور اس کے برعکس۔ ڈیٹا انجینئر Java/Scala کا استعمال کرتے ہوئے ماڈلز کو زندہ کرتا ہے اور مشین لرننگ کے تجربات کرتا ہے۔ مینیجر کوآرڈینیٹ کرتا ہے، اہداف طے کرتا ہے، اور مراحل کو کنٹرول کرتا ہے۔
مسائل
یہ BigData ٹیم کی طرف سے ہے کہ عام طور پر ڈیٹا اکٹھا کرنے اور اس پر کارروائی کرتے وقت مسائل پیدا ہوتے ہیں۔ پروگرام کو یہ بتانے کی ضرورت ہے کہ کیا جمع کرنا ہے اور اس پر کیسے عمل کرنا ہے - اس کی وضاحت کرنے کے لیے، آپ کو پہلے اسے خود سمجھنا ہوگا۔ لیکن فراہم کنندگان کے لیے چیزیں اتنی آسان نہیں ہیں۔ میں سبسکرائبر کرن کو کم کرنے کے کام کی مثال کا استعمال کرتے ہوئے مسائل کے بارے میں بات کر رہا ہوں - یہ وہی ہے جسے ٹیلی کام آپریٹرز بگ ڈیٹا کی مدد سے حل کرنے کی کوشش کر رہے ہیں۔
اھداف مقرر. اچھی طرح سے تحریری تکنیکی وضاحتیں اور اصطلاحات کی مختلف تفہیم نہ صرف فری لانسرز کے لیے صدیوں پرانی تکلیف رہی ہے۔ یہاں تک کہ "گرائے گئے" سبسکرائبرز کی بھی مختلف طریقوں سے تشریح کی جا سکتی ہے - جیسا کہ وہ لوگ جنہوں نے ایک ماہ، چھ ماہ یا ایک سال تک آپریٹر کی خدمات استعمال نہیں کی ہیں۔ اور تاریخی ڈیٹا کی بنیاد پر ایک MVP بنانے کے لیے، آپ کو چرن سے سبسکرائبرز کی واپسی کی فریکوئنسی کو سمجھنے کی ضرورت ہے - وہ لوگ جنہوں نے دوسرے آپریٹرز کو آزمایا یا شہر چھوڑ دیا اور ایک مختلف نمبر استعمال کیا۔ ایک اور اہم سوال: سبسکرائبر کے جانے کی توقع کتنی دیر پہلے فراہم کنندہ کو اس کا تعین کرکے کارروائی کرنی چاہیے؟ چھ مہینے بہت جلدی ہیں، ایک ہفتہ بہت دیر ہو چکی ہے۔
تصورات کا متبادل۔ عام طور پر، آپریٹرز فون نمبر کے ذریعے کلائنٹ کی شناخت کرتے ہیں، اس لیے یہ منطقی ہے کہ اس کا استعمال کرتے ہوئے نشانیاں اپ لوڈ کی جائیں۔ آپ کے ذاتی اکاؤنٹ یا سروس ایپلیکیشن نمبر کے بارے میں کیا خیال ہے؟ یہ فیصلہ کرنا ضروری ہے کہ کس یونٹ کو کلائنٹ کے طور پر لیا جائے تاکہ آپریٹر کے سسٹم میں ڈیٹا مختلف نہ ہو۔ ایک کلائنٹ کی قدر کا اندازہ لگانا بھی قابل اعتراض ہے - کون سا سبسکرائبر کمپنی کے لیے زیادہ قیمتی ہے، کون سا صارف برقرار رکھنے کے لیے زیادہ محنت کی ضرورت ہے، اور کون سا کسی بھی صورت میں "گر جائے گا" اور ان پر وسائل خرچ کرنے کا کوئی فائدہ نہیں۔
معلومات کی کمی. فراہم کنندہ کے تمام ملازمین بگ ڈیٹا ٹیم کو یہ بتانے کے قابل نہیں ہیں کہ خاص طور پر سبسکرائبر منتھن پر کیا اثر پڑتا ہے اور بلنگ میں ممکنہ عوامل کا حساب کیسے لگایا جاتا ہے۔ یہاں تک کہ اگر انہوں نے ان میں سے ایک کا نام - ARPU - رکھا ہے تو پتہ چلتا ہے کہ اس کا حساب مختلف طریقوں سے لگایا جا سکتا ہے: یا تو وقتاً فوقتاً کلائنٹ کی ادائیگیوں کے ذریعے، یا خودکار بلنگ چارجز کے ذریعے۔ اور کام کے عمل میں، ایک ملین دوسرے سوالات پیدا ہوتے ہیں. کیا ماڈل تمام کلائنٹس کا احاطہ کرتا ہے، کلائنٹ کو برقرار رکھنے کی قیمت کیا ہے، کیا متبادل ماڈلز کے ذریعے سوچنے کا کوئی فائدہ ہے، اور ان کلائنٹس کے ساتھ کیا کیا جائے جنہیں غلطی سے مصنوعی طور پر برقرار رکھا گیا ہو۔
مقصد ترتیب. میں نتائج کی تین قسم کی خرابیوں کے بارے میں جانتا ہوں جس کی وجہ سے آپریٹرز ڈیٹا بیس سے مایوس ہو جاتے ہیں۔
- فراہم کنندہ BigData میں سرمایہ کاری کرتا ہے، گیگا بائٹس کی معلومات پر کارروائی کرتا ہے، لیکن اسے ایسا نتیجہ ملتا ہے جو سستا حاصل کیا جا سکتا تھا۔ سادہ خاکے اور ماڈلز، قدیم تجزیات استعمال کیے جاتے ہیں۔ قیمت کئی گنا زیادہ ہے، لیکن نتیجہ ایک ہی ہے.
- آپریٹر کثیر جہتی ڈیٹا کو آؤٹ پٹ کے طور پر حاصل کرتا ہے، لیکن اسے سمجھ نہیں آتا کہ اسے کیسے استعمال کیا جائے۔ تجزیات ہیں - یہاں یہ قابل فہم اور بڑا ہے، لیکن اس کا کوئی فائدہ نہیں ہے۔ حتمی نتیجہ، جس میں "ڈیٹا پروسیسنگ" کے ہدف پر مشتمل نہیں ہو سکتا، اس کے بارے میں سوچا نہیں گیا ہے۔ یہ عمل کرنے کے لیے کافی نہیں ہے - تجزیات کو کاروباری عمل کو اپ ڈیٹ کرنے کی بنیاد بننا چاہیے۔
- بگ ڈیٹا اینالیٹکس کے استعمال میں رکاوٹیں فرسودہ کاروباری عمل اور سافٹ ویئر نئے مقاصد کے لیے غیر موزوں ہو سکتی ہیں۔ اس کا مطلب ہے کہ انہوں نے تیاری کے مرحلے میں غلطی کی - انہوں نے کام کے الگورتھم اور بگ ڈیٹا کو کام میں متعارف کرانے کے مراحل کے بارے میں نہیں سوچا۔
کیوں؟
نتائج کی بات کرتے ہوئے۔ میں بگ ڈیٹا کو استعمال کرنے اور منیٹائز کرنے کے طریقوں پر غور کروں گا جو ٹیلی کام آپریٹرز پہلے ہی استعمال کر رہے ہیں۔
فراہم کنندگان نہ صرف سبسکرائبرز کے اخراج کی پیش گوئی کرتے ہیں بلکہ بیس اسٹیشنوں پر بوجھ بھی۔
- صارفین کی نقل و حرکت، سرگرمی اور تعدد خدمات کے بارے میں معلومات کا تجزیہ کیا جاتا ہے۔ نتیجہ: بنیادی ڈھانچے کے مسائل والے علاقوں کی اصلاح اور جدید کاری کی وجہ سے اوورلوڈز کی تعداد میں کمی۔
- ٹیلی کام آپریٹرز فروخت کے پوائنٹس کھولتے وقت صارفین کے جغرافیائی محل وقوع اور ٹریفک کی کثافت کے بارے میں معلومات استعمال کرتے ہیں۔ اس طرح، بگ ڈیٹا کے تجزیات کو MTS اور VimpelCom پہلے سے ہی نئے دفاتر کے مقام کی منصوبہ بندی کے لیے استعمال کر رہے ہیں۔
- فراہم کنندگان اپنے بڑے ڈیٹا کو تیسرے فریق کو پیش کر کے منیٹائز کرتے ہیں۔ بگ ڈیٹا آپریٹرز کے اہم صارفین کمرشل بینک ہیں۔ ڈیٹا بیس کا استعمال کرتے ہوئے، وہ سبسکرائبر کے سم کارڈ کی مشکوک سرگرمیوں کی نگرانی کرتے ہیں جس سے کارڈ منسلک ہیں، اور رسک اسکورنگ، تصدیق اور نگرانی کی خدمات استعمال کرتے ہیں۔ اور 2017 میں، ماسکو حکومت نے تکنیکی اور ٹرانسپورٹ انفراسٹرکچر کی منصوبہ بندی کرنے کے لیے Tele2 سے BigData ڈیٹا پر مبنی تحریک کی حرکیات کی درخواست کی۔
- BigData تجزیات مارکیٹرز کے لیے سونے کی کان ہیں، جو اگر منتخب کریں تو ہزاروں سبسکرائبر گروپس کے لیے ذاتی نوعیت کی اشتہاری مہمات بنا سکتے ہیں۔ ٹیلی کام کمپنیاں سماجی پروفائلز، صارفین کی دلچسپیوں اور سبسکرائبرز کے طرز عمل کو جمع کرتی ہیں، اور پھر نئے صارفین کو راغب کرنے کے لیے جمع کردہ بگ ڈیٹا کا استعمال کرتی ہیں۔ لیکن بڑے پیمانے پر پروموشن اور PR منصوبہ بندی کے لیے، بلنگ میں ہمیشہ کافی فعالیت نہیں ہوتی ہے: پروگرام کو کلائنٹس کے بارے میں تفصیلی معلومات کے ساتھ ساتھ متعدد عوامل کو بھی مدنظر رکھنا چاہیے۔
اگرچہ کچھ لوگ اب بھی بگ ڈیٹا کو خالی جملہ سمجھتے ہیں، بگ فور پہلے ہی اس پر پیسہ کما رہے ہیں۔ MTS چھ ماہ میں بڑے ڈیٹا پروسیسنگ سے 14 بلین روبل کماتا ہے، اور Tele2 نے پروجیکٹس سے ہونے والی آمدنی میں ساڑھے تین گنا اضافہ کیا ہے۔ بگ ڈیٹا ایک رجحان سے ایک لازمی چیز میں تبدیل ہو رہا ہے، جس کے تحت ٹیلی کام آپریٹرز کے پورے ڈھانچے کو دوبارہ بنایا جائے گا۔
ماخذ: www.habr.com