آج صرف وہ لوگ جن کا بیرونی دنیا سے کوئی بیرونی رابطہ نہیں ہے انہوں نے بگ ڈیٹا کے بارے میں نہیں سنا ہے۔ Habré پر، بگ ڈیٹا اینالیٹکس اور متعلقہ موضوعات کا موضوع مقبول ہے۔ لیکن غیر ماہرین کے لیے جو خود کو بگ ڈیٹا کے مطالعہ کے لیے وقف کرنا چاہتے ہیں، یہ ہمیشہ واضح نہیں ہوتا ہے کہ اس علاقے کے کیا امکانات ہیں، جہاں بگ ڈیٹا کے تجزیات کو لاگو کیا جا سکتا ہے اور ایک اچھا تجزیہ کار کس چیز پر اعتماد کر سکتا ہے۔ آئیے اسے معلوم کرنے کی کوشش کرتے ہیں۔
انسانوں کی طرف سے پیدا کی گئی معلومات کی مقدار ہر سال بڑھ رہی ہے۔ 2020 تک، ذخیرہ شدہ ڈیٹا کی مقدار بڑھ کر 40-44 زیٹا بائٹس (1 ZB ~ 1 بلین جی بی) ہو جائے گی۔ 2025 تک - تقریباً 400 زیٹا بائٹس تک۔ اس کے مطابق، جدید ٹیکنالوجی کا استعمال کرتے ہوئے ساختی اور غیر ساختہ ڈیٹا کا انتظام ایک ایسا شعبہ ہے جو تیزی سے اہم ہوتا جا رہا ہے۔ دونوں انفرادی کمپنیاں اور پورے ملک بڑے ڈیٹا میں دلچسپی رکھتے ہیں۔
ویسے، یہ انفارمیشن بوم اور انسانی پیدا کردہ ڈیٹا کو پروسیس کرنے کے طریقوں پر بحث کے دوران تھا کہ بگ ڈیٹا کی اصطلاح پیدا ہوئی۔ خیال کیا جاتا ہے کہ اسے پہلی بار 2008 میں جریدے نیچر کے ایڈیٹر کلفورڈ لنچ نے تجویز کیا تھا۔
اس کے بعد سے، بگ ڈیٹا مارکیٹ میں سالانہ دسیوں فیصد اضافہ ہو رہا ہے۔ اور ماہرین کے مطابق یہ رجحان جاری رہے گا۔ اس طرح، کمپنی کے اندازوں کے مطابق 2021 میں، کل عالمی بڑی ڈیٹا اینالیٹکس مارکیٹ بڑھ کر 67,2 بلین ڈالر ہو جائے گی۔ سالانہ ترقی تقریباً 35,9 فیصد ہو گی۔
ہمیں بڑے ڈیٹا اینالیٹکس کی ضرورت کیوں ہے؟
یہ آپ کو منظم یا غیر ساختہ ڈیٹا سیٹس سے انتہائی قیمتی معلومات کی شناخت کرنے کی اجازت دیتا ہے۔ اس کی بدولت، ایک کاروبار، مثال کے طور پر، رجحانات کی شناخت کر سکتا ہے، پیداوار کی کارکردگی کی پیشن گوئی کر سکتا ہے اور اپنی لاگت کو بہتر بنا سکتا ہے۔ یہ واضح ہے کہ اخراجات کو کم کرنے کے لیے کمپنیاں جدید ترین حل کو لاگو کرنے کے لیے تیار ہیں۔
ٹیکنالوجیز اور تجزیہ کے طریقے جو بگ ڈیٹا کا تجزیہ کرنے کے لیے استعمال کیے جاتے ہیں:
- اعداد و شمار کوجھنا؛
- کراؤڈ سورسنگ
- ڈیٹا مکسنگ اور انضمام؛
- مشین لرننگ؛
- مصنوعی عصبی نیٹ ورک؛
- پیٹرن کی شناخت؛
- پیشن گوئی تجزیات؛
- نقلی ماڈلنگ؛
- مقامی تجزیہ؛
- شماریاتی تجزیہ؛
- تجزیاتی ڈیٹا کا تصور
دنیا میں بڑے ڈیٹا کے تجزیات
بگ ڈیٹا اینالیٹکس اب دنیا بھر میں 50% سے زیادہ کمپنیاں استعمال کرتی ہیں۔ اس حقیقت کے باوجود کہ 2015 میں یہ تعداد صرف 17 فیصد تھی۔ بگ ڈیٹا سب سے زیادہ فعال طور پر ٹیلی کمیونیکیشن اور مالیاتی خدمات کے شعبوں میں کام کرنے والی کمپنیاں استعمال کرتی ہیں۔ پھر ایسی کمپنیاں ہیں جو ہیلتھ کیئر ٹیکنالوجی میں مہارت رکھتی ہیں۔ تعلیمی کمپنیوں میں بگ ڈیٹا اینالیٹکس کا کم سے کم استعمال: زیادہ تر معاملات میں، اس شعبے کے نمائندوں نے مستقبل قریب میں ٹیکنالوجی استعمال کرنے کے اپنے ارادے کا اعلان کیا۔
ریاستہائے متحدہ میں، بگ ڈیٹا اینالیٹکس سب سے زیادہ فعال طور پر استعمال کیا جاتا ہے: مختلف شعبوں کی 55% سے زیادہ کمپنیاں اس ٹیکنالوجی کے ساتھ کام کرتی ہیں۔ یورپ اور ایشیا میں، بڑے ڈیٹا اینالیٹکس کی مانگ زیادہ کم نہیں ہے - تقریباً 53%۔
روس میں کیا ہے؟
IDC تجزیہ کاروں کے مطابق،. وسطی اور مشرقی یورپ میں اس طرح کے حل کے لئے مارکیٹ کی ترقی کافی فعال ہے، یہ اعداد و شمار ہر سال 11 فیصد بڑھتا ہے. 2022 تک، یہ مقداری لحاظ سے 5,4 بلین ڈالر تک پہنچ جائے گا۔
بہت سے طریقوں سے، مارکیٹ کی یہ تیز رفتار ترقی روس میں اس علاقے کی ترقی کی وجہ سے ہے. 2018 میں، روسی فیڈریشن میں متعلقہ حلوں کی فروخت سے حاصل ہونے والی آمدنی پورے خطے میں بگ ڈیٹا پروسیسنگ ٹیکنالوجیز میں ہونے والی کل سرمایہ کاری کا 40% تھی۔
روسی فیڈریشن میں، بینکنگ اور پبلک سیکٹرز، ٹیلی کمیونیکیشن انڈسٹری اور انڈسٹری کی کمپنیاں بگ ڈیٹا پروسیسنگ پر سب سے زیادہ خرچ کرتی ہیں۔
ایک بگ ڈیٹا اینالسٹ کیا کرتا ہے اور وہ روس میں کتنا کماتا ہے؟
ایک بڑا ڈیٹا تجزیہ کار نیم ساختہ اور غیر ساختہ دونوں طرح کی معلومات کی وسیع مقدار کی جانچ کرنے کا ذمہ دار ہے۔ بینکنگ تنظیموں کے لیے یہ ٹرانزیکشنز ہیں، آپریٹرز کے لیے - کالز اور ٹریفک، ریٹیل میں - کسٹمر کے دورے اور خریداری۔ جیسا کہ اوپر ذکر کیا گیا ہے، بگ ڈیٹا کا تجزیہ ہمیں "خام معلومات کی تاریخ" میں مختلف عوامل کے درمیان روابط تلاش کرنے کی اجازت دیتا ہے، مثال کے طور پر، پیداوار کا عمل یا کیمیائی رد عمل۔ تجزیہ کے اعداد و شمار کی بنیاد پر، مینوفیکچرنگ سے لے کر ادویات تک - مختلف شعبوں میں نئے طریقے اور حل تیار کیے جاتے ہیں۔
بگ ڈیٹا تجزیہ کار کے لیے ضروری مہارتیں:
- اس علاقے کی خصوصیات کو تیزی سے سمجھنے کی صلاحیت جس کے لیے تجزیہ کیا جا رہا ہے، اور اپنے آپ کو مطلوبہ علاقے کے پہلوؤں میں غرق کرنے کی صلاحیت۔ یہ خوردہ، تیل اور گیس کی صنعت، ادویات وغیرہ ہو سکتی ہے۔
- اعداد و شمار کے اعداد و شمار کے تجزیہ کے طریقوں کا علم، ریاضیاتی ماڈلز کی تعمیر (نیورل نیٹ ورکس، بایسیئن نیٹ ورکس، کلسٹرنگ، ریگریشن، فیکٹر، تغیر اور ارتباط کے تجزیے وغیرہ)۔
- مختلف ذرائع سے ڈیٹا نکالنے، تجزیہ کے لیے اسے تبدیل کرنے، اور اسے تجزیاتی ڈیٹا بیس میں لوڈ کرنے کے قابل ہوں۔
- SQL میں ماہر۔
- تکنیکی دستاویزات کو آسانی سے پڑھنے کے لیے کافی سطح پر انگریزی کا علم۔
- ازگر کا علم (کم از کم بنیادی باتیں)، باش (کام کے دوران اس کے بغیر کرنا بہت مشکل ہے)، علاوہ ازیں جاوا اور اسکالا کی بنیادی باتیں جاننا ضروری ہے (اسپارک کے فعال استعمال کے لیے ضروری ہے، بڑے ڈیٹا کے ساتھ کام کرنے کے لیے سب سے مشہور فریم ورک)۔
- ہڈوپ کے ساتھ کام کرنے کی صلاحیت۔
ٹھیک ہے، ایک بگ ڈیٹا تجزیہ کار کتنا کماتا ہے؟
بگ ڈیٹا ماہرین اب سپلائی کی کمی میں ہیں؛ طلب رسد سے زیادہ ہے۔ اس کی وجہ یہ ہے کہ کاروبار ایک سمجھ میں آ رہا ہے: ترقی کے لیے نئی ٹیکنالوجیز کی ضرورت ہوتی ہے، اور ٹیکنالوجی کی ترقی کے لیے ماہرین کی ضرورت ہوتی ہے۔
لہذا، امریکہ میں ڈیٹا سائنسدان اور ڈیٹا تجزیات بھرتی ایجنسی Glassdoor کے مطابق. امریکہ میں ان ماہرین کی اوسط تنخواہ $100 ہزار سالانہ سے شروع ہوتی ہے۔
روس میں مشین لرننگ کے ماہرین 130 سے 300 ہزار روبل ماہانہ وصول کرتے ہیں، بڑے ڈیٹا تجزیہ کاروں کو - 73 سے 200 ہزار روبل ماہانہ۔ یہ سب تجربہ اور قابلیت پر منحصر ہے۔ بلاشبہ، کم تنخواہوں والی آسامیاں ہیں، اور کچھ زیادہ کے ساتھ۔ ماسکو اور سینٹ پیٹرزبرگ میں بڑے ڈیٹا تجزیہ کاروں کی زیادہ سے زیادہ مانگ۔ ماسکو، جو کہ حیرت کی بات نہیں ہے، تقریباً 50% فعال آسامیوں پر مشتمل ہے (hh.ru کے مطابق)۔ منسک اور کیف میں بہت کم مانگ ہے۔ یہ بات قابل غور ہے کہ کچھ آسامیاں لچکدار گھنٹے اور دور دراز کے کام کی پیشکش کرتی ہیں۔ لیکن عام طور پر، کمپنیوں کو ایسے ماہرین کی ضرورت ہوتی ہے جو دفتر میں کام کرتے ہیں۔
وقت گزرنے کے ساتھ، ہم بگ ڈیٹا تجزیہ کاروں اور متعلقہ خصوصیات کے نمائندوں کی مانگ میں اضافے کی توقع کر سکتے ہیں۔ جیسا کہ اوپر بتایا گیا ہے کہ ٹیکنالوجی کے شعبے میں اہلکاروں کی کمی کو منسوخ نہیں کیا گیا ہے۔ لیکن، یقیناً، ایک بڑا ڈیٹا تجزیہ کار بننے کے لیے، آپ کو اوپر دی گئی مہارتوں اور اضافی مہارتوں کو بہتر بناتے ہوئے، مطالعہ اور کام کرنے کی ضرورت ہے۔ بگ ڈیٹا تجزیہ کار کا راستہ شروع کرنے کے مواقع میں سے ایک ہے۔ اور بڑے ڈیٹا کے ساتھ کام کرنے میں اپنا ہاتھ آزمائیں۔
ماخذ: www.habr.com