یہ دونوں ڈیٹا سائنس بز ورڈز بہت سارے لوگوں کو الجھا دیتے ہیں۔ ڈیٹا مائننگ کو اکثر ڈیٹا نکالنے اور بازیافت کرنے کے طور پر غلط سمجھا جاتا ہے، لیکن حقیقت اس سے کہیں زیادہ پیچیدہ ہے۔ اس پوسٹ میں، آئیے ڈاٹ مائننگ کریں اور ڈیٹا مائننگ اور ڈیٹا نکالنے کے درمیان فرق معلوم کریں۔
ڈیٹا مائننگ کیا ہے؟
ڈیٹا مائننگ، بھی کہا جاتا ہے ڈیٹا بیس نالج ڈسکوری (KDD), ایک تکنیک ہے جو اکثر اعداد و شمار اور ریاضی کے طریقوں کا استعمال کرتے ہوئے بڑی مقدار میں ڈیٹا کا تجزیہ کرنے کے لیے پوشیدہ نمونوں یا رجحانات کو تلاش کرنے اور ان سے قدر نکالنے کے لیے استعمال ہوتی ہے۔
ڈیٹا مائننگ کے ساتھ کیا کیا جا سکتا ہے؟
عمل کو خودکار کرکے، ڈیٹا بیس کو براؤز کر سکتے ہیں اور چھپے ہوئے نمونوں کو مؤثر طریقے سے ننگا کر سکتے ہیں۔ کاروباری اداروں کے لیے، ڈیٹا مائننگ کا استعمال اکثر ڈیٹا میں پیٹرن اور تعلقات کو دریافت کرنے کے لیے کیا جاتا ہے تاکہ بہتر کاروباری فیصلے کرنے میں مدد مل سکے۔
درخواست کی مثالیں
1990 کی دہائی میں ڈیٹا مائننگ کے بڑے پیمانے پر ہونے کے بعد، ریٹیل، فنانس، ہیلتھ کیئر، ٹرانسپورٹیشن، ٹیلی کمیونیکیشن، ای کامرس وغیرہ سمیت مختلف صنعتوں میں کمپنیوں نے ڈیٹا کی بنیاد پر معلومات حاصل کرنے کے لیے ڈیٹا مائننگ کے طریقے استعمال کرنا شروع کر دیے۔ ڈیٹا مائننگ صارفین کو تقسیم کرنے، دھوکہ دہی کی نشاندہی کرنے، فروخت کی پیشن گوئی کرنے اور مزید بہت کچھ کرنے میں مدد کر سکتی ہے۔
- گاہک کی تقسیم
کسٹمر کے ڈیٹا کا تجزیہ کرکے اور ہدف والے صارفین کی خصوصیات کی نشاندہی کرکے، کمپنیاں انہیں ایک الگ گروپ میں گروپ کرسکتی ہیں اور ان کی ضروریات کو پورا کرنے والی خصوصی پیشکشیں فراہم کرسکتی ہیں۔ - مارکیٹ ٹوکری تجزیہ
یہ تکنیک اس نظریہ پر مبنی ہے کہ اگر آپ مصنوعات کے ایک مخصوص گروپ کو خریدتے ہیں، تو آپ کے پروڈکٹس کے مختلف گروپ خریدنے کا امکان زیادہ ہوتا ہے۔ ایک مشہور مثال: جب باپ اپنے بچوں کے لیے لنگوٹ خریدتے ہیں، تو وہ ڈائپر کے ساتھ بیئر بھی خریدتے ہیں۔ - فروخت کی پیشن گوئی
یہ مارکیٹ کی ٹوکری کے تجزیے سے ملتا جلتا معلوم ہو سکتا ہے، لیکن اس بار ڈیٹا کے تجزیے کا استعمال اس بات کا اندازہ لگانے کے لیے کیا جاتا ہے کہ کب کوئی صارف مستقبل میں دوبارہ مصنوعات خریدے گا۔ مثال کے طور پر، ایک کوچ پروٹین کا ایک کین خریدتا ہے جو 9 ماہ تک چلنا چاہیے۔ اس پروٹین کو فروخت کرنے والا اسٹور 9 ماہ میں ایک نیا ریلیز کرنے کا ارادہ رکھتا ہے تاکہ کوچ اسے دوبارہ خرید لے۔ - فراڈ کا پتہ لگانا
ڈیٹا مائننگ فراڈ کا پتہ لگانے کے لیے ماڈل بنانے میں مدد کرتی ہے۔ دھوکہ دہی اور سچائی پر مبنی رپورٹس کے نمونے جمع کرکے، کاروبار کو یہ تعین کرنے کا اختیار دیا جاتا ہے کہ کون سے لین دین مشکوک ہیں۔ - پیداوار میں پیٹرن کا پتہ لگانا
مینوفیکچرنگ انڈسٹری میں، ڈیٹا مائننگ کا استعمال پروڈکٹ آرکیٹیکچر، پروفائل، اور کسٹمر کی ضروریات کے درمیان تعلق کی نشاندہی کرکے سسٹمز کو ڈیزائن کرنے میں مدد کے لیے کیا جاتا ہے۔ ڈیٹا مائننگ مصنوعات کی نشوونما کے اوقات اور اخراجات کی بھی پیش گوئی کر سکتی ہے۔
اور یہ ڈیٹا مائننگ کے لیے استعمال کے چند کیسز ہیں۔
ڈیٹا مائننگ کے مراحل
ڈیٹا مائننگ پیٹرن کا اندازہ کرنے اور بالآخر قیمت نکالنے کے لیے ڈیٹا کو جمع کرنے، منتخب کرنے، صفائی کرنے، تبدیل کرنے اور نکالنے کا ایک جامع عمل ہے۔
عام طور پر، ڈیٹا مائننگ کے پورے عمل کو 7 مراحل میں خلاصہ کیا جا سکتا ہے:
- ڈیٹا کی صفائی
حقیقی دنیا میں، ڈیٹا کو ہمیشہ صاف اور منظم نہیں کیا جاتا ہے۔ وہ اکثر شور مچاتے ہیں، نامکمل ہوتے ہیں اور ان میں غلطیاں ہوسکتی ہیں۔ یہ یقینی بنانے کے لیے کہ ڈیٹا مائننگ کا نتیجہ درست ہے، آپ کو پہلے ڈیٹا کو صاف کرنا ہوگا۔ صفائی کے کچھ طریقوں میں گمشدہ اقدار کو بھرنا، خودکار اور دستی کنٹرول وغیرہ شامل ہیں۔ - ڈیٹا انضمام
یہ وہ مرحلہ ہے جہاں مختلف ذرائع سے ڈیٹا اکٹھا کیا جاتا ہے، یکجا اور مربوط کیا جاتا ہے۔ ذرائع ڈیٹا بیس، ٹیکسٹ فائلیں، اسپریڈ شیٹس، دستاویزات، کثیر جہتی ڈیٹاسیٹس، انٹرنیٹ وغیرہ ہو سکتے ہیں۔ - ڈیٹا سیمپلنگ
عام طور پر، ڈیٹا مائننگ میں تمام مربوط ڈیٹا کی ضرورت نہیں ہوتی ہے۔ ڈیٹا سیمپلنگ وہ مرحلہ ہے جس میں صرف مفید ڈیٹا کو منتخب کیا جاتا ہے اور بڑے ڈیٹا بیس سے نکالا جاتا ہے۔ - ڈیٹا کی تبدیلی
ڈیٹا منتخب ہونے کے بعد، اسے کان کنی کے لیے موزوں شکلوں میں تبدیل کر دیا جاتا ہے۔ اس عمل میں نارملائزیشن، ایگریگیشن، جنرلائزیشن وغیرہ شامل ہیں۔ - اعداد و شمار کوجھنا
یہاں ڈیٹا مائننگ کا سب سے اہم حصہ آتا ہے - ان میں پیٹرن تلاش کرنے کے لیے ذہین طریقے استعمال کرنا۔ اس عمل میں رجعت، درجہ بندی، پیشین گوئی، کلسٹرنگ، ایسوسی ایشن لرننگ، اور بہت کچھ شامل ہے۔ - ماڈل کی تشخیص
اس قدم کا مقصد ممکنہ طور پر مفید، سمجھنے میں آسان نمونوں کے ساتھ ساتھ ایسے نمونوں کی شناخت کرنا ہے جو مفروضوں کی حمایت کرتے ہیں۔ - علم کی نمائندگی
آخری مرحلے پر، حاصل کردہ معلومات کو علمی نمائندگی اور تصور کے طریقوں کا استعمال کرتے ہوئے پرکشش انداز میں پیش کیا جاتا ہے۔
ڈیٹا مائننگ کے نقصانات
- وقت اور محنت کی بڑی سرمایہ کاری
چونکہ ڈیٹا مائننگ ایک طویل اور پیچیدہ عمل ہے، اس کے لیے پیداواری اور ہنر مند لوگوں سے بہت زیادہ کام کی ضرورت ہوتی ہے۔ ڈیٹا سائنسدان طاقتور ڈیٹا مائننگ ٹولز استعمال کر سکتے ہیں، لیکن انہیں ڈیٹا تیار کرنے اور نتائج کو سمجھنے کے لیے ماہرین کی ضرورت ہوتی ہے۔ نتیجے کے طور پر، تمام معلومات پر کارروائی کرنے میں کچھ وقت لگ سکتا ہے۔ - ڈیٹا پرائیویسی اور سیکیورٹی
چونکہ ڈیٹا مائننگ مارکیٹ کے طریقوں کے ذریعے صارفین کی معلومات جمع کرتی ہے، اس سے صارف کی رازداری کی خلاف ورزی ہو سکتی ہے۔ اس کے علاوہ، ہیکرز ڈیٹا مائننگ سسٹم میں محفوظ ڈیٹا حاصل کر سکتے ہیں۔ اس سے صارفین کے ڈیٹا کی حفاظت کو خطرہ لاحق ہے۔ اگر چوری شدہ ڈیٹا کا غلط استعمال کیا جائے تو یہ آسانی سے دوسروں کو نقصان پہنچا سکتا ہے۔
اوپر ڈیٹا مائننگ کا مختصر تعارف ہے۔ جیسا کہ میں نے پہلے ہی ذکر کیا ہے، ڈیٹا مائننگ ڈیٹا اکٹھا کرنے اور انٹیگریٹ کرنے کے عمل پر مشتمل ہے، جس میں ڈیٹا نکالنے کا عمل (ڈیٹا نکالنا) شامل ہے۔ اس صورت میں، یہ کہنا محفوظ ہے کہ ڈیٹا نکالنا ڈیٹا مائننگ کے طویل عمل کا حصہ ہو سکتا ہے۔
ڈیٹا نکالنا کیا ہے؟
"ویب ڈیٹا مائننگ" اور "ویب سکریپنگ" کے نام سے بھی جانا جاتا ہے، یہ عمل (عام طور پر غیر ساختہ یا ناقص ڈھانچہ والے) ڈیٹا کے ذرائع سے مرکزی جگہوں پر ڈیٹا نکالنے اور ذخیرہ کرنے یا مزید پروسیسنگ کے لیے ایک جگہ پر سنٹرلائزیشن کا عمل ہے۔ خاص طور پر، غیر ساختہ ڈیٹا کے ذرائع میں ویب صفحات، ای میل، دستاویزات، پی ڈی ایف فائلیں، اسکین شدہ ٹیکسٹ، مین فریم رپورٹس، ریل فائلیں، اعلانات وغیرہ شامل ہیں۔ مرکزی ذخیرہ مقامی، کلاؤڈ یا ہائبرڈ ہو سکتا ہے۔ یہ یاد رکھنا ضروری ہے کہ ڈیٹا نکالنے میں پروسیسنگ یا دیگر تجزیہ شامل نہیں ہوتا ہے جو بعد میں ہو سکتا ہے۔
ڈیٹا نکالنے کے ساتھ کیا کیا جا سکتا ہے؟
بنیادی طور پر، ڈیٹا نکالنے کے مقاصد 3 زمروں میں آتے ہیں۔
- محفوظ شدہ دستاویزات۔
ڈیٹا نکالنا فزیکل فارمیٹس جیسے کتابوں، اخبارات، رسیدوں سے ڈیٹا کو ڈیجیٹل فارمیٹس میں تبدیل کر سکتا ہے جیسے کہ ڈیٹا بیس کے لیے اسٹوریج یا بیک اپ۔ - ڈیٹا فارمیٹ کو تبدیل کرنا
جب آپ اپنی موجودہ سائٹ سے ڈیٹا کو ڈیولپمنٹ کے تحت کسی نئی سائٹ پر منتقل کرنا چاہتے ہیں، تو آپ اسے نکال کر اپنی سائٹ سے ڈیٹا اکٹھا کر سکتے ہیں۔ - х хых
اس میں بصیرت حاصل کرنے کے لیے نکالے گئے ڈیٹا کا مزید تجزیہ کرنا عام ہے۔ یہ ڈیٹا مائننگ کی طرح لگ سکتا ہے، لیکن ذہن میں رکھیں کہ ڈیٹا مائننگ ڈیٹا مائننگ کا مقصد ہے، اس کا حصہ نہیں۔ مزید یہ کہ ڈیٹا کا تجزیہ مختلف طریقے سے کیا جاتا ہے۔ ایک مثال یہ ہے کہ آن لائن اسٹور مالکان حقیقی وقت میں حریف کی حکمت عملیوں کی نگرانی کے لیے ایمیزون جیسی ای کامرس سائٹس سے پروڈکٹ کی معلومات حاصل کرتے ہیں۔ ڈیٹا مائننگ کی طرح، ڈیٹا نکالنا بہت سے فوائد کے ساتھ ایک خودکار عمل ہے۔ ماضی میں لوگ ڈیٹا کو ایک جگہ سے دوسری جگہ دستی طور پر کاپی اور پیسٹ کرتے تھے جس میں بہت وقت لگتا تھا۔ ڈیٹا نکالنا جمع کرنے کی رفتار بڑھاتا ہے اور نکالے گئے ڈیٹا کی درستگی کو بہت بہتر بناتا ہے۔
ڈیٹا نکالنے کے استعمال کی کچھ مثالیں۔
ڈیٹا مائننگ کی طرح، ڈیٹا مائننگ مختلف صنعتوں میں بڑے پیمانے پر استعمال ہوتی ہے۔ ای کامرس پرائس مانیٹرنگ کے علاوہ، ڈیٹا مائننگ آپ کی اپنی تحقیق، خبروں کے مجموعے، مارکیٹنگ، رئیل اسٹیٹ، سفر اور سیاحت، مشاورت، مالیات اور مزید بہت کچھ میں مدد کر سکتی ہے۔
- لیڈ جنریشن
کمپنیاں ڈائریکٹریز سے ڈیٹا نکال سکتی ہیں: Yelp، Crunchbase، Yellowpages اور کاروبار کی ترقی کے لیے لیڈز تیار کر سکتی ہیں۔ Yellowpages سے ڈیٹا نکالنے کا طریقہ سیکھنے کے لیے آپ نیچے دی گئی ویڈیو دیکھ سکتے ہیں۔ . - مواد اور خبروں کا مجموعہ
مواد جمع کرنے والی ویب سائٹس متعدد ذرائع سے باقاعدہ ڈیٹا فیڈ حاصل کر سکتی ہیں اور اپنی سائٹس کو تازہ ترین رکھ سکتی ہیں۔ - جذبات کا تجزیہ
انسٹاگرام اور ٹویٹر جیسے سوشل نیٹ ورکس سے تجزیے، تبصرے اور تعریفیں نکالنے کے بعد، پیشہ ور افراد بنیادی رویوں کا تجزیہ کر سکتے ہیں اور اس بارے میں بصیرت حاصل کر سکتے ہیں کہ کسی برانڈ، پروڈکٹ یا رجحان کو کیسے سمجھا جاتا ہے۔
ڈیٹا نکالنے کے اقدامات
ڈیٹا نکالنا ای ٹی ایل (ایکسٹریکٹ، ٹرانسفارم، لوڈ: ایکسٹریکٹ، ٹرانسفارم، لوڈ) اور ای ایل ٹی (ایکسٹریکٹ، لوڈ، اینڈ ٹرانسفارم) کا پہلا مرحلہ ہے۔ ETL اور ELT خود ایک مکمل ڈیٹا انضمام کی حکمت عملی کا حصہ ہیں۔ دوسرے الفاظ میں، ڈیٹا نکالنا ان کے نکالنے کا حصہ ہوسکتا ہے۔
نکالنا، تبدیل کرنا، لوڈ کرنا
اگرچہ ڈیٹا مائننگ بڑی مقدار میں ڈیٹا سے معلومات نکالنے کے بارے میں ہے، ڈیٹا نکالنا بہت مختصر اور آسان عمل ہے۔ اسے تین مراحل تک کم کیا جا سکتا ہے:
- ڈیٹا سورس کا انتخاب
وہ ذریعہ منتخب کریں جس سے آپ ڈیٹا نکالنا چاہتے ہیں، جیسے کہ ویب سائٹ۔ - ڈیٹا اکٹھا کرنا
سائٹ کو "GET" کی درخواست بھیجیں اور پروگرامنگ زبانوں جیسے Python، PHP، R، Ruby، وغیرہ کا استعمال کرتے ہوئے نتیجے میں آنے والے HTML دستاویز کو پارس کریں۔ - ڈیٹا اسٹوریج
مستقبل کے استعمال کے لیے ڈیٹا کو اپنے مقامی ڈیٹا بیس یا کلاؤڈ اسٹوریج میں محفوظ کریں۔ اگر آپ ایک تجربہ کار پروگرامر ہیں جو ڈیٹا نکالنا چاہتے ہیں، تو مندرجہ بالا اقدامات آپ کو آسان لگ سکتے ہیں۔ تاہم، اگر آپ پروگرامر نہیں ہیں، تو ایک شارٹ کٹ ہے - جیسے ڈیٹا مائننگ ٹولز کا استعمال کریں۔ . ڈیٹا نکالنے کے ٹولز، بالکل ڈیٹا مائننگ ٹولز کی طرح، توانائی کی بچت اور ڈیٹا پروسیسنگ کو ہر ایک کے لیے آسان بنانے کے لیے بنائے گئے ہیں۔ یہ ٹولز نہ صرف اقتصادی بلکہ ابتدائی دوستانہ بھی ہیں۔ وہ صارفین کو منٹوں میں ڈیٹا اکٹھا کرنے، اسے کلاؤڈ میں اسٹور کرنے، اور اسے کئی فارمیٹس میں ایکسپورٹ کرنے کی اجازت دیتے ہیں: Excel، CSV، HTML، JSON، یا API کے ذریعے سائٹ کے ڈیٹا بیس میں۔
ڈیٹا نکالنے کے نقصانات
- سرور کی ناکامی
بڑے پیمانے پر ڈیٹا نکالتے وقت، ٹارگٹ سائٹ کا ویب سرور اوور لوڈ ہو سکتا ہے، جو سرور کریش کا باعث بن سکتا ہے۔ اس سے سائٹ کے مالک کے مفادات کو نقصان پہنچے گا۔ - آئی پی کی طرف سے پابندی
جب کوئی شخص کثرت سے ڈیٹا اکٹھا کرتا ہے تو ویب سائٹس ان کے IP ایڈریس کو بلاک کر سکتی ہیں۔ ایک وسیلہ کسی IP ایڈریس پر مکمل پابندی لگا سکتا ہے یا ڈیٹا کو نامکمل بنا کر رسائی کو محدود کر سکتا ہے۔ ڈیٹا کو بازیافت کرنے اور بلاک کرنے سے بچنے کے لیے، آپ کو اسے معتدل رفتار سے کرنے کی ضرورت ہے اور کچھ اینٹی بلاکنگ تکنیکوں کو لاگو کرنا ہوگا۔ - قانون سے پریشانیاں
جب قانونی ہونے کی بات آتی ہے تو ویب سے ڈیٹا نکالنا گرے ایریا میں آتا ہے۔ بڑی سائٹس جیسے Linkedin اور Facebook اپنے استعمال کی شرائط میں واضح طور پر بتاتی ہیں کہ ڈیٹا کا کوئی بھی خودکار نکالنا ممنوع ہے۔ بوٹ کی سرگرمیوں کی وجہ سے کمپنیوں کے درمیان بہت سے مقدمے ہوئے ہیں۔
ڈیٹا مائننگ اور ڈیٹا نکالنے کے درمیان کلیدی فرق
- ڈیٹا مائننگ کو ڈیٹا بیس میں علم کی دریافت، علم نکالنا، ڈیٹا/پیٹرن کا تجزیہ، معلومات اکٹھا کرنا بھی کہا جاتا ہے۔ ڈیٹا نکالنے کا استعمال ویب ڈیٹا نکالنے، ویب پیج اسکیننگ، ڈیٹا اکٹھا کرنے اور اسی طرح کے ساتھ ایک دوسرے کے ساتھ کیا جاتا ہے۔
- ڈیٹا مائننگ ریسرچ زیادہ تر سٹرکچرڈ ڈیٹا پر مبنی ہوتی ہے جبکہ ڈیٹا مائننگ عام طور پر غیر ساختہ یا ناقص ساختہ ذرائع سے حاصل ہوتی ہے۔
- ڈیٹا مائننگ کا مقصد ڈیٹا کو تجزیہ کے لیے زیادہ مفید بنانا ہے۔ ڈیٹا نکالنا ڈیٹا کو ایک جگہ پر جمع کرنا ہے جہاں اسے ذخیرہ یا پروسیس کیا جا سکتا ہے۔
- ڈیٹا مائننگ میں تجزیہ پیٹرن یا رجحانات کی شناخت کے لیے ریاضیاتی طریقوں پر مبنی ہے۔ ڈیٹا نکالنا پروگرامنگ زبانوں یا ڈیٹا نکالنے کے ٹولز پر مبنی ہے تاکہ ذرائع کو نظرانداز کیا جاسکے۔
- ڈیٹا مائننگ کا مقصد ایسے حقائق کو تلاش کرنا ہے جو پہلے معلوم نہیں تھے یا نظر انداز کیے گئے تھے، جبکہ ڈیٹا نکالنا موجودہ معلومات سے متعلق ہے۔
- ڈیٹا مائننگ زیادہ پیچیدہ ہے اور لوگوں کو تربیت دینے میں بڑی سرمایہ کاری کی ضرورت ہے۔ صحیح ٹول کے ساتھ ڈیٹا نکالنا انتہائی آسان اور لاگت سے موثر ہو سکتا ہے۔
ہم ابتدائی افراد کو ڈیٹا میں الجھن میں نہ پڑنے میں مدد کرتے ہیں۔ خاص طور پر ہابراوچنس کے لیے، ہم نے ایک پروموشنل کوڈ بنایا ہے۔ ایچ اے بی آربینر پر دی گئی رعایت پر 10% اضافی رعایت دینا۔
مزید کورسز
نمایاں مضامین
ماخذ: www.habr.com