اهي ٻه ڊيٽا سائنس بز لفظ ڪيترن ئي ماڻهن کي پريشان ڪن ٿا. ڊيٽا مائننگ اڪثر ڪري غلط سمجھيو ويندو آهي ڊيٽا کي ڪڍڻ ۽ ٻيهر حاصل ڪرڻ، پر حقيقت وڌيڪ پيچيده آهي. هن پوسٽ ۾، اچو ته ڊٽ مائننگ ۽ ڄاڻو ڊيٽا مائننگ ۽ ڊيٽا ڪڍڻ جي وچ ۾ فرق.
ڊيٽا مائننگ ڇا آهي؟
ڊيٽا مائننگ، پڻ سڏيو ويندو آهي ڊيٽابيس علم جي دريافت (KDD), هڪ ٽيڪنڪ آهي اڪثر وڏي ڊيٽا سيٽن جو تجزيو ڪرڻ لاءِ شمارياتي ۽ رياضياتي طريقا استعمال ڪندي لڪيل نمونن يا رجحانن کي ڳولڻ ۽ انهن مان قدر ڪڍڻ لاءِ.
ڊيٽا مائننگ سان ڇا ٿي سگهي ٿو؟
عمل کي خودڪار ڪندي، ڊيٽابيس کي براؤز ڪري سگهي ٿو ۽ مؤثر طريقي سان لڪيل نمونن کي ظاهر ڪري ٿو. ڪاروبار لاءِ، ڊيٽا مائننگ اڪثر استعمال ڪئي ويندي آهي ڊيٽا ۾ نمونن ۽ رشتن کي ڳولڻ لاءِ ته جيئن بهتر ڪاروباري فيصلا ڪرڻ ۾ مدد ڪن.
ايپليڪيشن جا مثال
1990 جي ڏهاڪي ۾ ڊيٽا مائننگ جي وڏي پيماني تي ٿيڻ کان پوء، ڪمپنيون صنعتن جي وسيع رينج ۾، پرچون، فنانس، صحت جي سار سنڀار، ٽرانسپورٽ، ٽيليڪميونيڪيشن، اي ڪامرس وغيره وغيره، ڊيٽا جي بنياد تي معلومات حاصل ڪرڻ لاء ڊيٽا مائننگ طريقن کي استعمال ڪرڻ شروع ڪيو. ڊيٽا مائننگ گراهڪن کي ڀاڱي ۾ مدد ڪري سگهي ٿي، دوکي جي سڃاڻپ، وڪرو جي اڳڪٿي، ۽ وڌيڪ.
- ڪسٽمر جي تقسيم
ڪسٽمر ڊيٽا جي تجزيو ڪرڻ ۽ ٽارگيٽ گراهڪن جي خاصيتن جي نشاندهي ڪندي، ڪمپنيون انهن کي هڪ الڳ گروپ ۾ گروپ ڪري سگهن ٿيون ۽ خاص آڇون مهيا ڪن ٿيون جيڪي انهن جي ضرورتن کي پورا ڪن ٿيون. - مارڪيٽ ٽوڪري جو تجزيو
هي ٽيڪنڪ ان نظريي تي مبني آهي ته جيڪڏهن توهان شين جي هڪ خاص گروهه خريد ڪندا آهيو، توهان کي وڌيڪ امڪان آهي ته توهان شين جي مختلف گروپ خريد ڪندا. ھڪڙو مشهور مثال: جڏھن پيء ڏاڏا پنھنجي ٻارن لاء لنگر خريد ڪندا آھن، اھي ڊاپر سان گڏ بيئر خريد ڪندا آھن. - وڪرو جي اڳڪٿي
اهو لڳي سگھي ٿو مارڪيٽ ٽوڪري جي تجزيي وانگر، پر هن ڀيري ڊيٽا جو تجزيو استعمال ڪيو ويندو آهي اڳڪٿي ڪرڻ لاءِ جڏهن هڪ گراهڪ مستقبل ۾ هڪ پراڊڪٽ ٻيهر خريد ڪندو. مثال طور، هڪ ڪوچ خريد ڪري ٿو پروٽين جو هڪ کنڊ جيڪو 9 مهينن تائين ختم ٿيڻ گهرجي. اسٽور جيڪو هن پروٽين کي وڪرو ڪري ٿو اهو 9 مهينن ۾ هڪ نئون جاري ڪرڻ جو ارادو رکي ٿو ته جيئن ڪوچ ان کي ٻيهر خريد ڪري. - فريب جي نشاندهي
ڊيٽا مائننگ فراڊ جي ڳولا لاءِ ماڊل ٺاهڻ ۾ مدد ڪري ٿي. جعلي ۽ سچائي رپورٽن جا نمونا گڏ ڪرڻ سان، ڪاروبار کي بااختيار بڻايو ويو آهي ته اهو طئي ڪرڻ لاءِ ته ڪهڙا ٽرانزيڪشن مشڪوڪ آهن. - پيداوار ۾ نموني جي سڃاڻپ
پيداوار جي صنعت ۾، ڊيٽا مائننگ استعمال ڪيو ويندو آهي ڊيزائن سسٽم جي مدد ڪرڻ لاءِ پراڊڪٽ جي فن تعمير، پروفائل، ۽ گراهڪ جي ضرورتن جي وچ ۾ تعلق جي سڃاڻپ ڪندي. ڊيٽا مائننگ پڻ پيداوار جي ترقي جي وقت ۽ قيمتن جي اڳڪٿي ڪري سگهي ٿي.
۽ اهي صرف چند استعمال ڪيس آهن ڊيٽا مائننگ لاءِ.
ڊيٽا مائننگ جا مرحلا
ڊيٽا مائننگ هڪ مجموعي عمل آهي ڊيٽا کي گڏ ڪرڻ، چونڊڻ، صاف ڪرڻ، تبديل ڪرڻ، ۽ ڪڍڻ لاءِ نمونن جو جائزو وٺڻ لاءِ ۽، آخرڪار، قدر ڪڍڻ.
عام طور تي، سڄي ڊيٽا مائننگ جي عمل کي 7 مرحلن ۾ اختصار ڪري سگهجي ٿو:
- ڊيٽا صاف ڪرڻ
حقيقي دنيا ۾، ڊيٽا هميشه صاف ۽ منظم نه آهي. اهي اڪثر شور، نامڪمل آهن، ۽ شايد غلطيون هجن. پڪ ڪرڻ لاءِ ڊيٽا مائننگ جو نتيجو صحيح آهي، توهان کي پهرين ڊيٽا کي صاف ڪرڻ جي ضرورت آهي. ڪجھ صفائي جي طريقن ۾ شامل آھن گم ٿيل قدرن ۾ ڀرڻ، خودڪار ۽ دستي ڪنٽرول، وغيره. - ڊيٽا انضمام
هي اهو مرحلو آهي جتي مختلف ذريعن مان ڊيٽا ڪڍيا ويندا آهن، گڏيل ۽ ضم ٿي ويندا آهن. ذريعا ٿي سگھن ٿا ڊيٽابيس، ٽيڪسٽ فائلون، اسپريڊ شيٽ، دستاويز، گھڻائي ڊيٽا سيٽ، انٽرنيٽ، وغيره. - ڊيٽا نموني
عام طور تي، ڊيٽا مائننگ ۾ سڀني مربوط ڊيٽا جي ضرورت ناهي. ڊيٽا جي نموني جو مرحلو آهي جنهن ۾ صرف مفيد ڊيٽا چونڊيو ويندو آهي ۽ وڏي ڊيٽابيس مان ڪڍيو ويندو آهي. - ڊيٽا جي تبديلي
هڪ دفعو ڊيٽا کي چونڊيو ويندو آهي، اهو کنن لاء مناسب فارم ۾ تبديل ڪيو ويندو آهي. ھن عمل ۾ عام ڪرڻ، مجموعي ڪرڻ، عام ڪرڻ، وغيره شامل آھن. - ڊيٽا مائننگ
هتي ڊيٽا مائننگ جو سڀ کان اهم حصو اچي ٿو - انهن ۾ نمونن کي ڳولڻ لاء ذهين طريقن کي استعمال ڪندي. عمل ۾ شامل آهي رجعت، درجه بندي، اڳڪٿي، ڪلسترنگ، ايسوسيئيشن سکيا، ۽ وڌيڪ. - ماڊل جي تشخيص
هن قدم جو مقصد ممڪن طور تي مفيد، آسان سمجھڻ واري نمونن جي سڃاڻپ ڪرڻ آهي، انهي سان گڏ نمونن جيڪي فرضن جي حمايت ڪن ٿا. - علم جي نمائندگي
آخري مرحلي تي، حاصل ڪيل معلومات کي علم جي نمائندگي ۽ تصور جي طريقن کي استعمال ڪندي هڪ پرڪشش انداز ۾ پيش ڪيو ويندو آهي.
ڊيٽا مائننگ جا نقصان
- وقت ۽ محنت جي وڏي سيڙپڪاري
جيئن ته ڊيٽا مائننگ هڪ ڊگهو ۽ پيچيده عمل آهي، ان کي پيداواري ۽ ماهر ماڻهن کان تمام گهڻو ڪم ڪرڻ جي ضرورت آهي. ڊيٽا سائنسدان طاقتور ڊيٽا مائننگ اوزار استعمال ڪري سگھن ٿا، پر انهن کي ڊيٽا تيار ڪرڻ ۽ نتيجن کي سمجهڻ لاء ماهرن جي ضرورت آهي. نتيجي طور، اهو ڪجهه وقت وٺي سگھي ٿو سڀني معلومات کي پروسيس ڪرڻ لاء. - ڊيٽا رازداري ۽ سيڪيورٽي
ڇو ته ڊيٽا مائننگ مارڪيٽ جي طريقن ذريعي گراهڪ جي معلومات گڏ ڪري ٿي، اهو صارف جي رازداري جي ڀڃڪڙي ڪري سگهي ٿو. ان کان سواء، هيڪرز ڊيٽا مائننگ سسٽم ۾ محفوظ ڪيل ڊيٽا حاصل ڪري سگھن ٿا. اهو صارف جي ڊيٽا جي حفاظت لاء خطرو آهي. جيڪڏهن چوري ٿيل ڊيٽا غلط استعمال ٿئي ٿي، اهو آساني سان ٻين کي نقصان پهچائي سگھي ٿو.
مٿي ڄاڻايل ڊيٽا مائننگ جو مختصر تعارف آهي. جيئن مون اڳ ۾ ئي ذڪر ڪيو آهي، ڊيٽا مائننگ ۾ ڊيٽا گڏ ڪرڻ ۽ ان کي گڏ ڪرڻ جو عمل شامل آهي، جنهن ۾ ڊيٽا ڪڍڻ جو عمل شامل آهي (ڊيٽا ڪڍڻ). انهي حالت ۾، اهو چوڻ لاء محفوظ آهي ته ڊيٽا ڪڍڻ هڪ ڊگهي ڊيٽا کان کني جي عمل جو حصو ٿي سگهي ٿو.
ڊيٽا ڪڍڻ ڇا آهي؟
"ويب ڊيٽا مائننگ" ۽ "ويب اسڪراپنگ" جي طور تي پڻ سڃاتو وڃي ٿو، اهو عمل (عام طور تي غير منظم يا ناقص منظم ٿيل) ڊيٽا ذريعن مان ڊيٽا ڪڍڻ جو عمل آهي مرڪزي جڳهن ۾ ۽ مرڪزي هنڌن تي اسٽوريج يا وڌيڪ پروسيسنگ لاء هڪ جڳهه ۾ مرڪزي ڪرڻ. خاص طور تي، غير منظم ٿيل ڊيٽا ذريعن ۾ شامل آهن ويب صفحا، اي ميل، دستاويز، PDF فائلون، اسڪين ٿيل ٽيڪسٽ، مين فريم رپورٽون، ريل فائلون، اعلانات وغيره. مرڪزي اسٽوريج مقامي، بادل يا هائبرڊ ٿي سگهي ٿو. اهو ياد رکڻ ضروري آهي ته ڊيٽا ڪڍڻ ۾ پروسيسنگ يا ٻيو تجزيو شامل ناهي جيڪو بعد ۾ ٿي سگهي ٿو.
ڊيٽا ڪڍڻ سان ڇا ٿي سگهي ٿو؟
بنيادي طور تي، ڊيٽا ڪڍڻ جا مقصد 3 ڀاڱن ۾ اچي وڃن ٿا.
- آرڪائيو ڪرڻ
ڊيٽا ڪڍڻ واري ڊيٽا کي جسماني شڪلن جهڙوڪ ڪتابن، اخبارن، انوائسز کي ڊجيٽل فارميٽ ۾ تبديل ڪري سگھي ٿو جهڙوڪ اسٽوريج يا بيڪ اپ لاء ڊيٽابيس. - ڊيٽا فارميٽ کي تبديل ڪرڻ
جڏھن توھان چاھيو ٿا پنھنجي موجوده سائيٽ مان ڊيٽا کي ترقيءَ ھيٺ ھڪڙي نئين سائيٽ ڏانھن منتقل ڪري، توھان ان کي ڪڍي سگھوٿا پنھنجي سائيٽ مان ڊيٽا گڏ ڪري. - ڊيٽا جو تجزيو
اهو عام آهي ته ڪڍيل ڊيٽا کي وڌيڪ تجزيو ڪرڻ لاء ان ۾ بصيرت حاصل ڪرڻ لاء. اهو آواز ڊيٽا مائننگ وانگر ساڳيو ٿي سگهي ٿو، پر ذهن ۾ رکو ته ڊيٽا مائننگ ڊيٽا مائننگ جو مقصد آهي، ان جو حصو نه آهي. ان کان علاوه، ڊيٽا مختلف طور تي تجزيو ڪيو ويو آهي. هڪ مثال اهو آهي ته آن لائين اسٽور مالڪن اي ڪامرس سائيٽن تان پراڊڪٽ جي معلومات ڪڍندا آهن جهڙوڪ Amazon حقيقي وقت ۾ مقابلي واري حڪمت عملي جي نگراني ڪرڻ لاء. ڊيٽا مائننگ وانگر، ڊيٽا ڪڍڻ هڪ خودڪار عمل آهي ڪيترن ئي فائدن سان. ماضي ۾، ماڻهو ڪاپي ۽ پيسٽ ڪندا هئا ڊيٽا کي هٿرادو هڪ هنڌ کان ٻئي هنڌ، جيڪو گهڻو وقت وٺندو هو. ڊيٽا ڪڍڻ کي گڏ ڪرڻ جي رفتار کي تيز ڪري ٿو ۽ ڪڍيل ڊيٽا جي درستگي کي تمام گهڻو بهتر بڻائي ٿو.
ڊيٽا ڪڍڻ جي استعمال جا ڪجهه مثال
ڊيٽا مائننگ وانگر، ڊيٽا مائننگ وڏي پيماني تي مختلف صنعتن ۾ استعمال ٿيندو آهي. اي ڪامرس جي قيمت جي نگراني کان علاوه، ڊيٽا مائننگ توهان جي پنهنجي تحقيق، خبرن جي مجموعي، مارڪيٽنگ، ريئل اسٽيٽ، سفر ۽ سياحت، مشاورت، فنانس، ۽ وڌيڪ مدد ڪري سگهي ٿي.
- ليڊ نسل
ڪمپنيون ڊائريڪٽرن مان ڊيٽا ڪڍي سگھن ٿيون: Yelp، Crunchbase، Yellowpages ۽ ڪاروبار جي ترقي لاءِ ليڊز ٺاھيو. توهان هيٺ ڏنل وڊيو ڏسي سگهو ٿا سکو ته ڪيئن ڊيٽا کي ڪيئن ڪڍڻ لاء Yellowpages سان . - مواد ۽ خبرن جو مجموعو
مواد گڏ ڪرڻ واريون ويب سائيٽون ڪيترن ئي ذريعن کان باقاعده ڊيٽا فيڊ حاصل ڪري سگھن ٿيون ۽ انهن جي سائيٽن کي تازه ڪاري ڪري سگھن ٿيون. - جذبي جو تجزيو
سماجي نيٽ ورڪن جهڙوڪ انسٽاگرام ۽ Twitter تان تبصرا، تبصرا، ۽ شاھدي ڪڍڻ کان پوء، پروفيسر بنيادي روين جو تجزيو ڪري سگھن ٿا ۽ بصيرت حاصل ڪري سگھن ٿا ته ڪيئن ھڪڙي برانڊ، پراڊڪٽ، يا رجحان سمجھيو ويندو آھي.
ڊيٽا ڪڍڻ جا مرحلا
ڊيٽا ڪڍڻ ETL جو پهريون مرحلو آهي (Extract, Transform, Load: Extract, Transform, Load) ۽ ELT (Extract, Load, and Transform). ETL ۽ ELT پاڻ هڪ مڪمل ڊيٽا انضمام واري حڪمت عملي جو حصو آهن. ٻين لفظن ۾، ڊيٽا ڪڍڻ انهن جي ڪڍڻ جو حصو ٿي سگهي ٿو.
ڪڍڻ ، بدلائڻ ، لوڊ ڪرڻ
جڏهن ته ڊيٽا مائننگ سڀ ڪجهه ڊيٽا جي وڏي مقدار مان معلومات ڪڍڻ بابت آهي، ڊيٽا ڪڍڻ هڪ تمام ننڍو ۽ آسان عمل آهي. ان کي ٽن مرحلن تائين گھٽائي سگھجي ٿو:
- ڊيٽا جو ذريعو چونڊيو
اهو ذريعو چونڊيو جنهن مان توهان ڊيٽا ڪڍڻ چاهيو ٿا، جهڙوڪ ويب سائيٽ. - ڊيٽا گڏ ڪرڻ
سائيٽ ڏانهن هڪ "GET" درخواست موڪليو ۽ پروگرامنگ ٻولين جهڙوڪ Python، PHP، R، Ruby، وغيره استعمال ڪندي نتيجو HTML دستاويزن کي پارس ڪريو. - ڊيٽا اسٽوريج
ڊيٽا کي محفوظ ڪريو پنھنجي مقامي ڊيٽابيس يا ڪلائوڊ اسٽوريج ۾ مستقبل جي استعمال لاءِ. جيڪڏھن توھان ھڪڙو تجربيڪار پروگرامر آھيو جيڪو ڊيٽا ڪڍڻ چاھي ٿو، مٿي ڏنل قدم توھان کي سادو لڳي سگھي ٿو. تنهن هوندي، جيڪڏهن توهان هڪ پروگرامر نه آهيو، اتي هڪ شارٽ کٽ آهي - ڊيٽا مائننگ اوزار استعمال ڪريو جهڙوڪ . ڊيٽا ڪڍڻ جا اوزار، صرف ڊيٽا مائننگ اوزار وانگر، توانائي بچائڻ ۽ ڊيٽا پروسيسنگ کي هر ڪنهن لاءِ آسان بڻائڻ لاءِ ٺهيل آهن. اهي اوزار نه رڳو اقتصادي آهن، پر پڻ شروعاتي-دوست آهن. اهي صارفين کي منٽن اندر ڊيٽا گڏ ڪرڻ جي اجازت ڏين ٿا، ان کي بادل ۾ ذخيرو ڪريو، ۽ ان کي ڪيترن ئي فارميٽ ۾ برآمد ڪريو: Excel، CSV، HTML، JSON، يا API ذريعي سائيٽ تي ڊيٽابيس ڏانهن.
ڊيٽا ڪڍڻ جا نقصان
- سرور حادثو
جڏهن وڏي پيماني تي ڊيٽا ڪڍي، ٽارگيٽ سائيٽ جو ويب سرور اوورلوڊ ٿي سگهي ٿو، جيڪو سرور حادثي جي ڪري سگھي ٿو. اهو سائيٽ جي مالڪ جي مفادن کي نقصان پهچائيندو. - IP پاران پابندي
جڏهن ڪو ماڻهو اڪثر ڊيٽا گڏ ڪري ٿو، ويب سائيٽون انهن جي IP پتي کي بلاڪ ڪري سگهن ٿيون. ھڪڙو وسيلو مڪمل طور تي IP پتي تي پابندي لڳائي سگھي ٿو يا ڊيٽا کي نامڪمل ڪندي رسائي کي محدود ڪري سگھي ٿو. ڊيٽا کي ٻيهر حاصل ڪرڻ ۽ بلاڪ ڪرڻ کان بچڻ لاء، توهان کي ان کي وچولي رفتار تي ڪرڻ جي ضرورت آهي ۽ ڪجهه مخالف بلاڪنگ ٽيڪنالاجي لاڳو ڪرڻ جي ضرورت آهي. - قانون سان مسئلا
ويب مان ڊيٽا ڪڍڻ هڪ گرين ايريا ۾ اچي ٿو جڏهن اهو قانوني طور تي اچي ٿو. مکيه سائيٽون جهڙوڪ Linkedin ۽ Facebook انهن جي استعمال جي شرطن ۾ واضح طور تي بيان ڪن ٿا ته ڊيٽا جي ڪنهن به خودڪار نڪتل منع ٿيل آهي. بوٽن جي سرگرمين جي ڪري ڪمپنين جي وچ ۾ ڪيترائي ڪيس ڪيا ويا آهن.
ڊيٽا مائننگ ۽ ڊيٽا ڪڍڻ جي وچ ۾ اهم فرق
- ڊيٽا مائننگ کي پڻ سڏيو ويندو آهي علم دريافت ۾ ڊيٽابيس، ڄاڻ ڪڍڻ، ڊيٽا / نمونن جو تجزيو، معلومات گڏ ڪرڻ. ڊيٽا ڪڍڻ استعمال ڪيو ويندو آهي مٽائي سان ويب ڊيٽا ڪڍڻ، ويب پيج اسڪيننگ، ڊيٽا گڏ ڪرڻ، وغيره.
- ڊيٽا مائننگ ريسرچ گهڻو ڪري منظم ڪيل ڊيٽا تي ٻڌل آهي جڏهن ته ڊيٽا مائننگ عام طور تي غير منظم يا خراب ترتيب واري ذريعن مان نڪرندي آهي.
- ڊيٽا مائننگ جو مقصد ڊيٽا کي وڌيڪ ڪارائتو بڻائڻ آهي تجزيو لاءِ. ڊيٽا ڪڍڻ هڪ جاء تي ڊيٽا گڏ ڪرڻ آهي جتي اهو ذخيرو يا پروسيس ڪري سگهجي ٿو.
- ڊيٽا مائننگ ۾ تجزيو نمونن يا رجحانن جي سڃاڻپ لاءِ رياضياتي طريقن تي مبني آهي. ڊيٽا ڪڍڻ جو بنياد پروگرامنگ ٻولين يا ڊيٽا ڪڍڻ واري اوزار تي ٻڌل آهي ذريعن کي نظرانداز ڪرڻ لاءِ.
- ڊيٽا مائننگ جو مقصد حقيقتن کي ڳولڻ آهي جيڪي اڳ ۾ نه ڄاتل هئا يا نظرانداز ڪيا ويا هئا، جڏهن ته ڊيٽا ڪڍڻ جو معاملو موجوده معلومات سان آهي.
- ڊيٽا مائننگ وڌيڪ پيچيده آهي ۽ ماڻهن جي تربيت ۾ وڏي سيڙپڪاري جي ضرورت آهي. صحيح اوزار سان ڊيٽا ڪڍڻ انتهائي آسان ۽ قيمتي اثرائتو ٿي سگهي ٿو.
اسان مدد ڪندا آهيون شروعات ڪندڙن کي ڊيٽا ۾ پريشان نه ٿيڻ. خاص طور تي habravchans لاء، اسان هڪ پروموشنل ڪوڊ ٺاهيو HABR، بينر تي ظاهر ڪيل رعايت تي اضافي 10٪ رعايت ڏيو.
وڌيڪ ڪورس
خاص مضمون
جو ذريعو: www.habr.com