د ډیټا ساینس دا دوه ټکي ډیری خلک مغشوشوي. د ډیټا کان کیندنې ډیری وختونه د معلوماتو استخراج او ترلاسه کولو په توګه غلط فهم کیږي، مګر حقیقت خورا پیچلی دی. په دې پوسټ کې، راځئ چې د کانونو په اړه خبرې وکړو او د ډیټا کان کیندنې او ډیټا استخراج ترمنځ توپیر ومومئ.
د معلوماتو کان کیندنې څه شی دی؟
د معلوماتو کان کیندنه، هم ویل کیږي د ډیټابیس پوهه کشف (KDD)، یو تخنیک دی چې ډیری وختونه د احصایوي او ریاضياتي میتودونو په کارولو سره د لوی ډیټاسیټونو تحلیل لپاره کارول کیږي ترڅو پټ نمونې یا رجحانات ومومي او له دوی څخه ارزښت راوباسي.
د ډیټا کان کیندنې سره څه کیدی شي؟
د پروسې اتومات کولو سره، کولی شي ډیټابیسونه وپلټئ او په مؤثره توګه پټ نمونې افشا کړئ. د سوداګرۍ لپاره، د ډیټا کان کیندنه اکثرا په ډیټا کې د نمونو او اړیکو موندلو لپاره کارول کیږي ترڅو د غوره سوداګرۍ پریکړې کولو کې مرسته وکړي.
د غوښتنلیک مثالونه
وروسته له دې چې په 1990 لسیزه کې د ډیټا کان کیندنه پراخه شوه، شرکتونو په پراخه صنعتونو کې د پرچون، مالیې، روغتیا پاملرنې، ترانسپورت، مخابراتو، ای کامرس، او داسې نورو په شمول د معلوماتو په اساس د معلوماتو ترلاسه کولو لپاره د ډیټا کان کیندنې طریقې کارول پیل کړل. د معلوماتو کان کیندنه کولی شي د پیرودونکو برخې کولو کې مرسته وکړي، درغلۍ وپیژني، د پلور وړاندوینه وکړي، او نور ډیر څه.
- د پیرودونکو ویش
د پیرودونکو معلوماتو تحلیل کولو او د هدف پیرودونکو ځانګړتیاو پیژندلو سره، شرکتونه کولی شي دوی په جلا ګروپ کې ګروپ کړي او ځانګړي وړاندیزونه وړاندې کړي چې د دوی اړتیاوې پوره کړي. - د بازار د باسکیټ تحلیل
دا تخنیک د تیورۍ پر بنسټ والړ دی چې که تاسو د محصولاتو یو ځانګړی ګروپ واخلئ، نو تاسو احتمال لرئ چې د محصوالتو مختلف ګروپ واخلئ. یو مشهور مثال: کله چې پلرونه د خپلو ماشومانو لپاره ډایپر اخلي، دوی د ډایپرونو سره بیر اخلي. - د پلور وړاندوینه
دا ممکن د بازار د باسکیټ تحلیل ته ورته ښکاري، مګر دا ځل د معلوماتو تحلیل د وړاندوینې لپاره کارول کیږي کله چې یو پیرودونکی به په راتلونکي کې بیا محصول واخلي. د مثال په توګه، یو کوچ یو کین پروټین اخلي چې باید د 9 میاشتو لپاره دوام وکړي. هغه پلورنځي چې دا پروټین پلوري پلان لري په 9 میاشتو کې یو نوی خپور کړي ترڅو کوچ به یې بیا واخلي. - د درغلۍ کشف
د معلوماتو کان کیندنه د درغلیو د موندلو لپاره د ماډلونو په جوړولو کې مرسته کوي. د درغلیو او ریښتیني راپورونو نمونو راټولولو سره ، سوداګرۍ ځواکمن کیږي ترڅو معلومه کړي چې کومې معاملې مشکوکې دي. - په تولید کې د نمونې کشف
د تولید په صنعت کې، د معلوماتو کان کیندنه د محصول جوړښت، پروفایل، او د پیرودونکو اړتیاوو ترمنځ د اړیکو په پیژندلو سره د ډیزاین سیسټمونو سره د مرستې لپاره کارول کیږي. د معلوماتو کان کیندنه کولی شي د محصول پراختیا وخت او لګښتونه هم اټکل کړي.
او دا د معلوماتو کان کیندنې لپاره یوازې د کارولو څو قضیې دي.
د معلوماتو کان کیندنې مرحلې
د ډیټا کان کیندنه د نمونو ارزولو او بالاخره د ارزښت استخراج کولو لپاره د معلوماتو راټولولو، غوره کولو، پاکولو، بدلون، او استخراج یوه هولیسټیک پروسه ده.
عموما، د معلوماتو د کان کیندنې ټوله پروسه په 7 مرحلو کې لنډیز کیدی شي:
- د معلوماتو پاکول
په ریښتینې نړۍ کې، ډاټا تل پاک او جوړښت نلري. دوی ډیری وختونه شور، نیمګړی وي، او ممکن غلطی ولري. د دې لپاره چې ډاډ ترلاسه کړئ چې د معلوماتو کان کیندنې پایله سمه ده، تاسو لومړی د معلوماتو پاکولو ته اړتیا لرئ. د پاکولو ځینې میتودونو کې د ورک شوي ارزښتونو ډکول ، اتوماتیک او لارښود کنټرولونه او داسې نور شامل دي. - د معلوماتو ادغام
دا هغه مرحله ده چې د مختلفو سرچینو څخه ډاټا استخراج، یوځای او یوځای کیږي. سرچینې کیدای شي ډیټابیسونه، د متن فایلونه، سپریڈ شیټونه، اسناد، څو اړخیز ډیټاسیټونه، انټرنیټ، او داسې نور وي. - د معلوماتو نمونه کول
عموما، د ډیټا کان کیندنې کې ټول مدغم شوي معلوماتو ته اړتیا نشته. د ډیټا نمونې اخیستل هغه مرحله ده چې په هغه کې یوازې ګټور معلومات غوره کیږي او د لوی ډیټابیس څخه ایستل کیږي. - د معلوماتو تبادله
یوځل چې ډاټا غوره شي، دا د کان کیندنې لپاره مناسبه بڼه بدلیږي. پدې پروسه کې نورمال کول، راټولول، عمومي کول، او نور شامل دي. - د معلوماتو کان کیندنه
دلته د ډیټا کان کیندنې خورا مهم برخه راځي - په دوی کې د نمونو موندلو لپاره د هوښیار میتودونو کارول. په پروسه کې راجستر، طبقه بندي، وړاندوینه، کلستر کول، د اتحادیې زده کړه، او نور شامل دي. - د ماډل ارزونه
د دې ګام موخه دا ده چې د احتمالي ګټورو، د پوهیدو لپاره اسانه نمونې، او همدارنګه هغه نمونې وپیژني چې د فرضیې ملاتړ کوي. - د پوهې استازیتوب
په وروستي پړاو کې، ترلاسه شوي معلومات د پوهې نمایندګۍ او لید میتودونو په کارولو سره په زړه پورې ډول وړاندې کیږي.
د ډیټا کان کیندنې زیانونه
- د وخت او کار لویه پانګه اچونه
څرنګه چې د معلوماتو کان کیندنه یوه اوږده او پیچلې پروسه ده، دا د تولیدونکو او ماهرو خلکو څخه ډیر کار ته اړتیا لري. د ډیټا ساینس پوهان کولی شي د ډیټا کان کیندنې قوي وسیلې وکاروي ، مګر دوی متخصصینو ته اړتیا لري ترڅو ډاټا چمتو کړي او پایلې یې درک کړي. د پایلې په توګه، دا ممکن د ټولو معلوماتو پروسس کولو لپاره یو څه وخت ونیسي. - د معلوماتو محرمیت او امنیت
ځکه چې د معلوماتو کان کیندنې د بازار میتودونو له لارې د پیرودونکي معلومات راټولوي، دا کولی شي د کاروونکي محرمیت سرغړونه وکړي. سربیره پردې، هیکران کولی شي د معلوماتو کان کیندنې سیسټمونو کې زیرمه شوي معلومات ترلاسه کړي. دا د پیرودونکو معلوماتو امنیت ته ګواښ رامینځته کوي. که غلا شوي معلومات غلط کارول کیږي، دا کولی شي په اسانۍ سره نورو ته زیان ورسوي.
پورته د معلوماتو کان کیندنې ته لنډه پیژندنه ده. لکه څنګه چې ما مخکې یادونه وکړه، د معلوماتو کان کیندنې د معلوماتو راټولولو او یوځای کولو پروسه لري، چې پدې کې د معلوماتو استخراج پروسه (د معلوماتو استخراج) شامل دي. په دې حالت کې، دا خوندي ده چې ووایاست چې د معلوماتو استخراج کیدای شي د ډیټا کان کیندنې اوږدې پروسې برخه وي.
د معلوماتو استخراج څه شی دی؟
د "ویب ډیټا کان کیندنې" او "ویب سکریپینګ" په نوم هم پیژندل کیږي ، دا پروسه د (معمولا غیر منظم یا ضعیف جوړښت شوي) ډیټا سرچینو څخه مرکزي ځایونو ته د ډیټا ایستلو عمل دی او په یو ځای کې د ذخیره کولو یا نور پروسس کولو لپاره مرکزي کول دي. په ځانګړې توګه، غیر منظم شوي ډاټا سرچینې شامل دي ویب پاڼې، بریښنالیک، اسناد، د PDF فایلونه، سکین شوي متن، مین فریم راپورونه، رییل فایلونه، اعلانونه، او داسې نور. مرکزي ذخیره کول محلي، بادل یا هایبرډ کیدی شي. دا مهمه ده چې په یاد ولرئ چې د معلوماتو استخراج کې پروسس یا نور تحلیلونه شامل ندي چې ممکن وروسته پیښ شي.
د ډیټا استخراج سره څه کیدی شي؟
په اصل کې، د معلوماتو استخراج موخې په 3 کټګوریو کې راځي.
- آرشیف کول
د ډیټا استخراج کولی شي د فزیکي فارمیټونو څخه ډیټا بدل کړي لکه کتابونه ، ورځپانې ، رسیدونه ډیجیټل فارمیټونو ته لکه ډیټابیسونه د ذخیره کولو یا بیک اپ لپاره. - د معلوماتو بڼه بدلول
کله چې تاسو غواړئ د خپل اوسني سایټ څخه ډیټا د پراختیا لاندې نوي ته واستوئ، تاسو کولی شئ د خپل سایټ څخه د استخراج له لارې ډاټا راټول کړئ. - د معلوماتو تحلیل
دا معمول دی چې استخراج شوي ډیټا نور تحلیل کړئ ترڅو پدې اړه بصیرت ترلاسه کړئ. دا کیدای شي د معلوماتو کان کیندنې ته ورته وي، مګر په یاد ولرئ چې د معلوماتو کان کیندنې هدف دی، نه د هغې برخه. سربیره پردې، معلومات په مختلف ډول تحلیل شوي. یوه بیلګه دا ده چې د آنلاین پلورنځي مالکین د محصول معلومات د ای کامرس سایټونو لکه ایمیزون څخه راوباسي ترڅو په ریښتیني وخت کې د سیالي کونکي ستراتیژیو څارنه وکړي. د ډیټا کان کیندنې په څیر، د معلوماتو استخراج یو اتوماتیک بهیر دی چې ډیری ګټې لري. په تیرو وختونو کې، خلک په لاسي ډول له یو ځای څخه بل ځای ته کاپي او پیسټ کول، چې ډیر وخت یې مصرفاوه. د معلوماتو استخراج د راټولولو سرعت زیاتوي او د استخراج شوي معلوماتو دقت ته وده ورکوي.
د ډیټا استخراج کارولو ځینې مثالونه
د ډیټا کان کیندنې ته ورته ، د ډیټا کان کیندنې په پراخه کچه په بیلابیلو صنعتونو کې کارول کیږي. د ای کامرس نرخ نظارت سربیره ، د معلوماتو کان کیندنه کولی شي ستاسو د خپلې څیړنې ، خبرونو راټولولو ، بازارموندنې ، املاکو ، سفر او ګرځندوی ، مشورې ، مالیې او نور ډیر څه کې مرسته وکړي.
- لارښود نسل
شرکتونه کولی شي د لارښودونو څخه ډاټا راوباسي: Yelp، Crunchbase، Yellowpages او د سوداګرۍ پراختیا لپاره لیډونه تولیدوي. تاسو کولی شئ لاندې ویډیو وګورئ ترڅو زده کړئ چې څنګه د ژیړ پاڼو څخه ډاټا استخراج کړئ . - د محتوا او خبرونو راټولول
د منځپانګې راټولولو ویب پاڼې کولی شي د ډیری سرچینو څخه منظم ډیټا فیډونه ترلاسه کړي او خپل سایټونه تازه وساتي. - د احساساتو تحلیل
د ټولنیزو شبکو لکه انسټاګرام او ټویټر څخه د بیاکتنې ، نظرونو او تعریفونو استخراج وروسته ، مسلکیان کولی شي اصلي چلند تحلیل کړي او بصیرت ترلاسه کړي چې څنګه یو برانډ ، محصول یا پدیده درک کیږي.
د معلوماتو استخراج مرحلې
د معلوماتو استخراج د ETL لومړۍ مرحله ده (استخراج، لیږد، بار: استخراج، لیږد، بار) او ELT (استخراج، بار، او لیږد). ETL او ELT پخپله د بشپړ ډیټا ادغام ستراتیژۍ برخه دي. په بل عبارت، د معلوماتو استخراج کیدای شي د دوی د استخراج برخه وي.
استخراج، بدلول، بارول
پداسې حال کې چې د ډیټا کان کیندنې ټول د ډیرو معلوماتو څخه د معلوماتو استخراج په اړه دي، د معلوماتو استخراج خورا لنډ او ساده پروسه ده. دا په دریو مرحلو کې کم کیدی شي:
- د معلوماتو سرچینې غوره کول
هغه سرچینه غوره کړئ چې تاسو یې غواړئ ډاټا راوباسئ، لکه ویب پاڼه. - د معلوماتو راټولول
سایټ ته د "GET" غوښتنه واستوئ او د پروګرام کولو ژبو لکه Python، PHP، R، Ruby، او داسې نورو په کارولو سره پایله شوي HTML سند پارس کړئ. - د معلوماتو ذخیره
د راتلونکي کارونې لپاره خپل محلي ډیټابیس یا کلاوډ ذخیره کې ډاټا خوندي کړئ. که تاسو یو تجربه لرونکی پروګرامر یاست چې غواړئ ډاټا استخراج کړئ، پورته ګامونه ممکن تاسو ته ساده ښکاري. په هرصورت، که تاسو یو پروګرامر نه یاست، یو شارټ کټ شتون لري - د ډاټا کان کیندنې اوزار لکه . د ډیټا استخراج وسیلې ، لکه د ډیټا کان کیندنې وسیلې په څیر ډیزاین شوي ترڅو انرژي خوندي کړي او د هرچا لپاره د معلوماتو پروسس کول اسانه کړي. دا وسایل نه یوازې اقتصادي دي، بلکې د پیل کونکي دوستانه هم دي. دوی کاروونکو ته اجازه ورکوي چې په دقیقو کې ډاټا راټول کړي، په کلاوډ کې یې ذخیره کړي، او ډیری فارمیټونو ته یې صادر کړي: Excel، CSV، HTML، JSON، یا د API له لارې په سایټ کې ډیټابیسونو ته.
د معلوماتو استخراج نیمګړتیاوې
- د سرور ټکر
کله چې په لویه پیمانه ډاټا استخراج کول، د هدف سایټ ویب سرور ممکن ډیر بار وي، کوم چې کولی شي د سرور حادثې المل شي. دا به د سایټ مالکینو ګټو ته زیان ورسوي. - د IP لخوا بندیز
کله چې یو څوک ډیری وختونه ډاټا راټولوي، ویب پاڼې کولی شي د دوی IP پته بنده کړي. یوه سرچینه کولی شي په بشپړ ډول د IP پته بندیز ولګوي یا د معلوماتو په بشپړولو سره لاسرسی محدود کړي. د ډیټا بیرته ترلاسه کولو او د بلاک کولو څخه مخنیوي لپاره ، تاسو اړتیا لرئ دا په اعتدال سرعت ترسره کړئ او ځینې د بلاک کولو ضد تخنیکونه پلي کړئ. - د قانون سره ستونزې
له ویب څخه د معلوماتو استخراج په خړ ساحه کې راځي کله چې دا د قانونیت خبره راځي. لوی سایټونه لکه لینکډین او فیسبوک په واضح ډول د دوی د کارولو شرایطو کې ویلي چې د معلوماتو هر ډول اتوماتیک استخراج منع دی. د بوټو فعالیتونو له امله د شرکتونو ترمینځ ډیری قضیې شتون لري.
د ډیټا کان کیندنې او ډیټا استخراج تر مینځ کلیدي توپیرونه
- د ډیټا کان کیندنې ته په ډیټابیسونو کې د پوهې کشف ، د پوهې استخراج ، د معلوماتو / نمونو تحلیل ، د معلوماتو راټولول هم ویل کیږي. د معلوماتو استخراج د ویب ډیټا استخراج، د ویب پاڼې سکینګ، د معلوماتو راټولولو، او داسې نورو سره د تبادلې وړ کارول کیږي.
- د ډیټا کان کیندنې څیړنه اکثرا د جوړښت شوي ډیټا پراساس ده پداسې حال کې چې د معلوماتو کان کیندنه معمولا د غیر منظم یا ضعیف جوړښت لرونکي سرچینو څخه ترلاسه کیږي.
- د ډیټا کان کیندنې هدف دا دی چې معلومات د تحلیل لپاره ډیر ګټور کړي. د معلوماتو استخراج په یو ځای کې د معلوماتو راټولول دي چیرې چې دا ذخیره یا پروسس کیدی شي.
- د ډیټا کان کیندنې تحلیل د نمونو یا رجحاناتو پیژندلو لپاره د ریاضياتي میتودونو پراساس دی. د معلوماتو استخراج د پروګرام کولو ژبو یا د معلوماتو استخراج وسیلو پراساس دی ترڅو سرچینې بای پاس کړي.
- د ډیټا کان کیندنې موخه د حقایقو موندل دي چې مخکې نه پیژندل شوي یا له پامه غورځول شوي، پداسې حال کې چې د معلوماتو استخراج د موجوده معلوماتو سره معامله کوي.
- د معلوماتو کان کیندنه خورا پیچلې ده او د خلکو په روزنه کې لوی پانګونې ته اړتیا لري. د سمې وسیلې سره د معلوماتو استخراج خورا اسانه او ارزانه کیدی شي.
موږ له پیل کونکو سره مرسته کوو چې په ډیټا کې مغشوش نه شي. په ځانګړې توګه د هابراوچانس لپاره، موږ یو پروموشنل کوډ جوړ کړ HABRپه بینر کې ښودل شوي تخفیف ته اضافي 10٪ تخفیف ورکول.
نور کورسونه
ځانګړي شوي مقالې
سرچینه: www.habr.com