این دو کلمه کلیدی علم داده افراد زیادی را گیج می کند. داده کاوی اغلب به عنوان استخراج و بازیابی داده ها اشتباه درک می شود، اما واقعیت بسیار پیچیده تر است. در این پست بیایید نقطه کاوی کنیم و تفاوت بین داده کاوی و استخراج داده را دریابیم.
داده کاوی چیست؟
داده کاوی نیز نامیده می شود کشف دانش پایگاه داده (KDD)، تکنیکی است که اغلب برای تجزیه و تحلیل مجموعه داده های بزرگ با استفاده از روش های آماری و ریاضی برای یافتن الگوها یا روندهای پنهان و استخراج ارزش از آنها استفاده می شود.
با داده کاوی چه کاری می توان انجام داد؟
با خودکار کردن فرآیند، می تواند پایگاه های داده را مرور کند و به طور موثر الگوهای پنهان را کشف کند. برای کسب و کارها، داده کاوی اغلب برای کشف الگوها و روابط در داده ها استفاده می شود تا به تصمیم گیری های تجاری بهتر کمک کند.
نمونه های کاربردی
پس از فراگیر شدن داده کاوی در دهه 1990، شرکت ها در طیف وسیعی از صنایع از جمله خرده فروشی، مالی، مراقبت های بهداشتی، حمل و نقل، مخابرات، تجارت الکترونیک و غیره، شروع به استفاده از روش های داده کاوی برای به دست آوردن اطلاعات بر اساس داده ها کردند. داده کاوی می تواند به تقسیم بندی مشتریان، شناسایی تقلب، پیش بینی فروش و موارد دیگر کمک کند.
- تقسیم بندی مشتریان
با تجزیه و تحلیل داده های مشتریان و شناسایی ویژگی های مشتریان هدف، شرکت ها می توانند آنها را در یک گروه جداگانه گروه بندی کنند و پیشنهادات ویژه ای را ارائه دهند که نیازهای آنها را برآورده می کند. - تحلیل سبد بازار
این تکنیک بر این نظریه استوار است که اگر گروه خاصی از محصولات را بخرید، احتمال خرید گروه متفاوتی از محصولات بیشتر است. یک مثال معروف: وقتی پدرها برای نوزادان خود پوشک می خرند، تمایل دارند که همراه با پوشک، آبجو نیز بخرند. - پیش بینی فروش
ممکن است شبیه به تجزیه و تحلیل سبد بازار به نظر برسد، اما این بار تحلیل داده ها برای پیش بینی زمانی که مشتری دوباره محصولی را در آینده خریداری خواهد کرد، استفاده می شود. به عنوان مثال، یک مربی یک قوطی پروتئین می خرد که باید 9 ماه دوام داشته باشد. فروشگاهی که این پروتئین را می فروشد قصد دارد تا 9 ماه دیگر یک پروتئین جدید عرضه کند تا مربی دوباره آن را بخرد. - تشخیص تقلب
داده کاوی به ساخت مدل هایی برای کشف تقلب کمک می کند. با جمع‌آوری نمونه‌هایی از گزارش‌های جعلی و واقعی، کسب‌وکارها این اختیار را پیدا می‌کنند که تشخیص دهند کدام تراکنش‌ها مشکوک هستند. - تشخیص الگو در تولید
در صنعت تولید، از داده کاوی برای کمک به طراحی سیستم ها با شناسایی رابطه بین معماری محصول، مشخصات و نیازهای مشتری استفاده می شود. داده کاوی همچنین می تواند زمان و هزینه های توسعه محصول را پیش بینی کند.
و اینها فقط چند مورد استفاده برای داده کاوی هستند.
مراحل داده کاوی
داده کاوی یک فرآیند کل نگر از جمع آوری، انتخاب، تمیز کردن، تبدیل و استخراج داده ها به منظور ارزیابی الگوها و در نهایت استخراج ارزش است.
به طور کلی، کل فرآیند داده کاوی را می توان در 7 مرحله خلاصه کرد:
- پاک کردن داده
در دنیای واقعی، داده ها همیشه تمیز و ساختاریافته نیستند. آنها اغلب پر سر و صدا، ناقص و ممکن است حاوی خطا باشند. برای اطمینان از دقیق بودن نتیجه داده کاوی، ابتدا باید داده ها را پاکسازی کنید. برخی از روش های تمیز کردن عبارتند از پر کردن مقادیر از دست رفته، کنترل های خودکار و دستی و غیره. - یکپارچه سازی داده ها
این مرحله ای است که داده ها از منابع مختلف استخراج، ترکیب و یکپارچه می شوند. منابع می توانند پایگاه داده ها، فایل های متنی، صفحات گسترده، اسناد، مجموعه داده های چند بعدی، اینترنت و غیره باشند. - نمونه گیری داده ها
معمولاً در داده کاوی به همه داده های یکپارچه نیاز نیست. نمونه گیری داده مرحله ای است که در آن تنها داده های مفید انتخاب و از یک پایگاه داده بزرگ استخراج می شوند. - تبدیل داده ها
پس از انتخاب داده ها، به فرم های مناسب برای استخراج تبدیل می شوند. این فرآیند شامل عادی سازی، تجمیع، تعمیم و غیره است. - داده کاوی
در اینجا مهمترین بخش داده کاوی - استفاده از روش های هوشمند برای یافتن الگوها در آنها مطرح می شود. این فرآیند شامل رگرسیون، طبقه‌بندی، پیش‌بینی، خوشه‌بندی، یادگیری تداعی و غیره است. - ارزیابی مدل
هدف این مرحله شناسایی الگوهای بالقوه مفید و قابل فهم و همچنین الگوهایی است که از فرضیه ها پشتیبانی می کنند. - نمایندگی دانش
در مرحله نهایی، اطلاعات به دست آمده با استفاده از روش های بازنمایی دانش و تجسم به شیوه ای جذاب ارائه می شود.
معایب داده کاوی
- سرمایه گذاری کلان زمان و نیروی کار
از آنجایی که داده کاوی یک فرآیند طولانی و پیچیده است، نیاز به کار زیادی از افراد مولد و ماهر دارد. دانشمندان داده می توانند از ابزارهای داده کاوی قدرتمند استفاده کنند، اما برای تهیه داده ها و درک نتایج به متخصصان نیاز دارند. در نتیجه ممکن است پردازش تمام اطلاعات کمی طول بکشد. - حریم خصوصی و امنیت داده ها
از آنجا که داده کاوی اطلاعات مشتری را از طریق روش های بازار جمع آوری می کند، می تواند حریم خصوصی کاربر را نقض کند. علاوه بر این، هکرها می توانند داده های ذخیره شده در سیستم های داده کاوی را به دست آورند. این یک تهدید برای امنیت داده های مشتری است. اگر از داده های سرقت شده سوء استفاده شود، به راحتی می تواند به دیگران آسیب برساند.
مطالب فوق مقدمه ای کوتاه بر داده کاوی است. همانطور که قبلاً اشاره کردم، داده کاوی شامل فرآیند جمع آوری و یکپارچه سازی داده ها است که شامل فرآیند استخراج داده ها (استخراج داده ها) می شود. در این مورد، به جرات می توان گفت که استخراج داده ها می تواند بخشی از یک فرآیند طولانی داده کاوی باشد.
استخراج داده چیست؟
این فرآیند که به‌عنوان «داده‌کاوی وب» و «حذف وب» نیز شناخته می‌شود، عمل استخراج داده‌ها از منابع داده (معمولاً بدون ساختار یا ساختار ضعیف) در مکان‌های متمرکز و تمرکز در یک مکان برای ذخیره‌سازی یا پردازش بیشتر است. به طور خاص، منابع داده بدون ساختار شامل صفحات وب، ایمیل، اسناد، فایل‌های PDF، متن اسکن شده، گزارش‌های اصلی، فایل‌های حلقه، اطلاعیه‌ها و غیره است. ذخیره سازی متمرکز می تواند محلی، ابری یا ترکیبی باشد. مهم است که به خاطر داشته باشید که استخراج داده ها شامل پردازش یا تجزیه و تحلیل دیگری که ممکن است بعداً رخ دهد، نمی شود.
با استخراج داده ها چه کاری می توان انجام داد؟
اساساً اهداف استخراج داده ها به 3 دسته تقسیم می شوند.
- بایگانی
استخراج داده ها می تواند داده ها را از فرمت های فیزیکی مانند کتاب، روزنامه، فاکتورها به فرمت های دیجیتالی مانند پایگاه های داده برای ذخیره سازی یا پشتیبان تبدیل کند. - تغییر فرمت داده ها
هنگامی که می خواهید داده ها را از سایت فعلی خود به سایت جدید در حال توسعه منتقل کنید، می توانید با استخراج آن داده ها را از سایت خود جمع آوری کنید. - آنالیز دادینچ
تجزیه و تحلیل بیشتر داده های استخراج شده برای دستیابی به بینش معمول است. این ممکن است شبیه به داده کاوی به نظر برسد، اما به خاطر داشته باشید که داده کاوی هدف داده کاوی است نه بخشی از آن. علاوه بر این، داده ها به طور متفاوتی تجزیه و تحلیل می شوند. یک مثال این است که صاحبان فروشگاه‌های آنلاین اطلاعات محصول را از سایت‌های تجارت الکترونیکی مانند آمازون برای نظارت بر استراتژی‌های رقبا در زمان واقعی استخراج می‌کنند. مانند داده کاوی، استخراج داده نیز یک فرآیند خودکار با مزایای بسیاری است. در گذشته افراد داده ها را به صورت دستی از مکانی به مکان دیگر کپی و پیست می کردند که بسیار وقت گیر بود. استخراج داده ها سرعت جمع آوری را افزایش می دهد و دقت داده های استخراج شده را تا حد زیادی بهبود می بخشد.
چند نمونه از استفاده از استخراج داده ها
همانند داده کاوی، داده کاوی به طور گسترده در صنایع مختلف استفاده می شود. علاوه بر نظارت بر قیمت تجارت الکترونیک، داده کاوی می تواند به تحقیقات، تجمیع اخبار، بازاریابی، املاک، مسافرت و گردشگری، مشاوره، امور مالی و موارد دیگر کمک کند.
- تولید سرب
شرکت‌ها می‌توانند داده‌ها را از دایرکتوری‌ها استخراج کنند: Yelp، Crunchbase، Yellowpages و سرنخ‌هایی برای توسعه کسب‌وکار ایجاد کنند. برای یادگیری نحوه استخراج داده ها از Yellowpages می توانید ویدیوی زیر را تماشا کنید . - تجمیع مطالب و اخبار
وب‌سایت‌های جمع‌آوری محتوا می‌توانند فیدهای داده‌ای منظم را از منابع متعدد دریافت کنند و سایت‌های خود را به‌روز نگه دارند. - تحلیل احساسات
پس از استخراج بررسی ها، نظرات و توصیفات از شبکه های اجتماعی مانند اینستاگرام و توییتر، متخصصان می توانند نگرش های اساسی را تجزیه و تحلیل کنند و بینشی در مورد چگونگی درک یک نام تجاری، محصول یا پدیده به دست آورند.
مراحل استخراج داده ها
استخراج داده ها اولین مرحله ETL (Extract, Transform, Load: Extract, Transform, Load) و ELT (Extract, Load, and Transform) است. ETL و ELT خود بخشی از یک استراتژی کامل یکپارچه سازی داده ها هستند. به عبارت دیگر، استخراج داده ها می تواند بخشی از استخراج آنها باشد.
استخراج، تبدیل، بارگذاری
در حالی که داده کاوی تماماً در مورد استخراج اطلاعات از مقادیر زیادی داده است، استخراج داده فرآیندی بسیار کوتاه تر و ساده تر است. می توان آن را به سه مرحله کاهش داد:
- انتخاب منبع داده
منبعی را که می خواهید داده ها را از آن استخراج کنید، مانند یک وب سایت، انتخاب کنید. - جمع آوری داده ها
یک درخواست "GET" را به سایت ارسال کنید و سند HTML حاصل را با استفاده از زبان های برنامه نویسی مانند Python، PHP، R، Ruby و غیره تجزیه کنید. - ذخیره سازی داده ها
داده ها را برای استفاده در آینده در پایگاه داده محلی یا فضای ذخیره سازی ابری خود ذخیره کنید. اگر شما یک برنامه نویس با تجربه هستید که می خواهید داده ها را استخراج کنید، مراحل بالا ممکن است برای شما ساده به نظر برسد. با این حال، اگر برنامه نویس نیستید، یک میانبر وجود دارد - از ابزارهای داده کاوی مانند استفاده کنید . ابزارهای استخراج داده، درست مانند ابزارهای داده کاوی، برای صرفه جویی در انرژی و آسان کردن پردازش داده ها برای همه طراحی شده اند. این ابزارها نه تنها مقرون به صرفه هستند، بلکه برای مبتدیان نیز مناسب هستند. آنها به کاربران این امکان را می‌دهند که ظرف چند دقیقه داده‌ها را جمع‌آوری کنند، آنها را در فضای ابری ذخیره کنند، و آنها را به فرمت‌های بسیاری صادر کنند: Excel، CSV، HTML، JSON، یا به پایگاه‌های داده در سایت از طریق API.
معایب استخراج داده ها
- خرابی سرور
هنگام استخراج داده ها در مقیاس بزرگ، سرور وب سایت مورد نظر ممکن است بیش از حد بارگذاری شود، که می تواند منجر به خرابی سرور شود. این به منافع صاحب سایت آسیب می رساند. - تحریم توسط IP
هنگامی که یک شخص به دفعات زیاد داده جمع آوری می کند، وب سایت ها می توانند آدرس IP آنها را مسدود کنند. یک منبع می تواند یک آدرس IP را به طور کامل ممنوع کند یا با ناقص کردن داده ها، دسترسی را محدود کند. برای بازیابی داده ها و جلوگیری از مسدود شدن، باید این کار را با سرعت متوسط انجام دهید و از برخی تکنیک های ضد انسداد استفاده کنید. - مشکلی با قانون
استخراج داده ها از وب زمانی که صحبت از قانونی بودن به میان می آید در یک منطقه خاکستری قرار می گیرد. سایت های بزرگی مانند لینکدین و فیس بوک در شرایط استفاده خود به وضوح بیان می کنند که هرگونه استخراج خودکار داده ها ممنوع است. به دلیل فعالیت ربات ها، دعوای حقوقی زیادی بین شرکت ها وجود داشته است.
تفاوت های کلیدی بین داده کاوی و استخراج داده
- به داده کاوی، کشف دانش در پایگاه های داده، استخراج دانش، تجزیه و تحلیل داده/الگو، جمع آوری اطلاعات نیز گفته می شود. استخراج داده ها به جای استخراج داده های وب، اسکن صفحات وب، جمع آوری داده ها و غیره استفاده می شود.
- تحقیقات داده کاوی بیشتر بر اساس داده های ساختار یافته است در حالی که داده کاوی معمولاً از منابع بدون ساختار یا ساختار ضعیف استخراج می شود.
- هدف داده کاوی مفیدتر کردن داده ها برای تجزیه و تحلیل است. استخراج داده جمع آوری داده ها در یک مکان است که می توان آنها را ذخیره یا پردازش کرد.
- تجزیه و تحلیل در داده کاوی بر اساس روش های ریاضی برای شناسایی الگوها یا روندها است. استخراج داده ها بر اساس زبان های برنامه نویسی یا ابزارهای استخراج داده برای دور زدن منابع است.
- هدف از داده کاوی یافتن حقایقی است که قبلاً شناخته شده یا نادیده گرفته نشده اند، در حالی که استخراج داده با اطلاعات موجود سروکار دارد.
- داده کاوی پیچیده تر است و نیاز به سرمایه گذاری زیادی در آموزش افراد دارد. استخراج داده ها با ابزار مناسب می تواند بسیار آسان و مقرون به صرفه باشد.
ما به مبتدیان کمک می کنیم تا در داده ها گیج نشوند. مخصوصا برای هابراوچان ها کد تبلیغاتی درست کردیم HABR10% تخفیف اضافی به تخفیف درج شده روی بنر می دهد.
دوره های بیشتر
مقالات پیشنهادی
منبع: www.habr.com