Два цих модних слова, пов'язаних з Data Science, збивають з пантелику багатьох людей. Data Mining часто неправильно розуміють як вилучення та отримання даних, але насправді все набагато складніше. У цьому пості розставимо крапки над Mining і з'ясуємо різницю між Data Mining і Data Extraction.
Що таке Data Mining?
Data mining, також званий Виявлення знань у базі даних (KDD), являє собою метод, що часто використовується для аналізу великих масивів даних за допомогою статистичних та математичних методів для пошуку прихованих закономірностей або тенденцій та вилучення з них цінності.
Що можна зробити за допомогою Data Mining?
Автоматизуючи процес, можуть переглядати бази даних та ефективно виявляти приховані закономірності. Для підприємств data mining часто використовується виявлення закономірностей і взаємозв'язків у даних, які допомагають приймати оптимальні рішення у бізнесі.
Приклади застосування
Після того, як у 1990-х роках data mining набув широкого поширення, компанії у широкому спектрі галузей, включаючи роздрібну торгівлю, фінанси, охорону здоров'я, транспорт, телекомунікації, електронну комерцію тощо, почали використовувати методи data mining для отримання інформації на основі даних. Data mining може допомогти сегментувати клієнтів, виявити шахрайство, прогнозувати продажі та багато іншого.
- сегментація клієнтів
Завдяки аналізу даних про клієнтів і виявлення рис цільових клієнтів, компанії можуть вибудовувати їх в окрему групу і надавати відповідні потребам спеціальні пропозиції. - Аналіз ринкового кошика
Ця методика заснована на теорії, що якщо ви купуєте певну групу товарів, ви, швидше за все, купите іншу групу товарів. Один відомий приклад: коли батьки купують підгузки для своїх немовлят, вони зазвичай купують пиво разом з підгузками. - Прогнозування продажів
Це може здатися схожим на аналіз ринкового кошика, але цього разу аналіз даних використовується для прогнозування того, коли покупець знову придбає продукт у майбутньому. Наприклад, тренер купує банку протеїну, який має вистачить на 9 місяців. Магазин, який продає цей протеїн, планує випустити новий через 9 місяців, щоб тренер знову його купив. - Виявлення шахрайства
Data mining допомагає у побудові моделей для виявлення шахрайства. Збираючи зразки шахрайських та правдивих звітів, підприємства отримують право визначати, які операції є підозрілими. - Виявлення патернів у виробництві
У обробній промисловості data mining використовується, щоб допомогти у проектуванні систем, шляхом виявлення взаємозв'язку між архітектурою продукту, профілем та потребами клієнтів. Видобуток даних також може передбачити терміни розробки продукції та витрати.
І це лише кілька сценаріїв використання data mining.
Етапи Data Mining
Data mining - це цілісний процес збору, відбору, очищення, перетворення та вилучення даних для оцінки закономірностей і, зрештою, для отримання цінності.
Як правило, весь процес видобутку даних можна узагальнити до 7 етапів:
- очищення даних
У реальному світі дані не завжди очищаються та структуруються. Часто вони галасливі, неповні та можуть містити помилки. Щоб переконатися, що результат data mining точний, спочатку необхідно очистити дані. Деякі методи очищення включають заповнення значень, автоматичний і ручний контроль і т.д. - Інтеграція даних
Це етап, на якому дані з різних джерел вилучаються, комбінуються та інтегруються. Джерелами може бути бази даних, текстові файли, електронні таблиці, документи, багатовимірні масиви даних, інтернет тощо. - Вибірка даних
Зазвичай в повному обсязі інтегровані дані необхідні data mining. Вибірка даних - це етап, в якому з великої бази даних вибираються та вилучаються лише корисні дані. - Перетворення даних
Після вибору даних вони перетворюються на придатні для видобутку форми. Цей процес включає нормалізацію, агрегування, узагальнення і т.д. - Інтелектуальний аналіз даних
Тут настає найважливіша частина data mining - використання інтелектуальних методів для пошуку закономірностей у них. Процес включає регресію, класифікацію, прогнозування, кластеризацію, вивчення асоціацій та багато іншого. - Оцінка моделі
Цей етап спрямовано виявлення потенційно корисних, простих у розумінні шаблонів, і навіть шаблонів, що підтверджують гіпотези. - Подання знань
На заключному етапі отримана інформація представлена у привабливому вигляді із застосуванням методів представлення знань та візуалізації.
Недоліки Data Mining
- Великі вкладення часу та праці
Оскільки видобуток даних - це тривалий і складний процес, він потребує великої роботи продуктивних та кваліфікованих людей. Фахівці з інтелектуального аналізу даних можуть скористатися потужними інструментами видобутку даних, проте їм потрібні фахівці для підготовки даних та розуміння результатів. В результаті на обробку всієї інформації може знадобитися деякий час. - Приватність та безпека даних
Оскільки data mining збирає інформацію про клієнтів з допомогою ринкових методів, може порушити конфіденційність користувачів. Крім того, хакери можуть отримати дані, що зберігаються у системах видобутку даних. Це є загрозою для безпеки даних клієнтів. Якщо викрадені дані використовуються не за призначенням, це може легко зашкодити іншим.
Вище наведено короткий вступ у data mining. Як я вже згадувала, data mining містить процес збору та інтеграції даних, який включає процес вилучення даних (data extraction). І тут можна з упевненістю сказати, що data extraction може бути частиною тривалого процесу data mining.
Що таке Data Extraction?
Також відоме як «вилучення веб-даних» та «веб-скріпінг», цей процес є актом вилучення даних з (зазвичай неструктурованих або погано структурованих) джерел даних у централізовані місця та централізацію в одному місці для зберігання або подальшої обробки. Зокрема, до неструктурованих джерел даних відносяться веб-сторінки, електронна пошта, документи, PDF-файли, відсканований текст, звіти мейнфреймів, котушкові файли, оголошення і т.д. Централізовані сховища можуть бути локальними, хмарними чи гібридними. Важливо пам'ятати, що вилучення даних не включає обробку або інший аналіз, який може відбутися пізніше.
Що можна зробити за допомогою Data Extraction?
В основному цілі вилучення даних діляться на 3 категорії.
- Архівація
Вилучення даних може перетворити дані з фізичних форматів: книг, газет, рахунків-фактур у цифрові формати, наприклад, бази даних для зберігання або резервного копіювання. - Зміна формату даних
Коли ви хочете перенести дані з вашого поточного сайту на новий, що знаходиться на стадії розробки, ви можете зібрати дані з вашого власного сайту, витягуючи їх. - аналіз даних
Поширений додатковий аналіз вилучених даних отримання уявлення про них. Це може здатися схожим на аналіз даних при data mining, але врахуйте, що аналіз даних це мета їх вилучення, але не його частина. Понад те, дані аналізуються інакше. Один із прикладів: власники інтернет-магазинів отримують інформацію про продукт із сайтів електронної комерції, таких як Amazon, для моніторингу стратегій конкурентів у режимі реального часу. Як і data mining, data extraction - це автоматизований процес, що має безліч переваг. Раніше люди копіювали та вставляли дані вручну з одного місця до іншого, що займало дуже багато часу. Вилучення даних прискорює збір і значно підвищує точність даних.
Деякі приклади застосування Data Extraction
Подібно до data mining, вилучення даних широко використовується в різних галузях промисловості. Крім моніторингу цін в електронній комерції, вилучення даних може допомогти у власному дослідженні, агрегуванні новин, маркетингу, у роботі з нерухомістю, подорожах та туризмі, у консалтингу, фінансах та багато в чому іншому.
- лідогенераціі
Компанії можуть отримувати дані з каталогів: Yelp, Crunchbase, Yellowpages та генерувати лідів для розвитку бізнесу. Ви можете переглянути відео нижче, щоб дізнатися, як витягти дані з Yellowpages за допомогою . - Агрегація контенту та новин
Веб-сайти, що агрегують контент, можуть отримувати регулярні потоки даних з декількох джерел і підтримувати свої сайти в актуальному стані. - аналіз настроїв
Після отримання оглядів, коментарів і відгуків із соціальних мереж, таких як Instagram і Twitter, фахівці можуть проаналізувати погляди, що лежать в їх основі, і отримати уявлення про те, як сприймається бренд, продукт або якесь явище.
Кроки Data Extraction
Вилучення даних - перший етап ETL (абревіатура Extract, Transform, Load: вилучення, перетворення, завантаження) та ELT (витяг, завантаження та перетворення). ETL та ELT самі по собі є частиною завершеної стратегії інтеграції даних. Іншими словами, вилучення даних може бути частиною їхньої видобутку.
Вилучення, перетворення, завантаження
У той час як data mining – це отримання інформації з великих масивів даних, data extraction – це набагато більш короткий та простий процес. Його можна звести до трьох етапів:
- Вибір джерела даних
Виберіть джерело, яке ви хочете отримати, наприклад, веб-сайт. - Збір даних
Надішліть «GET» запит на сайт і проаналізуйте отриманий документ HTML за допомогою мов програмування, таких як Python, PHP, R, Ruby та ін. - Зберігання даних
Збережіть дані у локальній базі даних або в хмарному сховищі для майбутнього використання. Якщо ви досвідчений програміст, який хоче отримати дані, вищевказані кроки можуть здатися вам простими. Однак, якщо ви не програмуєте, є короткий шлях - використовувати інструменти отримання даних, наприклад . Інструменти data extraction, як і інструменти data mining, розроблені у тому, щоб заощадити енергію і зробити обробку даних простий всім. Ці інструменти не тільки економічні, а й зручні для початківців. Вони дозволяють користувачам збирати дані протягом декількох хвилин, зберігати їх у хмарі та експортувати їх у багато форматів: Excel, CSV, HTML, JSON або до баз даних на сайті через API.
Недоліки Data Extraction
- збій сервера
Виймання даних у великих масштабах веб-сервера цільового сайту може бути перевантажено, що може призвести до поломки сервера. Це завдасть шкоди інтересам власника сайту. - Бан по IP
Коли людина надто часто збирає дані, веб-сайти можуть заблокувати його IP-адресу. Ресурс може повністю заборонити IP-адресу або обмежити доступ, зробивши дані неповними. Щоб вилучати дані та уникати блокування, потрібно робити це з помірною швидкістю та застосовувати деякі методи антиблокування. - Проблеми з законом
Вилучення даних з Інтернету потрапляє в сіру зону, коли справа стосується законності. Великі сайти, такі як Linkedin та Facebook, чітко заявляють у своїх умовах використання, що будь-яке автоматичне вилучення даних заборонено. Між компаніями було багато судових позовів через діяльність роботів.
Ключові відмінності між Data Mining та Data Extraction
- Data mining також називається виявленням знань у базах даних, отриманням знань, аналізом даних/шаблонів, збиранням інформації. Data extraction використовується взаємозамінно з вилученням веб-даних, скануванням веб-сторінок, збиранням даних тощо.
- Дослідження data mining в основному ґрунтуються на структурованих даних, тоді як при вилученні даних вони зазвичай вилучаються з неструктурованих або погано структурованих джерел.
- Мета data mining – зробити дані кориснішими для аналізу. Data extraction - це збір даних в одне місце, де вони можуть бути збережені або оброблені.
- Аналіз при data mining базується на математичних методах виявлення закономірностей чи тенденцій. Data extraction базується мовами програмування чи інструментах вилучення даних обходу джерел.
- Мета data mining - знайти факти, які раніше не були відомі або ігнорувалися, тоді як data extraction має справу з наявною інформацією.
- Data mining складніше і потребує великих вкладень у навчання людей. Data extraction при використанні відповідного інструменту може бути надзвичайно простим та економічним.
Ми допомагаємо початківцям не заплутатися у Data. Спеціально для хабравчан ми зробили промокод HABR, що дає додаткову знижку 10% до знижки, зазначеної на банері.
Ще курси
Рекомендовані статті
Джерело: habr.com