🥇Разбираме, в какво е разликата между Data Mining и Data Extraction

Тези две популярни термини, свързани с Data Science, объркват много хора. Data Mining често се разбира погрешно като извличане на данни, но всъщност всичко е много по-сложно. В този пост нека разграничим термина Mining и разберем разликата между Data Mining и Data Extraction.

Какво е Data Mining?

Data mining, известен също като Откриване на знания в бази данни (KDD), е метод, който често се използва за анализ на големи масиви от данни чрез статистически и математически методи с цел да се открият скрити закономерности или тенденции и да се извлече стойност от тях.

Какво може да се направи с помощта на Data Mining?

Чрез автоматизиране на процеса, инструментите за data mining могат да преглеждат бази данни и ефективно да идентифицират скрити закономерности. За бизнеса data mining често се използва за разкриване на модели и взаимовръзки в данните, които помагат за вземане на оптимални бизнес решения.

Примери за приложение

След като data mining стана широко разпространен през 90-те години, компании в разнообразни индустрии, включително търговия на дребно, финанси, здравеопазване, транспорт, телекомуникации, електронна търговия и т.н., започнаха да използват методи на data mining за получаване на информация от данни. Data mining може да помогне за сегментиране на клиенти, откриване на измами, прогнозиране на продажби и много други.

Сегментиране на клиенти
Чрез анализа на данни за клиентите и идентифицирането на характеристики на целевите клиенти, компаниите могат да ги групират в отделни категории и да им предоставят специални оферти, отговарящи на техните нужди.
Анализ на пазарната кошница
Тази методология е основана на теорията, че ако купите определена група продукти, с голяма вероятност ще купите и друга група продукти. Един известен пример: когато татковците купуват памперси за децата си, те обикновено купуват бира заедно с памперсите.
Прогнозиране на продажби
Това може да изглежда подобно на анализа на пазарната кошница, но този път анализът на данните се използва, за да се предвиди кога клиентът отново ще купи продукт в бъдеще. Например, треньор купува буркан протеин, който трябва да бъде достатъчен за 9 месеца. Магазинът, който продава този протеин, планира да пусне нов след 9 месеца, за да може треньорът отново да го закупи.
Откриване на измами
Data mining помага при изграждането на модели за разкриване на измами. Събирайки проби на измамнически и истински отчети, предприятията получават право да определят кои операции са подозрителни.
Разкриване на модели в производството
В производствения сектор data mining се използва, за да помогне в проектирането на системи, чрез идентифициране на взаимовръзките между архитектурата на продукта, профила и нуждите на клиентите. Добивът на данни също може да предскаже сроковете за развитие на продуктите и разходите.

И това са само някои от сценарите за приложение на data mining.

Стъпки в Data Mining

Data mining е цялостен процес на събиране, селекция, почистване, трансформация и извличане на данни за оценка на закономерности и, в крайна сметка, за извличане на стойност.

Обикновено целият процес на добив на данни може да се обобщи в 7 стъпки:

Почистване на данни
В реалния свят данните не винаги са почистени и структурирани. Често те са шумни, непълни и може да съдържат грешки. За да се уверим, че резултатите от data mining са точни, първо е необходимо да се почистят данните. Някои методи за почистване включват попълване на липсващи стойности, автоматичен и ръчен контрол и т.н.
Интеграция на данни
Това е етапът, в който данните от различни източници се извличат, комбинират и интегрират. Източниците могат да бъдат бази данни, текстови файлове, електронни таблици, документи, многомерни масиви от данни, интернет и много други.
Извличане на данни
Обикновено не всички интегрирани данни са необходими в data mining. Изборът на данни е етап, в който от голямата база данни се избират и извлекат само полезните данни.
Преобразуване на данни
След избирането на данните, те се преобразуват в подходящи форми за добив. Този процес включва нормализация, агрегиране, обобщение и т.н.
Интелектуален анализ на данни
Тук настъпва най-важната част от data mining — използването на интелектуални методи за търсене на закономерности в тях. Процесът включва регресия, класификация, прогнозиране, клъстеризация, изучаване на асоциации и много друго.
Оценка на модела
Тази стъпка е насочена към откриването на потенциално полезни, лесни за разбиране шаблони, както и шаблони, които потвърдяват хипотези.
Представяне на знания
На последния етап информацията, получена от анализа, е представена по привлекателен начин, използвайки методи за представяне на знания и визуализация.

Недостатъци на Data Mining

Големи вложения на време и усилия
Тъй като добивът на данни е дълъг и сложен процес, той изисква значителна работа от продуктивни и квалифицирани специалисти. Специалистите по интелигентен анализ на данни могат да се възползват от мощни инструменти за добив на данни, но се нуждаят от експерти за подготовка на данните и разбиране на резултатите. В резултат на това обработката на цялата информация може да отнеме известно време.
Поверителност и сигурност на данните
Тъй като data mining събира информация за клиентите чрез маркетингови методи, той може да наруши конфиденциалността на потребителите. Освен това, хакерите могат да получат достъп до данни, съхранявани в системите за добив на данни. Това представлява заплаха за сигурността на клиентските данни. Ако откраднатите данни се използват неправилно, това може лесно да навреди на другите.

По-горе е представено кратко въведение в data mining. Както споменах, data mining включва процеса на събиране и интегриране на данни, който включва процесса на извличане на данни (data extraction). В този случай може да се каже с увереност, че data extraction може да бъде част от дългия процес на data mining.

Какво е Data Extraction?

Също така известно като „извличане на уеб данни“ и „веб скрейпинг“, този процес представлява акт на извличане на данни от (обикновено неструктурирани или слабо структурирани) източници на данни в централни места и съхранение на едно място за съхранение или по-нататъшна обработка. По-специално, неструктурираните източници на данни включват уеб страници, имейли, документи, PDF файлове, сканиран текст, отчети от мейнфреймове, лентови файлове, обяви и т.н. Централизираните хранилища могат да бъдат локални, облачни или хибридни. Важно е да се помни, че извличането на данни не включва обработка или друг анализ, който може да последва.

Какво може да се направи с помощта на Data Extraction?

Основно целите за извличане на данни се делят на 3 категории.

Архивиране
Извличането на данни може да преобразува информация от физически формати: книги, вестници, фактури в цифрови формати, като бази данни за съхранение или архивиране.
Промяна на данни от един формат в друг
Когато искате да пренесете данните от текущия си сайт на нов, който е в процес на разработка, можете да съберете данни от собствения си сайт, извличайки ги.
Анализ на данни
Често се извършва допълнителен анализ на извлечените данни, за да се получи представа за тях. Това може да изглежда подобно на анализа на данни при data mining, но имайте предвид, че анализът на данни е целта на тяхното извличане, а не част от него. Освен това, данните се анализират по различен начин. Един от примерите: собствениците на онлайн магазини извличат информация за продуктите от уебсайтове за електронна търговия като Amazon, за да наблюдават стратегиите на конкурентите в реално време. Подобно на data mining, извличането на данни е автоматизиран процес, който носи множество предимства. По-рано хората ръчно копираха и поставяха данни от едно място на друго, което отнемаше много време. Извличането на данни ускорява събирането и значително увеличава точността на извлечените данни.

Някои примери за приложение на извличането на данни

Подобно на data mining, извличането на данни се използва широко в различни индустрии. Освен наблюдение на цените в електронната търговия, извличането на данни може да помогне и в проучванията, агрегиране на новини, маркетинг, работа с недвижими имоти, пътувания и туризъм, консултиране, финанси и много други.

Генериране на потенциални клиенти
Фирмите могат да извлекат данни от директории като: Yelp, Crunchbase, Yellowpages и да генерират потенциални клиенти за развитие на бизнеса. Можете да гледате видеото по-долу, за да разберете как да извлечете данни от Yellowpages с помощта на шаблона за уеб скрепинг.
Агрегиране на съдържание и новини
Агрегиращите съдържание уебсайтове могат да получават редовни потоци от данни от множество източници и да поддържат своите сайтове актуални.
Анализ на настроенията
След извлечените отзиви, коментари и мнения от социални мрежи като Instagram и Twitter, специалистите могат да анализират основните възгледи и да получат представа за това как се възприема марката, продукта или даден феномен.

Стъпки за извлечение на данни

Извличането на данни е първата стъпка в ETL (съкращение от Extract, Transform, Load: извличане, преобразуване, зареждане) и ELT (извличане, зареждане и преобразуване). ETL и ELT сами по себе си са част от завършена стратегия за интеграция на данни. С други думи, извличането на данни може да бъде част от техния процес.

Извличане, преобразуване, зареждане

Докато добиването на данни е процес на извличане на информация от големи обеми данни, извличането на данни е много по-кратък и прост процес. Може да бъде сведено до три етапа:

Избор на източник на данни
Изберете източника, от който искате да извлечете данни, например уебсайт.
Събиране на данни
Изпратете "GET" заявка до сайта и анализирайте получената HTML документация с помощта на програмни езици като Python, PHP, R, Ruby и други.
Съхранение на данни
Запазете данните в своя локална база данни или в облачно хранилище за бъдеща употреба. Ако сте опитен програмист, който иска да извлече данни, стъпките по-горе могат да ви се сторят прости. Въпреки това, ако не програмирате, има по-кратък начин — да използвате инструменти за извличане на данни, като Octoparse. Инструментите за извличане на данни, подобно на инструментите за добиване на данни, са създадени да спестят усилия и да направят обработката на данни лесна за всички. Тези инструменти не само че са икономични, но и удобни за начинаещи. Те позволяват на потребителите да събират данни за няколко минути, да ги съхраняват в облака и да ги експортират в множество формати: Excel, CSV, HTML, JSON или в бази данни на сайта чрез API.

Недостатъци на извличането на данни

Срив на сървъра
При извличане на данни в голям мащаб, уеб сървърът на целевия сайт може да бъде преовременен, което може да доведе до срив на сървъра. Това ще навреди на интересите на собственика на сайта.
Блокиране по IP
Когато даден човек прекалено често събира данни, уебсайтовете могат да блокират неговия IP адрес. Ресурсът може напълно да забрани IP адреса или да ограничи достъпа, което да направи данните непълни. За да извличате данни и да избегнете блокиране, трябва да го правите с умерена скорост и да прилагате някои методи за антиблокиране.
Правни проблеми
Извличането на данни от мрежата попада в сивата зона, когато става въпрос за законност. Големи сайтове като Linkedin и Facebook ясно заявяват в условията си за ползване, че всяко автоматизирано извличане на данни е забранено. Между компаниите имаше много съдебни искове заради дейността на роботи.

Ключови разлики между Data Mining и Data Extraction

Data mining също се нарича откриване на знания в бази данни, извличане на знания, анализ на данни/шаблони, събиране на информация. Data extraction се използва взаимозаменяемо с извличането на уеб данни, сканиране на уеб страници, събиране на данни и т.н.
Изследванията по data mining основно се базират на структурирани данни, докато при извличането на данни те обикновено се извлекат от неструктурирани или слабо структурирани източници.
Целта на data mining е да направи данните по-полезни за анализ. Data extraction е събирането на данни на едно място, където те могат да бъдат съхранявани или обработвани.
Анализът при data mining се основава на математически методи за откриване на закономерности или тенденции. Data extraction се базира на програмни езици или инструменти за извличане на данни, за да се обходят източниците.
Целта на data mining е да намери факти, които преди това не са били известни или са били игнорирани, докато data extraction се занимава с вече съществуваща информация.
Data mining е по-сложен и изисква по-големи инвестиции в обучение на хора. Data extraction, когато се използва подходящ инструмент, може да бъде изключително лесен и икономичен.

Помагаме на начинаещите да не се заплитат в Data. Специално за хабравчани направихме промокод HABR, който дава допълнителна отстъпка от 10% на посочената на банера отстъпка.