Разбиране на разликата между извличане на данни и извличане на данни

Тези две модни думи в науката за данните объркват много хора. Извличането на данни често се разбира погрешно като извличане и извличане на данни, но в действителност е много по-сложно. В тази публикация нека поставим последните щрихи върху копаене и да открием разликата между извличане на данни и извличане на данни.

Какво е Data Mining?

Извличане на данни, наричано още Откриване на знания в база данни (KDD), е техника, често използвана за анализиране на големи количества данни с помощта на статистически и математически техники за намиране на скрити модели или тенденции и извличане на стойност от тях.

Какво можете да правите с Data Mining?

Чрез автоматизиране на процеса, инструменти за извличане на данни може да сканира бази данни и ефективно да идентифицира скрити модели. За бизнеса извличането на данни често се използва за идентифициране на модели и връзки в данните, за да помогне за вземането на по-добри бизнес решения.

Примери за приложение

След като извличането на данни стана широко разпространено през 1990-те години на миналия век, компании в широк спектър от индустрии, включително търговия на дребно, финанси, здравеопазване, транспорт, телекомуникации, електронна търговия и т.н., започнаха да използват техники за извличане на данни за получаване на информация въз основа на данни. Извличането на данни може да помогне за сегментиране на клиенти, откриване на измами, прогнозиране на продажби и много повече.

• Сегментиране на клиентите
  Чрез анализиране на клиентски данни и идентифициране на характеристиките на целевите клиенти, компаниите могат да ги насочат към отделна група и да предоставят специални оферти, които отговарят на техните нужди.
• Анализ на пазарната кошница
  Тази техника се основава на теорията, че ако купувате определена група продукти, е по-вероятно да купите друга група продукти. Един известен пример: когато бащите купуват пелени за своите бебета, те са склонни да купуват бира заедно с пелените.
• Прогнозиране на продажбите
  Това може да изглежда подобно на анализа на пазарната кошница, но този път анализът на данните се използва за прогнозиране кога клиентът ще купи продукт отново в бъдеще. Например, треньор купува кутия протеин, която трябва да стигне за 9 месеца. Магазинът, продаващ този протеин, планира да пусне нов след 9 месеца, така че треньорът да го купи отново.
• Откриване на измами
  Извличането на данни помага при изграждането на модели за откриване на измами. Чрез събиране на проби от измамни и легитимни доклади, фирмите имат право да определят кои транзакции са подозрителни.
• Откриване на модели в производството
  В производствената индустрия извличането на данни се използва за подпомагане на системния дизайн чрез идентифициране на връзката между продуктовата архитектура, профила и нуждите на клиента. Извличането на данни може също да предвиди сроковете и разходите за разработване на продукти.

И това са само няколко сценария за използване на извличане на данни.

Етапи на извличане на данни

Извличането на данни е холистичен процес на събиране, избиране, почистване, трансформиране и извличане на данни за оценка на модели и в крайна сметка извличане на стойност.

По правило целият процес на извличане на данни може да бъде обобщен в 7 етапа:

1. Почистване на данни
   В реалния свят данните не винаги се почистват и структурират. Те често са шумни, непълни и може да съдържат грешки. За да сте сигурни, че резултатът от извличането на данни е точен, първо трябва да почистите данните. Някои методи за почистване включват попълване на липсващи стойности, автоматична и ръчна проверка и др.
2. Интегриране на данни
   Това е етапът, в който данните от различни източници се извличат, комбинират и интегрират. Източници могат да бъдат бази данни, текстови файлове, електронни таблици, документи, многоизмерни набори от данни, Интернет и т.н.
3. Извадка от данни
   Обикновено не всички интегрирани данни са необходими при извличането на данни. Извадката от данни е етапът, в който само полезни данни се избират и извличат от голяма база данни.
4. Преобразуване на данни
   След като данните бъдат избрани, те се преобразуват в подходящи форми за копаене. Този процес включва нормализиране, агрегиране, генерализиране и т.н.
5. Извличане на данни
   Тук идва най-важната част от извличането на данни - използването на интелигентни методи за намиране на модели в тях. Процесът включва регресия, класификация, прогнозиране, групиране, асоциативно обучение и др.
6. Оценка на модела
   Тази стъпка има за цел да идентифицира потенциално полезни, лесни за разбиране и поддържащи хипотези модели.
7. Представяне на знания
   На последния етап получената информация се представя в атрактивна форма с помощта на методи за представяне на знания и визуализация.

Недостатъци на Data Mining

• Голяма инвестиция на време и труд
  Тъй като извличането на данни е дълъг и сложен процес, той изисква много работа от продуктивни и квалифицирани хора. Копачите на данни могат да се възползват от мощни инструменти за извличане на данни, но те изискват експерти, които да подготвят данните и да разберат резултатите. В резултат на това обработката на цялата информация може да отнеме известно време.
• Поверителност и сигурност на данните
  Тъй като извличането на данни събира информация за клиенти чрез пазарни методи, това може да наруши поверителността на потребителите. Освен това хакерите могат да получат данни, съхранявани в системи за извличане на данни. Това представлява заплаха за сигурността на клиентските данни. Ако с откраднати данни се злоупотреби, те лесно могат да навредят на другите.

Горното е кратко въведение в извличането на данни. Както вече споменах, извличането на данни включва процеса на събиране и интегриране на данни, който включва процеса на извличане на данни. В този случай е безопасно да се каже, че извличането на данни може да бъде част от дългосрочен процес на извличане на данни.

Какво е извличане на данни?

Известен също като „извличане на данни в мрежата“ и „извличане на данни в мрежата“, този процес е акт на извличане на данни от (обикновено неструктурирани или лошо структурирани) източници на данни в централизирани местоположения и централизирането им на едно място за съхранение или по-нататъшна обработка. По-конкретно, източниците на неструктурирани данни включват уеб страници, имейли, документи, PDF файлове, сканиран текст, мейнфрейм отчети, файлове от барабан до барабан, реклами и др. Централизираното съхранение може да бъде локално, облачно или хибридно. Важно е да запомните, че извличането на данни не включва обработка или друг анализ, който може да се случи по-късно.

Какво можете да правите с извличане на данни?

По принцип целите на извличането на данни попадат в 3 категории.

• Архивирането
  Извличането на данни може да трансформира данни от физически формати: книги, вестници, фактури в цифрови формати, като бази данни за съхранение или архивиране.
• Промяна на формата на данните
  Когато искате да мигрирате данни от текущия си сайт към нов в процес на разработка, можете да съберете данни от собствения си сайт, като ги извлечете.
• Анализ на данните
  Допълнителният анализ на извлечените данни за получаване на представа е обичаен. Това може да изглежда подобно на извличането на данни, но имайте предвид, че извличането на данни е целта на извличането на данни, а не част от него. Освен това данните се анализират по различен начин. Един пример: Собствениците на онлайн магазини извличат информация за продукта от сайтове за електронна търговия като Amazon, за да наблюдават стратегиите на конкурентите в реално време. Подобно на извличането на данни, извличането на данни е автоматизиран процес, който има много предимства. В миналото хората копираха и поставяха данни ръчно от едно място на друго, което отнемаше много време. Извличането на данни ускорява събирането и значително подобрява точността на извлечените данни.

Някои примери за използване на извличане на данни

Подобно на извличането на данни, извличането на данни се използва широко в различни индустрии. В допълнение към наблюдението на цените в електронната търговия, извличането на данни може да помогне във вашите собствени проучвания, събиране на новини, маркетинг, недвижими имоти, пътувания и туризъм, консултации, финанси и много други.

• Олово поколение
  Компаниите могат да извличат данни от директории: Yelp, Crunchbase, Yellowpages и да генерират потенциални клиенти за развитие на бизнеса. Можете да гледате видеоклипа по-долу, за да научите как да извличате данни от Yellowpages с помощта на шаблон за уеб скрапиране.

• Агрегиране на съдържание и новини
  Уебсайтовете за агрегиране на съдържание могат да получават редовни потоци от данни от множество източници и да поддържат своите сайтове актуални.
• Анализ на настроенията
  Чрез извличане на рецензии, коментари и обратна връзка от сайтове на социални медии като Instagram и Twitter, експертите могат да анализират основните настроения и да получат представа за това как се възприема марка, продукт или феномен.

Стъпки за извличане на данни

Извличането на данни е първият етап на ETL (съкращението Extract, Transform, Load) и ELT (extract, load и transform). ETL и ELT сами по себе си са част от цялостна стратегия за интегриране на данни. С други думи, извличането на данни може да бъде част от извличането на данни.

Извличане, конвертиране, зареждане

Докато извличането на данни е свързано с извличане на информация от големи количества данни, извличането на данни е много по-кратък и по-прост процес. Може да се сведе до три етапа:

1. Избор на източник на данни
   Изберете източника, от който искате да извлечете данни, като например уебсайт.
2. Събиране на данни
   Изпратете заявка „GET“ до сайта и анализирайте получения HTML документ с помощта на езици за програмиране като Python, PHP, R, Ruby и др.
3. Съхранение на данни
   Запазете данни във вашата локална база данни или облачно хранилище за бъдеща употреба. Ако сте опитен програмист, който иска да извлича данни, горните стъпки може да ви изглеждат прости. Ако обаче не кодирате, пряк път е да използвате инструменти за извличане на данни, напр. Октопарс. Инструментите за извличане на данни, като инструментите за извличане на данни, са предназначени да пестят енергия и да направят обработката на данни лесна за всички. Тези инструменти са не само икономични, но и удобни за начинаещи. Те позволяват на потребителите да събират данни в рамките на минути, да ги съхраняват в облака и да ги експортират в много формати: Excel, CSV, HTML, JSON или към бази данни на уебсайтове чрез API.

Недостатъци на извличането на данни

• Срив на сървъра
  При извличане на данни в голям мащаб, уеб сървърът на целевия сайт може да бъде претоварен, което може да доведе до срив на сървъра. Това ще накърни интересите на собственика на сайта.
• Забрана чрез IP
  Когато дадено лице събира данни твърде често, уебсайтовете може да блокират неговия IP адрес. Ресурсът може напълно да откаже IP адрес или да ограничи достъпа, правейки данните непълни. За да извлечете данни и да избегнете блокиране, трябва да го направите с умерена скорост и да използвате някои техники против блокиране.
• Правни проблеми
  Извличането на данни от мрежата попада в сива зона, когато става въпрос за законност. Големи сайтове като Linkedin и Facebook ясно посочват в условията си за ползване, че всяко автоматизирано извличане на данни е забранено. Има много съдебни дела между компании поради активност на ботове.

Основни разлики между извличане на данни и извличане на данни

1. Извличането на данни се нарича още откриване на знания в бази данни, извличане на знания, анализ на данни/модели, събиране на информация. Извличането на данни се използва взаимозаменяемо с извличането на уеб данни, обхождането на мрежата, извличането на данни и т.н.
2. Изследванията за извличане на данни се основават главно на структурирани данни, докато при извличането на данни те обикновено се извличат от неструктурирани или лошо структурирани източници.
3. Целта на извличането на данни е да направи данните по-полезни за анализ. Извличането на данни е събирането на данни на едно място, където те могат да бъдат съхранявани или обработвани.
4. Анализът в извличането на данни се основава на математически методи за идентифициране на модели или тенденции. Извличането на данни се основава на езици за програмиране или инструменти за извличане на данни за обхождане на източници.
5. Целта на извличането на данни е да се намерят факти, които преди са били неизвестни или игнорирани, докато извличането на данни се занимава със съществуваща информация.
6. Извличането на данни е по-сложно и изисква големи инвестиции в обучение на хора. Извличането на данни, когато се използва с правилния инструмент, може да бъде изключително просто и рентабилно.

Ние помагаме на начинаещите да не се бъркат в Data. Създадохме промоционален код специално за жителите на Хабра ХАБР, давайки допълнителна отстъпка от 10% към отстъпката, посочена на банера.

• Преподаване на професията Data Science от нулата
• Онлайн учебен лагер за наука за данни
• Обучение на професията Data Analyst от нулата
• Онлайн учебен лагер за анализ на данни
• Python за курс за уеб разработка

Още курсове

• Курс за анализ на данни
• DevOps курс
• Професия уеб програмист
• Професия iOS разработчик от нулата
• Професия Android разработчик от нулата
• Професия Java разработчик от нулата
• Курс по JavaScript
• Курс за машинно обучение
• Курс „Математика и машинно обучение за наука за данни“
• Курс за напреднали "Machine Learning Pro + Deep Learning"

Препоръчани статии

• Как да станете специалист по данни без онлайн курсове
• 450 безплатни курса от Ivy League
• Как да изучавате машинно обучение 5 дни в седмицата в продължение на 9 месеца подред
• Колко печели анализатор на данни: преглед на заплатите и свободните работни места в Русия и чужбина през 2020 г.
• Машинно обучение и компютърно зрение в минната индустрия

Източник: www.habr.com