T týchto dvoch módnych slovách, ktoré súvisia s Data Science, sa mnohí ľudia mýlia. Data Mining sa často nesprávne chápe ako ťažba a získavanie údajov, ale v skutočnosti je to oveľa zložitejšie. V tomto príspevku si ujasníme rozdiel medzi Data Mining a Data Extraction.
Čo je Data Mining?
Data mining, tiež nazývaný Získavanie poznatkov z databáz (KDD), predstavuje metódu, ktorá sa často používa na analýzu veľkých objemov údajov pomocou štatistických a matematických metód na hľadanie skrytých vzorov alebo trendov a na získanie hodnoty z nich.
Čo sa dá urobiť pomocou Data Mining?
Automatizovaním procesu, môžu prehliadať databázy a efektívne odhaľovať skryté vzory. Pre podniky sa data mining často používa na odhalenie vzorov a vzťahov v údajoch, čo pomáha pri optimalizácii obchodných rozhodnutí.
Príklady použitia
Keď sa v 90. rokoch data mining stal bežným, firmy v širokom spektre odvetví, vrátane maloobchodu, financií, zdravotnej starostlivosti, dopravy, telekomunikácií, elektronického obchodu atď., začali využívať metódy data mining na získavanie informácií založených na údajoch. Data mining môže pomôcť segmentovať zákazníkov, odhaliť podvody, predpovedať predaje a mnohé ďalšie.
- Segmentácia zákazníkov
Analýzou údajov o zákazníkoch a identifikovaním charakteristík cieľových zákazníkov môžu firmy vytvárať samostatné skupiny a poskytovať špeciálne ponuky, ktoré vyhovujú ich potrebám. - Analýza nákupného košíka
Táto technika je založená na teórii, že ak si kúpite určitú skupinu tovaru, pravdepodobne si kúpite aj inú skupinu tovaru. Jeden známy príklad: keď otcovia kupujú plienky pre svoje dojčatá, zvyčajne kupujú pivo spoločne s plienkami. - Predpovedanie predaja
Môže sa to zdať podobné analýze nákupného košíka, ale tentoraz sa analýza údajov používa na predpovedanie, kedy zákazník znovu kúpi produkt v budúcnosti. Napríklad tréner si kúpi plechovku proteínu, ktorá by mala vydržať 9 mesiacov. Obchod, ktorý predáva tento proteín, plánuje uviesť na trh nový produkt za 9 mesiacov, aby tréner znova nakúpil. - Odhaľovanie podvodu
Dáta mining pomáha pri vytváraní modelov na odhaľovanie podvodov. Zbierajúci vzorky podvodných a pravdivých správ, podniky majú právo určiť, ktoré operácie sú podozrivé. - Odhaľovanie vzorov vo výrobe
V spracovateľskom priemysle sa dáta mining používa na pomoc pri navrhovaní systémov, identifikovaním súvislostí medzi architektúrou produktu, profilom a potrebami zákazníkov. Dobyvanie dát môže tiež predpovedať vývojové lehoty produktov a náklady.
A to sú len niektoré scénare využitia dátového mining.
Fázy Data Mining
Data mining je komplexný proces zberu, výberu, čistenia, transformácie a extrakcie dát na hodnotenie vzorov a, nakoniec, na získanie hodnoty.
Celkovo sa celý proces dobývania dát zvyčajne zjednodušuje na 7 fáz:
- Čistenie dát
V reálnom svete nie sú dáta vždy čistené a štruktúrované. Často sú šumivé, neúplné a môžu obsahovať chyby. Aby sa zabezpečilo, že výsledok data mining je presný, je najskôr potrebné dáta vyčistiť. Niektoré metódy čistenia zahŕňajú doplnenie chýbajúcich hodnôt, automatickú a manuálnu kontrolu atď. - Integrácia údajov
Toto je fáza, v ktorej sú dáta extrahované, kombinované a integrované z rôznych zdrojov. Zdroje môžu obsahovať databázy, textové súbory, tabuľky, dokumenty, viacdimenzionálne dátové pole, internet a podobne. - Výber dát
Zvyčajne nie sú všetky integrované dáta potrebné pri data mining. Výber dát je fáza, v ktorej zo širokej databázy sú vyberané a extrahované len užitočné dáta. - Transformácia dát
Po výbere dát sú tieto transformované na vhodné formy pre ťažbu. Tento proces zahŕňa normalizáciu, agregáciu, generalizáciu a iné. - Inteligentná analýza dát
Tu prichádza najdôležitejšia časť data mining – použitie inteligentných metód na vyhľadávanie vzorov v nich. Proces zahŕňa regresiu, klasifikáciu, predpovedanie, zhlukovanie, skúmanie asociácií a mnoho iného. - Hodnotenie modelu
Táto fáza sa zameriava na identifikáciu potenciálne užitočných, ľahko pochopiteľných vzorov, ako aj vzorov potvrdzujúcich hypotézy. - Prezentácia poznatkov
Na záverečnej etape sú získané informácie prezentované atraktívnym spôsobom pomocou metodík znázorňovania znalostí a vizualizácie.
Nevýhody ťažby dát
- Veľké investície času a úsilia
Keďže ťažba dát je dlhý a zložitý proces, vyžaduje si veľa práce produktívnych a kvalifikovaných osôb. Odborníci na inteligentnú analýzu dát môžu využiť mocné nástroje na ťažbu dát, avšak potrebujú špecialistov na prípravu dát a pochopenie výsledkov. V dôsledku toho môže spracovanie všetkých informácií trvať určitý čas. - Ochrana súkromia a bezpečnosť dát
Keďže ťažba dát zhromažďuje informácie o klientoch pomocou trhových metód, môže narušiť dôvernosť používateľov. Navyše, hackeri môžu získať dáta uložené v systémoch ťažby dát. To predstavuje hrozbu pre bezpečnosť zákazníckych dát. Ak sú ukradnuté dáta zneužité, môže to ľahko ublížiť iným.
Vyššie bolo uvedené krátke úvod do ťažby dát. Ako som už spomínala, ťažba dát obsahuje proces zhromažďovania a integrácie dát, ktorý zahŕňa aj proces extrakcie dát. V tomto prípade môžeme s istotou povedať, že extrakcia dát môže byť súčasťou dlhého procesu ťažby dát.
Čo je to extrakcia dát?
Tento proces, známy aj ako 'extrakcia webových dát' a 'web scraping', predstavuje čin extrakcie dát z (zvyčajne štruktúrovaných alebo slabých štruktúrovaných) zdrojov do centralizovaných miest a ich centralizáciu na jednom mieste na ukladanie alebo ďalšie spracovanie. Konkrétne, medzi neštruktúrované zdroje dát patrí webové stránky, e-maily, dokumenty, súbory PDF, naskenovaný text, správy z mainframov, súbory na kotúče, inzeráty atď. Centralizované úložiská môžu byť lokálne, cloudové alebo hybridné. Je dôležité mať na pamäti, že extrakcia dát nezahŕňa spracovanie ani iné analýzy, ktoré môžu nastať neskôr.
Čo sa dá robiť s pomocou extrakcie dát?
Ciele extrakcie dát sú prevažne rozdelené do 3 kategórií.
- Archivácia
Extrakcia dát môže previesť údaje z fyzických formátov, ako sú knihy, noviny, faktúry, do digitálnych formátov, napríklad databáz pre ukladanie alebo zálohovanie. - Zmena formátu dát
Keď chcete preniesť údaje zo svojej aktuálnej stránky na novú, ktorá je vo fáze vývoja, môžete zhromaždiť údaje zo svojej vlastnej stránky tým, že ich extrahujete. - Analýza dát
Rozšírená analýza extrahovaných dát sa často vykonáva pre získanie prehľadu o nich. Môže to vyzerať podobne ako analýza dát pri data miningu, ale majte na pamäti, že analýza dát je cieľom ich extrakcie, ale nie jej súčasťou. Navyše, údaje sa analyzujú inak. Jedným z príkladov je, že vlastníci internetových obchodov extrahujú informácie o produktoch z webových stránok elektronického obchodu, ako je Amazon, aby v reálnom čase monitorovali stratégie konkurencie. Rovnako ako data mining, aj extrakcia dát je automatizovaný proces s mnohými výhodami. Predtým ľudia ručne kopírovali a vkladali údaje z jedného miesta na druhé, čo veľmi času žralo. Extrakcia dát zrýchľuje zber a výrazne zvyšuje presnosť extrahovaných údajov.
Niektoré príklady využitia extrakcie dát
Podobne ako data mining, extrakcia dát sa široko využíva v rôznych priemyselných odvetviach. Okrem monitorovania cien v elektronickom obchode môže extrakcia dát pomôcť vo vlastnom výskume, agregovaní správ, marketingu, v oblasti nehnuteľností, cestovnom ruchu, v poradenstve, financiách a mnohých ďalších.
- Generovanie leadov
Spoločnosti môžu extrahovať údaje z katalógov ako Yelp, Crunchbase, Yellowpages a generovať leady na rozvoj podnikania. Môžete sa pozrieť na video nižšie a zistiť, ako extrahovať dáta z Yellowpages pomocou . - Agregácia obsahu a správ
Agregátory obsahu môžu pravidelne získavať prúdy dát z viacerých zdrojov a udržiavať svoje stránky aktuálne. - Analýza sentimentu
Po extrakcii recenzií, komentárov a hodnotení zo sociálnych sietí ako Instagram a Twitter môžu odborníci analyzovať skryté názory a získať prehľad o tom, ako je značka, produkt alebo jav vnímaný.
Kroky extrakcie dát
Extrakcia dát je prvá fáza ETL (skratka pre Extract, Transform, Load: extrakcia, transformácia, načítanie) a ELT (extrakcia, načítanie a transformácia). ETL a ELT sú sami o sebe súčasťou komplexnej stratégie integrácie dát. Inými slovami, extrakcia dát môže byť časťou procesu ich ťažby.
Extrakcia, transformácia, načítanie
Zatiaľ čo ťažba údajov je proces získavania informácií z veľkých objemov údajov, extrakcia údajov je oveľa kratší a jednoduchší proces. Ten sa môže zredukovať na tri fázy:
- Výber zdroja dát
Vyberte zdroj, z ktorého chcete extrahovať údaje, napríklad webovú stránku. - Zber dát
Odošlite požiadavku "GET" na stránku a analyzujte získaný dokument HTML pomocou programovacích jazykov ako Python, PHP, R, Ruby a ďalších. - Ukladanie dát
Uložte údaje do svojej miestnej databázy alebo do cloudového úložiska na budúce využitie. Ak ste skúsený programátor, ktorý chce extrahovať údaje, vyššie uvedené kroky sa vám môžu zdať jednoduché. Avšak, ak neprogramujete, existuje skrátená cesta - použite nástroje na extrakciu dát, napríklad . Nástroje na extrakciu dát, podobne ako nástroje na ťažbu údajov, sú navrhnuté tak, aby šetrili energiu a uľahčili spracovanie dát pre všetkých. Tieto nástroje sú nielen cenovo efektívne, ale aj používateľsky prívetivé pre začiatočníkov. Umožňujú používateľom zhromažďovať údaje za niekoľko minút, ukladať ich do cloudu a exportovať ich do mnohých formátov: Excel, CSV, HTML, JSON alebo do databáz na stránke cez API.
Nevýhody extrakcie dát
- Zlyhanie servera
Pri extrakcii dát vo veľkom rozsahu môže byť webový server cieľovej stránky preťažený, čo môže viesť k jeho zlyhaniu. To poškodí záujmy vlastníka stránky. - Blokovanie podľa IP
Keď niekto príliš často zhromažďuje údaje, webové stránky môžu zablokovať jeho IP adresu. Zdroju môže byť úplne zakázaný prístup na základne IP adresy alebo môže byť obmedzený, čo spôsobí, že údaje budú neúplné. Aby ste mohli extrahovať údaje a vyhnúť sa blokovaniu, treba to robiť miernou rýchlosťou a aplikovať niektoré anti-blokovacie metódy. - Právne problémy
Získavanie údajov z webu sa ocitá v šedej zóne, pokiaľ ide o legálnosť. Veľké stránky, ako Linkedin a Facebook, jasne uvádzajú vo svojich podmienkach používania, že akékoľvek automatické získavanie údajov je zakázané. Medzi spoločnosťami sa uskutočnilo veľa súdnych sporov kvôli činnosti botov.
Kľúčové rozdiely medzi Data Mining a Data Extraction
- Data mining sa tiež nazýva objavovanie poznatkov v databázach, získavanie poznatkov, analýza údajov/šablón, zber informácií. Data extraction sa používa zameniteľne so získavaním údajov z webu, prehľadávaním webových stránok, zberom údajov a podobne.
- Výskum data mining je prevažne založený na štruktúrovaných údajoch, zatiaľ čo pri získavaní údajov sa spravidla získavajú z neštruktúrovaných alebo slabšie štruktúrovaných zdrojov.
- Cieľom data mining je spraviť údaje užitočnejšími na analýzu. Data extraction je zber údajov na jedno miesto, kde môžu byť uložené alebo spracované.
- Analýza pri data mining je založená na matematických metódach odhaľovania vzorcov alebo trendov. Data extraction sa zakladá na programovacích jazykoch alebo nástrojoch na získavanie údajov na prechádzanie zdrojmi.
- Cieľom data mining je nájsť fakty, ktoré predtým neboli známe alebo ignorované, zatiaľ čo data extraction sa zaoberá existujúcimi informáciami.
- Data mining je zložitejšie a vyžaduje väčšie investície do školenia ľudí. Data extraction môže byť pri použití vhodného nástroja mimoriadne jednoduché a nákladovo efektívne.
Pomáhame začiatočníkom nestratiť sa v údajoch. Špeciálne pre hubáčov sme vytvorili promo kód HABR, ktorý poskytuje dodatočnú zľavu 10% na zľavu uvedenú na bannery.
Ďalšie kurzy
Odporúčané články
Zdroj: habr.com
