Tyto dvě módní slova, spojená s Data Science, mátou mnoho lidí v rozpacích. Data Mining je často mylně chápán jako extrakce a získávání dat, ale ve skutečnosti je to mnohem složitější. V tomto příspěvku si ujasníme rozdíl mezi Data Mining a Data Extraction.
Co je to Data Mining?
Data mining, také nazývaný objevování znalostí v databázích (KDD), je metoda často používaná k analýze velkých objemů dat pomocí statistických a matematických metod za účelem hledání skrytých vzorců nebo trendů a těžení z nich hodnoty.
Co lze dělat s pomocí Data Mining?
Automatizací procesu, mohou procházet databáze a efektivně odhalovat skryté vzorce. Pro podniky se data mining často používá k odhalování vzorců a souvislostí v datech, což pomáhá při optimálním rozhodování v oblasti podnikání.
Příklady použití
Poté, co se na přelomu 90. let data mining rozšířil, začaly společnosti v široké škále odvětví, včetně maloobchodu, financí, zdravotnictví, dopravy, telekomunikací, elektronického obchodování atd., používat metody data mining pro získávání informací na základě dat. Data mining může pomoci segmentovat zákazníky, odhalit podvody, predikovat prodeje a mnohem více.
- Segmentace zákazníků
Díky analýze dat o zákaznících a identifikaci rysů cílových zákazníků mohou společnosti vytvářet jejich specifické skupiny a nabízet jim speciální nabídky odpovídající jejich potřebám. - Analýza tržního košíku
Tato metodika je založena na teorii, že pokud nakupujete určitou skupinu zboží, pravděpodobně si také koupíte jinou skupinu zboží. Jeden známý příklad: když otcové kupují plenky pro své děti, obvykle kupují pivo společně s plenami. - Predikce prodeje
Může to vypadat podobně jako analýza tržního košíku, ale tentokrát se analýza dat používá k predikci, kdy zákazník znovu zakoupí produkt v budoucnu. Například trenér kupuje plechovku proteinu, která by měla vydržet 9 měsíců. Obchod, který prodává tento protein, plánuje uvést nový za 9 měsíců, aby trenér znovu nakoupil. - Odhalení podvodů
Data mining pomáhá při vytváření modelů pro odhalení podvodů. Shromažďováním vzorků podvodných a pravdivých zpráv získávají podniky právo určit, které operace jsou podezřelé. - Odhalení vzorů ve výrobě
V zpracovatelském průmyslu se data mining používá k pomoci při návrhu systémů, identifikací vztahů mezi architekturou produktu, profilem a potřebami zákazníků. Data mining také může předpovědět časové rámce vývoje produktu a náklady.
A to jsou jen některé scénáře použití data miningu.
Etapy Data Miningu
Data mining je komplexní proces sběru, výběru, čištění, transformace a extrakce dat pro hodnocení vzorců a nakonec pro získání hodnoty.
Obvykle lze celý proces data miningu shrnout do 7 etap:
- Čištění dat
Ve skutečném světě nejsou data vždy čištěna a strukturována. Často jsou hlučná, neúplná a mohou obsahovat chyby. Aby se zajistilo, že výsledek data miningu je přesný, je třeba nejprve data vyčistit. Některé metody čištění zahrnují vyplnění chybějících hodnot, automatickou a ruční kontrolu atd. - Integrace dat
Toto je etapa, kdy jsou data z různých zdrojů extrahována, kombinována a integrována. Zdroji mohou být databáze, textové soubory, tabulky, dokumenty, vícerozměrné datové matice, internet a tak dále. - Výběr dat
Obvykle nejsou všechna integrovaná data potřebná pro data mining. Výběr dat je etapa, kdy jsou z velké databáze vybírána a extrahována pouze užitečná data. - Transformace dat.
Po vybrání dat jsou transformována do forem vhodných pro těžbu. Tento proces zahrnuje normalizaci, agregaci, generalizaci atd. - Inteligentní analýza dat
Zde přichází nejdůležitější část data miningu - využití inteligentních metod pro hledání vzorců v nich. Proces zahrnuje regresi, klasifikaci, predikci, shlukování, studium asociací a mnoho dalšího. - Hodnocení modelu
Tato etapa je zaměřena na identifikaci potenciálně užitečných, snadno pochopitelných vzorců, stejně jako vzorců potvrzujících hypotézy. - Prezentace znalostí
Na závěrečném stupni je získaná informace prezentována atraktivním způsobem pomocí metod pro prezentaci znalostí a vizualizaci.
Nevýhody Data Miningu
- Velké investice času a úsilí
Jelikož je těžba dat dlouhým a složitým procesem, vyžaduje značné pracovní úsilí kvalifikovaných lidí. Odborníci na analýzu dat mohou využívat výkonné nástroje na těžbu dat, nicméně potřebují odborníky k přípravě dat a pochopení výsledků. V důsledku toho může zpracování všech informací zabrat nějaký čas. - Ochrana soukromí a bezpečnost dat
Jelikož data mining shromažďuje informace o klientech pomocí marketingových metod, může to narušit soukromí uživatelů. Navíc se mohou hackeři dostat k datům uloženým v systémech pro těžbu dat. To představuje hrozbu pro bezpečnost dat klientů. Pokud jsou odcizená data použita nevhodně, může to snadno poškodit ostatní.
Výše uvedené je stručné úvodní seznámení s data miningem. Jak jsem již zmínila, data mining zahrnuje proces shromažďování a integrace dat, který zahrnuje proces extrakce dat (data extraction). V tomto případě lze s jistotou říci, že extrakce dat může být součástí dlouhého procesu data miningu.
Co je to Data Extraction?
Také známý jako „extrakce webových dat“ a „web scraping“, tento proces představuje akt extrakce dat z (obvykle nestrukturovaných nebo špatně strukturovaných) zdrojů dat do centralizovaných míst a centralizaci na jednom místě pro uchování nebo další zpracování. Mezi nestrukturované zdroje dat patří webové stránky, e-maily, dokumenty, soubory PDF, naskenovaný text, zprávy z mainframe, páskové soubory, inzeráty atd. Centralizované úložiště mohou být místní, cloudová nebo hybridní. Je důležité mít na paměti, že extrakce dat neobsahuje zpracování nebo další analýzu, která může nastat později.
Co lze dělat s pomocí Data Extraction?
Hlavní cíle extrakce dat se dělí do 3 kategorií.
- Archivace
Extrakce dat může převést data z fyzických formátů, jako jsou knihy, noviny a faktury, na digitální formáty, například databáze pro ukládání nebo zálohování. - Změna formátu dat
Když chcete přenést data ze svého současného webu na nový, který je ve vývoji, můžete shromáždit data ze svého vlastního webu jejich extrakcí. - Analýza dat
Doplňková analýza extrahovaných dat je běžná, aby se získal přehled o nich. Může to vypadat podobně jako analýza dat při data miningu, ale mějte na paměti, že analýza dat je cílem jejich extrakce, nikoli její součástí. Kromě toho se data analyzují jinak. Příkladem jsou majitelé internetových obchodů, kteří extrahují informace o produktech z webů elektronického obchodování, jako je Amazon, aby v reálném čase sledovali konkurenční strategie. Stejně jako data mining, i extrakce dat je automatizovaný proces, který má mnoho výhod. Dříve lidé kopírovali a vkládali data ručně z jednoho místa na druhé, což zabíralo hodně času. Extrakce dat urychluje shromažďování a výrazně zvyšuje přesnost extrahovaných dat.
Několik příkladů použití extrakce dat
Podobně jako při data miningu se extrakce dat široce používá v různých odvětvích průmyslu. Kromě sledování cen v elektronickém obchodě může extrakce dat pomoci v oblasti vlastního výzkumu, agregace zpráv, marketingu, v oblasti nemovitostí, cestovního ruchu, poradenství, financí a mnoha dalších.
- Generování leadů
Společnosti mohou extrahovat data z katalogů jako Yelp, Crunchbase, Yellowpages a generovat leady pro rozvoj podnikání. Můžete se podívat na video níže, abyste se dozvěděli, jak extrahovat data z Yellowpages pomocí . - Agregace obsahu a zpráv
Agregátorové webové stránky mohou získávat pravidelné toky dat z několika zdrojů a udržovat své stránky aktuální. - Analýza sentimentu
Po extrakci recenzí, komentářů a hodnocení ze sociálních médií, jako jsou Instagram a Twitter, mohou specialisté analyzovat skryté názory a získat přehled o tom, jak je vnímána značka, produkt nebo nějaký jev.
Kroky extrakce dat
Extrakce dat je prvním krokem ETL (zkratka pro Extract, Transform, Load: extrakce, transformace, načítání) a ELT (extrakce, načítání a transformace). ETL a ELT jsou součástí komplexní strategie integrace dat. Jinými slovy, extrakce dat může být součástí jejich těžby.
Extrakce, transformace, načítání
Zatímco data mining je proces získávání informací z velkých objemů dat, extrakce dat je mnohem kratší a jednodušší proces. Lze ji shrnout do tří kroků:
- Výběr zdroje dat
Vyberte zdroj, ze kterého chcete data extrahovat, například webovou stránku. - Sběr dat
Odešlete "GET" požadavek na web a analyzujte získaný HTML dokument pomocí programovacích jazyků, jako jsou Python, PHP, R, Ruby a další. - Ukládání dat
Uložte data do své místní databáze nebo do cloudového úložiště pro budoucí použití. Pokud jste zkušený programátor, který chce data extrahovat, mohou se vám výše uvedené kroky zdát jednoduché. Pokud však neprogramujete, existuje zjednodušená cesta — použít nástroje pro extrakci dat, jako je . Nástroje pro extrakci dat, stejně jako nástroje pro data mining, jsou navrženy tak, aby šetřily energii a zjednodušily zpracování dat pro všechny. Tyto nástroje jsou nejen ekonomické, ale i uživatelsky přívětivé pro začátečníky. Umožňují uživatelům shromažďovat data během několika minut, ukládat je do cloudu a exportovat do mnoha formátů: Excel, CSV, HTML, JSON nebo do databází na webu přes API.
Nevýhody extrakce dat
- Selhání serveru
Při extrakci dat ve velkém měřítku může být webový server cílové stránky přetížen, což může vést k selhání serveru. To poškodí zájmy vlastníka webu. - Blokace podle IP
Když někdo příliš často sbírá data, webové stránky mohou zablokovat jeho IP adresu. Zdroje mohou zcela zakázat IP adresu nebo omezit přístup, což způsobí, že data budou neúplná. Aby bylo možné data extrahovat a vyhnout se blokaci, je třeba to provádět umírněnou rychlostí a používat některé metody proti blokaci. - Právní problémy
Extrahování dat z webu se nachází v šedé zóně, pokud jde o legálnost. Velké weby, jako je Linkedin a Facebook, jasně uvádějí ve svých podmínkách užití, že jakékoli automatizované extrahování dat je zakázáno. Mezi společnostmi proběhlo mnoho soudních sporů kvůli činnosti botů.
Hlavní rozdíly mezi Data Mining a Data Extraction
- Data mining je také nazýván objevováním znalostí v databázích, extrakcí znalostí, analýzou dat/vzorů a shromažďováním informací. Data extraction se používá zaměnitelně s extrakcí webových dat, procházením webových stránek, shromažďováním dat a tak dále.
- Výzkum data miningu se převážně zaměřuje na strukturovaná data, zatímco při extrakci dat se obvykle pracuje s nestrukturovanými nebo špatně strukturovanými zdroji.
- Cílem data miningu je učinit data užitečnějšími pro analýzu. Data extraction je shromažďování dat na jedno místo, kde mohou být uložena nebo zpracována.
- Analýza při data miningu se zakládá na matematických metodách identifikace vzorců nebo trendů. Data extraction se opírá o programovací jazyky nebo nástroje pro extrakci dat k procházení zdrojů.
- Cílem data miningu je najít fakta, která byla dříve neznámá nebo ignorována, zatímco data extraction se zabývá existujícími informacemi.
- Data mining je složitější a vyžaduje větší investice do výcviku lidí. Data extraction, pokud se používá s vhodným nástrojem, může být extrémně jednoduché a ekonomické.
Pomáháme začátečníkům se neztratit v Datech. Speciálně pro uživatele ze Středního webu jsme vytvořili promo kód HABR, který poskytuje dodatečnou slevu 10 % na slevu uvedenou na banneru.
Další kurzy
Doporučené články
Zdroj: habr.com
