Ove dvije modne riječi znanosti o podacima zbunjuju mnoge ljude. Data Mining se često pogrešno shvaća kao izvlačenje i dohvaćanje podataka, ali stvarnost je mnogo složenija. U ovom postu stavimo točku na rudarenje i otkrijmo razliku između rudarenja podataka i ekstrakcije podataka.
Što je Data Mining?
Data mining, također se naziva Otkrivanje znanja baze podataka (KDD), je tehnika koja se često koristi za analizu velikih skupova podataka korištenjem statističkih i matematičkih metoda za pronalaženje skrivenih obrazaca ili trendova i izvlačenje vrijednosti iz njih.
Što se može učiniti s Data Miningom?
Automatizacijom procesa, može pregledavati baze podataka i učinkovito otkrivati skrivene obrasce. U tvrtkama se rudarenje podataka često koristi za otkrivanje obrazaca i odnosa u podacima kako bi se pomoglo u donošenju boljih poslovnih odluka.
Primjeri primjene
Nakon što je rudarenje podataka postalo rašireno 1990-ih, tvrtke u širokom rasponu industrija, uključujući maloprodaju, financije, zdravstvo, transport, telekomunikacije, e-trgovinu itd., počele su koristiti metode rudarenja podataka za dobivanje informacija na temelju podataka. Rudarenje podataka može pomoći u segmentiranju kupaca, prepoznavanju prijevara, predviđanju prodaje i više.
- Segmentacija kupaca
Analizom podataka o kupcima i utvrđivanjem karakteristika ciljanih kupaca, tvrtke ih mogu grupirati u zasebnu grupu i ponuditi posebne ponude koje zadovoljavaju njihove potrebe. - Analiza tržišne košarice
Ova se tehnika temelji na teoriji da ako kupite određenu skupinu proizvoda, veća je vjerojatnost da ćete kupiti drugu skupinu proizvoda. Jedan poznati primjer: kada očevi kupuju pelene za svoje bebe, obično uz pelene kupe i pivo. - Predviđanje prodaje
Možda se čini slično analizi tržišne košarice, ali ovaj se put analiza podataka koristi za predviđanje kada će kupac ponovno kupiti proizvod u budućnosti. Recimo, trener kupi limenku proteina koja bi trebala trajati 9 mjeseci. Trgovina koja prodaje ovaj protein planira za 9 mjeseci izbaciti novi tako da će ga trener ponovno kupiti. - Otkrivanje prijevara
Rudarenje podataka pomaže u izgradnji modela za otkrivanje prijevara. Prikupljanjem uzoraka lažnih i istinitih izvješća, tvrtke su ovlaštene odrediti koje su transakcije sumnjive. - Detekcija uzoraka u proizvodnji
U proizvodnoj industriji, rudarenje podataka koristi se za pomoć pri projektiranju sustava identificiranjem odnosa između arhitekture proizvoda, profila i potreba kupaca. Rudarenje podataka također može predvidjeti vrijeme i troškove razvoja proizvoda.
A ovo je samo nekoliko slučajeva korištenja za rudarenje podataka.
Faze rudarenja podataka
Data mining je holistički proces prikupljanja, odabira, čišćenja, transformacije i ekstrakcije podataka kako bi se procijenili obrasci i, u konačnici, izvukla vrijednost.
Općenito, cijeli proces rudarenja podataka može se sažeti u 7 koraka:
- Čišćenje podataka
U stvarnom svijetu podaci nisu uvijek očišćeni i strukturirani. Često su bučni, nepotpuni i mogu sadržavati pogreške. Kako biste bili sigurni da je rezultat rudarenja podataka točan, prvo morate očistiti podatke. Neke metode čišćenja uključuju popunjavanje vrijednosti koje nedostaju, automatske i ručne kontrole i tako dalje. - Integracija podataka
Ovo je faza u kojoj se podaci iz različitih izvora izdvajaju, kombiniraju i integriraju. Izvori mogu biti baze podataka, tekstualne datoteke, proračunske tablice, dokumenti, višedimenzionalni skupovi podataka, Internet i tako dalje. - Uzorkovanje podataka
U rudarenju podataka obično nisu potrebni svi integrirani podaci. Uzorkovanje podataka je faza u kojoj se samo korisni podaci odabiru i izvlače iz velike baze podataka. - Pretvorba podataka
Nakon što su podaci odabrani, oni se pretvaraju u oblike prikladne za rudarenje. Ovaj proces uključuje normalizaciju, agregaciju, generalizaciju itd. - Rudarenje podataka
Ovdje dolazi najvažniji dio rudarenja podataka - korištenje inteligentnih metoda za pronalaženje uzoraka u njima. Proces uključuje regresiju, klasifikaciju, predviđanje, grupiranje, asocijacijsko učenje i još mnogo toga. - Evaluacija modela
Ovaj korak ima za cilj identificirati potencijalno korisne, lako razumljive obrasce, kao i obrasce koji podupiru hipoteze. - Predstavljanje znanja
U završnoj fazi, dobivene informacije prezentiraju se na atraktivan način korištenjem metoda reprezentacije znanja i vizualizacije.
Nedostaci Data Mininga
- Veliko ulaganje vremena i rada
Budući da je rudarenje podataka dug i složen proces, zahtijeva puno rada produktivnih i vještih ljudi. Rudari podataka mogu iskoristiti moćne alate za rudarenje podataka, ali zahtijevaju stručnjake za pripremu podataka i razumijevanje rezultata. Kao rezultat toga, obrada svih informacija može potrajati neko vrijeme. - Privatnost i sigurnost podataka
Budući da rudarenje podataka prikuplja informacije o kupcima tržišnim metodama, može narušiti privatnost korisnika. Osim toga, hakeri mogu doći do podataka pohranjenih u sustavima za rudarenje podataka. To predstavlja prijetnju sigurnosti korisničkih podataka. Ako se ukradeni podaci zlorabe, lako mogu naštetiti drugima.
Gore navedeno je kratki uvod u rudarenje podataka. Kao što sam već spomenula, data mining sadrži proces prikupljanja i integriranja podataka koji uključuje i proces ekstrakcije podataka (data extraction). U ovom slučaju, može se reći da ekstrakcija podataka može biti dio dugog procesa rudarenja podataka.
Što je ekstrakcija podataka?
Također poznat kao "iskopavanje web podataka" i "skrapiranje weba", ovaj je postupak čin izdvajanja podataka iz (obično nestrukturiranih ili loše strukturiranih) izvora podataka na centralizirane lokacije i njihovo centraliziranje na jednom mjestu za pohranu ili daljnju obradu. Točnije, nestrukturirani izvori podataka uključuju web stranice, e-poštu, dokumente, PDF datoteke, skenirani tekst, izvješća glavnog računala, datoteke s kotura, reklame itd. Centralizirana pohrana može biti lokalna, u oblaku ili hibridna. Važno je upamtiti da ekstrakcija podataka ne uključuje obradu ili drugu analizu koja se može dogoditi kasnije.
Što se može učiniti s ekstrakcijom podataka?
U osnovi, svrhe ekstrakcije podataka spadaju u 3 kategorije.
- Arhiviranje
Ekstrakcija podataka može pretvoriti podatke iz fizičkih formata kao što su knjige, novine, fakture u digitalne formate kao što su baze podataka za pohranu ili sigurnosnu kopiju. - Promjena formata podataka
Kada želite premjestiti podatke sa svoje trenutne stranice na novu u razvoju, možete prikupljati podatke sa svoje vlastite stranice tako da ih ekstrahirate. - Analiz dannyh
Uobičajeno je da se ekstrahirani podaci dodatno analiziraju kako bi se dobio uvid u njih. Ovo može zvučati slično rudarenju podataka, ali imajte na umu da je rudarenje podataka cilj rudarenja podataka, a ne njegov dio. Štoviše, podaci se različito analiziraju. Jedan primjer je da vlasnici internetskih trgovina povlače informacije o proizvodima s web-mjesta za e-trgovinu poput Amazona kako bi nadzirali strategije konkurenata u stvarnom vremenu. Kao i rudarenje podataka, ekstrakcija podataka je automatizirani proces s mnogim prednostima. U prošlosti su ljudi ručno kopirali i lijepili podatke s jednog mjesta na drugo, što je oduzimalo mnogo vremena. Ekstrakcija podataka ubrzava prikupljanje i uvelike poboljšava točnost ekstrahiranih podataka.
Neki primjeri korištenja Data Extraction
Slično rudarenju podataka, rudarenje podataka široko se koristi u raznim industrijama. Osim praćenja cijena e-trgovine, rudarenje podataka može pomoći u vašem vlastitom istraživanju, prikupljanju vijesti, marketingu, nekretninama, putovanjima i turizmu, savjetovanju, financijama itd.
- Vodeća generacija
Tvrtke mogu izvući podatke iz direktorija: Yelp, Crunchbase, Yellowpages i generirati potencijalne klijente za razvoj poslovanja. Možete pogledati video u nastavku da biste saznali kako izvući podatke iz Yellowpages pomoću . - Agregacija sadržaja i vijesti
Web-mjesta koja prikupljaju sadržaj mogu primati redovite feedove podataka iz više izvora i održavati svoja web-mjesta ažurnima. - Analiza osjećaja
Nakon izdvajanja recenzija, komentara i svjedočanstava s društvenih mreža kao što su Instagram i Twitter, stručnjaci mogu analizirati temeljne stavove i steći uvid u to kako se marka, proizvod ili fenomen doživljavaju.
Koraci ekstrakcije podataka
Ekstrakcija podataka prva je faza ETL-a (Extract, Transform, Load: Ekstrakt, transformacija, učitavanje) i ELT (Extract, Load, and Transform). ETL i ELT sami su dio cjelovite strategije integracije podataka. Drugim riječima, izdvajanje podataka može biti dio njihovog izdvajanja.
Ekstrakt, pretvaranje, učitavanje
Dok se rudarenje podataka svodi na izvlačenje informacija iz velikih količina podataka, izvlačenje podataka mnogo je kraći i jednostavniji proces. Može se svesti na tri faze:
- Odabir izvora podataka
Odaberite izvor iz kojeg želite izdvojiti podatke, poput web stranice. - Prikupljanje podataka
Pošaljite "GET" zahtjev web mjestu i raščlanite rezultirajući HTML dokument koristeći programske jezike kao što su Python, PHP, R, Ruby itd. - Pohrana podataka
Spremite podatke u svoju lokalnu bazu podataka ili pohranu u oblaku za buduću upotrebu. Ako ste iskusni programer koji želi izvući podatke, gore navedeni koraci mogu vam se činiti jednostavnima. Međutim, ako niste programer, postoji prečac - koristite alate za rudarenje podataka poput . Alati za ekstrakciju podataka, poput alata za rudarenje podataka, dizajnirani su za uštedu energije i čine obradu podataka jednostavnom za sve. Ovi alati nisu samo ekonomični, već su i prikladni za početnike. Korisnicima omogućuju prikupljanje podataka u roku od nekoliko minuta, njihovo pohranjivanje u oblak i izvoz u mnoge formate: Excel, CSV, HTML, JSON ili u baze podataka web stranica putem API-ja.
Nedostaci ekstrakcije podataka
- Neuspjeh poslužitelja
Prilikom izvlačenja podataka u velikom opsegu, web poslužitelj ciljne stranice može biti preopterećen, što može dovesti do pada poslužitelja. To će naštetiti interesima vlasnika stranice. - Zabrana preko IP-a
Kada osoba prečesto prikuplja podatke, web stranice mogu blokirati njihovu IP adresu. Resurs može potpuno odbiti IP adresu ili ograničiti pristup, čineći podatke nepotpunima. Da biste dohvatili podatke i izbjegli blokiranje, morate to učiniti umjerenom brzinom i koristiti neke tehnike protiv blokiranja. - Problemi sa zakonom
Izvlačenje podataka s weba spada u sivu zonu kada je u pitanju zakonitost. Velike stranice kao što su Linkedin i Facebook u svojim uvjetima korištenja jasno navode da je zabranjeno svako automatsko izdvajanje podataka. Bilo je mnogo tužbi između tvrtki zbog aktivnosti botova.
Ključne razlike između rudarenja podataka i ekstrakcije podataka
- Data mining se također naziva otkrivanje znanja u bazama podataka, ekstrakcija znanja, analiza podataka/uzoraka, prikupljanje informacija. Ekstrakcija podataka koristi se naizmjenično s ekstrakcijom web podataka, skeniranjem web stranice, prikupljanjem podataka itd.
- Istraživanje rudarenja podataka uglavnom se temelji na strukturiranim podacima, dok rudarenje podataka obično crpi iz nestrukturiranih ili loše strukturiranih izvora.
- Cilj rudarenja podataka je učiniti podatke korisnijima za analizu. Ekstrakcija podataka je prikupljanje podataka na jednom mjestu gdje se mogu pohraniti ili obraditi.
- Analiza u rudarenju podataka temelji se na matematičkim metodama za prepoznavanje obrazaca ili trendova. Ekstrakcija podataka temelji se na programskim jezicima ili alatima za ekstrakciju podataka kako bi se zaobišli izvori.
- Cilj rudarenja podataka je pronaći činjenice koje su prethodno bile nepoznate ili zanemarene, dok se ekstrakcija podataka bavi postojećim informacijama.
- Data mining je složeniji i zahtijeva velika ulaganja u obuku ljudi. Ekstrakcija podataka s pravim alatom može biti iznimno jednostavna i isplativa.
Pomažemo početnicima da se ne zbune u podacima. Posebno za habravčane napravili smo promotivni kod HABR, uz dodatni popust od 10% na popust naveden na banneru.
Više tečajeva
Istaknuti članci
Izvor: www.habr.com