Ti dve modni besedi, povezani z analitiko podatkov, številne ljudi zmedeta. Data Mining se pogosto napačno razume kot pridobivanje in ekstrakcija podatkov, a je v resnici vse precej bolj zapleteno. V tem prispevku si poglejmo razlike med Mining in dejansko izvlečemo, kaj Data Mining in Data Extraction res pomenita.
Kaj je Data Mining?
Data mining, imenovan tudi odkrivanje znanja v podatkovnih bazah (KDD), je metoda, ki se pogosto uporablja za analizo velikih količin podatkov s statističnimi in matematičnimi metodami za iskanje skritih vzorcev ali trendov ter pridobivanje vrednosti iz njih.
Kaj lahko storimo s pomočjo Data Mining?
Z avtomatizacijo procesa, lahko pregledujejo podatkovne baze in učinkovito odkrijejo skrite vzorce. Za podjetja se data mining pogosto uporablja za odkrivanje vzorcev in povezav v podatkih, kar pomaga pri sprejemanju optimalnih poslovnih odločitev.
Primeri uporabe
Po tem, ko je data mining v 90. letih prejšnjega stoletja pridobil na priljubljenosti, so podjetja v širokem spektru industrij, vključno z maloprodajo, financami, zdravstvom, transportom, telekomunikacijami, elektronsko trgovino itd., začela uporabljati metode data mining za pridobivanje informacij na podlagi podatkov. Data mining lahko pomaga segmentirati stranke, odkrivati goljufije, napovedovati prodajo in še marsikaj drugega.
- Segmentacija strank
S pomočjo analize podatkov o strankah in odkrivanjem značilnosti ciljnih strank, lahko podjetja oblikujejo skupine in jim ponudijo posebne ponudbe, prilagojene njihovim potrebam. - Analiza nakupovalne košarice
Ta metoda temelji na teoriji, da če kupite določen nabor izdelkov, boste verjetno kupili še en nabor izdelkov. Eden znanih primerov: ko očetje kupujejo plenice za svoja dojenčke, običajno kupijo tudi pivo. - Napovedovanje prodaje
To se morda zdi podobno analizi nakupovalne košarice, vendar tokrat analiza podatkov služi za napovedovanje, kdaj bo kupec ponovno kupil izdelek v prihodnosti. Na primer, trener kupi pločevinko proteina, ki naj bi zadoščala za 9 mesecev. Trgovina, ki prodaja ta protein, načrtuje, da bo izdala nov izdelek čez 9 mesecev, da bo trener ponovno lahko kupil. - Odkritje goljufij
Data mining pomaga pri gradnji modelov za odkrivanje prevar. S zbiranjem vzorcev prevarantskih in resničnih poročil podjetja pridobijo pravico, da ugotovijo, katere transakcije so sumljive. - Odkrivanje vzorcev v proizvodnji
V predelovalni industriji se data mining uporablja za pomoč pri zasnovi sistemov, z razkrivanjem povezav med arhitekturo izdelka, profilom in potrebami strank. Določanje podatkov lahko tudi napove časovni okvir za razvoj izdelkov in stroške.
In to je le nekaj scenarijev uporabe data mining.
Faze data mining
Data mining je celovit proces zbiranja, izbire, čiščenja, preoblikovanja in pridobivanja podatkov za oceno vzorcev in, na koncu, za pridobitev vrednosti.
Običajno lahko celoten postopek pridobivanja podatkov povzamemo v 7 faz:
- Čiščenje podatkov
V resničnem svetu podatki niso vedno očiščeni in strukturirani. Pogosto so zvočni, nepopolni in lahko vsebujejo napake. Da bi zagotovili, da je rezultat data mining natančen, je najprej potrebno očistiti podatke. Nekatere metode čiščenja vključujejo dopolnitev manjkajočih vrednosti, samodejni in ročni nadzor itd. - Integracija podatkov
To je faza, v kateri se podatki iz različnih virov pridobijo, kombinirajo in integrirajo. Viri so lahko podatkovne baze, besedilne datoteke, preglednice, dokumenti, večdimenzionalni podatkovni nizi, internet in tako naprej. - Vzorkovanje podatkov
Običajno niso vsi integrirani podatki potrebni v data mining. Vzorkovanje podatkov je faza, v kateri se iz velike podatkovne baze izberejo in pridobijo le koristni podatki. - Preoblikovanje podatkov
Po izbiri podatkov se le ti preoblikujejo v primerne oblike za pridobivanje. Ta proces vključuje normalizacijo, aglomeracijo, generalizacijo itd. - Inteligentna analiza podatkov
Tukaj nastopi najpomembnejši del data mining — uporaba inteligentnih metod za iskanje vzorcev v njih. Postopek vključuje regresijo, klasifikacijo, napovedovanje, razvrščanje, proučevanje asociacij in še veliko več. - Ocena modela
Ta faza je usmerjena v odkritje potencialno koristnih, enostavno razumljivih vzorcev ter vzorcev, ki potrjujejo hipoteze. - Predstavitev znanja
Na zaključnem koraku so pridobljeni podatki predstavljeni na privlačen način s pomočjo metod prikazovanja znanja in vizualizacije.
Slabosti podatkovnega rudarstva
- Velike naložbe časa in truda
Ker je rudarjenje podatkov dolgotrajen in zapleten proces, zahteva veliko dela produktivnih in usposobljenih ljudi. Strokovnjaki za analizo podatkov lahko izkoristijo močna orodja za rudarjenje podatkov, a potrebni so strokovnjaki za pripravo podatkov in razumevanje rezultatov. Posledično lahko obdelava vseh informacij zahteva nekaj časa. - Zasebnost in varnost podatkov
Ker rudarjenje podatkov zbira informacije o strankah z uporabo tržnih metod, lahko krši zaupnost uporabnikov. Poleg tega lahko hekerji pridobijo podatke, shranjene v sistemih za rudarjenje podatkov. To predstavlja grožnjo varnosti podatkov strank. Če so ukradeni podatki uporabljeni nepravilno, lahko to enostavno škoduje drugim.
zgoraj je kratko uvod v rudarjenje podatkov. Kot sem že omenila, rudarjenje podatkov vključuje proces zbiranja in integracije podatkov, ki vključuje proces ekstrakcije podatkov. V tem primeru lahko z zagotovostjo trdimo, da je ekstrakcija podatkov del dolgotrajnega procesa rudarjenja podatkov.
Kaj je ekstrakcija podatkov?
Tudi znano kot "ekstrakcija spletnih podatkov" in "spletno strganje", ta proces pomeni dejanje pridobivanja podatkov iz (ponavadi nestrukturiranih ali slabo strukturiranih) virov podatkov v centralizirana mesta in centralizacijo na enem mestu za shranjevanje ali nadaljnjo obdelavo. Zlasti nestrukturirani viri podatkov vključujejo spletne strani, e-pošto, dokumente, PDF datoteke, skenirano besedilo, poročila glavne naprave, trake, oglase itd. Centralizirana skladišča so lahko lokalna, oblačna ali hibridna. Pomembno je vedeti, da ekstrakcija podatkov ne vključuje obdelave ali druge analize, ki lahko poteka pozneje.
Kaj lahko storite z ekstrakcijo podatkov?
Na splošno so cilji ekstrakcije podatkov razdeljeni v 3 kategorije.
- Arhiviranje
Izvlačenje podataka može pretvoriti podatke iz fizičkih formata: knjiga, novina, faktura u digitalne formate, poput baza podataka za skladištenje ili pravljenje rezervnih kopija. - Promena formata podataka
Kada želite preneti podatke sa vaše trenutne veb stranice na novu, koja je u razvoju, možete prikupiti podatke sa vaše vlastite veb stranice izvlačeći ih. - Analiza podataka
Često se vrši dodatna analiza izvučenih podataka kako bi se dobio pregled o njima. Ovo može izgledati slično analizi podataka pri data mining-u, ali imajte na umu da je analiza podataka cilj njihovog izvođenja, a ne deo tog procesa. Štaviše, podaci se analiziraju na drugačiji način. Jedan od primera: vlasnici internet prodavnica izvlače informacije o proizvodima sa veb sajtova za elektroniku kao što je Amazon, kako bi u realnom vremenu pratili strategije konkurencije. Kao i data mining, data extraction je automatizovan proces sa brojnim prednostima. Ranije su ljudi ručno kopirali i lepjeli podatke s jednog mesta na drugo, što je trošilo puno vremena. Izvlačenje podataka ubrzava proces prikupljanja i značajno povećava tačnost izvučenih podataka.
Neki primeri primene Data Extraction-a
Slično data mining-u, izvlačenje podataka se široko koristi u različitim industrijama. Pored praćenja cena u elektronici, izvlačenje podataka može pomoći u istraživanju, agregaciji vesti, marketingu, u radu sa nekretninama, putovanjima i turizmu, u konsaltingu, finansijama i mnogo čemu drugom.
- Generisanje lead-ova
Kompanije mogu izvlačiti podatke iz direktorijuma: Yelp, Crunchbase, Yellowpages i generisati lead-ove za razvoj poslovanja. Možete pogledati video ispod da saznate kako izvući podatke iz Yellowpages koristeći . - Agregacija sadržaja i vesti
Agregatni veb sajtovi mogu redovno primati tokove podataka iz više izvora i održavati svoje sajtove ažurnim. - Analiza stavova
Nakon što se izvuku recenzije, komentari i povratne informacije sa društvenih mreža poput Instagrama i Twittera, stručnjaci mogu analizirati skrivene stavove i steći uvid u to kako se brend, proizvod ili fenomen doživljava.
Koraci Data Extraction-a
Podatkovno rudarjenje je prvi korak ETL (kratica za Extract, Transform, Load: ekstrakcija, transformacija, nalaganje) in ELT (ekstrakcija, nalaganje in transformacija). ETL in ELT sta sama del zaključne strategije integracije podatkov. Z drugimi besedami, ekstrakcija podatkov je lahko del njihovegajavnosti.
Ekstrakcija, transformacija, nalaganje
Medtem ko je podatkovno rudarjenje pridobivanje informacij iz velikih količin podatkov, je ekstrakcija podatkov precej krajši in preprostejši proces. To lahko zmanjšamo na tri korake:
- Izbira vira podatkov
Izberite vir, iz katerega želite pridobiti podatke, na primer spletno stran. - Zbiranje podatkov
Pošljite "GET" zahtevo na spletno stran in analizirajte prejeti HTML dokument z jeziki za programiranje, kot so Python, PHP, R, Ruby itd. - Shranjevanje podatkov
Shranjujte podatke v lokalni bazi podatkov ali v oblaku za bodočo uporabo. Če ste izkušen programer, ki želi izvleči podatke, se vam lahko zgoraj navedeni koraki zdijo preprosti. Vendar pa, če ne programirate, obstaja hitra pot - uporabite orodja za ekstrakcijo podatkov, kot je . Orodja za ekstrakcijo podatkov, tako kot orodja za podatkovno rudarjenje, so zasnovana tako, da prihranijo energijo in olajšajo obdelavo podatkov za vse. Ta orodja so ne le ekonomična, ampak tudi prijazna do začetnikov. Omogočajo uporabnikom, da zbirajo podatke v le nekaj minutah, jih shranijo v oblaku in izvozijo v številne formate: Excel, CSV, HTML, JSON ali v baze podatkov na spletu prek API.
Pomanjkljivosti ekstrakcije podatkov
- Vzrok za napako strežnika
Pri ekstrakciji podatkov na velikih obsegeh lahko spletni strežnik ciljnega mesta postane obremenjen, kar lahko povzroči okvaro strežnika. To bo škodilo interesom lastnika spletne strani. - Blokada po IP-ju
Ko nekdo preveč pogosto zbira podatke, lahko spletne strani blokirajo njegov IP-naslov. Vir lahko popolnoma prepove IP-naslov ali omeji dostop, zaradi česar so podatki nepopolni. Da bi pridobivali podatke in se izognili blokadi, morate to početi v zmernem tempu in uporabiti nekatere tehnike za preprečevanje blokade. - Pravne težave
Izvlačenje podataka s weba dolazi u sivo područje kada se radi o zakonitosti. Velike web stranice, poput LinkedIn-a i Facebook-a, jasno navode u svojim uvjetima korištenja da je bilo kakvo automatsko izvlačenje podataka zabranjeno. Između kompanija bilo je mnogo sudskih tužbi zbog aktivnosti botova.
Ključne razlike između Data Mininga i Data Extraction-a
- Data mining se također naziva otkrivanjem znanja u bazama podataka, izvlačenjem znanja, analizom podataka/uzoraka, prikupljanjem informacija. Data extraction se koristi naizmjenično s izvlačenjem web podataka, skeniranjem web stranica, prikupljanjem podataka itd.
- Istraživanja data mininga uglavnom se temelje na strukturiranim podacima, dok se pri izvlačenju podataka obično izvode iz nestrukturiranih ili loše strukturiranih izvora.
- Cilj data mininga je učiniti podatke korisnijim za analizu. Data extraction je prikupljanje podataka na jednom mjestu, gdje se mogu pohraniti ili obraditi.
- Analiza pri data miningu temelji se na matematičkim metodama identifikacije obrazaca ili trendova. Data extraction se oslanja na programske jezike ili alate za izvlačenje podataka kako bi pretražio izvore.
- Cilj data mininga je pronaći činjenice koje su prethodno bile nepoznate ili ignorirane, dok se data extraction bavi postojećim informacijama.
- Data mining je složeniji i zahtijeva veća ulaganja u obuku ljudi. Data extraction, uz odgovarajući alat, može biti izuzetno jednostavan i ekonomičan.
Pomažemo novajlijama da se ne izgube u podacima. Posebno za korisnike Habr-a napravili smo promotivni kod HABR, koji daje dodatni popust od 10% na popust naveden na baneru.
Još tečajeva
Preporučeni članci
Izvor: habr.com
