Ove dvije riječi u nauci o podacima zbunjuju mnoge ljude. Data Mining se često pogrešno shvaća kao izdvajanje i dohvaćanje podataka, ali u stvarnosti je mnogo složeniji. U ovom postu, hajde da stavimo završne detalje na rudarenje i saznamo razliku između rudarenja podataka i ekstrakcije podataka.
Šta je Data Mining?
Data mining, tzv Otkrivanje znanja u bazi podataka (KDD), je tehnika koja se često koristi za analizu velikih količina podataka koristeći statističke i matematičke tehnike kako bi se pronašli skriveni obrasci ili trendovi i iz njih izvukla vrijednost.
Šta možete učiniti s Data Mining?
Automatizacijom procesa, može skenirati baze podataka i efikasno identificirati skrivene obrasce. Za preduzeća, data mining se često koristi za identifikaciju obrazaca i odnosa u podacima kako bi se pomoglo u donošenju boljih poslovnih odluka.
Primjeri primjene
Nakon što je rudarenje podataka postalo široko rasprostranjeno 1990-ih, kompanije u širokom spektru industrija, uključujući maloprodaju, finansije, zdravstvo, transport, telekomunikacije, e-trgovinu, itd., počele su da koriste tehnike rudarenja podataka kako bi dobile informacije na osnovu podataka. Data mining može pomoći u segmentiranju kupaca, otkrivanju prijevara, predviđanju prodaje i još mnogo toga.
- Segmentacija kupaca
Analizom podataka o kupcima i identifikacijom karakteristika ciljnih kupaca, kompanije ih mogu usmjeriti u posebnu grupu i pružiti posebne ponude koje zadovoljavaju njihove potrebe. - Analiza tržišne korpe
Ova tehnika se zasniva na teoriji da ako kupite određenu grupu proizvoda, veća je vjerovatnoća da ćete kupiti drugu grupu proizvoda. Jedan poznati primjer: kada očevi kupuju pelene za svoje bebe, oni imaju tendenciju da uz pelene kupuju i pivo. - Sales Forecasting
Ovo može izgledati slično analizi tržišne korpe, ali ovaj put se analiza podataka koristi za predviđanje kada će kupac ponovo kupiti proizvod u budućnosti. Na primjer, trener kupi konzervu proteina, koja bi trebala trajati 9 mjeseci. Prodavnica koja prodaje ovaj protein planira izdati novi za 9 mjeseci tako da će ga trener ponovo kupiti. - Otkrivanje prijevara
Data mining pomaže u izgradnji modela za otkrivanje prijevara. Prikupljanjem uzoraka lažnih i legitimnih izvještaja, preduzeća su ovlaštena da utvrde koje su transakcije sumnjive. - Detekcija obrazaca u proizvodnji
U proizvodnoj industriji, data mining se koristi za pomoć u dizajnu sistema identifikacijom odnosa između arhitekture proizvoda, profila i potreba kupaca. Data mining takođe može predvideti vremenske rokove i troškove razvoja proizvoda.
A ovo je samo nekoliko scenarija za korištenje data mininga.
Faze rudarenja podataka
Data mining je holistički proces prikupljanja, odabira, čišćenja, transformacije i izdvajanja podataka za procjenu obrazaca i konačno izdvajanje vrijednosti.
U pravilu, cijeli proces rudarenja podataka može se sažeti u 7 faza:
- Čišćenje podataka
U stvarnom svijetu podaci nisu uvijek očišćeni i strukturirani. Često su bučni, nepotpuni i mogu sadržavati greške. Da biste bili sigurni da je rezultat rudarenja podataka tačan, prvo morate očistiti podatke. Neke metode čišćenja uključuju popunjavanje nedostajućih vrijednosti, automatsku i ručnu provjeru itd. - Integracija podataka
Ovo je faza u kojoj se podaci iz različitih izvora izdvajaju, kombinuju i integrišu. Izvori mogu biti baze podataka, tekstualne datoteke, proračunske tablice, dokumenti, višedimenzionalni skupovi podataka, Internet itd. - Uzorkovanje podataka
Obično nisu svi integrisani podaci potrebni u rudarenju podataka. Uzorkovanje podataka je faza u kojoj se samo korisni podaci odabiru i izdvajaju iz velike baze podataka. - Konverzija podataka
Nakon što su podaci odabrani, oni se pretvaraju u prikladne oblike za rudarenje. Ovaj proces uključuje normalizaciju, agregaciju, generalizaciju, itd. - Data Mining
Ovdje dolazi najvažniji dio rudarenja podataka - korištenje inteligentnih metoda za pronalaženje obrazaca u njemu. Proces uključuje regresiju, klasifikaciju, predviđanje, grupiranje, učenje asocijacija i još mnogo toga. - Evaluacija modela
Ovaj korak ima za cilj identificiranje potencijalno korisnih, lako razumljivih obrazaca koji podržavaju hipoteze. - Reprezentacija znanja
U završnoj fazi, dobijene informacije se predstavljaju u atraktivnom obliku koristeći metode predstavljanja znanja i vizualizacije.
Nedostaci Data Mininga
- Veliko ulaganje vremena i rada
Budući da je rudarenje podataka dug i složen proces, zahtijeva puno rada od produktivnih i vještih ljudi. Kopači podataka mogu iskoristiti prednosti moćnih alata za rudarenje podataka, ali su im potrebni stručnjaci da pripreme podatke i razumiju rezultate. Kao rezultat toga, može potrajati neko vrijeme za obradu svih informacija. - Privatnost i sigurnost podataka
Budući da rudarenje podataka prikuplja informacije o korisnicima putem tržišnih metoda, može narušiti privatnost korisnika. Osim toga, hakeri mogu dobiti podatke pohranjene u sistemima za rudarenje podataka. Ovo predstavlja prijetnju sigurnosti podataka korisnika. Ako se ukradeni podaci zloupotrebe, lako mogu naštetiti drugima.
Gore navedeno je kratak uvod u data mining. Kao što sam već spomenuo, data mining uključuje proces prikupljanja i integracije podataka, što uključuje i proces ekstrakcije podataka. U ovom slučaju, sa sigurnošću se može reći da ekstrakcija podataka može biti dio dugoročnog procesa rudarenja podataka.
Šta je ekstrakcija podataka?
Također poznat kao “web data mining” i “web scraping”, ovaj proces je čin izdvajanja podataka iz (obično nestrukturiranih ili loše strukturiranih) izvora podataka na centralizirane lokacije i njihovo centraliziranje na jednom mjestu za pohranu ili dalju obradu. Konkretno, nestrukturirani izvori podataka uključuju web stranice, e-poštu, dokumente, PDF datoteke, skenirani tekst, izvještaje glavnog računala, datoteke od koluta do koluta, reklame itd. Centralizirano skladištenje može biti lokalno, u oblaku ili hibridno. Važno je zapamtiti da ekstrakcija podataka ne uključuje obradu ili drugu analizu koja se može desiti kasnije.
Šta možete učiniti s ekstrakcijom podataka?
U osnovi, svrhe ekstrakcije podataka spadaju u 3 kategorije.
- Arhiviranje
Ekstrakcija podataka može da transformiše podatke iz fizičkih formata: knjige, novine, fakture u digitalne formate, kao što su baze podataka za skladištenje ili rezervne kopije. - Promjena formata podataka
Kada želite da migrirate podatke sa svoje trenutne stranice na novu u razvoju, možete prikupiti podatke sa svoje web lokacije tako što ćete ih izdvojiti. - Analiz dannyh
Uobičajena je dodatna analiza ekstrahiranih podataka kako bi se stekao uvid. Ovo može izgledati slično rudarenju podataka, ali imajte na umu da je data mining svrha rudarenja podataka, a ne njegov dio. Štaviše, podaci se analiziraju drugačije. Jedan primjer: Vlasnici online prodavnica izvlače informacije o proizvodima sa sajtova za e-trgovinu kao što je Amazon kako bi pratili strategije konkurenata u realnom vremenu. Kao i rudarenje podataka, ekstrakcija podataka je automatizovan proces koji ima mnoge prednosti. U prošlosti su ljudi ručno kopirali i lijepili podatke s jednog mjesta na drugo, što je oduzimalo mnogo vremena. Ekstrakcija podataka ubrzava prikupljanje i značajno poboljšava tačnost ekstrahovanih podataka.
Neki primjeri korištenja ekstrakcije podataka
Slično rudarenju podataka, data mining se široko koristi u raznim industrijama. Osim praćenja cijena u e-trgovini, data mining može pomoći u vašem vlastitom istraživanju, prikupljanju vijesti, marketingu, nekretninama, putovanjima i turizmu, savjetovanju, financijama i još mnogo toga.
- Generacija olova
Kompanije mogu izdvojiti podatke iz imenika: Yelp, Crunchbase, Yellowpages i generirati potencijalne klijente za razvoj poslovanja. Možete pogledati video ispod da naučite kako izvući podatke iz Yellowpages pomoću . - Agregacija sadržaja i vijesti
Web lokacije za agregiranje sadržaja mogu primati redovne tokove podataka iz više izvora i održavati svoje stranice ažurnima. - Sentiment Analysis
Ekstrahirajući kritike, komentare i povratne informacije sa stranica društvenih medija kao što su Instagram i Twitter, stručnjaci mogu analizirati osnovna osjećanja i steći uvid u to kako se doživljava brend, proizvod ili fenomen.
Koraci ekstrakcije podataka
Ekstrakcija podataka je prva faza ETL (skraćenica Extract, Transform, Load) i ELT (Extract, load and transform). ETL i ELT su sami po sebi dio kompletne strategije integracije podataka. Drugim riječima, ekstrakcija podataka može biti dio rudarenja podataka.
Ekstrahujte, konvertujte, učitajte
Dok se data mining odnosi na izdvajanje informacija iz velikih količina podataka, ekstrakcija podataka je mnogo kraći i jednostavniji proces. Može se svesti na tri faze:
- Odabir izvora podataka
Odaberite izvor iz kojeg želite izdvojiti podatke, kao što je web stranica. - Prikupljanje podataka
Pošaljite "GET" zahtjev web lokaciji i analizirajte rezultirajući HTML dokument koristeći programske jezike kao što su Python, PHP, R, Ruby, itd. - Pohrana podataka
Sačuvajte podatke u vašoj lokalnoj bazi podataka ili pohrani u oblaku za buduću upotrebu. Ako ste iskusan programer koji želi izdvojiti podatke, gore navedeni koraci mogu vam izgledati jednostavni. Međutim, ako ne kodirate, prečica je korištenje alata za ekstrakciju podataka, npr. . Alati za ekstrakciju podataka, poput alata za rudarenje podataka, dizajnirani su da štede energiju i svima olakšaju obradu podataka. Ovi alati nisu samo ekonomični već i pogodni za početnike. Oni omogućavaju korisnicima da prikupe podatke u roku od nekoliko minuta, pohrane ih u oblak i izvezu ih u mnoge formate: Excel, CSV, HTML, JSON ili u baze podataka web stranica putem API-ja.
Nedostaci ekstrakcije podataka
- Srušavanje servera
Prilikom preuzimanja podataka u velikom obimu, web server ciljne stranice može biti preopterećen, što može uzrokovati pad poslužitelja. Ovo će štetiti interesima vlasnika stranice. - Ban po IP
Kada osoba prečesto prikuplja podatke, web stranice mogu blokirati njenu IP adresu. Resurs može potpuno odbiti IP adresu ili ograničiti pristup, čineći podatke nepotpunim. Da biste dohvatili podatke i izbjegli blokiranje, morate to učiniti umjerenom brzinom i koristiti neke tehnike protiv blokiranja. - Problemi sa zakonom
Izdvajanje podataka s weba spada u sivu zonu kada je u pitanju zakonitost. Velike stranice kao što su Linkedin i Facebook jasno navode u svojim uvjetima korištenja da je zabranjeno svako automatsko vađenje podataka. Bilo je mnogo tužbi između kompanija zbog aktivnosti botova.
Ključne razlike između rudarenja podataka i ekstrakcije podataka
- Data mining se još naziva i otkrivanje znanja u bazama podataka, ekstrakcija znanja, analiza podataka/uzorka, prikupljanje informacija. Ekstrakcija podataka se koristi naizmjenično sa ekstrakcijom web podataka, pretraživanjem weba, rudarenjem podataka i tako dalje.
- Data mining istraživanje se uglavnom zasniva na strukturiranim podacima, dok se u data miningu obično izdvaja iz nestrukturiranih ili loše strukturiranih izvora.
- Cilj data mininga je učiniti podatke korisnijim za analizu. Ekstrakcija podataka je prikupljanje podataka na jednom mjestu gdje se mogu pohraniti ili obraditi.
- Analiza u rudarenju podataka zasniva se na matematičkim metodama za identifikaciju obrazaca ili trendova. Ekstrakcija podataka je zasnovana na programskim jezicima ili alatima za vađenje podataka za indeksiranje izvora.
- Cilj data mininga je pronaći činjenice koje su ranije bile nepoznate ili ignorisane, dok se ekstrakcija podataka bavi postojećim informacijama.
- Data mining je složeniji i zahtijeva velika ulaganja u obuku ljudi. Ekstrakcija podataka, kada se koristi sa pravim alatom, može biti izuzetno jednostavna i isplativa.
Pomažemo početnicima da se ne zabune u podacima. Napravili smo promotivni kod posebno za stanovnike Khabre HABR, dajući dodatnih 10% popusta na popust naznačen na baneru.
Više kurseva
Preporučeni članci
izvor: www.habr.com