Disse to datavitenskapelige buzzwords forvirrer mange mennesker. Data Mining blir ofte misforstått som å trekke ut og hente data, men i virkeligheten er det mye mer komplekst. I dette innlegget, la oss legge siste hånd på Mining og finne ut forskjellen mellom Data Mining og Data Extraction.
Hva er Data Mining?
Data mining, også kalt Knowledge Discovery in Database (KDD), er en teknikk som ofte brukes til å analysere store mengder data ved å bruke statistiske og matematiske teknikker for å finne skjulte mønstre eller trender og trekke ut verdier fra dem.
Hva kan du gjøre med Data Mining?
Ved å automatisere prosessen, kan skanne databaser og effektivt identifisere skjulte mønstre. For bedrifter blir datautvinning ofte brukt til å identifisere mønstre og relasjoner i data for å hjelpe til med å ta bedre forretningsbeslutninger.
Applikasjonseksempler
Etter at datautvinning ble utbredt på 1990-tallet, begynte selskaper i et bredt spekter av bransjer, inkludert detaljhandel, finans, helsevesen, transport, telekommunikasjon, e-handel osv., å bruke datautvinningsteknikker for å innhente informasjon basert på data. Data mining kan hjelpe segmentering av kunder, oppdage svindel, forutsi salg og mye mer.
- Kundesegmentering
Ved å analysere kundedata og identifisere egenskapene til målkundene, kan bedrifter målrette dem inn i en distinkt gruppe og gi spesialtilbud som oppfyller deres behov. - Analyse av markedskurven
Denne teknikken er basert på teorien om at hvis du kjøper en bestemt gruppe produkter, er det mer sannsynlig at du kjøper en annen gruppe produkter. Et kjent eksempel: Når fedre kjøper bleier til babyene sine, har de en tendens til å kjøpe øl sammen med bleiene. - Salgsprognoser
Dette kan virke lik markedskurvanalyse, men denne gangen brukes dataanalyse til å forutsi når en kunde vil kjøpe et produkt igjen i fremtiden. For eksempel kjøper en coach en boks med protein, som skal vare i 9 måneder. Butikken som selger dette proteinet planlegger å gi ut et nytt om 9 måneder, så treneren vil kjøpe det igjen. - Oppdagelse av svindel
Data mining hjelper med å bygge modeller for å oppdage svindel. Ved å samle inn prøver av uredelige og legitime rapporter, får bedrifter fullmakt til å avgjøre hvilke transaksjoner som er mistenkelige. - Påvisning av mønstre i produksjonen
I produksjonsindustrien brukes data mining for å hjelpe til med systemdesign ved å identifisere forholdet mellom produktarkitektur, profil og kundebehov. Data mining kan også forutsi produktutviklingstidslinjer og kostnader.
Og dette er bare noen få scenarier for bruk av data mining.
Data Mining Stadier
Data mining er den holistiske prosessen med å samle inn, velge, rense, transformere og trekke ut data for å evaluere mønstre og til slutt trekke ut verdi.
Som regel kan hele datautvinningsprosessen oppsummeres i 7 stadier:
- Datarensing
I den virkelige verden blir ikke data alltid renset og strukturert. De er ofte støyende, ufullstendige og kan inneholde feil. For å sikre at datautvinningsresultatet er nøyaktig, må du først rense dataene. Noen rengjøringsmetoder inkluderer å fylle inn manglende verdier, automatisk og manuell kontroll, etc. - Dataintegrasjon
Dette er stadiet hvor data fra ulike kilder trekkes ut, kombineres og integreres. Kilder kan være databaser, tekstfiler, regneark, dokumenter, flerdimensjonale datasett, Internett og så videre. - Datasampling
Vanligvis er ikke alle integrerte data nødvendig i datautvinning. Datasampling er stadiet der kun nyttige data velges og trekkes ut fra en stor database. - Datakonvertering
Når dataene er valgt, konverteres de til passende former for gruvedrift. Denne prosessen inkluderer normalisering, aggregering, generalisering, etc. - Datautvinning
Her kommer den viktigste delen av data mining – å bruke intelligente metoder for å finne mønstre i den. Prosessen inkluderer regresjon, klassifisering, prediksjon, clustering, assosiasjonslæring og mer. - Modellvurdering
Dette trinnet tar sikte på å identifisere potensielt nyttige, lettfattelige og hypotesestøttende mønstre. - Kunnskapsrepresentasjon
På det siste stadiet presenteres den innhentede informasjonen i en attraktiv form ved bruk av kunnskapsrepresentasjon og visualiseringsmetoder.
Ulemper med Data Mining
- Stor investering av tid og arbeid
Siden data mining er en lang og kompleks prosess, krever det mye arbeid fra produktive og dyktige mennesker. Data miners kan dra nytte av kraftige data mining-verktøy, men de krever eksperter for å forberede dataene og forstå resultatene. Som et resultat kan det ta litt tid å behandle all informasjonen. - Personvern og datasikkerhet
Siden data mining samler inn kundeinformasjon gjennom markedsmetoder, kan det krenke brukernes personvern. I tillegg kan hackere skaffe data lagret i data mining-systemer. Dette utgjør en trussel mot sikkerheten til kundedata. Hvis stjålne data misbrukes, kan det lett skade andre.
Ovenstående er en kort introduksjon til data mining. Som jeg allerede har nevnt, involverer datautvinning prosessen med å samle inn og integrere data, som inkluderer prosessen med datautvinning. I dette tilfellet er det trygt å si at datautvinning kan være en del av en langsiktig datautvinningsprosess.
Hva er datautvinning?
Også kjent som "web data mining" og "web scraping", er denne prosessen handlingen for å trekke ut data fra (vanligvis ustrukturerte eller dårlig strukturerte) datakilder til sentraliserte steder og sentralisere dem på ett sted for lagring eller videre behandling. Spesifikt inkluderer ustrukturerte datakilder nettsider, e-post, dokumenter, PDF-filer, skannet tekst, mainframe-rapporter, spole-til-snelle filer, annonser, etc. Sentralisert lagring kan være lokal, sky eller hybrid. Det er viktig å huske at datautvinning ikke inkluderer behandling eller annen analyse som kan skje senere.
Hva kan du gjøre med datautvinning?
I utgangspunktet faller formålene med datautvinning inn i 3 kategorier.
- Arkivering
Datautvinning kan transformere data fra fysiske formater: bøker, aviser, fakturaer til digitale formater, for eksempel databaser for lagring eller sikkerhetskopiering. - Endring av dataformat
Når du ønsker å migrere data fra ditt nåværende nettsted til et nytt under utvikling, kan du samle inn data fra ditt eget nettsted ved å trekke det ut. - Dataanalyse
Ytterligere analyse av de utvunnede dataene for å få innsikt er vanlig. Dette kan virke likt datautvinning, men husk at datautvinning er formålet med datautvinning, ikke en del av det. Dessuten blir dataene analysert annerledes. Ett eksempel: Nettbutikkeiere trekker ut produktinformasjon fra e-handelssider som Amazon for å overvåke konkurrentenes strategier i sanntid. Som datautvinning er datautvinning en automatisert prosess som har mange fordeler. Tidligere pleide folk å kopiere og lime inn data manuelt fra ett sted til et annet, noe som var veldig tidkrevende. Datautvinning øker hastigheten på innsamlingen og forbedrer nøyaktigheten til de uthentede dataene betydelig.
Noen eksempler på bruk av datautvinning
I likhet med data mining, er data mining mye brukt i ulike bransjer. I tillegg til å overvåke priser innen e-handel, kan datautvinning hjelpe i din egen research, nyhetsaggregering, markedsføring, eiendom, reise og turisme, rådgivning, finans og mye mer.
- Ledende generasjon
Bedrifter kan trekke ut data fra kataloger: Yelp, Crunchbase, Yellowpages og generere leads for forretningsutvikling. Du kan se videoen nedenfor for å lære hvordan du trekker ut data fra Yellowpages ved hjelp av . - Aggregering av innhold og nyheter
Nettsteder for innholdsaggregering kan motta regelmessige strømmer av data fra flere kilder og holde nettstedene deres oppdatert. - Sentimentanalyse
Ved å trekke ut anmeldelser, kommentarer og tilbakemeldinger fra sosiale medier som Instagram og Twitter, kan eksperter analysere de underliggende følelsene og få innsikt i hvordan en merkevare, et produkt eller et fenomen oppfattes.
Datautvinningstrinn
Datautvinning er det første trinnet av ETL (forkortelse Extract, Transform, Load) og ELT (extract, load and transform). ETL og ELT er selv en del av en komplett dataintegrasjonsstrategi. Datautvinning kan med andre ord være en del av datautvinning.
Trekk ut, konverter, last
Mens datautvinning handler om å trekke ut informasjon fra store datamengder, er datautvinning en mye kortere og enklere prosess. Det kan reduseres til tre stadier:
- Velge en datakilde
Velg kilden du vil trekke ut data fra, for eksempel et nettsted. - Datainnsamling
Send en "GET"-forespørsel til nettstedet og analyser det resulterende HTML-dokumentet ved å bruke programmeringsspråk som Python, PHP, R, Ruby, etc. - Datalagring
Lagre data i din lokale database eller skylagring for fremtidig bruk. Hvis du er en erfaren programmerer som ønsker å trekke ut data, kan trinnene ovenfor virke enkle for deg. Men hvis du ikke koder, er en snarvei å bruke dataekstraksjonsverktøy, f.eks. . Datautvinningsverktøy, som datautvinningsverktøy, er utviklet for å spare energi og gjøre databehandling enkelt for alle. Disse verktøyene er ikke bare økonomiske, men også nybegynnervennlige. De lar brukere samle inn data i løpet av minutter, lagre dem i skyen og eksportere dem til mange formater: Excel, CSV, HTML, JSON eller til nettstedsdatabaser via API.
Ulemper med datautvinning
- Serverkrasj
Når du henter data i stor skala, kan målnettstedets webserver bli overbelastet, noe som kan føre til at serveren krasjer. Dette vil skade interessene til nettstedets eier. - Ban av IP
Når en person samler inn data for ofte, kan nettsteder blokkere IP-adressen deres. Ressursen kan nekte en IP-adresse fullstendig eller begrense tilgangen, noe som gjør dataene ufullstendige. For å hente data og unngå blokkering, må du gjøre det i moderat hastighet og bruke noen antiblokkeringsteknikker. - Problemer med loven
Å hente ut data fra nettet faller inn i en gråsone når det kommer til lovlighet. Store nettsteder som Linkedin og Facebook sier tydelig i sine bruksvilkår at all automatisert datautvinning er forbudt. Det har vært mange rettssaker mellom selskaper på grunn av botaktivitet.
Viktige forskjeller mellom datautvinning og datautvinning
- Data mining kalles også kunnskapsoppdagelse i databaser, kunnskapsutvinning, data/mønsteranalyse, informasjonsinnhenting. Datautvinning brukes om hverandre med webdatautvinning, webcrawling, data mining og så videre.
- Data mining-forskning er hovedsakelig basert på strukturerte data, mens i data mining er det vanligvis hentet fra ustrukturerte eller dårlig strukturerte kilder.
- Målet med data mining er å gjøre data mer nyttig for analyse. Datautvinning er innsamling av data på ett sted hvor de kan lagres eller behandles.
- Analyse i data mining er basert på matematiske metoder for å identifisere mønstre eller trender. Datautvinning er basert på programmeringsspråk eller datautvinningsverktøy for å gjennomsøke kilder.
- Målet med datautvinning er å finne fakta som tidligere var ukjent eller ignorert, mens datautvinning omhandler eksisterende informasjon.
- Data mining er mer komplekst og krever store investeringer i opplæring av folk. Datautvinning, når det brukes med riktig verktøy, kan være ekstremt enkelt og kostnadseffektivt.
Vi hjelper nybegynnere til ikke å bli forvirret i Data. Vi har laget en kampanjekode spesielt for innbyggere i Khabra HORNBEAM, som gir ytterligere 10 % rabatt på rabatten som er angitt på banneret.
Flere kurs
Utvalgte artikler
Kilde: www.habr.com