Disse to moteordene knyttet til datavitenskap forvirrer mange. Data mining blir ofte misforstått som datautvinning og -gjenfinning, men det er faktisk mye mer komplekst enn som så. I dette innlegget skal vi sette ting på plass og avklare forskjellene mellom data mining og datautvinning.
Hva er datautvinning?
Datautvinning, også kalt Kunnskapsoppdagelse i database (KDD), er en teknikk som ofte brukes til å analysere store mengder data ved hjelp av statistiske og matematiske metoder for å finne skjulte mønstre eller trender og utvinne verdi fra dem.
Hva kan gjøres med datautvinning?
Ved å automatisere prosessen, kan skanne databaser og effektivt avdekke skjulte mønstre. For bedrifter brukes ofte datautvinning til å avdekke mønstre og sammenhenger i data for å ta bedre forretningsbeslutninger.
Applikasjonseksempler
Siden datautvinning fikk bred utbredelse på 1990-tallet, har selskaper i en rekke bransjer, inkludert detaljhandel, finans, helsevesen, transport, telekommunikasjon, e-handel og mer, begynt å bruke datautvinningsteknikker for å få innsikt fra data. Datautvinning kan bidra til å segmentere kunder, oppdage svindel, forutsi salg og mer.
- Kundesegmentering
Ved å analysere kundedata og identifisere egenskapene til målkundene, kan bedrifter målrette dem som en egen gruppe og tilby spesialtilbud som dekker deres behov. - Markedskurvanalyse
Denne teknikken er basert på teorien om at hvis du kjøper en bestemt gruppe varer, er det mer sannsynlig at du kjøper en annen gruppe varer. Et kjent eksempel: Når fedre kjøper bleier til babyene sine, pleier de å kjøpe øl sammen med bleiene. - Salgsprognoser
Dette kan virke likt en markedskurvanalyse, men denne gangen brukes dataanalyse til å forutsi når en kunde vil kjøpe et produkt igjen i fremtiden. For eksempel kjøper en trener en krukke med proteinpulver som skal vare i 9 måneder. Butikken som selger proteinpulveret planlegger å lansere et nytt om 9 måneder, slik at treneren vil kjøpe det igjen. - Oppdagelse av svindel
Datautvinning bidrar til å bygge modeller for svindeldeteksjon. Ved å samle inn prøver av falske og sannferdige rapporter, får bedrifter muligheten til å avgjøre hvilke transaksjoner som er mistenkelige. - Mønsterdeteksjon i produksjon
I produksjonsindustrien brukes data mining til å bistå i systemdesign ved å identifisere sammenhenger mellom produktarkitektur, profil og kundebehov. Data mining kan også forutsi tidslinjer og kostnader for produktutvikling.
Og dette er bare noen få av bruksområdene for datautvinning.
Faser i datautvinning
Data mining er den helhetlige prosessen med å samle inn, velge, rense, transformere og utvinne data for å evaluere mønstre og til slutt utvinne verdi.
Vanligvis kan hele dataminingsprosessen oppsummeres i 7 trinn:
- Datarensing
I den virkelige verden er ikke data alltid renset og strukturert. De er ofte støyende, ufullstendige og kan inneholde feil. For å sikre at resultatet av datautvinningen er nøyaktig, må dataene først renses. Noen rensemetoder inkluderer utfylling av manglende verdier, automatisk og manuell inspeksjon, osv. - Dataintegrasjon
Dette er stadiet der data fra ulike kilder utvinnes, kombineres og integreres. Kilder kan være databaser, tekstfiler, regneark, dokumenter, flerdimensjonale datamatriser, Internett og så videre. - Datasampling
Vanligvis er ikke alle integrerte data nødvendig i datautvinning. Datautvalg er stadiet der kun nyttige data velges ut og hentes fra en stor database. - Datakonvertering
Når dataene er valgt, transformeres de til former som er egnet for utvinning. Denne prosessen inkluderer normalisering, aggregering, generalisering osv. - Intelligent dataanalyse
Det er her den viktigste delen av datautvinning kommer inn i bildet – bruk av intelligente metoder for å finne mønstre i dem. Prosessen inkluderer regresjon, klassifisering, prognoser, klynging, assosiasjonslæring og mer. - Modellevaluering
Dette trinnet har som mål å identifisere potensielt nyttige, lettforståelige mønstre, samt mønstre som bekrefter hypoteser. - Kunnskapsrepresentasjon
I det siste stadiet presenteres den innhentede informasjonen i en attraktiv form ved hjelp av kunnskapsrepresentasjon og visualiseringsmetoder.
Ulemper med datautvinning
- Stor investering av tid og krefter
Siden datautvinning er en lang og kompleks prosess, krever den mye arbeid fra produktive og dyktige mennesker. Datautvinningsspesialister kan bruke kraftige datautvinningsverktøy, men de trenger spesialister for å forberede dataene og forstå resultatene. Som et resultat kan det ta litt tid å behandle all informasjonen. - Personvern og datasikkerhet
Siden data mining samler inn kundeinformasjon gjennom markedsmetoder, kan det krenke brukernes personvern. I tillegg kan hackere få tak i dataene som er lagret i data mining-systemer. Dette utgjør en trussel mot sikkerheten til kundedata. Hvis de stjålne dataene misbrukes, kan det lett skade andre.
Ovenfor er en kort introduksjon til data mining. Som jeg nevnte, omfatter data mining prosessen med å samle inn og integrere data, som inkluderer prosessen med datautvinning. I dette tilfellet er det trygt å si at datautvinning kan være en del av en langsiktig data mining-prosess.
Hva er datautvinning?
Også kjent som «web data mining» og «web scraping», er denne prosessen handlingen med å trekke ut data fra (vanligvis ustrukturerte eller dårlig strukturerte) datakilder til sentraliserte steder og sentralisere dem på ett sted for lagring eller videre behandling. Spesielt inkluderer ustrukturerte datakilder nettsider, e-post, dokumenter, PDF-filer, skannet tekst, stormaskinrapporter, spolfiler, annonser osv. Sentraliserte databaser kan være lokale, skybaserte eller hybride. Det er viktig å huske at datautvinning ikke inkluderer behandling eller annen analyse som kan skje senere.
Hva kan du gjøre med datautvinning?
I utgangspunktet er formålene med datauttrekking delt inn i tre kategorier.
- Arkivering
Datautvinning kan transformere data fra fysiske formater som bøker, aviser og fakturaer til digitale formater som databaser for lagring eller sikkerhetskopiering. - Endre dataformatet
Når du vil migrere data fra ditt nåværende nettsted til et nytt nettsted under utvikling, kan du samle inn data fra ditt eget nettsted ved å trekke dem ut. - Dataanalyse
Det er vanlig å analysere de utvunnede dataene ytterligere for å få innsikt i dem. Dette kan virke likt datautvinning, men husk at dataanalyse er formålet med datautvinning, ikke en del av det. Dessuten analyseres dataene på en annen måte. Et eksempel: nettbutikkeiere henter ut produktinformasjon fra e-handelsnettsteder som Amazon for å overvåke konkurrentstrategier i sanntid. I likhet med datautvinning er datautvinning en automatisert prosess som har mange fordeler. Tidligere kopierte og limte folk inn data manuelt fra ett sted til et annet, noe som var svært tidkrevende. Datautvinning fremskynder innsamlingen og forbedrer nøyaktigheten til de utvunnede dataene betraktelig.
Noen eksempler på datautvinningsapplikasjoner
I likhet med datautvinning er datautvinning mye brukt i ulike bransjer. I tillegg til å overvåke priser innen e-handel, kan datautvinning hjelpe til med proprietær forskning, nyhetsaggregering, markedsføring, eiendom, reiseliv og turisme, rådgivning, finans og mye mer.
- Ledende generasjon
Bedrifter kan hente ut data fra kataloger: Yelp, Crunchbase, Yellowpages og generere potensielle kunder for å få virksomheten sin til å vokse. Du kan se videoen nedenfor for å lære hvordan du henter ut data fra Yellowpages ved hjelp av . - Innholds- og nyhetsaggregering
Nettsteder for innholdsaggregering kan motta regelmessige datastrømmer fra flere kilder og holde nettstedene sine oppdaterte. - Sentimentanalyse
Ved å hente ut anmeldelser, kommentarer og tilbakemeldinger fra sosiale medieplattformer som Instagram og Twitter, kan markedsførere analysere de underliggende følelsene og få innsikt i hvordan et merke, produkt eller fenomen oppfattes.
Trinn for datauttrekking
Datautvinning er det første trinnet i ETL (Extract, Transform, Load) og ELT (Extract, Load, and Transform). ETL og ELT er i seg selv en del av en komplett dataintegrasjonsstrategi. Med andre ord kan datautvinning være en del av datautvinning.
Ekstraher, transformer, last inn
Mens datautvinning handler om å hente informasjon fra store datasett, er datautvinning en mye kortere og enklere prosess. Den kan kokes ned til tre trinn:
- Velge en datakilde
Velg kilden du vil hente ut data fra, for eksempel et nettsted. - Datainnsamling
Send en "GET"-forespørsel til et nettsted og analyser det resulterende HTML-dokumentet ved hjelp av programmeringsspråk som Python, PHP, R, Ruby, osv. - Datalagring
Lagre dataene i din lokale database eller skylagring for fremtidig bruk. Hvis du er en erfaren programmerer som ønsker å trekke ut data, kan trinnene ovenfor virke enkle for deg. Men hvis du ikke er en programmerer, finnes det en snarvei – bruk datauttrekkingsverktøy, for eksempel Datautvinningsverktøy, som datautvinningsverktøy, er utviklet for å spare energi og gjøre databehandling enkelt for alle. Disse verktøyene er ikke bare kostnadseffektive, men også nybegynnervennlige. De lar brukere samle inn data på få minutter, lagre dem i skyen og eksportere dem til mange formater: Excel, CSV, HTML, JSON eller til databaser på stedet via API.
Ulemper med datautvinning
- Serverkrasj
Ved uttrekking av data i stor skala kan målnettstedets webserver bli overbelastet, noe som kan føre til serverfeil. Dette vil skade nettstedseierens interesser. - Utestengelse via IP
Når en person samler inn data for ofte, kan nettsteder blokkere IP-adressen deres. Ressursen kan fullstendig utestenge IP-adressen eller begrense tilgangen, noe som gjør dataene ufullstendige. For å trekke ut data og unngå blokkering, må du gjøre det med moderat hastighet og bruke noen antiblokkeringsmetoder. - Problemer med loven
Nettskraping faller inn i en gråsone når det gjelder lovlighet. Store nettsteder som Linkedin og Facebook oppgir tydelig i sine tjenestevilkår at all automatisert skraping av data er forbudt. Det har vært mange søksmål mellom selskaper på grunn av botaktivitet.
Viktige forskjeller mellom datautvinning og datautvinning
- Datautvinning kalles også kunnskapsoppdagelse i databaser, kunnskapsutvinning, data-/mønsteranalyse og informasjonsinnsamling. Datautvinning brukes om hverandre med webdatautvinning, webcrawling, datainnsamling og så videre.
- Datautvinningsforskning er hovedsakelig basert på strukturerte data, mens datautvinning vanligvis trekker ut data fra ustrukturerte eller dårlig strukturerte kilder.
- Målet med datautvinning er å gjøre data mer nyttige for analyse. Datautvinning er innsamling av data på ett sted hvor de kan lagres eller behandles.
- Datautvinningsanalyse er avhengig av matematiske metoder for å identifisere mønstre eller trender. Datautvinning er avhengig av programmeringsspråk eller datautvinningsverktøy for å gjennomsøke kilder.
- Målet med datautvinning er å finne fakta som tidligere var ukjente eller ignorerte, mens datautvinning omhandler eksisterende informasjon.
- Datautvinning er mer komplekst og krever mye investering i opplæring av folk. Datautvinning, når du bruker riktig verktøy, kan være ekstremt enkelt og kostnadseffektivt.
Vi hjelper nybegynnere med å ikke bli forvirret i data. Spesielt for Khabrachans har vi laget en kampanjekode. HORNBEAM, som gir ytterligere 10 % rabatt på rabatten som er angitt på banneret.
Flere kurs
Utvalgte artikler
Kilde: www.habr.com
