Dessa tvÄ trendiga ord relaterade till Data Science förvirrar mÄnga mÀnniskor. Data Mining missförstÄs ofta som att extrahera och fÄ data, men i verkligheten Àr det mycket mer komplicerat. I det hÀr inlÀgget ska vi reda ut begreppen och klargöra skillnaden mellan Data Mining och Data Extraction.
Vad Àr Data Mining?
Data mining, Àven kallad Knowledge Discovery in Databases (KDD), Àr en metod som ofta anvÀnds för att analysera stora datamÀngder med hjÀlp av statistiska och matematiska metoder för att hitta dolda mönster eller trender och extrahera vÀrde frÄn dem.
Vad kan man göra med Data Mining?
Genom att automatisera processen, kan genomsöka databaser och effektivt identifiera dolda mönster. För företag anvÀnds data mining ofta för att identifiera mönster och relationer i data, vilket hjÀlper till att fatta optimala affÀrsbeslut.
TillÀmpningsexempel
Efter att data mining fick stor spridning pÄ 1990-talet började företag inom en mÀngd olika branscher, inklusive detaljhandel, finans, hÀlsovÄrd, transporter, telekommunikation och e-handel, anvÀnda metoder för data mining för att fÄ insikter baserade pÄ data. Data mining kan hjÀlpa till att segmentera kunder, upptÀcka bedrÀgerier, förutsÀga försÀljning och mycket mer.
- Kundsegmentering
Genom att analysera kunddata och identifiera egenskaper hos mÄlgrupper kan företag bygga upp dem i separata grupper och erbjuda specialerbjudanden som tillgodoser deras behov. - Marknadsinsiktsanalys
Denna metod bygger pÄ teorin att om du köper en viss grupp av varor, Àr du troligtvis ocksÄ benÀgen att köpa en annan grupp av varor. Ett kÀnt exempel Àr: nÀr pappor köper blöjor till sina spÀdbarn, tenderar de att köpa öl tillsammans med blöjorna. - FörsÀljningsprognoser
Detta kan verka liknande marknadsinsiktsanalys, men den hÀr gÄngen anvÀnds dataanalys för att förutsÀga nÀr kunden kommer att köpa produkten igen i framtiden. Till exempel köper en trÀnare en burk protein som ska rÀcka i 9 mÄnader. Butiken som sÀljer detta protein planerar att lansera en ny typ om 9 mÄnader, sÄ att trÀnaren köper det igen. - BedrÀgeridetektering
Datamining hjÀlper till att bygga modeller för att upptÀcka bedrÀgerier. Genom att samla in exempel pÄ bÄde bedrÀgliga och Àkta rapporter fÄr företag möjlighet att avgöra vilka transaktioner som Àr misstÀnkta. - MönsterupptÀckte i produktionen
Inom tillverkningsindustrin anvÀnds datamining för att hjÀlpa till med design av system, genom att identifiera samband mellan produktarkitektur, profil och kundbehov. Datamining kan ocksÄ förutsÀga produktutvecklingstider och kostnader.
Och detta Àr bara nÄgra anvÀndningsscenarier för datamining.
Steg inom Datamining
Datamining Àr en helhetsprocess för insamling, urval, rengöring, transformation och extraktion av data för att bedöma mönster och i slutÀndan för att utvinna vÀrde.
I allmÀnhet kan hela dataminingprocessen sammanfattas i 7 steg:
- Rengöring av data
I verkligheten Àr data inte alltid rengjorda och strukturerade. De Àr ofta brusiga, ofullstÀndiga och kan innehÄlla fel. För att sÀkerstÀlla att resultatet av datamining Àr exakt mÄste data först rengöras. NÄgra rengöringsmetoder inkluderar att fylla i saknade vÀrden, automatisk och manuell granskning, etc. - Dataintegration
Detta Àr steget dÀr data frÄn olika kÀllor extraheras, kombineras och integreras. KÀllorna kan vara databaser, textfiler, kalkylblad, dokument, multidimensionella datamÀngder, internet och mer. - DatahÀmtning
Vanligtvis Àr inte all integrerad data nödvÀndig för datamining. Dataval Àr det steg dÀr endast anvÀndbar data vÀljs och extraheras frÄn en stor databas. - Datatransformation
Efter dataval transformeras de till former som Àr lÀmpliga för utvinning. Denna process inkluderar normalisering, aggregering, generalisering, etc. - Intelligent dataanalys
HÀr intrÀffar den mest viktiga delen av datamining - att anvÀnda intellektuella metoder för att hitta mönster i dem. Processen inkluderar regression, klassificering, prognoser, klustring, associationsstudier och mycket mer. - ModellutvÀrdering
Detta steg syftar till att upptÀcka potentiellt anvÀndbara, lÀttförstÄeliga mönster samt mönster som bekrÀftar hypoteser. - Kunskapspresentation
I den avslutande fasen presenteras den erhÄllna informationen pÄ ett tilltalande sÀtt med hjÀlp av metoder för kunskapsrepresentation och visualisering.
Nackdelar med Data Mining
- Stora investeringar av tid och arbete
Eftersom datan Àr en lÄng och komplex process krÀver den stort arbete av produktiva och kvalificerade personer. Dataanalytiker kan anvÀnda kraftfulla verktyg för datautvinning, men de behöver specialister för att förbereda data och förstÄ resultaten. Som ett resultat kan det ta tid att behandla all information. - Sekretess och datasÀkerhet
Eftersom data mining samlar information om kunder med hjÀlp av marknadsmetoder kan det krÀnka anvÀndarnas sekretess. Dessutom kan hackare fÄ tillgÄng till data som lagras i systemen för datautvinning. Detta utgör ett hot mot kundernas dataskydd. Om stulna data anvÀnds felaktigt kan det lÀtt skada andra.
HÀr Àr en kort introduktion till data mining. Som jag redan nÀmnt omfattar data mining processen att samla in och integrera data, som inkluderar processen för datautvinning. I detta fall kan det sÀgas med sÀkerhet att datautvinning kan vara en del av den lÄngvariga processen av data mining.
Vad Àr Datautvinning?
Ăven kĂ€nd som "webbdatautvinning" och "webbskrapning", Ă€r denna process handlingen att extrahera data frĂ„n (vanligtvis ostrukturerade eller dĂ„ligt strukturerade) datakĂ€llor till centraliserade platser och centralisering pĂ„ ett stĂ€lle för lagring eller vidare bearbetning. SĂ€rskilt ostrukturerade datakĂ€llor inkluderar webbplatser, e-post, dokument, PDF-filer, skannad text, rapporter frĂ„n mainframes, rullefiler, annonser osv. Centraliserade lagringslösningar kan vara lokala, molnbaserade eller hybrida. Det Ă€r viktigt att komma ihĂ„g att datautvinning inte inkluderar bearbetning eller annan analys som kan ske senare.
Vad kan göras med hjÀlp av Datautvinning?
I huvudsak delas mÄlen för datautvinning in i 3 kategorier.
- Arkivering
Data extraction kan omvandla data frĂ„n fysiska format: böcker, tidningar, fakturor till digitala format, som databaser för lagring eller sĂ€kerhetskopiering. - Ăndra dataformat
NÀr du vill flytta data frÄn din nuvarande webbplats till en ny som Àr under utveckling, kan du samla in data frÄn din egen webbplats genom att extrahera dem. - Dataanalys
Det Àr vanligt med ytterligare analys av de extraherade data för att fÄ en uppfattning om dem. Det kan likna dataanalys vid datamining, men observera att dataanalys Àr mÄlet för deras extraktion, men inte en del av det. Dessutom analyseras data pÄ ett annat sÀtt. Ett exempel: Àgare av e-handelswebbplatser extraherar produktinformation frÄn e-handelswebbplatser som Amazon för att övervaka konkurrentstrategier i realtid. Precis som vid datamining Àr dataextraktion en automatiserad process som har mÄnga fördelar. Tidigare kopierade och klistrade mÀnniskor data manuellt frÄn en plats till en annan, vilket tog mycket tid. Dataextraktion pÄskyndar insamlingen och ökar betydligt noggrannheten hos de extraherade data.
NÄgra exempel pÄ tillÀmpningar av Data Extraction
Liksom datamining anvÀnds dataextraktion i stor utstrÀckning inom olika branscher. Förutom prövervakning inom e-handel kan dataextraktion hjÀlpa till med egen forskning, nyhetsaggregat, marknadsföring, arbete med fastigheter, resor och turism, konsultverksamhet, finans och mycket mer.
- Leadgenerering
Företag kan extrahera data frÄn kataloger: Yelp, Crunchbase, Yellowpages och generera leads för affÀrsutveckling. Du kan se videon nedan för att lÀra dig hur man extraherar data frÄn Yellowpages med hjÀlp av . - InnehÄlls- och nyhetsaggregat
InnehÄllsaggregatwebbplatser kan fÄ regelbundna datastreams frÄn flera kÀllor och hÄlla sina webbplatser aktuella. - Sentimentanalys
Efter att ha extraherat recensioner, kommentarer och omdömen frÄn sociala medier som Instagram och Twitter kan specialister analysera de underliggande Äsikterna och fÄ en uppfattning om hur varumÀrket, produkten eller en viss företeelse uppfattas.
Steg för Data Extraction
DatainhÀmtning Àr det första steget i ETL (förkortning för Extract, Transform, Load: hÀmta, transformera, ladda) och ELT (hÀmta, ladda och transformera). ETL och ELT Àr i sig sjÀlva en del av en fullstÀndig dataintegrationsstrategi. Med andra ord kan datainhÀmtning vara en del av deras utvinning.
HĂ€mtning, transformering, laddning
Medan datamining handlar om att fÄ information frÄn stora datamÀngder, Àr datainhÀmtning en mycket kortare och enklare process. Den kan sammanfattas i tre steg:
- VÀlj datakÀlla
VÀlj den kÀlla frÄn vilken du vill hÀmta data, till exempel en webbplats. - Datainsamling
Skicka en "GET"-förfrÄgan till webbplatsen och analysera det mottagna HTML-dokumentet med hjÀlp av programmeringssprÄk som Python, PHP, R, Ruby, etc. - Databevarande
Spara data i din lokala databas eller i molnlagring för framtida anvĂ€ndning. Om du Ă€r en erfaren programmerare som vill hĂ€mta data kan ovanstĂ„ende steg verka enkla. Men om du inte programmerar finns det en genvĂ€g â att anvĂ€nda datainhĂ€mtningverktyg, till exempel . DatainhĂ€mtningverktyg, liksom dataminingverktyg, Ă€r utformade för att spara energi och göra databehandling enkel för alla. Dessa verktyg Ă€r inte bara kostnadseffektiva, utan Ă€ven anvĂ€ndarvĂ€nliga för nybörjare. De gör det möjligt för anvĂ€ndare att samla in data pĂ„ nĂ„gra minuter, lagra dem i molnet och exportera dem i mĂ„nga format: Excel, CSV, HTML, JSON eller till databaser pĂ„ webbplatsen via API.
Nackdelar med datainhÀmtning
- Serverfel
NÀr data hÀmtas i stor skala kan webbservern pÄ den avsedda webbplatsen bli överbelastad, vilket kan leda till serverkrasch. Detta skadar Àgarens intressen. - IP-blockering
NÀr en person samlar in data för ofta kan webbplatser blockera hans eller hennes IP-adress. Resursen kan helt förbjuda IP-adressen eller begrÀnsa Ätkomst, vilket gör att datan blir ofullstÀndig. För att hÀmta data utan att bli blockerad bör detta göras i en mÄttlig takt och vissa anti-blockeringstekniker bör tillÀmpas. - RÀttsliga problem
Att extrahera data frÄn webben hamnar i ett grÄtt omrÄde nÀr det kommer till laglighet. Stora webbplatser som Linkedin och Facebook förklarar tydligt i sina anvÀndarvillkor att all automatisk datainsamling Àr förbjuden. Det har förekommit mÄnga rÀttsliga tvister mellan företagen pÄ grund av botarnas aktiviteter.
Nyckelskillnader mellan Data Mining och Data Extraction
- Data mining kallas ocksÄ för kunskapsupptÀckning i databaser, kunskapsutvinning, data-/mönsteranalys, informationssamling. Data extraction anvÀnds utbytbart med webbdataklassning, webbskanning, datainsamling och sÄ vidare.
- Forskning inom data mining baseras frÀmst pÄ strukturerade data, medan vid datainsamling utvinns de oftast frÄn ostrukturerade eller dÄligt strukturerade kÀllor.
- MÄlet med data mining Àr att göra data mer anvÀndbara för analys. Data extraction handlar om att samla data pÄ en plats dÀr de kan lagras eller bearbetas.
- Analysen vid data mining bygger pÄ matematiska metoder för att upptÀcka mönster eller trender. Data extraction grundar sig pÄ programmeringssprÄk eller verktyg för datautvinning för att navigera kÀllorna.
- MÄlet med data mining Àr att hitta fakta som tidigare var okÀnda eller ignorerade, medan data extraction hanterar befintlig information.
- Data mining Àr mer komplicerat och krÀver större investeringar i utbildning av personal. Data extraction kan, med rÀtt verktyg, vara oerhört enkelt och kostnadseffektivt.
Vi hjÀlper nybörjare att inte gÄ vilse i Data. Speciellt för Habr-anvÀndare har vi gjort en rabattkod HABR, som ger ytterligare 10% rabatt pÄ den rabatt som anges pÄ bannern.
Fler kurser
Rekommenderade artiklar
KĂ€lla: habr.com
