Dës zwee Data Science Buzzwords duerchernee vill Leit. Data Mining gëtt dacks falsch verstanen wéi d'Daten extrahéieren an zréckzéien, awer d'Realitéit ass vill méi komplex. An dësem Post, loosst eis Punkt Mining an erausfannen den Ënnerscheed tëscht Data Mining an Data Extraction.
Wat ass Data Mining?
Data Mining, och genannt Database Knowledge Discovery (KDD), ass eng Technik déi dacks benotzt gëtt fir grouss Datesätz ze analyséieren mat statisteschen a mathematesche Methoden fir verstoppte Musteren oder Trends ze fannen a Wäert dovunner ze extrahieren.
Wat kann mat Data Mining gemaach ginn?
Duerch d'Automatiséierung vum Prozess, kann Datenbanken duerchsichen an effektiv verstoppte Musteren entdecken. Fir Geschäfter gëtt Datemining dacks benotzt fir Musteren a Bezéiungen an Daten z'entdecken fir besser Geschäftsentscheedungen ze treffen.
Applikatioun Beispiller
Nodeem d'Datemining an den 1990er Jore verbreet gouf, hunn Firmen an enger breeder Palette vun Industrien, dorënner Retail, Finanzen, Gesondheetsariichtung, Transport, Telekommunikatioun, E-Commerce, asw. Data Mining kann hëllefen Clienten ze segmentéieren, Bedruch z'identifizéieren, Verkaf virauszesoen, a méi.
- Client Segmentatioun
Andeems Dir Clientdaten analyséiert an d'Charakteristiken vun Zilclienten z'identifizéieren, kënnen d'Firmen se an eng separat Grupp gruppéieren a speziell Offeren ubidden, déi hir Bedierfnesser entspriechen. - Maart Basket Analyse
Dës Technik baséiert op der Theorie datt wann Dir eng bestëmmte Grupp vu Produkter kaaft, Dir méi wahrscheinlech eng aner Grupp vu Produkter kaaft. Ee berühmt Beispill: Wann Pappen Windel fir hir Puppelcher kafen, tendéieren se Béier mat de Windel ze kafen. - Verkafsprognosen
Et kann ähnlech wéi Maart Kuerf Analyse schéngen, mä dës Kéier Daten Analyse gëtt benotzt fir virauszesoen wann e Client e Produit an Zukunft erëm kafen. Zum Beispill keeft en Trainer eng Dose Protein déi 9 Méint daueren soll. De Buttek, deen dëse Protein verkeeft, plangt en neien an 9 Méint ze verëffentlechen, sou datt den Trainer et erëm kaaft. - Bedruch Detektioun
Datemining hëlleft beim Bau vun Modeller fir Bedruchdetektioun. Andeems Dir Proben vu betrügereschen an zouverléissege Berichter sammelt, sinn d'Geschäfter berechtegt ze bestëmmen wéi eng Transaktioune verdächteg sinn. - Mustererkennung an der Produktioun
An der Fabrikatiounsindustrie gëtt Datemining benotzt fir Systemer ze designen andeems d'Relatioun tëscht Produktarchitektur, Profil a Clientsbedierfnesser identifizéiert gëtt. Data Mining kann och Produktentwécklungszäiten a Käschten viraussoen.
An dëst sinn nëmmen e puer Benotzungsfäll fir Datemining.
Etappe vun Daten Mining
Datemining ass en holistesche Prozess fir Daten ze sammelen, ze wielen, ze botzen, ze transforméieren an ze extrahieren fir Musteren ze evaluéieren a schlussendlech Wäert extrahéieren.
Allgemeng kann de ganzen Dateminingprozess a 7 Schrëtt zesummegefaasst ginn:
- Datereinigung
An der realer Welt ginn Daten net ëmmer gebotzt a strukturéiert. Si sinn dacks Kaméidi, onkomplett, a kënne Feeler enthalen. Fir sécherzestellen datt d'Dateminingresultat korrekt ass, musst Dir als éischt d'Donnéeën botzen. E puer Botzenmethoden enthalen d'Fëllung vu fehlend Wäerter, automatesch a manuell Kontrollen, a sou weider. - Daten Integratioun
Dëst ass d'Bühn wou Daten aus verschiddene Quellen extrahéiert, kombinéiert an integréiert ginn. Quelle kënnen Datenbanken, Textdateien, Spreadsheets, Dokumenter, multidimensional Datesätz, Internet, asw. - Daten Echantillon
Normalerweis sinn net all integréiert Daten am Datemining gebraucht. Dateprobéieren ass d'Bühn an där nëmmen nëtzlech Daten ausgewielt an aus enger grousser Datebank extrahéiert ginn. - Daten Konversioun
Wann d'Donnéeën ausgewielt ginn, ginn se a Formen ëmgewandelt, déi gëeegent fir Biergbau. Dëse Prozess enthält Normaliséierung, Aggregatioun, Generaliséierung, asw. - Data Mining
Hei kënnt de wichtegsten Deel vum Datemining - benotzt intelligent Methoden fir Musteren an hinnen ze fannen. De Prozess enthält Regressioun, Klassifikatioun, Prognose, Clustering, Associatiounsléieren, a méi. - Modell Evaluatioun
Dëse Schrëtt zielt fir potenziell nëtzlech, einfach ze verstoen Musteren ze identifizéieren, souwéi Musteren déi Hypothesen ënnerstëtzen. - Wëssen Representatioun
Op der leschter Etapp gëtt d'Informatioun kritt op eng attraktiv Manéier mat Hëllef vu Wëssensrepresentatioun a Visualiséierungsmethoden presentéiert.
Nodeeler vun Data Mining
- Grouss Investitioun vun Zäit an Aarbecht
Zënter Datemining ass e laangen a komplexe Prozess, et erfuerdert vill Aarbecht vu produktive a qualifizéierte Leit. Datewëssenschaftler kënne mächteg Datemining-Tools benotzen, awer si brauchen Experten fir d'Donnéeën ze preparéieren an d'Resultater ze verstoen. Als Resultat kann et e bëssen Zäit daueren fir all Informatioun ze veraarbecht. - Dateschutz a Sécherheet
Zënter Datemining sammelt Informatioun iwwer Clienten duerch Maartmethoden, kann et d'Benotzer Privatsphär verletzen. Zousätzlech kënnen Hacker Daten kréien, déi an Datenminingsystemer gespäichert sinn. Dëst stellt eng Bedrohung fir d'Sécherheet vun de Clientdaten. Wann déi geklauten Donnéeën mëssbraucht ginn, kann et einfach anerer schueden.
Dat hei uewen ass eng kuerz Aféierung zum Datemining. Wéi ech scho gesot hunn, enthält den Datemining de Prozess fir Daten ze sammelen an z'integréieren, wat de Prozess vun der Extraktioun enthält (Datenextraktioun). An dësem Fall ass et sécher ze soen datt d'Datenextraktioun Deel vun engem laange Dateminingprozess kann sinn.
Wat ass Datenextraktioun?
Och bekannt als "Web Data Mining" a "Web Scraping", ass dëse Prozess den Akt fir Daten aus (normalerweis onstrukturéiert oder schlecht strukturéiert) Datenquellen an zentraliséierter Plazen an Zentraliséierung op enger Plaz fir Späicheren oder weider Veraarbechtung ze extrahieren. Speziell, onstrukturéiert Datequellen enthalen Websäiten, E-Mail, Dokumenter, PDF Dateien, gescannt Text, Mainframe Berichter, Reel Dateien, Ukënnegung, etc. Zentraliséiert Lagerung kann lokal, Wollek oder Hybrid sinn. Et ass wichteg ze erënneren datt d'Datenextraktioun keng Veraarbechtung oder aner Analyse enthält déi spéider optriede kann.
Wat kann mat Dateextraktioun gemaach ginn?
Prinzipiell falen Datenextraktiounszwecker an 3 Kategorien.
- Archivéieren
Dateextraktioun kann Daten aus kierperlech Formater wéi Bicher, Zeitungen, Rechnungen an digital Formate konvertéieren wéi Datenbanken fir Späicheren oder Backup. - Änneren vum Dateformat
Wann Dir Daten vun Ärem aktuellen Site op en neien ënner Entwécklung wëllt migréieren, kënnt Dir Daten vun Ärem eegene Site sammelen andeems Dir se extrahéiert. - Donnéeën Analyse
Et ass üblech fir déi extrahéiert Donnéeën weider ze analyséieren fir Abléck an et ze kréien. Dëst kléngt vläicht ähnlech wéi Datenmining, awer behalen datt Datemining d'Zil vum Datemining ass, net en Deel dovun. Ausserdeem ginn d'Donnéeën anescht analyséiert. E Beispill ass datt Online Store Besëtzer Produktinformatioun vun E-Commerce Siten wéi Amazon zéien fir Konkurrentstrategien an Echtzäit ze iwwerwaachen. Wéi Datemining ass d'Datenextraktioun en automatiséierte Prozess mat ville Virdeeler. An der Vergaangenheet hunn d'Leit Daten manuell vun enger Plaz op déi aner kopéiert a gepecht, wat ganz Zäitopwendeg war. Dateextraktioun beschleunegt d'Sammlung a verbessert d'Genauegkeet vun den extrahéierten Donnéeën immens.
E puer Beispiller fir Datenextraktioun ze benotzen
Ähnlech wéi Datemining gëtt Datemining vill a verschiddenen Industrien benotzt. Nieft der E-Commerce Präis Iwwerwachung, Datemining kann hëllefen mat Ärer eegener Fuerschung, Newsaggregatioun, Marketing, Immobilien, Reesen an Tourismus, Berodung, Finanzen, a méi.
- Lead Generatioun
Firmen kënnen Daten aus Verzeichnisser extrahéieren: Yelp, Crunchbase, Yellowpages a Leads fir Geschäftsentwécklung generéieren. Dir kënnt de Video hei ënnen kucken fir ze léieren wéi Dir Daten aus Yellowpages extrahéiert . - Aggregatioun vun Inhalt an Neiegkeeten
Inhalt aggregéiert Websäite kënne reegelméisseg Datenfeeds vu ville Quelle kréien an hir Siten um neiste Stand halen. - Sentiment Analyse
Nodeems Dir Rezensiounen, Kommentaren an Zeienaussoen aus sozialen Netzwierker wéi Instagram an Twitter extrahéiert hutt, kënnen d'Fachleit déi ënnerierdesch Attitudë analyséieren an Abléck kréien wéi eng Mark, Produkt oder Phänomen ugesi gëtt.
Daten Extraktioun Schrëtt
Dateextraktioun ass déi éischt Stuf vun ETL (Extract, Transform, Load: Extract, Transform, Load) an ELT (Extract, Load, and Transform). ETL an ELT si selwer Deel vun enger kompletter Datintegratiounsstrategie. An anere Wierder, Daten extrahéieren kënnen Deel vun hirer Extraktioun sinn.
Extrait, transforméieren, lueden
Wärend Datemining alles ëm d'Extraktioun vun Informatioun aus grousse Quantitéiten un Daten geet, ass d'Datenextraktioun e vill méi kuerzen a méi einfache Prozess. Et kann op dräi Etappen reduzéiert ginn:
- Auswiel vun enger Datequell
Wielt d'Quell aus aus där Dir Daten extrahéieren wëllt, wéi eng Websäit. - Datensammlung
Schéckt eng "GET" Ufro op de Site a parséiert dat resultéierend HTML Dokument mat Programméierungssprooche wéi Python, PHP, R, Ruby, etc. - Datenspeicher
Späichert d'Donnéeën op Är lokal Datebank oder Cloud Storage fir zukünfteg Benotzung. Wann Dir en erfuerene Programméierer sidd deen Donnéeën extrahéiere wëllt, kënnen déi uewe genannte Schrëtt fir Iech einfach schéngen. Wéi och ëmmer, wann Dir net e Programméierer sidd, gëtt et eng Ofkiirzung - benotzt Data Mining Tools wéi . Dateextraktiounsinstrumenter, grad wéi Datemining Tools, sinn entwéckelt fir Energie ze spueren an d'Dateveraarbechtung fir jiddereen einfach ze maachen. Dës Tools sinn net nëmmen ekonomesch, awer och Ufängerfrëndlech. Si erlaben d'Benotzer Daten innerhalb vu Minutten ze sammelen, se an der Wollek ze späicheren an se op vill Formater exportéieren: Excel, CSV, HTML, JSON oder an Datenbanken op der Säit iwwer eng API.
Nodeeler vun Data Extraktioun
- Server Crash
Wann Dir Daten op enger grousser Skala extrahéiert, kann de Webserver vun der Zilsäit iwwerlaascht ginn, wat zu engem Server Crash féiere kann. Dëst wäert d'Interesse vum Site Besëtzer schueden. - Verbuet duerch IP
Wann eng Persoun ze dacks Daten sammelt, kënnen Websäite hir IP Adress blockéieren. Eng Ressource kann eng IP Adress komplett verbidden oder den Zougang beschränken andeems d'Donnéeën onkomplett maachen. Fir Daten ze recuperéieren an ze blockéieren ze vermeiden, musst Dir et mat enger moderéierter Geschwindegkeet maachen an e puer Anti-Blockéierungstechniken uwenden. - Problemer mam Gesetz
Daten aus dem Web extrahéieren fällt an e groe Beräich wann et ëm Legalitéit geet. Grouss Siten wéi Linkedin a Facebook soen kloer an hire Benotzungsconditiounen datt all automatesch Extraktioun vun Daten verbueden ass. Et goufe vill Prozesser tëscht Firmen wéinst Botaktivitéiten.
Schlëssel Differenzen tëscht Data Mining an Data Extraktioun
- Datemining gëtt och Wëssen Entdeckung an Datenbanken genannt, Wëssensextraktioun, Daten / Muster Analyse, Informatiounssammlung. Dateextraktioun gëtt austauschbar mat Webdatenextraktioun benotzt, Websäit Scannen, Datensammlung, asw.
- Datemining Fuerschung ass meeschtens op strukturéiert Daten baséiert wärend Datemining normalerweis aus onstrukturéierten oder schlecht strukturéierte Quellen zitt.
- D'Zil vum Datemining ass Daten méi nëtzlech fir Analyse ze maachen. Dateextraktioun ass d'Sammlung vun Daten op eng Plaz wou se gespäichert oder veraarbecht kënne ginn.
- Analyse am Datemining baséiert op mathematesche Methoden fir Musteren oder Trends z'identifizéieren. Dateextraktioun baséiert op Programméierungssproochen oder Datenextraktiounstools fir Quellen z'iwwergoen.
- Den Zweck vum Datemining ass d'Fakten ze fannen déi net virdru bekannt oder ignoréiert waren, während d'Datenextraktioun sech mat existéierend Informatioun beschäftegt.
- Datemining ass méi komplex a erfuerdert eng grouss Investitioun an d'Ausbildung vu Leit. Dateextraktioun mat dem richtege Tool kann extrem einfach a kosteneffektiv sinn.
Mir hëllefen Ufänger net duercherneen ze kréien an Data. Besonnesch fir habravchans hu mir e Promotiouns Code gemaach HABR, gëtt eng zousätzlech 10% Remise op de Remise op de Banner uginn.
Méi Coursen
Featured Artikelen
Source: will.com