Aceste două cuvinte la modă în știința datelor derutează o mulțime de oameni. Miningul de date este adesea înțeles greșit ca extragerea și preluarea datelor, dar realitatea este mult mai complexă. În această postare, să punem punct Mining și să aflăm diferența dintre Data Mining și Data Extraction.
Ce este data mining?
Data mining, numit și Descoperirea cunoștințelor bazei de date (KDD), este o tehnică folosită adesea pentru a analiza seturi mari de date folosind metode statistice și matematice pentru a găsi modele sau tendințe ascunse și pentru a extrage valoare din acestea.
Ce se poate face cu Data Mining?
Prin automatizarea procesului, poate răsfoi bazele de date și poate descoperi efectiv modele ascunse. Pentru companii, data mining-ul este adesea folosit pentru a descoperi modele și relații în date pentru a ajuta la luarea unor decizii de afaceri mai bune.
Exemple de aplicații
După ce data miningul s-a răspândit în anii 1990, companiile dintr-o gamă largă de industrii, inclusiv retail, finanțe, asistență medicală, transport, telecomunicații, comerț electronic etc., au început să folosească metode de data mining pentru a obține informații pe baza de date. Exploatarea datelor poate ajuta la segmentarea clienților, la identificarea fraudelor, la prezicerea vânzărilor și multe altele.
- Segmentarea clienților
Analizând datele clienților și identificând trăsăturile clienților țintă, companiile îi pot grupa într-un grup separat și pot oferi oferte speciale care să răspundă nevoilor acestora. - Analiza coșului de piață
Această tehnică se bazează pe teoria că, dacă cumpărați un anumit grup de produse, este mai probabil să cumpărați un alt grup de produse. Un exemplu celebru: atunci când tații cumpără scutece pentru bebelușii lor, ei tind să cumpere bere împreună cu scutecele. - Prognozarea vânzărilor
Poate părea similar cu analiza coșului de piață, dar de data aceasta analiza datelor este folosită pentru a prezice când un client va cumpăra din nou un produs în viitor. De exemplu, un antrenor cumpără o cutie de proteine care ar trebui să dureze 9 luni. Magazinul care vinde această proteină plănuiește să lanseze una nouă în 9 luni, astfel încât antrenorul să o cumpere din nou. - Detectarea fraudei
Exploatarea datelor ajută la construirea de modele pentru detectarea fraudelor. Prin colectarea de mostre de rapoarte frauduloase și veridice, companiile sunt împuternicite să determine care tranzacții sunt suspecte. - Detectarea modelelor în producție
În industria de producție, data mining este folosit pentru a ajuta la proiectarea sistemelor prin identificarea relației dintre arhitectura produsului, profil și nevoile clienților. Exploatarea datelor poate, de asemenea, prezice timpii și costurile de dezvoltare a produselor.
Și acestea sunt doar câteva cazuri de utilizare pentru data mining.
Etapele extragerii datelor
Exploatarea datelor este un proces holistic de colectare, selectare, curățare, transformare și extragere a datelor pentru a evalua tiparele și, în cele din urmă, a extrage valoare.
În general, întregul proces de extragere a datelor poate fi rezumat în 7 pași:
- Curățarea datelor
În lumea reală, datele nu sunt întotdeauna curățate și structurate. Ele sunt adesea zgomotoase, incomplete și pot conține erori. Pentru a vă asigura că rezultatul extragerii datelor este exact, mai întâi trebuie să curățați datele. Unele metode de curățare includ completarea valorilor lipsă, controale automate și manuale și așa mai departe. - Integrarea datelor
Aceasta este etapa în care datele din diferite surse sunt extrase, combinate și integrate. Sursele pot fi baze de date, fișiere text, foi de calcul, documente, seturi de date multidimensionale, Internet și așa mai departe. - Eșantionarea datelor
De obicei, nu toate datele integrate sunt necesare în data mining. Eșantionarea datelor este etapa în care doar datele utile sunt selectate și extrase dintr-o bază de date mare. - Conversia datelor
Odată selectate datele, acestea sunt convertite în forme potrivite pentru minerit. Acest proces include normalizarea, agregarea, generalizarea etc. - Exploatarea datelor
Aici intervine cea mai importantă parte a extragerii datelor - folosind metode inteligente pentru a găsi modele în ele. Procesul include regresie, clasificare, predicție, grupare, învățare de asociere și multe altele. - Evaluarea modelului
Acest pas își propune să identifice modele potențial utile, ușor de înțeles, precum și modele care susțin ipoteze. - Reprezentarea cunoștințelor
În etapa finală, informațiile obținute sunt prezentate într-un mod atractiv folosind metode de reprezentare și vizualizare a cunoștințelor.
Dezavantajele minării de date
- Investiție mare de timp și forță de muncă
Deoarece data mining-ul este un proces lung și complex, necesită multă muncă din partea oamenilor productivi și calificați. Oamenii de știință de date pot folosi instrumente puternice de extragere a datelor, dar au nevoie de experți pentru a pregăti datele și a înțelege rezultatele. Ca urmare, procesarea tuturor informațiilor poate dura ceva timp. - Confidențialitatea și securitatea datelor
Deoarece data mining colectează informații despre clienți prin metode de piață, poate încălca confidențialitatea utilizatorilor. În plus, hackerii pot obține date stocate în sistemele de data mining. Acest lucru reprezintă o amenințare la adresa securității datelor clienților. Dacă datele furate sunt folosite greșit, pot dăuna cu ușurință altora.
Cele de mai sus sunt o scurtă introducere în data mining. După cum am menționat deja, data mining-ul conține procesul de colectare și integrare a datelor, care include procesul de extragere a datelor (extracția datelor). În acest caz, este sigur să spunem că extragerea datelor poate face parte dintr-un proces lung de extragere a datelor.
Ce este extragerea datelor?
Cunoscut și sub denumirea de „mining de date web” și „scraping web”, acest proces este actul de extragere a datelor din surse de date (de obicei nestructurate sau prost structurate) în locații centralizate și centralizare într-o singură locație pentru stocare sau procesare ulterioară. Mai exact, sursele de date nestructurate includ pagini web, e-mail, documente, fișiere PDF, text scanat, rapoarte mainframe, fișiere reel, anunțuri și așa mai departe. Stocarea centralizată poate fi locală, cloud sau hibridă. Este important de reținut că extragerea datelor nu include procesarea sau alte analize care pot avea loc ulterior.
Ce se poate face cu Extragerea datelor?
Practic, scopurile de extragere a datelor se încadrează în 3 categorii.
- Arhivare
Extragerea datelor poate converti datele din formate fizice precum cărți, ziare, facturi în formate digitale, cum ar fi baze de date pentru stocare sau backup. - Modificarea formatului de date
Când doriți să migrați datele de pe site-ul dvs. actual către unul nou în curs de dezvoltare, puteți colecta date de pe site-ul dvs. extragându-l. - Analiza datelor
Este obișnuit să analizați în continuare datele extrase pentru a obține o perspectivă asupra acestora. Acest lucru poate suna similar cu data mining-ul, dar rețineți că data mining-ul este scopul extragerii datelor, nu o parte a acestuia. Mai mult, datele sunt analizate diferit. Un exemplu este că proprietarii de magazine online extrag informații despre produse de pe site-uri de comerț electronic precum Amazon pentru a monitoriza strategiile concurenței în timp real. Asemenea minării de date, extragerea datelor este un proces automat cu multe beneficii. În trecut, oamenii copiau și lipeau manual datele dintr-un loc în altul, ceea ce consuma foarte mult timp. Extragerea datelor accelerează colectarea și îmbunătățește considerabil acuratețea datelor extrase.
Câteva exemple de utilizare a extragerii datelor
Similar cu data mining, data mining este utilizat pe scară largă în diverse industrii. Pe lângă monitorizarea prețurilor comerțului electronic, data mining vă poate ajuta cu propria dvs. cercetare, agregare de știri, marketing, imobiliare, călătorii și turism, consultanță, finanțe și multe altele.
- Generarea de plumb
Companiile pot extrage date din directoare: Yelp, Crunchbase, Yellowpages și pot genera clienți potențiali pentru dezvoltarea afacerii. Puteți viziona videoclipul de mai jos pentru a afla cum să extrageți date din Yellowpages cu . - Agregarea de conținut și știri
Site-urile web de agregare de conținut pot primi fluxuri de date regulate din mai multe surse și își pot menține site-urile la zi. - Analiza sentimentelor
După ce au extras recenzii, comentarii și mărturii de pe rețelele sociale precum Instagram și Twitter, profesioniștii pot analiza atitudinile subiacente și pot obține informații despre modul în care este perceput un brand, un produs sau un fenomen.
Etapele extragerii datelor
Extragerea datelor este prima etapă a ETL (Extract, Transform, Load: Extract, Transform, Load) și ELT (Extract, Load, and Transform). ETL și ELT fac ele însele parte dintr-o strategie completă de integrare a datelor. Cu alte cuvinte, extragerea datelor poate face parte din extragerea acestora.
Extrage, transforma, încărcă
În timp ce data mining se referă la extragerea de informații din cantități mari de date, extragerea datelor este un proces mult mai scurt și mai simplu. Poate fi redus la trei etape:
- Selectarea unei surse de date
Selectați sursa din care doriți să extrageți date, cum ar fi un site web. - Colectare de date
Trimiteți o solicitare „GET” către site și analizați documentul HTML rezultat folosind limbaje de programare precum Python, PHP, R, Ruby etc. - Stocare a datelor
Salvați datele în baza de date locală sau în stocarea în cloud pentru utilizare ulterioară. Dacă ești un programator cu experiență și dorește să extragă date, pașii de mai sus ți se pot părea simpli. Cu toate acestea, dacă nu sunteți programator, există o comandă rapidă - utilizați instrumente de extragere a datelor precum . Instrumentele de extragere a datelor, la fel ca instrumentele de extragere a datelor, sunt concepute pentru a economisi energie și pentru a face procesarea datelor ușoară pentru toată lumea. Aceste instrumente nu sunt doar economice, ci și prietenoase pentru începători. Acestea permit utilizatorilor să colecteze date în câteva minute, să le stocheze în cloud și să le exporte în mai multe formate: Excel, CSV, HTML, JSON sau în baze de date de pe site printr-un API.
Dezavantajele extragerii datelor
- Blocare server
La extragerea datelor la scară largă, serverul web al site-ului țintă poate fi supraîncărcat, ceea ce poate duce la o prăbușire a serverului. Acest lucru va dăuna intereselor proprietarului site-ului. - Ban prin IP
Când o persoană colectează date prea des, site-urile web își pot bloca adresa IP. O resursă poate interzice complet o adresă IP sau poate restricționa accesul făcând datele incomplete. Pentru a prelua datele și a evita blocarea, trebuie să o faceți cu o viteză moderată și să aplicați câteva tehnici anti-blocare. - Probleme cu legea
Extragerea datelor de pe web se încadrează într-o zonă gri când vine vorba de legalitate. Site-uri importante, cum ar fi Linkedin și Facebook, precizează în mod clar în termenii lor de utilizare că orice extragere automată a datelor este interzisă. Au existat multe procese între companii din cauza activităților botului.
Diferențele cheie între extragerea datelor și extragerea datelor
- Exploatarea datelor se mai numește și descoperirea cunoștințelor în baze de date, extragerea cunoștințelor, analiza datelor/modelului, colectarea de informații. Extragerea datelor este utilizată interschimbabil cu extragerea datelor web, scanarea paginilor web, colectarea datelor și așa mai departe.
- Cercetarea data mining se bazează în mare parte pe date structurate, în timp ce data mining se bazează de obicei din surse nestructurate sau slab structurate.
- Scopul extragerii datelor este de a face datele mai utile pentru analiză. Extragerea datelor este colectarea datelor într-un singur loc unde pot fi stocate sau procesate.
- Analiza în data mining se bazează pe metode matematice pentru identificarea tiparelor sau tendințelor. Extragerea datelor se bazează pe limbaje de programare sau instrumente de extragere a datelor pentru a ocoli sursele.
- Scopul extragerii datelor este de a găsi fapte care nu erau cunoscute sau ignorate anterior, în timp ce extragerea datelor se ocupă de informațiile existente.
- Exploatarea datelor este mai complexă și necesită o investiție mare în formarea oamenilor. Extragerea datelor cu instrumentul potrivit poate fi extrem de ușoară și rentabilă.
Îi ajutăm pe începători să nu se încurce în Data. Mai ales pentru habravchans, am făcut un cod promoțional HABR, acordând o reducere suplimentară de 10% la reducerea indicată pe banner.
Mai multe cursuri
Articole Promovate
Sursa: www.habr.com