Cele două cuvinte la modă asociate cu Data Science îi confundă pe mulți oameni. Data Mining este adesea înțeles greșit ca fiind extragerea și obținerea de date, dar de fapt, lucrurile sunt mult mai complexe. În această postare, să clarificăm ce înseamnă Mining și să vedem care este diferența dintre Data Mining și Data Extraction.
Ce este Data Mining?
Data mining, de asemenea, denumit Descoperirea cunoștințelor în baze de date (KDD), reprezintă o metodă adesea utilizată pentru analiza unor cantități mari de date prin metode statistice și matematice pentru a găsi modele sau tendințe ascunse și pentru a extrage valoare din acestea.
Ce se poate face cu ajutorul Data Mining?
Automatizând procesul, pot scana bazele de date și pot identifica eficient tipare ascunse. Pentru întreprinderi, data mining este adesea utilizat pentru a descoperi corelații și relații în date, ajutând la luarea deciziilor optime în afaceri.
Exemple de aplicare
După ce data mining a câștigat popularitate în anii '90, companii dintr-o varietate de domenii, inclusiv comerț cu amănuntul, finanțe, sănătate, transporturi, telecomunicații, comerț electronic etc., au început să utilizeze metodele de data mining pentru a obține perspective bazate pe date. Data mining poate ajuta la segmentarea clienților, la identificarea fraudelor, la prognozarea vânzărilor și multe altele.
- Segmentarea clienților
Prin analiza datelor despre clienți și identificarea trăsăturilor clienților țintiți, companiile pot să-i grupeze într-un segment separat și să le ofere oferte speciale adaptate nevoilor lor. - Analiza coșului de piață
Această tehnică se bazează pe teoria că dacă achiziționezi un anumit grup de produse, este foarte probabil să cumperi și un alt grup de produse. Un exemplu cunoscut: atunci când tații cumpără scutece pentru bebelușii lor, ei tind de obicei să cumpere bere împreună cu scutecile. - Prognozarea vânzărilor
Aceasta poate părea similară cu analiza coșului de piață, dar de data aceasta analiza datelor este folosită pentru a prognoza când un client va relua achiziția unui produs în viitor. De exemplu, un antrenor achiziționează o cutie de proteină, care ar trebui să dureze 9 luni. Magazinul care vinde această proteină plănuiește să lanseze un nou produs în 9 luni, astfel încât antrenorul să-l cumpere din nou. - Detectarea fraudei
Extragerea de date ajută la construirea de modele pentru detectarea fraudei. Prin colectarea de exemple de rapoarte frauduloase și legitime, companiile pot determina care operațiuni sunt suspecte. - Detectarea modelurilor în producție
În industria de prelucrare, extragerea de date este utilizată pentru a ajuta la proiectarea sistemelor prin identificarea relațiilor dintre arhitectura produsului, profilul și nevoile clienților. Extragerea de date poate prezice, de asemenea, termenele de dezvoltare a produsului și costurile.
Și acestea sunt doar câteva scenarii de utilizare a extragerii de date.
Etapele Extragerei de Date
Extragerea de date este un proces integral de colectare, selecție, curățare, transformare și extragere a datelor pentru a evalua tiparele și, în cele din urmă, pentru a extrage valoare.
În general, întregul proces de extragere a datelor poate fi rezumat în 7 etape:
- Curățarea datelor
În lumea reală, datele nu sunt întotdeauna curățate și structurate. Adesea, ele sunt zgomotoase, incomplete și pot conține erori. Pentru a asigura că rezultatul extragerii de date este precis, este necesar să curățăm datele inițial. Unele metode de curățare includ completarea valorilor lipsă, controlul automat și manual etc. - Integrarea datelor
Aceasta este etapa în care datele din diverse surse sunt extrase, combinate și integrate. Sursele pot fi baze de date, fișiere text, foi de calcul, documente, matrice de date multidimensionale, internet și așa mai departe. - Extracția datelor
De obicei, nu toate datele integrate sunt necesare în extragerea de date. Selecția datelor este etapa în care dintr-o bază de date mare sunt selectate și extrase doar datele utile. - Transformarea datelor
După selecția datelor, acestea sunt transformate în forme adecvate pentru extragere. Acest proces include normalizarea, agregarea, generalizarea etc. - Analiza inteligentă a datelor
Aici începe cea mai importantă parte a extragerii de date - utilizarea metodelor intelectuale pentru a căuta tipare în acestea. Procesul include regresia, clasificarea, prognoza, clusteringul, studiul asociațiilor și multe altele. - Evaluarea modelului
Această etapă este concepută pentru a identifica tiparele potențial utile, ușor de înțeles, precum și tiparele care confirmă ipotezele. - Reprezentarea cunoștințelor
În etapa finală, informațiile obținute sunt prezentate într-un mod atractiv, utilizând metode de reprezentare a cunoștințelor și vizualizare.
Dezavantajele Data Mining
- Investiții mari de timp și muncă
Dat fiind că procesul de mining al datelor este de lungă durată și complex, acesta necesită o muncă considerabilă din partea unor persoane productive și calificate. Specialiștii în analiza datelor pot folosi instrumente puternice de mining al datelor, dar au nevoie de experți pentru pregătirea datelor și înțelegerea rezultatelor. Ca urmare, prelucrarea tuturor informațiilor poate dura ceva timp. - Confidențialitatea și securitatea datelor
Deoarece data mining colectează informații despre clienți prin metode de marketing, poate încălca confidențialitatea utilizatorilor. În plus, hackerii pot accesa datele stocate în sistemele de mining ale datelor. Aceasta reprezintă o amenințare pentru securitatea datelor clienților. Dacă datele furate sunt utilizate în mod necorespunzător, aceasta poate provoca rău altora.
Mai sus este o scurtă introducere în data mining. Așa cum am menționat anterior, data mining include procesul de colectare și integrare a datelor, care cuprinde procesul de extragere a datelor (data extraction). În acest caz, se poate spune cu încredere că data extraction poate fi o parte a procesului îndelungat de data mining.
Ce este Data Extraction?
Cunoscut și sub denumirea de „extragerea datelor web” și „web scraping”, acest proces reprezintă actul de extragere a datelor din surse de date (de obicei neorganizate sau slab organizate) în locuri centralizate, pentru a le stoca sau pentru o procesare ulterioară. În special, sursele de date neorganizate includ pagini web, emailuri, documente, fișiere PDF, text scanat, rapoarte de mainframe, fișiere pe bandă, anunțuri, etc. Stocările centralizate pot fi locale, cloud sau hibride. Este important de reținut că extragerea datelor nu include procesarea sau alte analize care pot avea loc ulterior.
Ce se poate face cu ajutorul Data Extraction?
În mare parte, scopurile extragerii datelor sunt împărțite în 3 categorii.
- Arhivare
Extracția de date poate transforma datele din formate fizice, cum ar fi cărți, ziare, facturi, în formate digitale, de exemplu, baze de date pentru stocare sau backup. - Schimbarea formatului datelor
Când doriți să transferați datele de pe site-ul dvs. actual pe unul nou, aflat în dezvoltare, puteți colecta datele de pe propriul site extrăgându-le. - Analiza datelor
Se realizează adesea o analiză suplimentară a datelor extrase pentru a obține o imagine de ansamblu asupra acestora. Acest lucru poate părea similar cu analiza datelor în cadrul data mining, dar rețineți că analiza datelor este scopul extragerii, nu o parte a acesteia. Mai mult, datele sunt analizate diferit. Un exemplu ar fi proprietarii de magazine online care extrag informații despre produse de pe site-uri de comerț electronic, precum Amazon, pentru a monitoriza strategiile concurenților în timp real. La fel ca în cazul data mining, extragerea datelor este un proces automatizat, având numeroase avantaje. În trecut, oamenii copiase și lipseau datele manual dintr-un loc în altul, ceea ce necesita mult timp. Extracția de date accelerează procesul de colectare și crește semnificativ precizia datelor extrase.
Câteva exemple de aplicare a Extracției de date
Similar cu data mining, extragerea datelor este utilizată pe scară largă în diverse industrii. Pe lângă monitorizarea prețurilor în comerțul electronic, extragerea de date poate ajuta în cercetări proprii, agregarea știrilor, marketing, în domeniul imobiliar, călătorii și turism, consultanță, finance și multe altele.
- Generarea de lead-uri
Companiile pot extrage date din directoare: Yelp, Crunchbase, Yellowpages și pot genera lead-uri pentru dezvoltarea afacerii. Puteți viziona videoclipul de mai jos pentru a învăța cum să extrageți date din Yellowpages cu ajutorul . - Agregarea de conținut și știri
Site-urile web care agregă conținut pot obține fluxuri regulate de date din mai multe surse și își pot menține site-urile actualizate. - Analiza sentimentelor
După extragerea recenziilor, comentariilor și testimonialelor din rețelele sociale, cum ar fi Instagram și Twitter, specialiștii pot analiza opiniile subiacente și pot obține perspective despre cum este perceput brandul, produsul sau un anumit fenomen.
Pașii Extracției de date
Extracția datelor este prima etapă a ETL (acronim pentru Extract, Transform, Load: extragere, transformare, încărcare) și ELT (extragere, încărcare și transformare). ETL și ELT sunt, de asemenea, parte integrantă a unei strategii complete de integrare a datelor. Cu alte cuvinte, extracția datelor poate fi o parte a procesului lor de obținere.
Extragere, transformare, încărcare
În timp ce data mining reprezintă obținerea de informații din mari volume de date, data extraction este un proces mult mai scurt și simplu. Acesta poate fi redus la trei etape:
- Alegerea sursei de date
Selectați sursa din care doriți să extrageți datele, de exemplu, un site web. - Colectarea datelor
Trimiteți o cerere „GET” către site și analizați documentul HTML obținut folosind limbaje de programare precum Python, PHP, R, Ruby etc. - Stocarea datelor
Salvați datele în baza de date locală sau în cloud pentru utilizare ulterioară. Dacă sunteți un programator experimentat care dorește să extragă date, pașii menționați anterior vă pot părea simpli. Totuși, dacă nu programati, există o scurtătură — utilizați instrumente de extracție a datelor, cum ar fi . Instrumentele de data extraction, la fel ca și cele de data mining, sunt concepute pentru a economisi energie și a simplifica procesarea datelor pentru toți. Aceste instrumente nu sunt doar economice, ci și prietenoase pentru începători. Ele permit utilizatorilor să colecteze date în câteva minute, să le stocheze în cloud și să le exporte în diferite formate: Excel, CSV, HTML, JSON sau în baze de date pe site prin API.
Dezavantajele Data Extraction
- Eșecul serverului
Atunci când se extrag date pe scară largă, serverul web al site-ului țintă poate fi supraîncărcat, ceea ce poate duce la defectarea serverului. Acest lucru va dăuna intereselor deținatorului site-ului. - Blocat pe IP
Când o persoană colectează date prea des, site-urile web pot bloca adresa sa IP. Resursa poate interzice complet adresa IP sau limita accesul, lăsând datele incomplecte. Pentru a extrage datele și a evita blocarea, trebuie să faceți acest lucru cu o viteză moderată și să aplicați unele metode anti-blocare. - Probleme legale
Extracția de date de pe web intră în zona gri când vine vorba de legalitate. Site-uri mari, cum ar fi Linkedin și Facebook, precizează clar în termenii lor de utilizare că orice extragere automată de date este interzisă. Între companii au existat multe procese legale din cauza activității boturilor.
Diferențele cheie între Data Mining și Data Extraction
- Data mining este de asemenea cunoscut sub numele de descoperirea cunoștințelor în baze de date, extracția cunoștințelor, analiza datelor/șabloanelor, colectarea informațiilor. Data extraction este utilizat interschimbabil cu extragerea de date de pe web, scanarea paginilor web, colectarea datelor și așa mai departe.
- Cercetările în data mining se bazează în principal pe date structurate, în timp ce în extragerea de date, acestea sunt, de obicei, extrase din surse nestructurate sau slab structurate.
- Scopul data mining-ului este de a face datele mai utile pentru analiză. Data extraction reprezintă colectarea datelor într-un singur loc unde pot fi stocate sau procesate.
- Analiza în data mining se bazează pe metode matematice pentru identificarea modelelor sau tendințelor. Data extraction se bazează pe limbaje de programare sau instrumente de extracție a datelor pentru a parcurge sursele.
- Scopul data mining-ului este de a găsi fapte care anterior nu erau cunoscute sau au fost ignorate, în timp ce data extraction se ocupă de informații existente.
- Data mining este mai complicat și necesită investiții mai mari în instruirea oamenilor. Data extraction, utilizând instrumentul potrivit, poate fi extrem de simplu și rentabil.
Ajutăm începătorii să nu se piardă în Date. Special pentru utilizatorii de pe Habr, am creat un cod promoțional HABR, oferind o reducere suplimentară de 10% față de discountul indicat pe banner.
Alte cursuri
Articole recomandate
Sursa: habr.com
