Këto dy fjalë të modës, të lidhura me Shkencën e të Dhënave, ngatërrojnë shumë njerëz. Data Mining shpesh kuptohet gabimisht si nxjerrja dhe marrëveshja e të dhënave, por në të vërtetë është shumë më e komplikuar. Në këtë post, le të sqarojmë çështjet dhe të zbulojmë ndryshimin midis Data Mining dhe Data Extraction.
ĂfarĂ« Ă«shtĂ« Data Mining?
Data mining, e njohur gjithashtu si Zbulimi i njohurive në databazë (KDD), është një metodë, e cila përdoret shpesh për të analizuar grumbuj të mëdhenj të të dhënave me anë të metodave statistike dhe matematike për të gjetur modele të fshehura ose tendenca dhe për t'i nxjerrë vlerë ato.
ĂfarĂ« mund tĂ« bĂ«het me anĂ« tĂ« Data Mining?
Duke automatizuar procesin, mund të shqyrtojnë databaza dhe të zbulojnë në mënyrë efektive modelet e fshehura. Për bizneset, data mining shpesh përdoret për të gjetur modele dhe lidhje në të dhëna, duke ndihmuar në marrjen e vendimeve optimale në biznes.
Shembuj të aplikimit
Pas një zhvillim të gjerë në vitet 1990, data mining u bë i njohur dhe kompanitë në një gamë të gjerë industrish, përfshirë shitjet me pakicë, financat, shëndetësinë, transportin, telekomunikacionin, tregtinë elektronike, etj., filluan të përdorin metoda data mining për të nxjerrë informacion nga të dhënat. Data mining mund të ndihmojë në segmentimin e klientëve, identifikimin e mashtrimeve, parashikimin e shitjeve dhe shumë të tjera.
- Segmentimi i klientëve
Duke analizuar të dhënat për klientët dhe identifikuar karakteristikat e klientëve të targetuar, kompanitë mund të organizojnë ata në grupe të veçanta dhe t'u ofrojnë oferta speciale që përputhen me nevojat e tyre. - Analiza e shportës së tregut
Kjo metodë bazohet në teorinë se nëse bleni një grup të caktuar produktesh, ka shumë mundësi që të blini një grup tjetër produktesh. Një shembull i njohur: kur baballarët blejnë pampers për foshnjat e tyre, ata zakonisht blejnë birrë bashkë me pampers. - Parashikimi i shitjeve
Kjo mund të duket si një analizë e shportës së tregut, por këtë herë analiza e të dhënave përdoret për të parashikuar se kur blerësi do të blejë përsëri produktin në të ardhmen. Për shembull, një trainer blen një kavanoz proteine, i cili duhet të mjaftojë për 9 muaj. Dyqani që shet këtë protein planifikon të lëshojë një të re pas 9 muajsh, në mënyrë që traineri ta blejë përsëri. - Zbulimi i mashtrimeve
Data mining ndihmon në ndërtimin e modeleve për zbulimin e mashtrimeve. Duke mbledhur mostra të raportimeve mashtruese dhe të vërteta, bizneset fitojnë të drejtën të përcaktojnë se cilat operacione janë të dyshimta. - Zbulimi i modele të prodhimit
Në industrinë përpunuese, data mining përdoret për të ndihmuar në projektimin e sistemeve, duke identifikuar lidhjet midis arkitekturës së produktit, profilit dhe nevojave të klientëve. Dhenia e të dhënave gjithashtu mund të parashikojë afatet e zhvillimit të produkteve dhe kostot.
Dhe këto janë vetëm disa skenarë të përdorimit të data mining.
Hapat e Data Mining
Minierimi i tĂ« dhĂ«nave â Ă«shtĂ« njĂ« proces i plotĂ« i mbledhjes, pĂ«rzgjedhjes, pastrimit, transformimit dhe nxjerrjes sĂ« tĂ« dhĂ«nave pĂ«r tĂ« vlerĂ«suar modelet dhe, nĂ« fund, pĂ«r tĂ« nxjerrĂ« vlerĂ«.
Si rregull, i gjithë procesi i minierimit të të dhënave mund të përmblidhet në 7 etapa:
- Pastrimi i të dhënave
Në botën reale, të dhënat nuk janë gjithmonë të pastra dhe të strukturuara. Shpesh ato janë të zhurmshme, të paplota dhe mund të kenë gabime. Për të siguruar që rezultati i minierimit të të dhënave të jetë i saktë, së pari duhet të pastroni të dhënat. Disa metoda pastrimi përfshijnë plotësimin e vlerave të munguara, kontrollin automatike dhe manual, etj. - Integrimi i të dhënave
Kjo është etapa në të cilën të dhënat nga burime të ndryshme nxirren, kombinohen dhe integrohen. Burimet mund të jenë bazat e të dhënave, skedarët tekstualë, spreadsheet-ët, dokumentet, array-t multidimensionale të të dhënave, interneti dhe kështu me radhë. - Nxjerrja e të dhënave
Zakonisht, jo të gjithë të dhënat e integruara janë të nevojshme për minierimin e të dhënave. Mostra e të dhënave është një etapë në të cilën nga një bazë e madhe të dhënash, përzgjidhen dhe nxirren vetëm të dhënat e dobishme. - Transformimi i të dhënave
Pasi përzgjedhjes së të dhënave, ato transformohen në forma të përshtatshme për minierat. Ky proces përfshin normalizimin, agregimin, përmbledhjen, dhe të tjera. - Analiza Intelligjente e Të Dhënave
Këtu fillon pjesa më e rëndësishme e data mining - përdorimi i metodave inteligjente për të gjetur modele në to. Procesi përfshin regresionin, klasifikimin, parashikimin, grumbullimin, studimin e asocimeve dhe shumë të tjera. - Vlerësimi i Modelit
Ky hap është i fokusuar në identifikimin e modeleve potencialisht të dobishme, të lehta për t'u kuptuar, si dhe atyre që konfirmojnë hipotezat. - Paraqitja e Njohurive
Në fazën përfundimtare, informacioni i marrë paraqitet në një format tërheqës duke përdorur metoda të paraqitjes së njohurive dhe vizualizimit.
Disavantazhet e Data Mining
- Investime të mëdha kohore dhe përpjekjesh
Për shkak se nxjerrja e të dhënave është një proces i gjatë dhe kompleks, ajo kërkon punë të madhe nga njerëz produktivë dhe të kualifikuar. Specialistët e analizës intelektuale të të dhënave mund të shfrytëzojnë mjete të fuqishme për nxjerrjen e të dhënave, megjithatë, atyre u nevojiten specialistë për përgatitjen e të dhënave dhe për të kuptuar rezultatet. Si rezultat, mund të nevojitet disa kohë për përpunimin e gjithë informacionit. - Privatësia dhe siguria e të dhënave
Për shkak se nxjerrja e të dhënave mbledh informacion në lidhje me klientët përmes metodave të tregut, ajo mund të shpërfillë privatësinë e përdoruesve. Për më tepër, hakerët mund të fitojnë qasje në të dhënat që ruhen në sistemet e nxjerrjes së të dhënave. Kjo paraqet një kërcënim për sigurinë e të dhënave të klientëve. Nëse të dhënat e vjedhura përdoren për qëllime të gabuara, kjo mund të dëmtojë lehtësisht të tjerët.
Më sipër është një hyrje e shkurtër në nxjerrjen e të dhënave. Siç e përmenda më parë, nxjerrja e të dhënave përfshin procesin e mbledhjes dhe integrimit të të dhënave, i cili përfshin procesin e nxjerrjes së të dhënave. Në këtë rast, mund të thuhet me siguri se nxjerrja e të dhënave mund të jetë një pjesë e procesit të gjatë të nxjerrjes së të dhënave.
ĂfarĂ« Ă«shtĂ« Nxjerrja e TĂ« DhĂ«nave?
I njohur gjithashtu si «nxjerrja e tĂ« dhĂ«nave nga uebi» dhe «web scraping», ky proces pĂ«rfaqĂ«son aktin e nxjerrjes sĂ« tĂ« dhĂ«nave nga burime tĂ« dhĂ«nash (zakonisht tĂ« pa strukturuara ose keq strukturuara) nĂ« vende tĂ« centralizuara dhe centralizimin e tyre nĂ« njĂ« vend pĂ«r ruajtje ose pĂ«rpunim tĂ« mĂ«tejshĂ«m. NĂ« veçanti, burimet e pa strukturuara tĂ« tĂ« dhĂ«nave pĂ«rfshijnĂ« faqet e internetit, e-mail, dokumente, skedarĂ« PDF, tekst tĂ« skanuar, raporte nga mainframe, skedarĂ« nĂ« rreth dhe shpallje etj. Depositat e centralizuara mund tĂ« jenĂ« lokale, cloud ose hibride. ĂshtĂ« e rĂ«ndĂ«sishme tĂ« mbani mend se nxjerrja e tĂ« dhĂ«nave nuk pĂ«rfshin pĂ«rpunimin ose analizĂ«n tjetĂ«r qĂ« mund tĂ« ndodhĂ« mĂ« vonĂ«.
ĂfarĂ« mund tĂ« bĂ«het me ndihmĂ«n e Nxjerrjes sĂ« tĂ« DhĂ«nave?
Në përgjithësi, qëllimet e nxjerrjes së të dhënave ndahen në 3 kategori.
- Arkivimi
Nxjerrja e të dhënave mund të transformojë të dhënat nga formate fizike: libra, gazeta, faturat në formate digjitale, për shembull, bazat e të dhënave për ruajtje ose backup. - Ndryshimi i formatit të të dhënave
Kur ju dëshironi të transferoni të dhënat nga faqja juaj aktuale në një të re që është në fazë zhvillimi, mund të mbledhni të dhënat nga faqja juaj duke i ekstraktuar ato. - Analiza e të dhënave
Analiza shtesë e të dhënave të ekstraktuara është e zakonshme për të fituar një pamje të tyre. Kjo mund të duket si analiza e të dhënave gjatë data mining, por mbani mend se analiza e të dhënave është qëllimi i ekstraktimit të tyre, por jo pjesë e tij. Për më tepër, të dhënat analizohen ndryshe. Një nga shembujt: pronarët e dyqaneve online ekstraktojnë informacion mbi produktet nga faqet e tregtisë elektronike si Amazon për të monitoruar strategjitë e konkurentëve në kohë reale. Ashtu si data mining, ekstraktimi i të dhënave është një proces automatizuar që ka shumë përfitime. Disa vite më parë, njerëzit kopjonin dhe ngjisnin të dhëna manualisht nga një vend në tjetrin, gjë që merrte shumë kohë. Ekstraktimi i të dhënave përshpejton mbledhjen dhe rrit ndjeshëm saktësinë e të dhënave të ekstraktuara.
Disa shembuj të përdorimit të Ekstraktimit të të Dhënave
Si data mining, nxjerrja e të dhënave përdoret gjerësisht në industri të ndryshme. Përveç monitorimit të çmimeve në tregtinë elektronike, nxjerrja e të dhënave mund të ndihmojë në kërkimin e brendshëm, agregimin e lajmeve, marketingun, punën me pasuri të paluajtshme, udhëtimet dhe turizmin, konsulencën, financat dhe shumë të tjera.
- Generimi i liderëve
Kompani mund të nxjerrin të dhëna nga katalogët: Yelp, Crunchbase, Yellowpages dhe të gjenerojnë lidership për zhvillimin e biznesit. Mund ta shikoni videon më poshtë për të mësuar se si të nxirrni të dhëna nga Yellowpages me . - Agregimi i përmbajtjes dhe lajmeve
Ueb-faqet që agregojnë përmbajtje mund të marrin flukse të rregullta të të dhënave nga burime të ndryshme dhe të mbajnë faqet e tyre të azhurnuara. - Analiza e ndjenjave
Pas nxjerrjes së rishikimeve, komenteve dhe dëshmive nga rrjetet sociale, të tilla si Instagram dhe Twitter, specialistët mund të analizojnë pikëpamjet që qëndrojnë në to dhe të fitojnë një kuptim të mënyrës se si perceptohet marka, produkti ose një fenomen.
Hapat e Nxjerrjes së të Dhënave
Ekstraktimi i të dhënave është faza e parë e ETL (shkurtim për Extract, Transform, Load: eksktraktim, transformim, ngarkim) dhe ELT (ekstraktim, ngarkim dhe transformim). ETL dhe ELT në vetvete janë pjesë e një strategjie të plotë të integrimit të të dhënave. Me fjalë të tjera, ekstraktimi i të dhënave mund të jetë një pjesë e nxjerrjes së tyre.
Ekstraktim, transformim, ngarkim
Ndërsa mining i të dhënave është nxjerrja e informacionit nga sasi të mëdha të dhënash, ekstraktimi i të dhënave është një proces shumë më i shkurtër dhe më i thjeshtë. Mund të reduktohet në tre etapa:
- Zgjedhja e burimit të të dhënave
Zgjidhni burimin nga i cili dëshironi të ekstraktoni të dhënat, për shembull, një faqe interneti. - Mbledhja e të dhënave
Dërgoni një kërkesë "GET" në faqen dhe analizoni dokumentin HTML të marrë me gjuhë programimi si Python, PHP, R, Ruby, etj. - Ruajtja e të dhënave
Ruani tĂ« dhĂ«nat nĂ« bazĂ«n tuaj lokale tĂ« tĂ« dhĂ«nave ose nĂ« njĂ« ruajtje nĂ« cloud pĂ«r pĂ«rdorim tĂ« ardhshĂ«m. NĂ«se jeni njĂ« programues me pĂ«rvojĂ« qĂ« dĂ«shiron tĂ« nxjerrĂ« tĂ« dhĂ«na, hapat e mĂ«sipĂ«rm mund tĂ« duken tĂ« thjeshtĂ« pĂ«r ju. MegjithatĂ«, nĂ«se nuk programoni, ka njĂ« rrugĂ« tĂ« shkurtĂ«r â pĂ«rdorni mjetet e ekstraktimit tĂ« tĂ« dhĂ«nave, pĂ«r shembull . Veglat e nxjerrjes sĂ« tĂ« dhĂ«nave, ashtu si veglat e minierave tĂ« tĂ« dhĂ«nave, janĂ« dizajnuar pĂ«r tĂ« kursyer energji dhe pĂ«r ta bĂ«rĂ« procesin e pĂ«rpunimit tĂ« tĂ« dhĂ«nave tĂ« lehtĂ« pĂ«r tĂ« gjithĂ«. KĂ«to vegla jo vetĂ«m qĂ« janĂ« efikase, por gjithashtu janĂ« tĂ« pĂ«rshtatshme pĂ«r fillestarĂ«t. Ato lejojnĂ« pĂ«rdoruesit tĂ« mbledhin tĂ« dhĂ«nat brenda disa minutave, t'i ruajnĂ« ato nĂ« re dhe t'i eksportojnĂ« nĂ« shumĂ« formate: Excel, CSV, HTML, JSON ose nĂ« bazat e tĂ« dhĂ«nave nĂ« uebpajisje pĂ«rmes API.
Disavantazhet e Nxjerrjes së të Dhënave
- DĂ«shtimi i serverit
Kur nxjerrja e të dhënave zhvillohet në një shkallë të madhe, serveri i uebfaqes së synuar mund të mbingarkohet, çka mund të çojë në dështimin e serverit. Kjo do të dëmtonte interesat e pronarit të faqes. - Bllokimi i IP
Kur një person mbledh të dhëna shumë shpesh, uebfaqet mund të bllokojnë adresën e tij IP. Burimi mund ta bllokojë krejtësisht adresën IP ose të kufizojë qasjen, duke e bërë të dhënat të paplota. Për të nxjerrë të dhëna dhe për të shmangur bllokimin, duhet ta bëni këtë me një ritëm të moderuar dhe të aplikoni disa metoda anti-bllokimi. - Problemet ligjore
Nxjerrja e të dhënave nga webi kalon në një zonë gri kur bëhet fjalë për ligjshmërinë. Site të mëdha si Linkedin dhe Facebook e përcaktojnë qartë në kushtet e tyre të përdorimit se çdo nxjerrje e dhënash automatike është e ndaluar. Midis kompanive ka pasur shumë procese gjyqësore për shkak të aktiviteteve të boteve.
Dallimet kryesore midis Data Mining dhe Data Extraction
- Data mining gjithashtu quhet zbulimi i njohurive në bazat e të dhënave, nxjerrja e njohurive, analiza e të dhënave/grepat, mbledhja e informacionit. Data extraction përdoret ndërrueshëm me nxjerrjen e të dhënave nga webi, skanimin e faqeve të webit, mbledhjen e të dhënave etj.
- Hulumtimet e data mining zakonisht bazohen në të dhëna të strukturuara, ndërsa kur bëhet fjalë për nxjerrjen e të dhënave, ato zakonisht nxirren nga burime të pa-strukturuara ose të dobësisht të strukturuara.
- Qëllimi i data mining është ta bëjë të dhënat më të dobishme për analizë. Data extraction është mbledhja e të dhënave në një vend ku ato mund të ruhen ose përpunohen.
- Analiza në data mining mbështetet në metodat matematikore për të zbuluar rregulla ose tendenca. Eksplorimi i të dhënave bazohet në gjuhët e programimit ose mjetet e nxjerrjes së të dhënave për të mësyrë burimet.
- Qëllimi i data mining është të gjejë fakte që më parë nuk ishin të njohura ose ishin injoruar, ndërsa data extraction merret me informacionin ekzistues.
- Data mining është më e komplikuar dhe kërkon investime të konsiderueshme në trajnimin e individëve. Data extraction, duke përdorur një mjet të përshtatshëm, mund të jetë jashtëzakonisht e thjeshtë dhe ekonomike.
Ne ndihmojmë fillestarët të mos humbasin në Data. Në veçanti për anëtarët e Habr, kemi krijuar një kod promocional HABR, që ofron një zbritje shtesë prej 10% mbi zbritjen e shfaqur në banner.
E tjera kurse
Artikuj të rekomanduar
Burimi: habr.com
