Kining duha ka data science buzzwords nakapalibog sa daghang mga tawo. Ang Data Mining sagad dili masabtan isip pagkuha ug pagkuha sa datos, apan sa pagkatinuod kini mas komplikado. Sa kini nga post, atong ibutang ang mga pagtapos sa paghikap sa Pagmina ug hibal-an ang kalainan tali sa Data Mining ug Data Extraction.
Unsa ang Data Mining?
Data pagmina, gitawag usab Pagdiskobre sa Kahibalo sa Database (KDD), mao ang usa ka teknik nga sagad gigamit sa pag-analisar sa daghang mga datos gamit ang estadistika ug matematika nga mga teknik aron makit-an ang mga tinago nga mga sumbanan o uso ug makuha ang kantidad gikan niini.
Unsa ang imong mahimo sa Data Mining?
Pinaagi sa pag-automate sa proseso, maka-scan sa mga database ug epektibong makaila sa mga tinago nga mga sumbanan. Alang sa mga negosyo, ang data mining sagad gigamit sa pag-ila sa mga sumbanan ug relasyon sa datos aron makatabang sa paghimog mas maayong desisyon sa negosyo.
Mga pananglitan sa aplikasyon
Human ang data mining nahimong kaylap sa 1990s, ang mga kompanya sa usa ka halapad nga mga industriya, lakip ang retail, finance, healthcare, transportasyon, telekomunikasyon, e-commerce, ug uban pa, nagsugod sa paggamit sa mga teknik sa data mining aron makakuha og impormasyon base sa datos. Ang data mining makatabang sa pag-segment sa mga kustomer, pag-detect sa pagpanglimbong, pagtagna sa pagbaligya, ug daghan pa.
- Pagbahinbahin sa kustomer
Pinaagi sa pag-analisar sa datos sa kostumer ug pag-ila sa mga kinaiya sa mga target nga kustomer, ang mga kompanya mahimoβg target sila sa usa ka lahi nga grupo ug maghatag espesyal nga mga tanyag nga makatubag sa ilang mga panginahanglanon. - Pagtuki sa Basket sa Merkado
Kini nga teknik gibase sa teorya nga kung mopalit ka sa usa ka grupo sa mga produkto, mas lagmit nga mopalit ka og laing grupo sa mga produkto. Usa ka sikat nga pananglitan: kung ang mga amahan mopalit og mga lampin alang sa ilang mga masuso, sila mopalit og beer uban sa mga lampin. - Pagtagna sa Pagbaligya
Morag susama kini sa pag-analisa sa basket sa merkado, apan niining panahona ang pag-analisar sa datos gigamit sa pagtagna kung kanus-a ang usa ka kustomer mopalit pag-usab sa usa ka produkto sa umaabot. Pananglitan, ang usa ka coach mopalit og usa ka lata sa protina, nga molungtad og 9 ka bulan. Ang tindahan nga nagbaligya niini nga protina nagplano sa pagpagawas sa usa ka bag-o sa 9 ka bulan aron ang trainer mopalit niini pag-usab. - Pagsusi sa Panglimbong
Ang data mining makatabang sa pagtukod og mga modelo aron makamatikod sa pagpanglimbong. Pinaagi sa pagkolekta og mga sample sa malimbungon ug lehitimo nga mga taho, ang mga negosyo gihatagan og gahum sa pagtino kung unsang mga transaksyon ang kadudahan. - Detection sa mga sumbanan sa produksyon
Sa industriya sa paggama, gigamit ang data mining aron makatabang sa disenyo sa sistema pinaagi sa pag-ila sa relasyon tali sa arkitektura sa produkto, profile ug mga panginahanglanon sa kustomer. Ang data mining mahimo usab nga makatagna sa mga timeline ug gasto sa pagpalambo sa produkto.
Ug kini pipila ra nga mga senaryo sa paggamit sa data mining.
Mga Yugto sa Pagmina sa Data
Ang data mining mao ang holistic nga proseso sa pagkolekta, pagpili, paglimpyo, pagbag-o ug pagkuha sa datos aron sa pagtimbang-timbang sa mga sumbanan ug sa katapusan pagkuha sa bili.
Ingon usa ka lagda, ang tibuuk nga proseso sa pagmina sa datos mahimong i-summarize sa 7 nga mga yugto:
- Paglimpyo sa datos
Sa tinuud nga kalibutan, ang datos dili kanunay gilimpyohan ug istruktura. Kasagaran sila saba, dili kompleto, ug mahimong adunay mga sayup. Aron maseguro nga tukma ang resulta sa data mining, kinahanglan una nimong limpyohan ang datos. Ang pipila nga mga pamaagi sa paglimpyo naglakip sa pagpuno sa nawala nga mga kantidad, awtomatiko ug manual nga pagsusi, ug uban pa. - Paghiusa sa Data
Kini ang yugto diin ang mga datos gikan sa lainlaing mga gigikanan gikuha, gihiusa ug gisagol. Ang mga tinubdan mahimong mga database, text file, spreadsheet, dokumento, multidimensional data set, Internet, ug uban pa. - Pag-sampol sa datos
Kasagaran, dili tanan nga integrated data gikinahanglan sa data mining. Ang sampling sa datos mao ang yugto diin ang mapuslanon nga datos lamang ang gipili ug gikuha gikan sa usa ka dako nga database. - Pagkakabig sa datos
Sa higayon nga mapili ang datos, kini makabig ngadto sa angay nga mga porma para sa pagmina. Kini nga proseso naglakip sa normalization, aggregation, generalization, ug uban pa. - Pagmina sa datos
Ania ang labing hinungdanon nga bahin sa pagmina sa datos - gamit ang mga intelihenteng pamaagi aron makit-an ang mga sumbanan niini. Ang proseso naglakip sa regression, classification, prediction, clustering, association learning, ug uban pa. - Pagtimbangtimbang sa modelo
Kini nga lakang nagtumong sa pag-ila sa potensyal nga mapuslanon, dali sabton, ug mga sumbanan nga nagsuporta sa hypothesis. - Representasyon sa kahibalo
Sa katapusan nga yugto, ang nakuha nga kasayuran gipresentar sa usa ka madanihon nga porma gamit ang representasyon sa kahibalo ug mga pamaagi sa visualization.
Mga Disbentaha sa Data Mining
- Dako nga puhunan sa oras ug trabaho
Tungod kay ang data mining usa ka taas ug komplikado nga proseso, nagkinahanglan kini og daghang trabaho gikan sa mga produktibo ug hanas nga mga tawo. Mahimong pahimuslan sa mga data minero ang gamhanang mga himan sa pagmina sa datos, apan gikinahanglan nila ang mga eksperto sa pag-andam sa datos ug pagsabot sa mga resulta. Ingon usa ka sangputanan, mahimoβg magdugay aron maproseso ang tanan nga kasayuran. - Pagkapribado ug seguridad sa datos
Tungod kay ang data mining nagkolekta sa impormasyon sa kustomer pinaagi sa mga pamaagi sa merkado, kini mahimong makalapas sa pribasiya sa user. Dugang pa, ang mga hacker makakuha og datos nga gitipigan sa mga sistema sa pagmina sa datos. Naghatag kini usa ka hulga sa seguridad sa datos sa kustomer. Kung ang gikawat nga datos dili gamiton, dali kini makadaot sa uban.
Ang sa ibabaw usa ka mubo nga pasiuna sa data mining. Sama sa akong nahisgotan na, ang data mining naglakip sa proseso sa pagkolekta ug paghiusa sa datos, nga naglakip sa proseso sa data extraction. Sa kini nga kaso, luwas nga isulti nga ang pagkuha sa datos mahimong bahin sa usa ka dugay nga proseso sa pagmina sa datos.
Unsa ang Data Extraction?
Nailhan usab nga "web data mining" ug "web scraping," kini nga proseso mao ang buhat sa pagkuha sa mga datos gikan sa (kasagaran wala'y istruktura o dili maayo nga pagkahan-ay) nga mga tinubdan sa datos ngadto sa sentralisadong mga lokasyon ug pagsentro niini sa usa ka dapit alang sa pagtipig o dugang nga pagproseso. Sa piho, ang wala matukod nga mga tinubdan sa datos naglakip sa mga web page, email, mga dokumento, PDF file, scanned text, mainframe reports, reel-to-reel files, advertisement, ug uban pa. Ang sentralisadong pagtipig mahimong lokal, panganod, o hybrid. Importante nga hinumdoman nga ang pagkuha sa datos wala maglakip sa pagproseso o uban pang pagtuki nga mahimong mahitabo sa ulahi.
Unsa ang imong mahimo sa Data Extraction?
Sa panguna, ang mga katuyoan sa pagkuha sa datos nahulog sa 3 nga mga kategorya.
- Pag-archive
Ang pagkuha sa datos makahimo sa pagbag-o sa datos gikan sa pisikal nga mga format: mga libro, mantalaan, mga invoice ngadto sa digital nga mga format, sama sa mga database alang sa pagtipig o pag-backup. - Pag-usab sa format sa datos
Kung gusto nimo nga ibalhin ang datos gikan sa imong kasamtangan nga site ngadto sa bag-o nga gipauswag, mahimo nimong kolektahon ang datos gikan sa imong kaugalingon nga site pinaagi sa pagkuha niini. - Pagtuki sa datos
Ang dugang nga pag-analisar sa nakuha nga datos aron makakuha og panabut komon. Kini daw susama sa data mining, apan hinumdomi nga ang data mining mao ang katuyoan sa data mining, dili bahin niini. Dugang pa, lainlain ang pag-analisar sa datos. Usa ka pananglitan: Ang mga tag-iya sa online nga tindahan nagkuha sa kasayuran sa produkto gikan sa mga site sa e-commerce sama sa Amazon aron mamonitor ang mga estratehiya sa mga kakompetensya sa tinuud nga oras. Sama sa data mining, ang data extraction usa ka automated nga proseso nga adunay daghang benepisyo. Kaniadto, ang mga tawo gigamit sa pagkopya ug pag-paste sa datos nga mano-mano gikan sa usa ka lugar ngadto sa lain, nga nag-usik sa oras. Ang pagkuha sa datos nagpadali sa pagkolekta ug nagpauswag pag-ayo sa katukma sa nakuha nga datos.
Pipila ka mga pananglitan sa paggamit sa Data Extraction
Sama sa data mining, ang data mining kaylap nga gigamit sa nagkalain-laing industriya. Dugang sa pagmonitor sa mga presyo sa e-commerce, ang data mining makatabang sa imong kaugalingong research, news aggregation, marketing, real estate, travel ug turismo, consulting, finance ug daghan pa.
- Lead generation
Mahimong makuha sa mga kompanya ang datos gikan sa mga direktoryo: Yelp, Crunchbase, Yellowpages ug makamugna og mga lead alang sa pagpalambo sa negosyo. Mahimo nimong tan-awon ang video sa ubos aron mahibal-an kung giunsa pagkuha ang datos gikan sa Yellowpages gamit . - Paghiusa sa sulud ug balita
Ang mga website sa paghugpong sa sulud makadawat ug regular nga mga sapa sa datos gikan sa daghang mga gigikanan ug ipadayon ang ilang mga site nga labing bag-o. - Pagtuki sa Pagbati
Pinaagi sa pagkuha sa mga review, komento, ug feedback gikan sa mga social media site sama sa Instagram ug Twitter, ang mga eksperto mahimong mag-analisar sa nagpahiping mga sentimento ug makakuha og panabut kung giunsa ang pagtan-aw sa usa ka brand, produkto, o panghitabo.
Mga Lakang sa Pagkuha sa Data
Ang pagkuha sa datos mao ang unang yugto sa ETL (abbreviation Extract, Transform, Load) ug ELT (extract, load ug transform). Ang ETL ug ELT mismo bahin sa usa ka kompleto nga estratehiya sa paghiusa sa datos. Sa laing pagkasulti, ang data extraction mahimong bahin sa data mining.
Pagkuha, pag-convert, pagkarga
Samtang ang data mining mao ang mahitungod sa pagkuha sa impormasyon gikan sa daghang mga datos, ang data extraction kay mas mubo ug mas simple nga proseso. Mahimo kini mapakunhod ngadto sa tulo ka yugto:
- Pagpili sa tinubdan sa datos
Pilia ang tinubdan nga gusto nimong kuhaon ang datos, sama sa usa ka website. - Pagkolekta sa datos
Pagpadala ug "GET" nga hangyo sa site ug i-parse ang resulta nga HTML nga dokumento gamit ang mga programming language sama sa Python, PHP, R, Ruby, ug uban pa. - Pagtipig sa datos
I-save ang data sa imong lokal nga database o cloud storage para magamit sa umaabot. Kung ikaw usa ka eksperyensiyado nga programmer nga gusto nga mokuha sa datos, ang mga lakang sa ibabaw mahimoβg ingon yano alang kanimo. Bisan pa, kung dili ka mag-code, ang usa ka laktod mao ang paggamit sa mga himan sa pagkuha sa datos, pananglitan. . Ang mga himan sa pagkuha sa datos, sama sa mga himan sa pagmina sa datos, gidisenyo aron makadaginot sa enerhiya ug himoong sayon ββang pagproseso sa datos alang sa tanan. Kini nga mga himan dili lamang ekonomikanhon apan mahigalaon usab sa mga nagsugod. Gitugotan nila ang mga tiggamit sa pagkolekta sa datos sulod sa mga minuto, pagtipig niini sa panganod ug i-export kini sa daghang mga format: Excel, CSV, HTML, JSON o sa mga database sa website pinaagi sa API.
Mga Disbentaha sa Data Extraction
- Naguba ang server
Kung ang pagkuha sa datos sa usa ka dako nga sukod, ang web server sa target nga site mahimong ma-overload, nga mahimong hinungdan sa pag-crash sa server. Makadaot kini sa interes sa tag-iya sa site. - Pagdili pinaagi sa IP
Kung ang usa ka tawo kanunay nga nagkolekta sa datos, ang mga website mahimong mag-block sa ilang IP address. Ang kapanguhaan mahimong hingpit nga makalimud sa usa ka IP address o limitahan ang pag-access, nga maghimo sa datos nga dili kompleto. Aron makuha ang datos ug malikayan ang pag-block, kinahanglan nimo nga buhaton kini sa kasarangan nga tulin ug mogamit pipila nga mga pamaagi sa anti-blocking. - Problema sa balaod
Ang pagkuha sa mga datos gikan sa web nahulog sa usa ka abuhon nga lugar kung bahin sa legalidad. Ang dagkong mga site sama sa Linkin ug Facebook klaro nga nagpahayag sa ilang mga termino sa paggamit nga ang bisan unsang automated data extraction gidili. Adunay daghang mga kaso tali sa mga kompanya tungod sa kalihokan sa bot.
Pangunang mga Kalainan Tali sa Data Mining ug Data Extraction
- Ang data mining gitawag usab nga knowledge discovery sa mga database, knowledge extraction, data/pattern analysis, information gathering. Ang data extraction gigamit nga baylobaylo sa web data extraction, web crawling, data mining, ug uban pa.
- Ang panukiduki sa pagmina sa datos kasagaran gibase sa structured data, samtang sa data mining kasagaran kini gikuha gikan sa dili istruktura o dili maayo nga structured nga mga tinubdan.
- Ang tumong sa data mining mao ang paghimo sa datos nga mas mapuslanon alang sa pagtuki. Ang data extraction mao ang pagkolekta sa datos ngadto sa usa ka dapit diin kini mahimong tipigan o maproseso.
- Ang pag-analisa sa data mining gibase sa mga pamaagi sa matematika para sa pag-ila sa mga pattern o uso. Ang pagkuha sa datos gibase sa mga programming language o mga himan sa pagkuha sa datos aron sa pag-crawl sa mga tinubdan.
- Ang katuyoan sa pagmina sa datos mao ang pagpangita sa mga kamatuoran nga wala pa nahibal-an kaniadto o gibalewala, samtang ang pagkuha sa datos naghisgot sa naa na nga kasayuran.
- Ang pagmina sa datos mas komplikado ug nanginahanglan daghang pamuhunan sa pagbansay sa mga tawo. Ang pagkuha sa datos, kung gamiton sa husto nga himan, mahimong labi ka yano ug epektibo sa gasto.
Gitabangan namon ang mga nagsugod nga dili maglibog sa Data. Naghimo kami usa ka code nga pang-promosyon labi na alang sa mga residente sa Khabra HABR, paghatag og dugang nga 10% nga diskwento sa diskwento nga gipakita sa bandila.
Dugang nga mga kurso
Gipili nga mga Artikulo
Source: www.habr.com