Mampisavoritaka olona maro ireo teny fitenenana siantifika roa ireo. Ny Data Mining dia matetika no diso fandraisan'anjaran'ny angon-drakitra, fa raha ny marina dia sarotra kokoa izany. Ato amin'ity lahatsoratra ity, andao hametraka ny farany momba ny Mining ary hahita ny fahasamihafana misy eo amin'ny Data Mining sy ny Data Extraction.
Inona no atao hoe Data Mining?
Data fitrandrahana, antsoina koa hoe Fahitana fahalalana ao anaty angon-drakitra (KDD), dia teknika ampiasaina matetika hamakafaka angon-drakitra be dia be amin'ny fampiasana teknika statistika sy matematika hahitana lamina na fironana miafina sy hanesorana ny sanda avy amin'izy ireo.
Inona no azonao atao amin'ny Data Mining?
Amin'ny fanaovana automatique ny dingana, afaka mijery angon-drakitra ary mamantatra tsara ireo lamina miafina. Ho an'ny orinasa, ny fitrandrahana angon-drakitra dia matetika ampiasaina hamantarana ireo lamina sy fifandraisana amin'ny angon-drakitra mba hanampiana amin'ny fandraisana fanapahan-kevitra momba ny raharaham-barotra tsara kokoa.
Ohatra fampiharana
Taorian'ny nielezan'ny fitrandrahana angon-drakitra tamin'ny taona 1990, nanomboka nampiasa teknika fitrandrahana angon-drakitra ny orinasa amin'ny indostria isan-karazany, anisan'izany ny varotra, ny fitantanam-bola, ny fahasalamana, ny fitaterana, ny fifandraisan-davitra, ny e-varotra, sns. Ny fitrandrahana angon-drakitra dia afaka manampy amin'ny fizarana mpanjifa, mamantatra ny hosoka, maminavina ny varotra, sy ny maro hafa.
- Fizarana mpanjifa
Amin'ny famakafakana ny angon-drakitra mpanjifa sy ny famantarana ny toetran'ny mpanjifa lasibatra, ny orinasa dia afaka mikendry azy ireo ho vondrona miavaka ary manome tolotra manokana mifanaraka amin'ny filany. - Market Basket Analysis
Ity teknika ity dia mifototra amin'ny teoria fa raha mividy vondrona vokatra iray ianao dia mety hividy vondrona vokatra hafa. Ohatra iray malaza: rehefa mividy diaper ho an'ny zanany ny raim-pianakaviana, dia mirona mividy labiera miaraka amin'ny diaper. - Faminaniana varotra
Toa mitovy amin'ny famakafakana harona tsena izany, saingy amin'ity indray mitoraka ity dia ampiasaina ny famakafakana angon-drakitra mba haminavina hoe rahoviana ny mpanjifa iray no hividy vokatra indray amin'ny ho avy. Ohatra, mividy proteinina iray kapoaka, izay tokony haharitra 9 volana ny mpanazatra. Ny magazay mivarotra ity proteinina ity dia mikasa ny hamoaka vaovao ao anatinβny 9 volana mba hividiananβny mpampiofana azy indray. - Fikarohana hosoka
Ny fitrandrahana angon-drakitra dia manampy amin'ny fananganana modely hamantarana ny hosoka. Amin'ny alalan'ny fanangonana santionany amin'ny tatitra hosoka sy ara-dalΓ na, ny orinasa dia omena fahefana hamantatra hoe iza amin'ireo fifanakalozana mampiahiahy. - Famantarana ny lamina amin'ny famokarana
Ao amin'ny indostrian'ny famokarana, ny fitrandrahana angon-drakitra dia ampiasaina hanampiana amin'ny famolavolana rafitra amin'ny famantarana ny fifandraisana misy eo amin'ny maritrano vokatra, ny mombamomba ary ny filan'ny mpanjifa. Ny fitrandrahana angon-drakitra dia afaka maminavina ny fandaharam-potoana sy ny fandaniana amin'ny fampivoarana ny vokatra.
Ary ireo dia toe-javatra vitsivitsy fotsiny amin'ny fampiasana fitrandrahana angona.
Data Mining Stages
Ny fitrandrahana angon-drakitra dia dingana iray manontolo amin'ny fanangonana, fifantenana, fanadiovana, fanovana ary fitrandrahana angon-drakitra mba hanombanana ny lamina ary amin'ny farany hanesorana ny sandany.
Amin'ny maha-fitsipika, ny fizotran'ny fitrandrahana angon-drakitra manontolo dia azo fintinina amin'ny dingana 7:
- Fanadiovana data
Amin'ny tontolo tena izy, tsy voadio sy voalamina foana ny angona. Matetika izy ireo dia mitabataba, tsy feno ary mety misy hadisoana. Mba hahazoana antoka fa marina ny valin'ny fitrandrahana data dia mila manadio ny angona aloha ianao. Ny fomba fanadiovana sasany dia misy ny famenoana ny soatoavina tsy hita, ny fanaraha-maso mandeha ho azy sy manual, sns. - Data Integration
Ity no dingana izay ahazoana ny angona avy amin'ny loharano samihafa, natambatra ary natambatra. Ny loharano dia mety ho angon-drakitra, rakitra lahatsoratra, takelaka, antontan-taratasy, angon-drakitra marobe, Internet, sy ny sisa. - Data sampling
Amin'ny ankapobeny, tsy ny data mitambatra rehetra no ilaina amin'ny fitrandrahana data. Ny santionan'ny angona dia ny dingana izay isafidianana sy alaina avy amin'ny angona lehibe ihany ny angona mahasoa. - Data Conversion
Rehefa voafantina ny angona dia avadika ho endrika mety amin'ny fitrandrahana. Ity dingana ity dia ahitana normalization, aggregation, generalization, sns. - Data Mining
Tonga eto ny ampahany manan-danja indrindra amin'ny fitrandrahana angon-drakitra - mampiasa fomba manan-tsaina hahitana lamina ao anatiny. Ny dingana dia ahitana ny famerenana, fanasokajiana, faminaniana, clustering, fianarana fikambanana, sy ny maro hafa. - fanombanana modely
Ity dingana ity dia mikendry ny hamantatra ireo lamina mety ilaina, mora azo ary manohana ny vinavina. - Fanehoana fahalalana
Amin'ny dingana farany, ny fampahalalana azo dia aseho amin'ny endrika manintona amin'ny fampiasana fomba fanehoana fahalalana sy fomba fijery.
Ny tsy fahampian'ny data Mining
- Fampiasam-bola be ny fotoana sy ny asa
Satria dingana lava sy sarotra ny fitrandrahana angon-drakitra, mitaky asa be dia be avy amin'ny olona mamokatra sy mahay. Ny mpitrandraka angona dia afaka manararaotra ny fitaovana fitrandrahana angon-drakitra matanjaka, saingy mitaky manam-pahaizana izy ireo hanomana ny angona sy hahatakatra ny valiny. Vokatr'izany dia mety haka fotoana kely ny fanodinana ny fampahalalana rehetra. - Fiarovana manokana sy data
Satria ny fitrandrahana angon-drakitra dia manangona ny mombamomba ny mpanjifa amin'ny alΓ lan'ny fomba tsena, dia mety handika ny tsiambaratelon'ny mpampiasa izany. Ankoatra izany, afaka mahazo angon-drakitra voatahiry ao amin'ny rafitra fitrandrahana data ny hackers. Mampidi-doza ny fiarovana ny angon-drakitra mpanjifa izany. Raha ampiasaina amin'ny fomba diso ny angon-drakitra nangalarina, dia mety hanimba ny hafa mora foana izany.
Ity ambony ity dia fampahafantarana fohy momba ny fitrandrahana data. Araka ny efa nolazaiko teo, ny fitrandrahana angon-drakitra dia misy ny fizotran'ny fanangonana sy fampidirana angon-drakitra, izay ahitana ny fizotran'ny fitrandrahana data. Amin'ity tranga ity, azo antoka ny milaza fa ny fitrandrahana angon-drakitra dia mety ho ampahany amin'ny dingana fitrandrahana data maharitra.
Inona no atao hoe Data Extraction?
Fantatra ihany koa amin'ny hoe "fitrandrahana data amin'ny tranokala" sy "fisokajiana tranonkala", ity dingana ity dia ny hetsika fanangonana angon-drakitra avy amin'ny loharanom-baovao (matetika tsy misy rafitra na tsy misy rafitra) mankany amin'ny toerana afovoany ary mametraka azy ireo amin'ny toerana iray ho fitehirizana na fanodinana fanampiny. Amin'ny ankapobeny, ny loharanom-baovao tsy voarafitra dia ahitana pejy web, mailaka, antontan-taratasy, rakitra PDF, lahatsoratra voasokajy, tatitra mainframe, rakitra reel-to-reel, dokam-barotra, sns. Ny fitahirizana afovoany dia mety ho eo an-toerana, rahona, na hybrid. Zava-dehibe ny mahatsiaro fa ny fitrandrahana angon-drakitra dia tsy ahitana fanodinana na fanadihadiana hafa mety hitranga any aoriana.
Inona no azonao atao amin'ny Data Extraction?
Amin'ny ankapobeny, ny tanjon'ny fitrandrahana angon-drakitra dia mizara ho sokajy 3.
- Archiving
Ny fitrandrahana angon-drakitra dia afaka manova ny angona avy amin'ny endrika ara-batana: boky, gazety, faktiora ho endrika nomerika, toy ny angona ho an'ny fitahirizana na backup. - Fanovana ny format data
Rehefa te-hifindra angon-drakitra avy amin'ny tranokalanao amin'izao fotoana izao mankany amin'ny iray vaovao eo am-pamolavolana ianao dia afaka manangona angona avy amin'ny tranokalanao manokana amin'ny alΓ lan'ny fanesorana azy. - Fanadihadiana data
Ny famakafakana fanampiny momba ny angon-drakitra nalaina mba hahazoana fahalalana dia mahazatra. Mety ho mitovy amin'ny fitrandrahana angon-drakitra izany, saingy tadidio fa ny fitrandrahana angon-drakitra no tanjon'ny fitrandrahana data, fa tsy ampahany amin'izany. Ambonin'izany, ny angon-drakitra dia voadinika amin'ny fomba hafa. Ohatra iray: Ny tompon'ny fivarotana an-tserasera dia maka fampahalalana momba ny vokatra avy amin'ny tranokala e-varotra toy ny Amazon mba hanaraha-maso ny paikadin'ny mpifaninana amin'ny fotoana tena izy. Tahaka ny fitrandrahana data, ny fitrandrahana angon-drakitra dia dingana mandeha ho azy izay manana tombony maro. Taloha, ny olona dia zatra mandika sy mametaka angona amin'ny tanana avy amin'ny toerana iray mankany amin'ny iray hafa, izay tena nandany fotoana. Ny fitrandrahana angon-drakitra dia manafaingana ny fanangonana ary manatsara be ny fahamarinan'ny angona nalaina.
Ohatra sasany amin'ny fampiasana Data Extraction
Mitovy amin'ny fitrandrahana angon-drakitra, ny fitrandrahana data dia ampiasaina betsaka amin'ny indostria isan-karazany. Ho fanampin'ny fanaraha-maso ny vidin'ny e-varotra, ny fitrandrahana angon-drakitra dia afaka manampy amin'ny fikarohanao manokana, fanangonana vaovao, varotra, trano, fitsangatsanganana sy fizahan-tany, consulting, fitantanam-bola ary maro hafa.
- Taranaka mpitarika
Ny orinasa dia afaka maka angon-drakitra avy amin'ny lahatahiry: Yelp, Crunchbase, Yellowpages ary miteraka fitarihana ho an'ny fampandrosoana ny orinasa. Azonao atao ny mijery ny lahatsary eto ambany mba hianarana ny fomba hanesorana angona avy amin'ny Yellowpages mampiasa . - Fanangonana votoaty sy vaovao
Ny tranokala fanangonana votoaty dia afaka mahazo angon-drakitra tsy tapaka avy amin'ny loharano maro ary mitazona ny tranokalany ho vaovao. - Famakafakana ny fihetseham-po
Amin'ny alΓ lan'ny fakana hevitra, fanehoan-kevitra ary fanehoan-kevitra avy amin'ny tranokalan'ny media sosialy toy ny Instagram sy Twitter, ny manam-pahaizana dia afaka mamakafaka ny fihetseham-po fototra ary mahazo fahatakarana ny fomba fijerin'ny marika, vokatra, na tranga iray.
Dingana fitrandrahana data
Ny fitrandrahana data dia dingana voalohany amin'ny ETL (fanafohezana Extract, Transform, Load) ary ELT (extract, load and transform). ETL sy ELT dia ampahany amin'ny paikady fampidirana angon-drakitra feno. Amin'ny teny hafa, ny fitrandrahana angon-drakitra dia mety ho ampahany amin'ny fitrandrahana data.
Extrait, avadika, mavesatra
Raha mikasika ny fitrandrahana angon-drakitra avy amin'ny angon-drakitra marobe ny fitrandrahana angon-drakitra, ny fitrandrahana angon-drakitra dia dingana fohy kokoa sy tsotra kokoa. Azo ahena ho dingana telo izany:
- Misafidiana loharano angona
Safidio ny loharano tianao haka angona, toy ny tranokala. - Fanangonana angona
Alefaso amin'ny tranokala ny fangatahana "GET" ary alaivo ny antontan-taratasy HTML vokarina amin'ny alΓ lan'ny fiteny fandaharana toy ny Python, PHP, R, Ruby, sns. - Fitahirizana data
Tehirizo ny angona ao amin'ny angona eo an-toerana na fitahirizana rahona ho an'ny fampiasana ho avy. Raha programa efa za-draharaha ianao ary te haka angon-drakitra dia toa tsotra aminao ireo dingana etsy ambony ireo. Na izany aza, raha tsy manao kaody ianao dia hitsin-dΓ lana iray ny mampiasa fitaovana fitrandrahana data, ohatra. . Ny fitaovana fitrandrahana angona, toy ny fitaovana fitrandrahana angona, dia natao hitsitsiana angovo sy hanamora ny fanodinana angona ho an'ny rehetra. Ireo fitaovana ireo dia tsy ara-toekarena ihany fa koa ho an'ny vao manomboka. Izy ireo dia mamela ny mpampiasa hanangona angona ao anatin'ny minitra, mitahiry izany ao amin'ny rahona ary manondrana izany amin'ny endrika maro: Excel, CSV, HTML, JSON na amin'ny tranokalan'ny tranokala amin'ny alΓ lan'ny API.
Ny tsy fahampian'ny fitrandrahana angona
- Loza mpizara
Rehefa maka angon-drakitra amin'ny sehatra midadasika, dia mety ho be loatra ny mpizara tranonkalan'ny tranonkala kendrena, izay mety hiteraka fianjerana. Hanimba ny tombontsoan'ny tompon'ny tranokala izany. - Fandrarana amin'ny IP
Rehefa manangona data matetika loatra ny olona iray, dia mety hanakana ny adiresy IP-ny ny tranokala. Ny loharanon-karena dia afaka mandΓ tanteraka adiresy IP na mametra ny fidirana, ka mahatonga ny angona ho tsy feno. Mba hahazoana angon-drakitra sy hisorohana ny fanakanana dia mila manao izany amin'ny hafainganam-pandeha antonony ianao ary mampiasa teknika manohitra ny fanakanana. - Olana amin'ny lalΓ na
Ny fakana angona avy amin'ny tranonkala dia miditra amin'ny faritra maitso raha resaka ara-dalΓ na. Ireo tranonkala lehibe toa an'i Linkedin sy Facebook dia milaza mazava tsara amin'ny fepetra fampiasany fa voarara ny fitrandrahana data mandeha ho azy. Betsaka ny fitoriana teo amin'ny orinasa noho ny hetsika bot.
Ny fahasamihafana lehibe eo amin'ny fitrandrahana angona sy ny fitrandrahana angona
- Ny fitrandrahana angon-drakitra dia antsoina koa hoe fitadiavana fahalalana amin'ny angon-drakitra, fitrandrahana fahalalana, famakafakana data/modely, fanangonana vaovao. Ny fitrandrahana angon-drakitra dia ampiasaina mifanakalo amin'ny fitrandrahana angon-drakitra amin'ny tranonkala, ny fikorianan'ny tranonkala, ny fitrandrahana data, sns.
- Ny fikarohana momba ny harena ankibon'ny tany dia mifototra indrindra amin'ny angon-drakitra voarafitra, fa amin'ny fitrandrahana angon-drakitra dia matetika no alaina avy amin'ny loharano tsy voarafitra na tsy misy rafitra.
- Ny tanjon'ny fitrandrahana angon-drakitra dia ny hahatonga ny angona ho ilaina kokoa amin'ny famakafakana. Ny fitrandrahana angon-drakitra dia fanangonana angon-drakitra ho any amin'ny toerana iray ahafahana mitahiry na manodina azy.
- Ny famakafakana amin'ny fitrandrahana angon-drakitra dia mifototra amin'ny fomba matematika hamantarana lamina na fironana. Ny fitrandrahana angon-drakitra dia mifototra amin'ny fiteny fandaharana na fitaovana fitrandrahana angon-drakitra hikarohana loharano.
- Ny tanjon'ny fitrandrahana angon-drakitra dia ny fitadiavana zava-misy tsy fantatra na tsy noraharahiana teo aloha, fa ny fitrandrahana angon-drakitra kosa dia miresaka momba ny vaovao efa misy.
- Ny fitrandrahana angon-drakitra dia sarotra kokoa ary mitaky fampiasam-bola lehibe amin'ny fanofanana olona. Ny fitrandrahana angon-drakitra, rehefa ampiasaina amin'ny fitaovana mety, dia mety ho tena tsotra sy lafo.
Manampy ireo vao manomboka tsy ho very hevitra amin'ny Data. Namorona kaody fampiroboroboana manokana ho an'ny mponina ao Khabra izahay HABR, manome fihenam-bidy 10% fanampiny amin'ny fihenam-bidy voalaza amin'ny sora-baventy.
More cours
Lahatsoratra nasongadina
Source: www.habr.com