O nei fa'amatalaga fa'asaienisi e lua e fenumiai ai le tele o tagata. Faʻamatalaga Faʻamatalaga e masani ona faʻaseseina e pei o le suʻeina ma toe maua mai faʻamaumauga, ae o le mea moni e sili atu ona faigata. I lenei pou, seʻi o tatou tuʻuina le faʻamaeʻaina o le Mining ma suʻe le eseesega i le va o Data Mining ma Data Extraction.
O le a le Data Mining?
Data mining, e ta'ua foi Su'esu'eina o le Poto ile Fa'amaumauga (KDD), o se metotia e masani ona faʻaaogaina e suʻesuʻe ai le tele o faʻamaumauga e faʻaaoga ai fuainumera ma numera faʻataʻitaʻiga e suʻe ai faʻataʻitaʻiga natia poʻo aga ma aveese mai ai le tau.
O le a se mea e mafai ona e faia i le Data Mining?
E ala i le otometi le faagasologa, e mafai ona su'esu'e fa'amaumauga ma iloa lelei mamanu natia. Mo pisinisi, e masani ona faʻaaogaina faʻamatalaga faʻamatalaga e iloa ai mamanu ma mafutaga i faʻamaumauga e fesoasoani i le faia o filifiliga sili atu pisinisi.
Fa'ata'ita'iga fa'atatau
Ina ua maeʻa faʻasalalau faʻamatalaga faʻamatalaga i le 1990s, o kamupani i le tele o alamanuia, e aofia ai le faʻatau, tupe, soifua maloloina, felauaiga, fesoʻotaʻiga, e-pisinisi, ma isi, na amata faʻaogaina metotia faʻamatalaga e maua ai faʻamatalaga e faʻatatau i faʻamaumauga. E mafai ona fesoasoani le fa'atauina o fa'amaumauga i le vaeluaga o tagata fa'atau, iloa faiga fa'asese, fa'atau fa'atau, ma le tele o isi mea.
- Vaega o tagata faatau
E ala i le suʻesuʻeina o faʻamatalaga o tagata faʻatau ma faʻamaonia uiga o tagata faʻatau, e mafai e kamupani ona faʻapipiʻiina i latou i se vaega maʻoti ma tuʻuina atu ofo faʻapitoa e fetaui ma o latou manaʻoga. - Su'esu'ega Ato Maketi
O lenei metotia e faʻavae i luga o le talitonuga e faapea afai e te faʻatau se vaega o oloa, e sili atu ona e faʻatauina se isi vaega o oloa. Tasi fa'ata'ita'iga ta'uta'ua: pe a fa'atau e tama napekini mo a latou pepe, e fa'atauina lava le pia fa'atasi ma napekini. - Fa'atauga Va'aiga
Atonu e foliga tutusa lea ma le au'ili'iliga o ato maketi, ae o le taimi lea e fa'aoga ai fa'amatalaga fa'amaumauga e va'ai ai le taimi e toe fa'atau ai e le tagata fa'atau se oloa i le lumana'i. Mo se faʻataʻitaʻiga, e faʻatau e le faiaoga se apa polotini, lea e tatau ona tumau mo le 9 masina. O le faleoloa o loʻo faʻatauina lenei polotini ua fuafua e faʻaulu se mea fou i le 9 masina ina ia toe faʻatau e le faiaoga. - Su'esu'ega Fa'asese
E fesoasoani le la'uina o fa'amaumauga i le fausiaina o fa'ata'ita'iga e iloa ai faiga fa'asese. E ala i le aoina o faʻataʻitaʻiga o lipoti taufaasese ma faʻamaonia, ua faʻamalosia pisinisi e faʻamaonia ai fefaʻatauaiga e masalomia. - Su'eina o mamanu i le gaosiga
I totonu o fale gaosi oloa, o loʻo faʻaaogaina faʻamatalaga faʻamatalaga e fesoasoani i le faʻatulagaina o faiga e ala i le faʻailoaina o le sootaga i le va o le fausaga o oloa, faʻamatalaga ma manaoga o tagata faatau. E mafai fo'i ona va'ai le la'uina o fa'amatalaga taimi ma tau o le atina'eina o oloa.
Ma o ni nai fa'aaliga ia mo le fa'aogaina o fa'amaumauga.
Laasaga o Fa'amatalaga Fa'amatalaga
O le fa'aogaina o fa'amaumauga o le fa'agasologa atoa lea o le aoina, filifilia, fa'amama, fa'aliliuina ma le su'eina o fa'amaumauga e iloilo ai mamanu ma i'u ai ina maua mai le tau.
I le avea ai o se tulafono, o le faagasologa atoa o le faʻaogaina o faʻamaumauga e mafai ona aoteleina i vaega e 7:
- Fa'amama fa'amaumauga
I le lalolagi moni, o faʻamaumauga e le o taimi uma e faʻamamaina ma faʻatulagaina. E masani ona pisapisao, e le atoatoa, ma e ono iai ni mea sese. Ina ia faʻamautinoa e saʻo le taunuʻuga o faʻamatalaga, e tatau ona e faʻamama muamua faʻamaumauga. O nisi auala fa'amama e aofia ai le fa'atumuina o tau o lo'o misi, siaki otometi ma tusi lesona, ma isi. - Fa'atasiga Fa'amaumauga
Ole la'asaga lea e maua mai ai, tu'ufa'atasia ma tu'ufa'atasia fa'amaumauga mai fa'apogai eseese. O puna'oa e mafai ona avea ma fa'amaumauga, faila faila, fa'asalalauga, pepa, seti fa'amaumauga e tele, Initaneti, ma isi. - Fa'ata'ita'iga o fa'amaumauga
E masani lava, e le manaʻomia uma faʻamaumauga tuʻufaʻatasia i le faʻaogaina o faʻamatalaga. Fa'ata'ita'iga fa'amaumauga o le la'asaga lea e na'o fa'amaumauga aoga e filifilia ma fa'asolo mai se fa'amaumauga tele. - Fa'aliliuga Fa'amatalaga
O le taimi lava e filifilia ai faʻamaumauga, e faʻaliliuina i foliga talafeagai mo le mining. O lenei faagasologa e aofia ai le masani, faʻapipiʻi, faʻasalalauga, ma isi. - Fa'amatalaga Fa'amatalaga
O lo'o o'o mai le vaega pito sili ona taua o fa'amatalaga fa'amatalaga - fa'aaoga metotia atamai e su'e ai mamanu i totonu. O le faʻagasologa e aofia ai le faʻasolosolo, faʻavasegaina, vaʻaiga, faʻapipiʻi, aʻoaʻoga faʻatasi, ma isi mea. - Iloiloga fa'atusa
O lenei la'asaga e fa'amoemoe e fa'ailoa fa'asologa e ono aoga, faigofie-malamalama, ma fa'ata'ita'iga lagolago. - Fa'atusa o le poto
I le tulaga mulimuli, o faʻamatalaga maua mai o loʻo tuʻuina atu i se foliga manaia e faʻaaoga ai le faʻaaliga o le malamalama ma auala faʻaaliga.
Le lelei o Faʻamatalaga Faʻamatalaga
- Tele tupe fa'aalu o taimi ma galuega
Talu ai ona o le faʻaogaina o faʻamaumauga o se faiga umi ma faigata, e manaʻomia ai le tele o galuega mai tagata faʻatau ma tomai. E mafai e tagata eliina faʻamatalaga ona faʻaogaina meafaigaluega faʻapipiʻi mamana, ae latou te manaʻomia tagata atamamai e saunia faʻamaumauga ma malamalama i taunuuga. O le i'uga, atonu e umi se taimi e fa'agasolo uma ai fa'amatalaga. - Fa'alilolilo ma fa'amaumauga
Talu ai ona o le aoina o faʻamatalaga faʻamatalaga e aoina ai faʻamatalaga a tagata faʻatau e ala i auala maketi, e ono solia ai le le faalauaiteleina o tagata. E le gata i lea, e mafai e tagata taʻavale ona maua faʻamaumauga o loʻo teuina i totonu o faʻamaumauga o faʻamaumauga. O lenei mea e fa'amata'u ai le saogalemu o fa'amaumauga a tagata fa'atau. Afai e fa'aaoga sese fa'amatalaga gaoia, e faigofie ona afaina ai isi.
O loʻo i luga o se faʻamatalaga puupuu i faʻamatalaga faʻamatalaga. E pei ona ou taʻua muamua, o le faʻaogaina o faʻamatalaga e aofia ai le faʻagasologa o le aoina ma le tuʻufaʻatasia o faʻamaumauga, lea e aofia ai le faʻagasologa o faʻamaumauga o faʻamaumauga. I lenei tulaga, e saogalemu le fai atu e mafai ona avea faʻamaumauga o faʻamaumauga o se vaega o se faʻasologa umi o faʻamatalaga faʻamatalaga.
O le a le Fa'amatalaga Fa'amatalaga?
E taʻua foi o le "web data mining" ma le "web scraping," o lenei faiga o le gaioiga o le suʻeina o faʻamatalaga mai (e masani ona le faʻatulagaina pe le lelei le faʻatulagaina) faʻamatalaga faʻamatalaga i nofoaga faʻapitoa ma faʻapipiʻiina i se nofoaga e tasi mo le teuina poʻo le faʻaogaina atili. Aemaise lava, o punaoa faʻamatalaga e le faʻatulagaina e aofia ai itulau uepi, imeli, pepa, faila PDF, faʻasalalau tusitusiga, lipoti autu, faila reel-to-reel, faʻasalalauga, ma isi. Fa'atotonugalemu teuina e mafai ona fa'apitonu'u, ao, po'o hybrid. E taua le manatua o le su'eina o fa'amaumauga e le aofia ai le fa'agaioiga po'o isi au'ili'iliga e ono tupu mulimuli ane.
O le a se mea e mafai ona e faia i le Extraction o Fa'amaumauga?
O le mea moni, o faʻamoemoega o faʻamaumauga o faʻamaumauga e pa'ū i 3 vaega.
- Fa'amaumauga
O le su'eina o fa'amaumauga e mafai ona suia fa'amaumauga mai fa'asologa fa'aletino: tusi, nusipepa, pili i fa'amaumauga numera, e pei o fa'amaumauga mo le teuina po'o le fa'amaumauga. - Suia le faatulagaga o faamatalaga
Afai e te manaʻo e faʻafeiloaʻi faʻamatalaga mai lau 'upega tafaʻilagi o loʻo i ai nei i se mea fou o loʻo atinaʻe, e mafai ona e aoina mai faʻamatalaga mai lau lava saite e ala i le aveeseina. - Iloiloga fa'amaumauga
O su'esu'ega fa'aopoopo o fa'amaumauga na maua e maua ai le fa'amalamalamaga e masani lava. Atonu e foliga tutusa ma le faʻaogaina o faʻamatalaga, ae ia manatua o le faʻaogaina o faʻamaumauga o le faʻamoemoega lea o le faʻaogaina o faʻamaumauga, ae le o se vaega. E le gata i lea, o faʻamatalaga e suʻesuʻeina eseese. Tasi fa'ata'ita'iga: O tagata e ana faleoloa i luga ole laiga e maua mai fa'amatalaga o oloa mai 'upega tafa'ilagi e-commerce e pei ole Amazon e mata'ituina fuafuaga a tagata tauva i le taimi moni. E pei o le faʻaogaina o faʻamaumauga, o le faʻaogaina o faʻamatalaga o se faiga faʻapitoa e tele ni faʻamanuiaga. I aso ua tuanaʻi, na faʻaaogaina e tagata le kopi ma faapipii faʻamaumauga ma le lima mai le tasi nofoaga i le isi, lea e tele le taimi e alu ai. O le su'eina o fa'amaumauga e fa'avavevave ai le aoina ma fa'aleleia atili le sa'o o fa'amaumauga na maua mai.
O nisi fa'ata'ita'iga o le fa'aogaina o Fa'amaumauga
E tutusa ma faʻamatalaga faʻamatalaga, faʻamatalaga faʻamatalaga e faʻaaogaina lautele i pisinisi eseese. I le faʻaopoopoga i le mataʻituina o tau i le e-commerce, e mafai ona fesoasoani faʻamatalaga faʻamatalaga i au lava suʻesuʻega, faʻasalalauga talafou, maketiina, fanua faʻatau, femalagaaiga ma tagata tafafao maimoa, faufautua, tupe ma sili atu.
- Tupulaga ta'ita'i
E mafai e Kamupani ona faʻapipiʻi faʻamaumauga mai faʻamaumauga: Yelp, Crunchbase, Yellowpages ma faʻatupuina taʻiala mo le atinaʻeina o pisinisi. E mafai ona e matamata i le vitio o loʻo i lalo e aʻoaʻo ai pe faʻafefea ona aveese faʻamatalaga mai Yellowpages faʻaaoga . - Tuufaatasiga o anotusi ma tala fou
O upegatafa'ilagi fa'aputuga o mea e mafai ona maua fa'asalalauga masani o fa'amaumauga mai le tele o fa'apogai ma fa'aauau pea a latou saite i le taimi nei. - Su'esu'ega o lagona
E ala i le suʻeina o iloiloga, faʻamatalaga, ma faʻamatalaga mai faʻasalalauga faʻasalalau e pei o Instagram ma Twitter, e mafai e tagata atamamai ona suʻeina lagona faʻavae ma maua ai le malamalama i le auala e iloa ai se ituaiga, oloa, poʻo se mea.
Laasaga Aveesea o Faamatalaga
O faʻamaumauga o faʻamaumauga o le laasaga muamua lea o le ETL (faʻapuupuu Extract, Transform, Load) ma le ELT (extract, load and transform). O le ETL ma le ELT o latou lava o se vaega o se taʻiala tuʻufaʻatasia faʻamaumauga atoa. I se isi faaupuga, e mafai ona avea faʻamaumauga o faʻamaumauga o se vaega o faʻamatalaga faʻamatalaga.
Aveese, liliu, uta
E ui o le faʻaogaina o faʻamatalaga e uiga i le suʻeina o faʻamatalaga mai le tele o faʻamaumauga, o faʻamaumauga o faʻamaumauga o se faiga sili atu ona puupuu ma faigofie. E mafai ona faʻaititia i vaega e tolu:
- Filifilia o se punavai o faamatalaga
Filifili le puna e te manaʻo e aveese mai ai faʻamatalaga, pei ole upega tafaʻilagi. - aoina o fa'amaumauga
Auina atu se talosaga "GET" i luga o le 'upega tafaʻilagi ma faʻasalalau le faʻamaumauga HTML e faʻaaoga ai gagana polokalame e pei ole Python, PHP, R, Ruby, ma isi. - Teuina o faamaumauga
Fa'asaoina fa'amaumauga i totonu o lau 'upega tafa'ilagi po'o le teuina o ao mo le fa'aoga i le lumana'i. Afai o oe o se fai polokalame poto masani e mana'o e su'e fa'amaumauga, o laasaga o lo'o i luga e ono foliga faigofie ia te oe. Ae peita'i, afai e te le fa'ailoga, o le ala 'alo o le fa'aogaina lea o meafaigāluega e su'e fa'amaumauga, eg. . O mea faigaluega e su'e ai fa'amaumauga, e pei o mea faigaluega eliina ai fa'amaumauga, ua mamanuina e fa'asaoina ai le malosi ma fa'afaigofie ai le faagasologa o fa'amaumauga mo tagata uma. O nei mea faigaluega e le gata e taugofie ae faʻapea foʻi ma tagata amata. Latou te faʻatagaina tagata faʻaoga e aoina faʻamatalaga i totonu o minute, teu i totonu o le ao ma faʻatau atu i le tele o faatulagaga: Excel, CSV, HTML, JSON poʻo luga ole upega tafaʻilagi faʻamaumauga e ala i le API.
Le lelei o Faʻamatalaga Faʻamatalaga
- Fa'aletonu le server
A toe aumai fa'amatalaga i luga o se fua tele, e mafai ona ova le 'upega tafa'ilagi a le 'upega tafa'ilagi o lo'o fa'amoemoeina, ma mafua ai ona pa'u le server. O lenei mea o le a afaina ai le fiafia o lē e ona le nofoaga. - Fa'asa e IP
A aoina soo e se tagata faʻamatalaga, e mafai e upega tafaʻilagi ona poloka a latou tuatusi IP. E mafai e le puna'oa ona fa'afitia atoa se tuatusi IP po'o le fa'atapula'aina o avanoa, ma fa'aletonu ai fa'amaumauga. Ina ia toe aumai faʻamatalaga ma aloese mai le poloka, e tatau ona e faia i se saoasaoa faʻaoga ma faʻaaoga nisi o auala e puipuia ai. - Solitulafono tulafono
O le aveeseina o faʻamatalaga mai le upega tafaʻilagi e pa'ū i se vaega efuefu pe a oʻo i le tulaga faaletulafono. O nofoaga tetele e pei o Linkedin ma Facebook o loʻo faʻaalia manino i a latou tuutuuga o le faʻaogaina e faʻasaina soʻo se faʻaogaina o faʻamatalaga otometi. Ua tele tagi i le va o kamupani ona o le gaioiga o bot.
Eseesega Autu i le va o Faʻamatalaga Faʻamatalaga ma Faʻamatalaga Faʻamatalaga
- E ta'ua fo'i le su'esu'eina o fa'amatalaga i fa'amaumauga, su'esu'ega o fa'amatalaga, su'esu'ega o fa'amaumauga/mamanu, aoina o fa'amatalaga. E fa'aogaina le fa'aogaina o fa'amatalaga ma le fa'aogaina o fa'amatalaga i luga ole laiga, fetolofi i luga ole laiga, fa'amatalaga fa'amatalaga, ma isi.
- Ole su'esu'ega ole la'uina o fa'amaumauga e masani lava ona fa'avae i luga ole fa'atulagaina o fa'amaumauga, a'o le fa'aogaina o fa'amaumauga e masani lava ona maua mai i puna'oa e le'i fa'atulagaina pe le lelei fo'i.
- O le sini o le faʻaogaina o faʻamaumauga o le faʻaogaina lea o faʻamatalaga e sili atu ona aoga mo le auiliiliga. O fa'amaumauga o fa'amaumauga o le aoina lea o fa'amaumauga i se nofoaga e tasi e mafai ona teuina pe fa'agaoioia.
- O su'esu'ega i le fa'aogaina o fa'amaumauga e fa'avae i metotia fa'a-matematika mo le fa'ailoaina o mamanu po'o aga. O fa'amaumauga o fa'amaumauga e fa'avae i luga o gagana fa'apolokalame po'o mea faigaluega e su'e ai fa'amaumauga e tolotolo ai puna'oa.
- O le sini o faʻamatalaga faʻamatalaga o le sailia lea o mea moni e leʻi iloa muamua pe le amanaiaina, aʻo faʻaogaina faʻamatalaga faʻamatalaga faʻamatalaga o loʻo iai.
- O faʻamatalaga faʻamatalaga e sili atu ona lavelave ma e manaʻomia ai tupe faʻaalu tetele i le aʻoaʻoina o tagata. Su'ega fa'amaumauga, pe a fa'aogaina i le meafaigaluega sa'o, e mafai ona matua faigofie ma taugofie.
Matou te fesoasoani i tagata amata e aua le fenumiai i Faʻamatalaga. Ua matou faia se faʻailoga faʻalauiloa aemaise lava mo tagata o Khabra HABR, tuʻuina atu se faʻaopoopoga 10% faʻaitiitiga i le faʻaitiitiga o loʻo faʻaalia i luga o le fuʻa.
Tele kosi
Mataupu Fa'apitoa
puna: www.habr.com