Mantsoe ana a mabeli a Mahlale a Data a ferekanya batho ba bangata. Data Mining hangata ha e utloisisoe e le ho ntša le ho fumana lintlha, empa 'nete e thata haholo. Ka poso ena, ha re shebeng Dot Mining 'me re fumane phapang lipakeng tsa Meepo ea Lintlha le Ts'ebetso ea Lintlha.
Data Mining ke eng?
Data mining, e boetse e bitsoa Tlhahisoleseding ea Tsebo ea Lethathamo (KDD), ke mokhoa o atisang ho sebelisoa ho hlahloba li-dataset tse kholo ho sebelisa mekhoa ea lipalo-palo le lipalo ho fumana mekhoa e patehileng kapa mekhoa le ho ntša boleng ho tsona.
Ho ka etsoa eng ka Data Mining?
Ka ho iketsetsa ts'ebetso, e ka sheba li-database mme ea utulla mekhoa e patiloeng. Bakeng sa likhoebo, meepo ea data hangata e sebelisoa ho fumana mekhoa le likamano ho data ho thusa ho etsa liqeto tse betere tsa khoebo.
Mehlala ea ts'ebeliso
Ka mor'a hore merafo ea data e atile haholo lilemong tsa bo-1990, lik'hamphani tse fapaneng liindasteri, ho kenyelletsa le mabenkele, lichelete, tlhokomelo ea bophelo bo botle, lipalangoang, lithelefono, khoebo ea e-commerce, joalo-joalo, li ile tsa qala ho sebelisa mekhoa ea merafo ea data ho fumana boitsebiso bo thehiloeng boitsebisong. Merafo ea data e ka thusa ho arola bareki, ho tseba bosholu, ho bolela esale pele thekiso, le tse ling.
- Karohano ea bareki
Ka ho sekaseka lintlha tsa bareki le ho tseba litšobotsi tsa bareki ba shebiloeng, lik'hamphani li ka li arola ka sehlopha se arohaneng 'me tsa fana ka limpho tse khethehileng tse fihlelang litlhoko tsa bona. - Tlhahlobo ea Basketkete ea Marakeng
Mokhoa ona o thehiloe khopolong ea hore haeba u reka sehlopha se itseng sa lihlahisoa, ho ka etsahala hore u reke sehlopha se fapaneng sa lihlahisoa. Mohlala o mong o tsebahalang: ha bo-ntate ba rekela masea a bona maleiri, ba atisa ho reka biri hammoho le maleiri. - Polelo ea thekiso
E ka 'na ea bonahala e tšoana le tlhahlobo ea baskete ea' maraka, empa lekhetlong lena tlhahlobo ea data e sebelisetsoa ho bolela esale pele hore na moreki o tla reka sehlahisoa neng nakong e tlang. Mohlala, mokoetlisi o reka kotikoti ea protheine e lokelang ho tšoarella likhoeli tse 9. Lebenkele le rekisang protheine ena le rera ho lokolla e ncha ka likhoeli tse 9 e le hore mokoetlisi a tla e reka hape. - Ho lemoha bomenemene
Merafo ea data e thusa ho theha mefuta ea ho lemoha bomenemene. Ka ho bokella lisampole tsa litlaleho tsa bolotsana le tsa 'nete, likhoebo li fuoa matla a ho tseba hore na ke litšebelisano life tse belaetsang. - Ho fumana mohlala tlhahiso
Indastering ea tlhahiso, merafo ea data e sebelisoa ho thusa ho rala litsamaiso ka ho tseba kamano lipakeng tsa meralo ea lihlahisoa, profil le litlhoko tsa bareki. Merafo ea data e ka boela ea bolela esale pele linako tsa ntlafatso ea lihlahisoa le litšenyehelo.
'Me tsena ke tse' maloa feela tsa tšebeliso ea merafo ea data.
Mehato ea merafo ea data
Ho rafa ha data ke mokhoa o akaretsang oa ho bokella, ho khetha, ho hloekisa, ho fetola le ho ntša lintlha e le ho lekola mekhoa, 'me qetellong, ho ntša boleng.
Ka kakaretso, ts'ebetso eohle ea merafo ea data e ka akaretsoa ka mehato e 7:
- Ho hloekisa data
Lefatšeng la 'nete, data ha e hloekisoe kamehla le ho hlophisoa. Hangata li lerata, ha lia phethahala, 'me li ka ba le liphoso. Ho etsa bonnete ba hore sephetho sa merafo ea data se nepahetse, u lokela ho qala ho hloekisa data. Mekhoa e meng ea ho hloekisa e kenyelletsa ho tlatsa litekanyetso tse sieo, ho laola ka mokhoa o itekanetseng le oa matsoho, joalo-joalo. - Ho kopanya lintlha
Ena ke sethala moo data e tsoang mehloling e fapaneng e ntšoang, e kopantsoeng le ho kopanngoa. Mehloli e ka ba li-database, lifaele tsa mongolo, li-spreadsheet, litokomane, li-dataset tsa multidimensional, Marang-rang, joalo-joalo. - Data sampole
Hangata, ha se lintlha tsohle tse kopantsoeng tse hlokahalang merafong ea data. Sampling ea data ke sethala seo ho sona ho khethoang data e sebetsang feela le ho ntšoa ho database e kholo. - Phetoho ea data
Hang ha data e khethiloe, e fetoloa liforomo tse loketseng bakeng sa merafo. Ts'ebetso ena e kenyelletsa ho tloaeleha, ho kopanya, ho akaretsa, joalo-joalo. - Morafo oa data
Mona ho tla karolo ea bohlokoa ka ho fetisisa ea merafo ea data - ho sebelisa mekhoa e bohlale ho fumana mekhoa ho bona. Ts'ebetso e kenyelletsa ho fokotseha, ho hlopha, ho bolela esale pele, ho kopanya lihlopha, ho ithuta ho kopana, le tse ling. - Tlhahlobo ea mohlala
Mohato ona o reretsoe ho hlwaya mekhoa e ka bang molemo, e utloisisehang habonolo, hammoho le lipaterone tse tšehetsang likhopolo-taba. - Boemeli ba Tsebo
Boemong ba ho qetela, boitsebiso bo fumanoeng bo hlahisoa ka mokhoa o khahlehang ho sebelisoa boemeli ba tsebo le mekhoa ea pono.
Mefokolo ea Merafo ea Boitsebiso
- Chelete e kholo ea nako le mosebetsi
Kaha merafo ea data ke ts'ebetso e telele le e rarahaneng, e hloka mosebetsi o mongata ho tsoa ho batho ba hlahisang lihlahisoa le ba nang le tsebo. Bo-rasaense ba data ba ka sebelisa lisebelisoa tse matla tsa merafo ea data, empa ba hloka litsebi ho lokisa lintlha le ho utloisisa liphetho. Ka lebaka leo, ho ka nka nako ho sebetsana le tlhahisoleseding eohle. - Lekunutu la data le tshireletso
Kaha merafo ea data e bokella tlhahisoleseding e mabapi le bareki ka mekhoa ea 'maraka, e ka tlōla boinotši ba basebelisi. Ho feta moo, barekisi ba ka fumana lintlha tse bolokiloeng lits'ebetsong tsa merafo ea data. Sena se beha kotsi ho ts'ireletso ea data ea bareki. Haeba data e utsoitsoeng e sebelisoa hampe, e ka lematsa ba bang habonolo.
E ka holimo ke kenyelletso e khutšoanyane ea merafo ea data. Joalokaha ke se ke boletse, merafo ea data e na le mokhoa oa ho bokella le ho kopanya lintlha, tse kenyelletsang mokhoa oa ho ntša data (data extract). Tabeng ena, ho bolokehile ho bolela hore ho ntšoa ha data e ka ba karolo ea ts'ebetso e telele ea merafo ea data.
Ke Eng Ho Nkoa ha Boitsebiso?
E boetse e tsejoa e le "web data mining" le "web scraping", ts'ebetso ena ke ketso ea ho ntša data ho tsoa mehloling ea data (hangata e sa hlophisoang kapa e sa hlophisoang hantle) libakeng tse bohareng le bohareng sebakeng se le seng bakeng sa polokelo kapa ts'ebetso e tsoelang pele. Haholo-holo, mehloli ea data e sa hlophisoang e kenyelletsa maqephe a webo, lengolo-tsoibila, litokomane, lifaele tsa PDF, mongolo o hlahlobiloeng, litlaleho tsa mainframe, lifaele tsa reel, liphatlalatso, joalo-joalo. Polokelo e bohareng e ka ba ea lehae, leru kapa lebasetere. Ke habohlokoa ho hopola hore tlhahiso ea data ha e kenyelle ts'ebetso kapa tlhahlobo e 'ngoe e ka hlahang hamorao.
Ke eng e ka etsoang ka Data Extraction?
Ha e le hantle, merero ea ho ntša data e oela likarolong tse 3.
- Ho boloka
Ho ntšoa ha data ho ka fetolela data ho tsoa ho lifomete tsa 'mele joalo ka libuka, likoranta, li-invoice ho lifomete tsa dijithale joalo ka polokelong ea polokelo kapa bekapo. - Ho fetola sebopeho sa data
Ha o batla ho tlosa data ho tloha sebakeng sa hau sa hajoale ho ea ho se secha se ntseng se ntlafatsoa, o ka bokella data ho tsoa sebakeng sa hau sa marang-rang ka ho e ntša. - Tlhahlobo ea lintlha
Ho tloaelehile ho tsoela pele ho hlahloba lintlha tse nkiloeng ho fumana temohisiso ho eona. Sena se ka utloahala se tšoana le merafo ea data, empa hopola hore merafo ea data ke sepheo sa merafo ea data, eseng karolo ea eona. Ho feta moo, data e hlahlojoa ka tsela e fapaneng. Mohlala o mong ke hore beng ba mabenkele a marang-rang ba hula tlhahisoleseling ho tsoa libakeng tsa khoebo tsa e-commerce joalo ka Amazon ho lekola maano a tlholisano ka nako ea nnete. Joalo ka merafo ea data, ho ntšoa ha data ke ts'ebetso e ikemetseng e nang le melemo e mengata. Nakong e fetileng, batho ba ne ba kopitsa le ho beha data ka letsoho ho tloha sebakeng se seng ho ea ho se seng, e leng ntho e neng e ja nako haholo. Ho ntšoa ha data ho potlakisa pokello 'me ho ntlafatsa haholo ho nepahala ha data e nkiloeng.
Mehlala e meng ea ho sebelisa Data Extraction
Ho ts'oana le merafo ea data, merafo ea data e sebelisoa haholo liindastering tse fapaneng. Ntle le tlhahlobo ea litheko tsa e-commerce, meepo ea data e ka u thusa ka lipatlisiso tsa hau, ho bokella litaba, ho bapatsa, thekiso ea matlo, maeto le bohahlauli, boeletsi, lichelete le tse ling.
- Moloko o etellang pele
Likhamphani li ka hula lintlha ho tsoa ho li-directory: Yelp, Crunchbase, Yellowpages le ho hlahisa lintlha tsa nts'etsopele ea khoebo. U ka shebella video e ka tlase ho ithuta ho ntša data ho Yellowpages ka . - Ho kopanya litaba le litaba
Liwebsaete tse kopanyang litaba li ka fumana lijo tsa data khafetsa ho tsoa mehloling e mengata le ho boloka liwebsaete tsa tsona li ntse li le teng. - Tlhaloso ea Maikutlo
Kamora ho fumana maikutlo, maikutlo le bopaki ho tsoa liwebosaeteng tsa sechaba tse kang Instagram le Twitter, litsebi li ka sekaseka maikutlo le ho fumana leseli la hore na lets'oao, sehlahisoa kapa ketsahalo e bonoa joang.
Mehato ea ho Ntša lintlha
Ho ntšoa ha data ke mohato oa pele oa ETL (Extract, Transform, Load: Extract, Transform, Load) le ELT (Extract, Load, and Transform). ETL le ELT ka botsona ke karolo ea leano le felletseng la ho kopanya lintlha. Ka mantsoe a mang, ho ntša data e ka ba karolo ea ho ntšoa ha bona.
Ntsha, fetola, jarisa
Le hoja merafo ea data e mabapi le ho ntša boitsebiso bo bongata bo bongata, ho tlosoa ha data ke mokhoa o khutšoanyane le o bonolo haholoanyane. E ka fokotsoa ka mekhahlelo e meraro:
- Ho khetha mohloli oa data
Khetha mohloli oo u batlang ho ntša data ho oona, joalo ka sebaka sa marang-rang. - Pokello ea lintlha
Romela kopo ea "GET" sebakeng sa marang-rang 'me u hlahlobe tokomane e hlahisitsoeng ea HTML u sebelisa lipuo tsa lenaneo tse kang Python, PHP, R, Ruby, joalo-joalo. - Polokelo ea data
Boloka data ho database ea hau ea lehae kapa polokelong ea leru bakeng sa tšebeliso ea nako e tlang. Haeba u setsebi se nang le phihlelo se batlang ho ntša data, mehato e ka holimo e ka 'na ea bonahala e le bonolo ho uena. Leha ho le joalo, haeba u se moqapi, ho na le tsela e khuts'oane - sebelisa lisebelisoa tsa merafo ea data joalo ka . Lisebelisoa tsa ho ntša lintlha, joalo ka lisebelisoa tsa merafo ea data, li etselitsoe ho boloka matla le ho etsa hore ts'ebetso ea data e be bonolo bakeng sa motho e mong le e mong. Lisebelisoa tsena ha li na chelete feela, empa hape li na le botsoalle ho ba qalang. Li lumella basebelisi ho bokella lintlha ka mor'a metsotso e seng mekae, ba li boloke marung, 'me ba li romelle ho mefuta e mengata: Excel, CSV, HTML, JSON, kapa ho li-database tsa sebaka sa marang-rang ka API.
Mefokolo ea ho Ntša data
- Ho senyeha ha seva
Ha u ntša lintlha ka tekanyo e kholo, seva sa marang-rang sa sebaka seo u batlang ho se sheba se ka 'na sa imeloa haholo, se ka lebisang ho senyeha ha seva. Sena se tla senya lithahasello tsa mong'a sebaka. - Thibeloa ke IP
Ha motho a bokella lintlha khafetsa, liwebsaete li ka thibela aterese ea bona ea IP. Mohloli o ka thibela aterese ea IP ka botlalo kapa oa thibela phihlello ka ho etsa hore data e se phethehe. Ho fumana lintlha le ho qoba ho thibela, o lokela ho e etsa ka lebelo le itekanetseng mme o sebelise mekhoa e meng ea ho thibela ho thibela. - Mathata le molao
Ho ntša lintlha ho tloha ho websaete ho oela sebakeng se bohlooho ha ho tluoa tabeng ea molao. Liwebsaete tse kholo tse kang Linkedin le Facebook li bolela ka ho hlaka ho latela maemo a tsona a ts'ebeliso ea hore ho ntšoa ha data ka boiketsetso ho thibetsoe. Ho bile le linyeoe tse ngata lipakeng tsa lik'hamphani ka lebaka la mesebetsi ea bot.
Liphapang tse ka Sehloohong Pakeng tsa Merafo ea Lintlha le Phapang ea Boitsebiso
- Ho rafa ha data ho boetse ho bitsoa ho sibolloa ha tsebo litsing tsa polokelo ea litaba, ho ntšoa ha tsebo, tlhahlobo ea data/mohlala, ho bokella tlhahisoleseling. Ho ntšoa ha data ho sebelisoa ka mokhoa o ts'oanang le ho ntšoa ha data ea webo, ho lekola leqephe la webo, pokello ea lintlha, joalo-joalo.
- Lipatlisiso tsa merafo hangata li ipapisitse le lintlha tse hlophisitsoeng athe datha hangata e tsoa mehloling e sa hlophisoang kapa e sa hlophisoang hantle.
- Sepheo sa merafo ea data ke ho etsa hore data e be molemo haholoanyane bakeng sa tlhahlobo. Ho ntšoa ha data ke pokello ea data sebakeng se le seng moo e ka bolokoang kapa ea sebetsoa.
- Tlhahlobo ea merafo ea data e ipapisitse le mekhoa ea lipalo bakeng sa ho tseba mekhoa kapa mekhoa. Ho ntšoa ha data ho ipapisitse le lipuo tsa mananeo kapa lisebelisoa tsa ho ntša data ho feta mehloli.
- Sepheo sa merafo ea data ke ho fumana lintlha tse neng li sa tsejoe kapa li hlokomolohuoa pele, ha tlhahiso ea data e sebetsana le boitsebiso bo teng.
- Merafo ea data e rarahane haholo mme e hloka letsete le leholo ho koetlisa batho. Ho ntšoa ha data ka sesebelisoa se nepahetseng ho ka ba bonolo haholo ebile ha theko e boima.
Re thusa ba qalang hore ba se ke ba ferekana ho Data. Haholo-holo bakeng sa habravchans, re entse khoutu ea papatso HABRA, ho fana ka theolelo e eketsehileng ea 10% ho theolelo e bontšitsoeng ho banner.
Lithuto tse ling
Lingoliloeng tse hlahisitsoeng
Source: www.habr.com