Hoʻopili kēia mau huaʻōlelo ʻepekema data ʻelua i nā poʻe he nui. Hoʻomaopopo pinepine ʻia ʻo Data Mining e like me ka unuhi ʻana a me ka hoʻihoʻi ʻana i ka ʻikepili, akā i ka ʻoiaʻiʻo, ʻoi aku ka paʻakikī. Ma kēia pou, e kau kākou i ka hoʻopau ʻana i ka Mining a ʻike i ka ʻokoʻa ma waena o Data Mining a me Data Extraction.
He aha ka ʻikepili ʻikepili?
ʻIke ʻikepili, kapa ʻia hoʻi ʻIke ʻike ma ka ʻikepili (KDD), he ʻenehana i hoʻohana pinepine ʻia e kālailai i ka nui o ka ʻikepili me ka hoʻohana ʻana i nā ʻenehana helu a me ka makemakika e ʻimi ai i nā hiʻohiʻona huna a i ʻole nā ʻano a unuhi i ka waiwai mai ia mau mea.
He aha kāu e hana ai me Data Mining?
Ma ka hana ʻana i ke kaʻina hana, hiki ke nānā i nā ʻikepili a ʻike pono i nā kumu huna. No nā ʻoihana, hoʻohana pinepine ʻia ka ʻimi ʻikepili e ʻike i nā mamana a me nā pilina i ka ʻikepili e kōkua ai i ka hoʻoholo ʻana i ka ʻoihana ʻoi aku ka maikaʻi.
Nā laʻana noi
Ma hope o ka laha nui ʻana o ka ʻimi ʻikepili i nā makahiki 1990, ua hoʻomaka nā ʻoihana i nā ʻano hana like ʻole, e like me ka hale kūʻai, ke kālā, ka mālama olakino, ka halihali, kelepona, e-commerce, etc. Hiki i ka mining data ke kōkua i ka hoʻokaʻawale ʻana i nā mea kūʻai aku, ʻike i ka hoʻopunipuni, wānana kūʻai, a me nā mea hou aku.
- Māhele kūʻai
Ma ka nānā ʻana i ka ʻikepili o ka mea kūʻai aku a me ka ʻike ʻana i nā hiʻohiʻona o nā mea kūʻai aku i hoʻopaʻa ʻia, hiki i nā hui ke kuhikuhi iā lākou i kahi pūʻulu kūʻokoʻa a hāʻawi i nā makana kūikawā e kūpono i ko lākou pono. - Mākeʻe Hīnaʻi Kūʻai
Hoʻokumu ʻia kēia ʻenehana ma ke kumumanaʻo inā kūʻai ʻoe i kahi hui o nā huahana, e kūʻai paha ʻoe i kahi hui o nā huahana. ʻO kekahi laʻana kaulana: ke kūʻai nā makua kāne i nā diapers no kā lākou pēpē, makemake lākou e kūʻai i ka pia me nā diapers. - Ka wanana kuai
Ua like paha kēia me ka nānā ʻana i ka hīnaʻi mākeke, akā hoʻohana ʻia kēia ʻikepili ʻikepili e wānana i ka wā e kūʻai hou ai ka mea kūʻai aku i kahi huahana i ka wā e hiki mai ana. No ka laʻana, kūʻai ke kumu aʻoaʻo i kahi kini o ka protein, pono e mau no 9 mau mahina. Hoʻolālā ka hale kūʻai e kūʻai aku nei i kēia protein e hoʻokuʻu i kahi mea hou i loko o 9 mau mahina no laila e kūʻai hou ka mea aʻo. - ʻIke Hoʻopunipuni
Kōkua ka ʻimi ʻikepili i ke kūkulu ʻana i nā kumu hoʻohālike e ʻike ai i ka hoʻopunipuni. Ma ka hōʻiliʻili ʻana i nā laʻana o nā hōʻike hoʻopunipuni a kūpono hoʻi, hāʻawi ʻia nā ʻoihana e hoʻoholo i ke ʻano o nā hana kānalua. - Ka ʻike ʻana o nā mamana i ka hana ʻana
I loko o ka ʻoihana hana, hoʻohana ʻia ka mining data e kōkua i ka hoʻolālā ʻōnaehana ma ka ʻike ʻana i ka pilina ma waena o ka hoʻolālā huahana, profile a me nā pono o ka mea kūʻai aku. Hiki i ka ʻimi ʻikepili ke wānana i nā manawa hoʻomohala huahana a me nā kumukūʻai.
A he mau hiʻohiʻona wale nō kēia no ka hoʻohana ʻana i ka mining data.
Nā Pae ʻIliʻiliʻi
ʻO ka ʻili ʻikepili ke kaʻina holoʻokoʻa o ka hōʻiliʻili, koho, hoʻomaʻemaʻe, hoʻololi a unuhi i ka ʻikepili no ka loiloi ʻana i nā mamana a me ka loaʻa ʻana o ka waiwai.
E like me ke kānāwai, hiki ke hōʻuluʻulu ʻia ke kaʻina hana ʻikepili holoʻokoʻa i 7 mau pae:
- Hoʻomaʻemaʻe ʻikepili
I ka honua maoli, ʻaʻole hoʻomaʻemaʻe mau ʻia ka ʻikepili a hoʻonohonoho ʻia. He walaʻau lākou, piha ʻole, a loaʻa paha nā hewa. No ka hōʻoia i ka pololei o ka hopena o ka ʻikepili, pono ʻoe e hoʻomaʻemaʻe i ka ʻikepili. ʻO kekahi mau hana hoʻomaʻemaʻe e pili ana i ka hoʻopiha ʻana i nā waiwai i nalowale, ka nānā ʻana a me ka manual, etc. - Hoʻohui ʻikepili
ʻO kēia ke kahua kahi e unuhi ʻia ai nā ʻikepili mai nā kumu like ʻole, hui ʻia a hoʻohui ʻia. Hiki i nā kumu ke ʻikepili, nā faila kikokikona, nā pāpalapala, nā palapala, nā pūʻulu ʻikepili multidimensional, ka Pūnaewele, a pēlā aku. - ʻIkepili laʻana
ʻO ka maʻamau, ʻaʻole pono nā ʻikepili i hoʻohui ʻia a pau i ka mining data. ʻO ka hōʻiliʻili ʻikepili ke kahua kahi e koho ʻia ai nā ʻikepili pono a lawe ʻia mai kahi waihona nui. - Hoʻololi ʻikepili
Ke koho ʻia ka ʻikepili, hoʻololi ʻia i nā ʻano kūpono no ka mining. Aia kēia kaʻina hana i ka normalization, aggregation, generalization, etc. - ʻIke ʻIke
Eia ka ʻāpana koʻikoʻi o ka ʻimi ʻikepili - me ka hoʻohana ʻana i nā ala naʻauao e ʻimi ai i nā kumu ma loko. Aia i loko o ke kaʻina ka regression, ka hoʻokaʻawale ʻana, ka wānana, ka hui ʻana, ke aʻo ʻana i ka hui, a me nā mea hou aku. - Ka loiloi hoʻohālike
Ke manaʻo nei kēia ʻanuʻu e ʻike i nā hiʻohiʻona hiki ke hoʻohana ʻia, maʻalahi ke hoʻomaopopo a kākoʻo i ke kuhiakau. - Hōʻike ʻike
I ka pae hope, hōʻike ʻia ka ʻike i loaʻa ma kahi ʻano hoihoi me ka hoʻohana ʻana i ka ʻike hōʻike a me nā ʻano hiʻohiʻona.
Nā pōʻino o ka ʻikepili ʻikepili
- Hoʻolilo nui i ka manawa a me ka hana
No ka mea he hana lōʻihi a paʻakikī ka ʻimi ʻikepili, pono ia i ka hana nui mai ka poʻe huahua a me ka poʻe akamai. Hiki i nā miners data ke hoʻohana pono i nā mea hana eli ʻikepili ikaika, akā koi lākou i nā loea e hoʻomākaukau i ka ʻikepili a hoʻomaopopo i nā hopena. ʻO ka hopena, hiki i kekahi manawa ke hoʻoponopono i nā ʻike āpau. - Pilikino a me ka palekana ʻikepili
Ma muli o ka hōʻiliʻili ʻana o ka ʻikepili i ka ʻikepili o ka mea kūʻai aku ma o nā ʻano mākeke, hiki ke hōʻeha i ka pilikino o ka mea hoʻohana. Eia hou, hiki i nā mea hacker ke loaʻa ka ʻikepili i mālama ʻia i nā ʻōnaehana data mining. He mea weliweli kēia i ka palekana o ka ʻikepili o ka mea kūʻai aku. Inā hoʻohana hewa ʻia ka ʻikepili i ʻaihue ʻia, hiki iā ia ke hōʻeha maʻalahi i nā poʻe ʻē aʻe.
ʻO ka mea i luna nei he hoʻolauna pōkole i ka ʻimi ʻikepili. E like me kaʻu i haʻi mua ai, pili ka ʻili ʻikepili i ke kaʻina o ka hōʻiliʻili ʻana a me ka hoʻohui ʻana i ka ʻikepili, e komo pū ana me ke kaʻina o ka ʻohi ʻikepili. I kēia hihia, palekana ka ʻōlelo ʻana e hiki i ka ʻohi ʻikepili ke lilo i ʻāpana o kahi kaʻina hana eli ʻikepili lōʻihi.
He aha ka ʻikepili ʻikepili?
ʻIke pū ʻia ʻo "mining data web" a me "web scraping," ʻo kēia kaʻina hana ka hana o ka unuhi ʻana i nā ʻikepili mai (ka mea maʻamau ʻaʻole i hoʻonohonoho ʻia a maikaʻi ʻole paha) nā kumu ʻikepili i nā wahi kikowaena a hoʻonohonoho iā lākou ma kahi hoʻokahi no ka mālama ʻana a i ʻole ka hana hou ʻana. ʻO ke kikoʻī, ʻo nā kumu ʻikepili i hoʻonohonoho ʻole ʻia e pili ana i nā ʻaoʻao pūnaewele, leka uila, nā palapala, nā faila PDF, nā kikokikona scanned, nā hōʻike nui, nā faila reel-to-reel, nā hoʻolaha, etc. Hiki ke hoʻopaʻa ʻia i waena, ke ao, a i ʻole hybrid. Pono e hoʻomanaʻo ʻaʻole i komo ka ʻili ʻikepili i ka hana a i ʻole ka nānā ʻana e hiki mai ana ma hope.
He aha kāu e hana ai me ka Data Extraction?
ʻO ke kumu, hāʻule nā kumu o ka unuhi ʻikepili i 3 mau ʻāpana.
- Pūnaewele
Hiki i ka unuhi ʻikepili ke hoʻololi i ka ʻikepili mai nā ʻano kino: nā puke, nā nūpepa, nā pepa i loko o nā ʻano kikohoʻe, e like me nā waihona no ka mālama ʻana a i ʻole ka hoʻihoʻi ʻana. - Ke hoʻololi nei i ke ʻano ʻikepili
Ke makemake ʻoe e neʻe i ka ʻikepili mai kāu pūnaewele i kēia manawa i kahi mea hou e kūkulu ʻia nei, hiki iā ʻoe ke hōʻiliʻili i ka ʻikepili mai kāu pūnaewele ponoʻī ma ka unuhi ʻana. - ʻIkepili ʻikepili
He mea maʻamau ka loiloi hou o ka ʻikepili i unuhi ʻia e loaʻa ai ka ʻike. Ua like paha kēia me ka mining data, akā e hoʻomanaʻo ʻo ka mining data ke kumu o ka mining data, ʻaʻole ia he hapa. Eia kekahi, ke kālailai ʻokoʻa ka ʻikepili. Hoʻokahi laʻana: Lawe nā mea kūʻai hale kūʻai pūnaewele i ka ʻike huahana mai nā pūnaewele e-commerce e like me Amazon e nānā i nā hoʻolālā o nā mea hoʻokūkū i ka manawa maoli. E like me ka mining data, ʻo ka ʻohi ʻikepili kahi kaʻina hana automated i loaʻa nā pono he nui. I ka wā ma mua, hoʻohana ka poʻe i ke kope a hoʻopaʻa lima i ka ʻikepili mai kahi wahi a i kahi ʻē aʻe, ʻo ia ka manawa e pau ai. Hoʻonui ka ʻohi ʻikepili i ka hōʻiliʻili a hoʻomaikaʻi nui i ka pololei o ka ʻikepili i unuhi ʻia.
ʻO kekahi mau laʻana o ka hoʻohana ʻana i ka Data Extraction
E like me ka mining data, hoʻohana nui ʻia ka data mining i nā ʻoihana like ʻole. Ma waho aʻe o ka nānā ʻana i nā kumukūʻai ma ka e-commerce, hiki i ka ʻimi ʻikepili ke kōkua i kāu noiʻi ponoʻī, ka hōʻuluʻulu nūhou, ke kūʻai aku ʻana, ka waiwai waiwai, ka huakaʻi a me ka mākaʻikaʻi, ke kūkākūkā, ke kālā a me nā mea hou aku.
- Hanau alakai
Hiki i nā ʻoihana ke unuhi i ka ʻikepili mai nā papa kuhikuhi: Yelp, Crunchbase, Yellowpages a hoʻopuka i nā alakaʻi no ka hoʻomohala ʻoihana. Hiki iā ʻoe ke nānā i ke wikiō ma lalo nei e aʻo pehea e unuhi ai i ka ʻikepili mai Yellowpages me ka hoʻohana ʻana . - ʻO ka hui ʻana o ka ʻike a me ka nūhou
Hiki i nā pūnaewele hōʻuluʻulu maʻiʻo ke loaʻa nā kahawai maʻamau o nā ʻikepili mai nā kumu he nui a mālama i kā lākou mau pūnaewele i kēia lā. - Nānā Manaʻo
Ma ka unuhi ʻana i nā loiloi, nā manaʻo, a me nā manaʻo mai nā pūnaewele media e like me Instagram a me Twitter, hiki i nā poʻe loea ke kālailai i nā manaʻo kumu a loaʻa ka ʻike i ke ʻano o ka ʻike ʻia ʻana o kahi hōʻailona, huahana, a i ʻole ke ʻano.
Nā ʻanuʻu ʻikepili
ʻO ka ʻikepili ʻikepili ka pae mua o ETL (abbreviation Extract, Transform, Load) a me ELT (extract, load and transform). ʻO ETL a me ELT kekahi ʻāpana o kahi hoʻolālā hoʻohui ʻikepili piha. I nā huaʻōlelo ʻē aʻe, hiki i ka ʻohi ʻikepili ke lilo i ʻāpana o ka mining data.
Wehe, hoʻohuli, hoʻouka
ʻOiai ʻo ka ʻimi ʻikepili e pili ana i ka unuhi ʻana i ka ʻike mai ka nui o ka ʻikepili, ʻoi aku ka pōkole a me ka maʻalahi o ka lawe ʻana i ka ʻikepili. Hiki ke hōʻemi ʻia i ʻekolu pae:
- Ke koho ʻana i kahi kumu ʻikepili
E koho i ke kumu āu e makemake ai e unuhi i ka ʻikepili mai, e like me kahi pūnaewele. - ʻOhi ʻikepili
E hoʻouna i kahi noi "GET" i ka pūnaewele a hoʻokaʻawale i ka palapala HTML e hoʻohana ana i nā ʻōlelo papahana e like me Python, PHP, R, Ruby, etc. - Waihona ʻikepili
E mālama i ka ʻikepili ma kāu waihona kūloko a i ʻole ka mālama ʻana i ke ao no ka hoʻohana ʻana i ka wā e hiki mai ana. Inā he polokalamu akamai ʻoe e makemake e unuhi i ka ʻikepili, maʻalahi paha nā ʻanuʻu i luna iā ʻoe. Eia nō naʻe, inā ʻaʻole ʻoe e hoʻopaʻa inoa, ʻo ka ʻaoʻao pōkole ke hoʻohana ʻana i nā mea hana unuhi ʻikepili, e.g. . Hoʻolālā ʻia nā mea hana ʻohi ʻikepili, e like me nā mea hana eli ʻikepili, e mālama i ka ikehu a e maʻalahi ka hoʻoili ʻikepili no kēlā me kēia. ʻO kēia mau mea hana ʻaʻole wale nō ka waiwai akā no ka mea hoʻomaka. Hāʻawi lākou i nā mea hoʻohana e hōʻiliʻili i ka ʻikepili i loko o nā minuke, mālama iā ia i ke ao a hoʻokuʻu aku iā ia i nā ʻano like ʻole: Excel, CSV, HTML, JSON a i ʻole i nā waihona pūnaewele ma o API.
Nā pōʻino o ka unuhi ʻikepili
- Pahu kikowaena
Ke hoʻihoʻi ʻia ka ʻikepili ma ke ʻano nui, hiki ke hoʻonui ʻia ke kikowaena pūnaewele o ka pūnaewele i manaʻo ʻia, kahi e hāʻule ai ke kikowaena. E pōʻino kēia i ka pono o ka mea nona ka pūnaewele. - Kāpae ʻia e IP
Ke hōʻiliʻili pinepine ke kanaka i ka ʻikepili, hiki i nā pūnaewele ke ālai i kā lākou IP address. Hiki i ka punawai ke hōʻole loa i ka IP address a i ʻole ka palena o ke komo ʻana, e hoʻopau ʻole i ka ʻikepili. No ka hoʻihoʻi ʻana i ka ʻikepili a pale aku i ka pale ʻana, pono ʻoe e hana me ka wikiwiki kūpono a hoʻohana i kekahi mau hana anti-blocking. - Nā pilikia me ke kānāwai
ʻO ka unuhi ʻana i ka ʻikepili mai ka pūnaewele e hāʻule i kahi ʻāpana hina ke pili i ke kānāwai. ʻO nā pūnaewele nui e like me Linkedin a me Facebook e hōʻike maopopo ana i kā lākou ʻōlelo hoʻohana e pāpā ʻia kekahi ʻikepili ʻikepili. Ua nui nā hoʻopiʻi ma waena o nā hui ma muli o ka hana bot.
Nā ʻokoʻa koʻikoʻi ma waena o ka ʻili ʻikepili a me ka unuhi ʻana i ka ʻikepili
- Ua kapa ʻia ka ʻimi ʻikepili i ka ʻike ʻike i loko o nā ʻikepili, ka ʻohi ʻike, ka ʻike ʻike / kumu hoʻohālike, ka ʻohi ʻike. Hoʻohana ʻia ka ʻili ʻikepili me ka unuhi ʻikepili pūnaewele, ke kolo pūnaewele, ka ʻimi ʻikepili, a pēlā aku.
- Hoʻokumu nui ʻia ka noiʻi ʻana i ka ʻikepili i kūkulu ʻia, ʻoiai ma ka ʻimi ʻana i ka ʻikepili e lawe pinepine ʻia ia mai nā kumu i kūkulu ʻole ʻia a maikaʻi ʻole paha.
- ʻO ka pahuhopu o ka ʻimi ʻikepili ʻo ia ka hoʻonui ʻana i ka ʻikepili no ka nānā ʻana. ʻO ka ʻohi ʻikepili ka hōʻiliʻili ʻana i nā ʻikepili i kahi hoʻokahi kahi e mālama ai a mālama ʻia paha.
- Hoʻokumu ʻia ka ʻikepili ma ka ʻimi ʻikepili ma nā ʻano makemakika no ka ʻike ʻana i nā mamana a i ʻole nā ʻano. Hoʻokumu ʻia ka ʻohi ʻikepili ma nā ʻōlelo papahana a i ʻole nā mea hana e ʻohi ai i nā kumu.
- ʻO ka pahuhopu o ka ʻimi ʻikepili ʻo ia ka ʻimi ʻana i nā ʻoiaʻiʻo i ʻike ʻole ʻia a nānā ʻole ʻia paha, ʻoiai ʻo ka unuhi ʻikepili e pili ana i ka ʻike i loaʻa.
- ʻOi aku ka paʻakikī o ka ʻili ʻikepili a koi i nā hoʻopukapuka nui i ke aʻo ʻana i nā kānaka. ʻO ka unuhi ʻikepili, ke hoʻohana ʻia me ka hāmeʻa kūpono, hiki ke maʻalahi loa a me ke kumu kūʻai.
Kōkua mākou i ka poʻe hoʻomaka ʻaʻole e huikau i ka ʻikepili. Ua hana mākou i kahi code hoʻolaha no nā kamaʻāina Khabra HABR, e hāʻawi ana i kahi hōʻemi hou 10% i ka hōʻemi i hōʻike ʻia ma ka hae.
Nā papa hou aʻe
Nā ʻatikala
Source: www.habr.com