De mo sa yo syans done konfonn anpil moun. Done Mining souvan konpwann kòm èkstraksyon ak rekipere done, men reyalite a se pi plis konplèks. Nan pòs sa a, ann pwen Mining epi chèche konnen diferans ki genyen ant Done Mining ak Done Ekstraksyon.
Ki sa ki done Mining?
Done min, yo rele tou Dekouvèt Konesans baz done (KDD), se yon teknik ki souvan itilize pou analize gwo seri done lè l sèvi avèk metòd estatistik ak matematik pou jwenn modèl oswa tandans kache epi ekstrè valè nan men yo.
Ki sa ki ka fè ak Data Mining?
Lè otomatize pwosesis la, ka browse baz done ak efektivman dekouvri modèl kache. Pou biznis, done min yo souvan itilize yo dekouvri modèl ak relasyon nan done yo ede pran pi bon desizyon biznis.
Egzanp aplikasyon yo
Apre done min te vin gaye toupatou nan ane 1990 yo, konpayi yo nan yon pakèt endistri, ki gen ladan Yo Vann an Detay, finans, swen sante, transpò, telekominikasyon, e-commerce, elatriye, te kòmanse sèvi ak metòd done min yo jwenn enfòmasyon sou baz done. Done min ka ede segman kliyan yo, idantifye fwod, predi lavant, ak plis ankò.
- Segmantasyon kliyan
Lè yo analize done kliyan yo ak idantifye karakteristik kliyan sib yo, konpayi yo ka gwoup yo nan yon gwoup separe epi bay òf espesyal ki satisfè bezwen yo. - Analiz panyen mache
Teknik sa a baze sou teyori a ke si ou achte yon sèten gwoup pwodwi, ou gen plis chans achte yon gwoup diferan nan pwodwi yo. Yon egzanp pi popilè: lè papa yo achte kouchèt pou tibebe yo, yo gen tandans achte byè ansanm ak kouchèt yo. - Previzyon lavant
Li ka sanble menm jan ak analiz panyen sou mache a, men tan sa a analiz done yo itilize pou predi lè yon kliyan pral achte yon pwodwi ankò nan tan kap vini an. Pou egzanp, yon antrenè achte yon bwat pwoteyin ki ta dwe dire pou 9 mwa. Magazen ki vann pwoteyin sa a prevwa lage yon nouvo nan 9 mwa pou antrenè a achte l ankò. - Deteksyon fwod
Done min ede nan bati modèl pou deteksyon fwod. Lè yo kolekte echantiyon rapò fo ak veridik, biznis yo gen pouvwa pou detèmine ki tranzaksyon yo sispèk. - Deteksyon modèl nan pwodiksyon an
Nan endistri manifakti a, done min yo itilize pou ede konsepsyon sistèm lè yo idantifye relasyon ki genyen ant achitekti pwodwi, pwofil, ak bezwen kliyan yo. Done min kapab tou predi tan devlopman pwodwi ak depans yo.
Ak sa yo se jis kèk ka itilize pou min done.
Etap nan min done
Done min se yon pwosesis holistic nan kolekte, chwazi, netwaye, transfòme, ak ekstrè done yo nan lòd yo evalye modèl epi, finalman, ekstrè valè.
Anjeneral, tout pwosesis done min yo ka rezime nan 7 etap:
- Done netwayaj
Nan mond reyèl la, done yo pa toujou netwaye ak estriktire. Yo souvan fè bwi, enkonplè, epi yo ka gen erè. Pou asire w ke rezilta min done a egzat, ou bezwen premye netwaye done yo. Gen kèk metòd netwayaj ki gen ladan ranpli valè ki manke yo, kontwòl otomatik ak manyèl, ak sou sa. - Entegrasyon done
Sa a se etap kote done ki soti nan diferan sous yo ekstrè, konbine ak entegre. Sous yo ka baz done, fichye tèks, fèy kalkil, dokiman, seri done miltidimansyon, Entènèt, ak sou sa. - Done echantiyonaj
Anjeneral, se pa tout done entegre ki nesesè nan min done. Echantiyon done se etap kote sèlman done itil yo chwazi epi ekstrè soti nan yon baz done gwo. - Konvèsyon done
Yon fwa yo chwazi done yo, li konvèti nan fòm apwopriye pou min. Pwosesis sa a gen ladan nòmalizasyon, agrégation, jeneralizasyon, elatriye. - Done min
Isit la vini pati ki pi enpòtan nan done min - lè l sèvi avèk metòd entèlijan jwenn modèl nan yo. Pwosesis la gen ladan l regresyon, klasifikasyon, prediksyon, gwoupman, aprantisaj asosyasyon, ak plis ankò. - Evalyasyon modèl
Etap sa a gen pou objaktif pou idantifye modèl ki kapab itil, fasil pou konprann, ansanm ak modèl ki sipòte ipotèz yo. - Reprezantasyon Konesans
Nan etap final la, enfòmasyon yo jwenn yo prezante nan yon fason atire lè l sèvi avèk reprezantasyon konesans ak metòd vizyalizasyon.
Dezavantaj done Mining
- Gwo envestisman nan tan ak travay
Depi done min se yon pwosesis long ak konplèks, li mande anpil travay nan men moun ki pwodiktif ak kalifye. Done syantis yo ka itilize zouti pwisan done min, men yo bezwen ekspè yo prepare done yo ak konprann rezilta yo. Kòm yon rezilta, li ka pran kèk tan pou trete tout enfòmasyon yo. - Done konfidansyalite ak sekirite
Paske done min kolekte enfòmasyon kliyan atravè metòd mache, li ka vyole vi prive itilizatè. Anplis de sa, entru ka jwenn done ki estoke nan sistèm done min. Sa a reprezante yon menas pou sekirite done kliyan yo. Si done yo vòlè yo mal itilize, li ka fasilman fè lòt moun mal.
Pi wo a se yon entwodiksyon tou kout nan min done. Kòm mwen deja mansyone, done min gen pwosesis pou kolekte ak entegre done, ki gen ladan pwosesis la nan ekstrè done (ekstraksyon done). Nan ka sa a, li an sekirite yo di ke ekstraksyon done ka fè pati yon pwosesis done mining long.
Ki sa ki se Ekstraksyon Done?
Epitou li te ye tankou "web done mining" ak "web scraping", pwosesis sa a se zak ekstrè done ki soti nan (anjeneral san estrikti oswa mal estriktire) sous done nan kote santralize ak santralizasyon nan yon sèl kote pou depo oswa plis pwosesis. Espesyalman, sous done ki pa estriktire yo enkli paj wèb, imèl, dokiman, fichye PDF, tèks tcheke, rapò mainframe, dosye bobin, anons, ak sou sa. Depo santralize ka lokal, nwaj oswa ibrid. Li enpòtan pou sonje ke ekstraksyon done pa gen ladan pwosesis oswa lòt analiz ki ka rive pita.
Ki sa ki ka fè ak ekstraksyon done?
Fondamantalman, rezon ekstraksyon done yo tonbe nan 3 kategori.
- Achiv
Ekstraksyon done ka konvèti done ki soti nan fòma fizik tankou liv, jounal, fakti nan fòma dijital tankou baz done pou depo oswa backup. - Chanje fòma done a
Lè ou vle emigre done ki soti nan sit ou ye kounye a nan yon nouvo sou devlopman, ou ka kolekte done ki soti nan pwòp sit ou a lè w ekstrè li. - Done analiz
Li komen pou plis analize done yo ekstrè pou jwenn insight sou li. Sa a ka son menm jan ak done min, men kenbe nan tèt ou ke done min se objektif la nan min done, pa yon pati nan li. Anplis, done yo analize yon fason diferan. Yon egzanp se ke pwopriyetè magazen sou entènèt rale enfòmasyon sou pwodwi nan sit e-commerce tankou Amazon pou kontwole estrateji konkiran an tan reyèl. Menm jan ak done min, ekstraksyon done se yon pwosesis otomatik ki gen anpil avantaj. Nan tan lontan an, moun kopye epi kole done manyèlman soti nan yon kote nan yon lòt, ki te trè tan konsome. Ekstraksyon done akselere koleksyon ak anpil amelyore presizyon nan done yo ekstrè.
Gen kèk egzanp lè l sèvi avèk Ekstraksyon Done
Menm jan ak done min, done min se lajman ki itilize nan divès endistri. Anplis de sa nan siveyans pri e-commerce, done min ka ede ak pwòp rechèch ou a, agrégation nouvèl, maketing, byen imobilye, vwayaj ak touris, konsiltasyon, finans, ak plis ankò.
- Plon jenerasyon
Konpayi yo ka ekstrè done ki soti nan anyè: Yelp, Crunchbase, Yellowpages ak jenere mennen pou devlopman biznis. Ou ka gade videyo ki anba a pou aprann kijan pou ekstrè done ki soti nan Yellowpages avèk yo . - Agregasyon nan kontni ak nouvèl
Sit entènèt ki rasanble kontni yo ka resevwa done regilye nan plizyè sous epi kenbe sit yo ajou. - Analiz santiman
Apre yo fin ekstrè revizyon, kòmantè, ak temwayaj nan rezo sosyal tankou Instagram ak Twitter, pwofesyonèl yo ka analize atitid ki kache yo epi jwenn apèsi sou fason yo wè yon mak, yon pwodwi oswa yon fenomèn.
Etap Ekstraksyon Done
Ekstraksyon done se premye etap nan ETL (Extract, Transform, Load: Extrait, Transform, Load) ak ELT (Extract, Load, and Transform). ETL ak ELT yo fè pati yon estrateji entegrasyon done konplè. Nan lòt mo, èkstraksyon done ka fè pati ekstraksyon yo.
Ekstrè, transfòme, chaje
Pandan ke done min se tout sou èkstraksyon enfòmasyon ki soti nan gwo kantite done, ekstraksyon done se yon pwosesis ki pi kout ak pi senp. Li ka redwi a twa etap:
- Chwazi yon sous done
Chwazi sous ou vle ekstrè done, tankou yon sit entènèt. - Koleksyon done
Voye yon demann "GET" sou sit la epi analize dokiman HTML ki kapab lakòz lè l sèvi avèk langaj pwogramasyon tankou Python, PHP, R, Ruby, elatriye. - Done depo
Sove done yo nan baz done lokal ou a oswa nan depo nwaj pou itilize nan lavni. Si ou se yon pwogramè ki gen eksperyans ki vle ekstrè done, etap ki anwo yo ka sanble senp pou ou. Sepandan, si ou pa yon pwogramè, gen yon chemen kout - itilize done mining tools like . Zouti ekstraksyon done yo, menm jan ak zouti min done, yo fèt pou ekonomize enèji epi fè pwosesis done fasil pou tout moun. Zouti sa yo pa sèlman ekonomik, men tou pou débutan-zanmitay. Yo pèmèt itilizatè yo kolekte done nan kèk minit, estoke yo nan nwaj la, epi ekspòte yo nan plizyè fòma: Excel, CSV, HTML, JSON, oswa nan baz done sou sit la atravè yon API.
Dezavantaj nan ekstraksyon done
- Sèvè echèk
Lè ekstrè done sou yon gwo echèl, sèvè wèb la nan sit sib la ka twò chaje, sa ki ka mennen nan yon aksidan sèvè. Sa a pral mal enterè pwopriyetè sit la. - Entèdiksyon pa IP
Lè yon moun kolekte done twò souvan, sit entènèt yo ka bloke adrès IP yo. Yon resous ka konplètman entèdi yon adrès IP oswa mete restriksyon sou aksè nan fè done yo enkonplè. Pou rekipere done epi evite bloke, ou bezwen fè li nan yon vitès modere epi aplike kèk teknik anti-bloke. - Pwoblèm ak lalwa
Èkstraksyon done ki soti nan entènèt la tonbe nan yon zòn gri lè li rive legalite. Gwo sit tankou Linkedin ak Facebook deklare klèman nan kondisyon yo pou itilize yo ke nenpòt ekstraksyon otomatik nan done entèdi. Te gen anpil pwosè ant konpayi akòz aktivite bot.
Diferans kle ant done min ak done ekstraksyon
- Done min yo rele tou dekouvèt konesans nan baz done, ekstraksyon konesans, analiz done / modèl, rasanble enfòmasyon. Ekstraksyon done yo itilize entèrchanjabl ak ekstraksyon done entènèt, optik paj entènèt, koleksyon done, ak sou sa.
- Rechèch done min se sitou ki baze sou done estriktire tandiske done min anjeneral trase nan sous ki pa estriktire oswa mal estriktire.
- Objektif done min se fè done pi itil pou analiz. Ekstraksyon done se koleksyon done nan yon sèl kote kote yo ka estoke oswa trete.
- Analiz nan min done baze sou metòd matematik pou idantifye modèl oswa tandans. Ekstraksyon done baze sou langaj pwogramasyon oswa zouti ekstraksyon done pou kontourne sous yo.
- Objektif done min se jwenn reyalite ki pa te deja konnen oswa inyore, pandan y ap fè ekstraksyon done ak enfòmasyon ki egziste deja.
- Done min se pi konplèks epi li mande yon gwo envestisman nan fòmasyon moun. Ekstraksyon done ak zouti dwat la ka trè fasil ak pri efikas.
Nou ede débutan pa jwenn konfonn nan Done. Espesyalman pou habravchans, nou te fè yon kòd pwomosyonèl HABR, bay yon rabè adisyonèl 10% nan rabè ki endike sou banyè a.
Plis kou
Atik ki prezante yo
Sous: www.habr.com