Dua buzzwords Élmu Data ieu ngabingungkeun seueur jalma. Data Mining sering disalahartikeun salaku ékstraksi sareng retrieving data, tapi kanyataanana langkung kompleks. Dina tulisan ieu, hayu urang dot Mining sareng terangkeun bédana antara Data Mining sareng Data Extraction.
Naon Data Mining?
Data mining, disebut oge Panggihan Pangetahuan Basis Data (KDD), Téhnik anu sering dianggo pikeun nganalisa set data ageung nganggo metode statistik sareng matematika pikeun milarian pola atanapi tren anu disumputkeun sareng nimba nilai ti aranjeunna.
Naon anu tiasa dilakukeun ku Data Mining?
Ku ngajadikeun otomatis prosés, tiasa ngotéktak pangkalan data sareng sacara efektif ngabongkar pola anu disumputkeun. Pikeun usaha, pertambangan data sering dianggo pikeun mendakan pola sareng hubungan dina data pikeun ngabantosan kaputusan bisnis anu langkung saé.
Conto aplikasi
Sanggeus data mining nyebar di taun 1990-an, pausahaan dina rupa-rupa industri, kaasup ritel, keuangan, kasehatan, transportasi, telekomunikasi, e-commerce, jeung sajabana, mimiti ngagunakeun métode data mining pikeun meunangkeun informasi dina basis data. Pertambangan data tiasa ngabantosan para nasabah segmen, ngaidentipikasi panipuan, ngaramal penjualan, sareng seueur deui.
- segmentation konsumén
Ku nganalisa data palanggan sareng ngaidentipikasi ciri-ciri palanggan target, perusahaan tiasa ngagolongkeun kana grup anu misah sareng nyayogikeun nawaran khusus anu nyumponan kabutuhanna. - Analisis Basket Pasar
Téhnik ieu dumasar kana téori yén lamun meuli grup tangtu produk, anjeun leuwih gampang meuli grup béda produk. Hiji conto kawentar: lamun bapa meuli popok pikeun orok maranéhanana, aranjeunna condong meuli bir babarengan jeung popok. - ramalan jualan
Éta sigana sami sareng analisis karinjang pasar, tapi waktos analisis data ieu dianggo pikeun ngaduga iraha palanggan bakal ngagaleuh produk deui di hareup. Contona, palatih meuli kaléng protéin anu sakuduna tahan pikeun 9 bulan. Toko anu ngajual protéin ieu ngarencanakeun ngaleupaskeun anu énggal dina 9 sasih supados palatih ngagaleuh deui. - deteksi panipuan
Pertambangan data ngabantosan dina ngawangun modél pikeun deteksi panipuan. Ku ngumpulkeun conto laporan curang jeung jujur, usaha anu empowered pikeun nangtukeun mana transaksi curiga. - deteksi pola dina produksi
Dina industri manufaktur, data pertambangan dipaké pikeun mantuan desain sistem ku identifying hubungan antara arsitektur produk, profil, jeung kabutuhan customer. Pertambangan data ogé tiasa ngaduga waktos sareng biaya pangembangan produk.
Sareng ieu mangrupikeun sababaraha kasus pamakean pikeun pertambangan data.
Tahapan data mining
Data mining mangrupa prosés holistik pikeun ngumpulkeun, milih, meresihan, ngarobah, jeung ékstraksi data pikeun meunteun pola-pola jeung, pamustunganana, ékstrak nilai.
Sacara umum, sakabéh prosés data mining bisa diringkeskeun kana 7 léngkah:
- Ngabersihan data
Di dunya nyata, data teu salawasna cleaned tur terstruktur. Aranjeunna sering ribut, teu lengkep, sareng tiasa ngandung kasalahan. Pikeun mastikeun hasil tambang data akurat, anjeun kedah ngabersihan data heula. Sababaraha metode beberesih kalebet ngeusian nilai anu leungit, kontrol otomatis sareng manual, sareng saterasna. - Integrasi data
Ieu mangrupikeun tahap dimana data tina sumber anu béda diekstrak, digabungkeun sareng terpadu. Sumberna tiasa database, file téks, spreadsheets, dokumén, datasets multidimensi, Internét, jeung saterusna. - Sampling data
Biasana, henteu sadayana data terpadu diperyogikeun dina pertambangan data. Sampling data nyaéta tahapan dimana ngan ukur data mangpaat anu dipilih sareng diékstrak tina pangkalan data anu ageung. - Konvérsi data
Saatos data dipilih, éta dirobih kana bentuk anu cocog pikeun pertambangan. Proses ieu kalebet normalisasi, agrégasi, generalisasi, jsb. - Panambangan data
Di dieu asalna bagian pangpentingna tina pertambangan data - ngagunakeun métode calakan pikeun manggihan pola di antarana. Prosésna kalebet régrési, klasifikasi, prediksi, clustering, diajar asosiasi, sareng seueur deui. - Evaluasi modél
Léngkah ieu boga tujuan pikeun ngaidentipikasi pola anu berpotensi mangpaat, gampang kaharti, kitu ogé pola anu ngarojong hipotésis. - Répréséntasi Pangaweruh
Dina tahap ahir, informasi anu dimeunangkeun ditepikeun ku cara anu pikaresepeun ngagunakeun metode representasi pangaweruh sareng visualisasi.
Kalemahan Data Mining
- Investasi ageung waktos sareng tenaga kerja
Kusabab pertambangan data mangrupikeun prosés anu panjang sareng rumit, peryogi seueur padamelan ti jalma-jalma anu produktif sareng terampil. Élmuwan data tiasa nganggo alat pertambangan data anu kuat, tapi aranjeunna peryogi ahli pikeun nyiapkeun data sareng ngartos hasilna. Hasilna, bakal butuh sababaraha waktos pikeun ngolah sadaya inpormasi. - Privasi sareng kaamanan data
Kusabab data pertambangan ngumpulkeun informasi ngeunaan konsumén ngaliwatan métode pasar, éta bisa ngalanggar privasi pamaké. Salaku tambahan, peretas tiasa kéngingkeun data anu disimpen dina sistem pertambangan data. Ieu nyababkeun ancaman pikeun kaamanan data palanggan. Upami data anu dipaling disalahgunakeun, éta tiasa ngabahayakeun batur.
Di luhur mangrupa bubuka ringkes data mining. Sakumaha anu parantos disebatkeun, data mining ngandung prosés ngumpulkeun sareng ngahijikeun data, anu kalebet prosés ékstraksi data (ekstraksi data). Dina hal ieu, éta aman pikeun nyebutkeun yén ékstraksi data bisa jadi bagian tina prosés pertambangan data panjang.
Naon Ekstraksi Data?
Ogé kawanoh salaku "web data pertambangan" jeung "web scraping", prosés ieu kalakuan extracting data tina (biasana teu kaduga atawa kirang terstruktur) sumber data kana lokasi terpusat sarta centralization dina hiji lokasi pikeun neundeun atawa ngolah salajengna. Sacara husus, sumber data teu terstruktur ngawengku kaca web, email, dokumén, file PDF, téks scan, laporan mainframe, file reel, announcements, jeung saterusna. Panyimpenan terpusat tiasa lokal, awan atanapi hibrida. Penting pikeun émut yén ékstraksi data henteu kalebet ngolah atanapi analisa sanés anu tiasa lumangsung engké.
Naon anu tiasa dilakukeun ku Ekstraksi Data?
Dasarna, tujuan ékstraksi data digolongkeun kana 3 kategori.
- Ngarsipkeun
Ékstraksi data tiasa ngarobih data tina format fisik sapertos buku, koran, invoice kana format digital sapertos pangkalan data pikeun neundeun atanapi cadangan. - Ngarobah format data
Nalika anjeun badé migrasi data tina situs anjeun ayeuna ka anu anyar dina pangwangunan, anjeun tiasa ngumpulkeun data tina situs anjeun nyalira ku cara ngémutan éta. - Analisis data
Biasana pikeun nganalisis data anu sasari pikeun meunangkeun wawasan. Ieu tiasa disada sami sareng data mining, tapi émut yén data mining mangrupikeun tujuan pertambangan data, sanés bagian tina éta. Leuwih ti éta, data dianalisis béda. Hiji conto nyaéta yén pamilik toko online narik inpormasi produk tina situs e-commerce sapertos Amazon pikeun ngawas strategi pesaing sacara real waktos. Kawas pertambangan data, ékstraksi data mangrupa prosés otomatis kalawan loba mangpaat. Baheula, jalma nyalin sareng nempelkeun data sacara manual ti hiji tempat ka tempat anu sanés, anu nyéépkeun waktos. Ékstraksi data nyepetkeun pangumpulan sareng ningkatkeun katepatan data anu sasari.
Sababaraha conto ngagunakeun Data Extraction
Sarupa jeung data mining, data mining loba dipaké dina sagala rupa industri. Salian ngawaskeun harga e-commerce, pertambangan data tiasa ngabantosan panalungtikan anjeun nyalira, agrégasi warta, pamasaran, perumahan, perjalanan sareng pariwisata, konsultasi, kauangan, sareng seueur deui.
- Generasi kalungguhan
Perusahaan tiasa nimba data tina diréktori: Yelp, Crunchbase, Yellowpages sareng ngahasilkeun petunjuk pikeun pangwangunan bisnis. Anjeun tiasa nonton pidéo di handap ieu pikeun diajar kumaha nimba data tina Yellowpages sareng . - Agregasi eusi jeung warta
Situs web aggregating eusi bisa nampa feed data biasa ti sababaraha sumber sarta tetep situs maranéhanana up to date. - Analisis Sentimén
Saatos ékstrak ulasan, koméntar, sareng kasaksian tina jaringan sosial sapertos Instagram sareng Twitter, para profesional tiasa nganalisis sikep anu aya dina dasarna sareng nampi wawasan ngeunaan kumaha merek, produk, atanapi fenomena ditanggap.
Léngkah Ékstrak Data
Ékstraksi data nyaéta tahap mimiti ETL (Extract, Transform, Load: Extract, Transform, Load) jeung ELT (Extract, Load, and Transform). ETL sareng ELT mangrupikeun bagian tina strategi integrasi data anu lengkep. Dina basa sejen, extracting data bisa jadi bagian tina ékstraksi maranéhanana.
Ékstrak, transformasi, beban
Bari pertambangan data téh sadayana ngeunaan extracting informasi tina jumlah badag data, ékstraksi data nyaéta prosés loba pondok tur basajan. Éta bisa diréduksi jadi tilu tahap:
- Milih sumber data
Pilih sumber anu anjeun hoyong nimba data, sapertos situs wéb. - Ngumpulkeun data
Kirimkeun pamundut "GET" ka situs sareng parse dokumén HTML anu hasilna nganggo basa pamrograman sapertos Python, PHP, R, Ruby, jsb. - Panyimpenan data
Simpen data kana pangkalan data lokal anjeun atanapi panyimpen awan pikeun dianggo ka hareup. Upami anjeun programmer anu berpengalaman anu hoyong nimba data, léngkah-léngkah di luhur sigana saderhana pikeun anjeun. Nanging, upami anjeun sanés programmer, aya potong kompas - use data mining tools like . Alat ékstraksi data, sapertos alat pertambangan data, dirancang pikeun ngahémat énergi sareng ngagampangkeun ngolah data pikeun sadayana. Alat-alat ieu henteu ngan ukur ekonomis, tapi ogé ramah-pemula. Aranjeunna ngidinan pamaké pikeun ngumpulkeun data dina sababaraha menit, nyimpen eta dina awan, sarta ngekspor ka loba format: Excel, CSV, HTML, JSON, atawa ka basis data dina situs via API.
Kakurangan Ekstraksi Data
- Server kacilakaan
Nalika nimba data dina skala anu ageung, pangladén wéb situs target tiasa kabeuratan, anu tiasa nyababkeun kacilakaan server. Ieu bakal ngarugikeun kapentingan nu boga situs. - Larangan ku IP
Nalika hiji jalma sering teuing ngumpulkeun data, situs wéb tiasa meungpeuk alamat IP na. Sumberdaya tiasa lengkep ngalarang alamat IP atanapi ngabatesan aksés ku ngajantenkeun data teu lengkep. Pikeun meunangkeun data jeung nyingkahan blocking, Anjeun kudu ngalakukeun hal eta dina laju sedeng jeung nerapkeun sababaraha téhnik anti blocking. - Masalah sareng hukum
Extracting data tina web ragrag kana wewengkon abu lamun datang ka legality. Situs-situs utama sapertos Linkin sareng Facebook jelas nyatakeun dina watesan panggunaan yén ékstraksi data otomatis dilarang. Aya seueur gugatan antara perusahaan kusabab kagiatan bot.
Beda Konci Antara Pertambangan Data sareng Ekstraksi Data
- Data mining disebut ogé penemuan pangaweruh dina basis data, ékstraksi pangaweruh, analisis data/pola, ngumpulkeun informasi. Ékstraksi data dipaké silih ganti jeung ékstraksi data wéb, scanning kaca wéb, ngumpulkeun data, jeung sajabana.
- Panalungtikan data mining lolobana dumasar kana data terstruktur sedengkeun data mining biasana nyokot tina sumber anu teu terstruktur atawa kurang terstruktur.
- Tujuan tina data mining nyaéta sangkan data leuwih mangpaat pikeun dianalisis. Ékstraksi data nya éta ngumpulkeun data kana hiji tempat anu bisa disimpen atawa diolah.
- Analisis dina data mining dumasar kana métode matematik pikeun ngaidentipikasi pola atawa tren. Ékstraksi data dumasar kana basa pamrograman atanapi alat ékstraksi data pikeun ngalangkungan sumber.
- Tujuan data mining nyaéta pikeun manggihan fakta-fakta anu saméméhna teu dipikanyaho atawa teu dipaliré, sedengkeun ékstraksi data nguruskeun informasi nu geus aya.
- Pertambangan data langkung rumit sareng peryogi investasi anu ageung pikeun ngalatih jalma. Ékstraksi data sareng alat anu leres tiasa pisan gampang sareng biaya anu efektif.
Urang mantuan beginners teu meunang bingung dina Data. Hususna pikeun habravchans, urang dijieun kode promosi HABR, méré tambahan 10% diskon kana diskon dituduhkeun dina spanduk.
Langkung kursus
Artikel Diulas
sumber: www.habr.com