Kedua istilah Ilmu Data ini membingungkan banyak orang. Data Mining sering disalahartikan sebagai penggalian dan pengambilan data, namun kenyataannya jauh lebih kompleks. Dalam postingan kali ini, mari kita beri titik pada Mining dan cari tahu perbedaan antara Data Mining dan Ekstraksi Data.
Apa itu Penambangan Data?
Penambangan data, disebut juga Penemuan Pengetahuan Basis Data (KDD), adalah teknik yang sering digunakan untuk menganalisis kumpulan data besar menggunakan metode statistik dan matematika untuk menemukan pola atau tren tersembunyi dan mengekstraksi nilai darinya.
Apa yang bisa dilakukan dengan Penambangan Data?
Dengan mengotomatisasi proses, dapat memindai database dan secara efektif mengidentifikasi pola tersembunyi. Bagi bisnis, data mining sering digunakan untuk mengidentifikasi pola dan hubungan dalam data untuk membantu membuat keputusan bisnis yang lebih baik.
Contoh aplikasi
Setelah penambangan data meluas pada tahun 1990an, perusahaan di berbagai industri, termasuk ritel, keuangan, perawatan kesehatan, transportasi, telekomunikasi, e-commerce, dll., mulai menggunakan metode penambangan data untuk memperoleh informasi berbasis data. Penambangan data dapat membantu mengelompokkan pelanggan, mengidentifikasi penipuan, memprediksi penjualan, dan banyak lagi.
- Segmentasi pelanggan
Dengan menganalisis data pelanggan dan mengidentifikasi karakteristik pelanggan sasaran, perusahaan dapat menargetkan mereka ke dalam kelompok yang berbeda dan memberikan penawaran khusus yang memenuhi kebutuhan mereka. - Analisis Keranjang Pasar
Teknik ini didasarkan pada teori bahwa jika Anda membeli sekelompok produk tertentu, kemungkinan besar Anda akan membeli kelompok produk lain. Salah satu contoh yang terkenal: ketika ayah membelikan popok untuk bayinya, mereka cenderung membeli bir bersama dengan popoknya. - Peramalan Penjualan
Mungkin terlihat mirip dengan analisis keranjang pasar, namun kali ini analisis data digunakan untuk memprediksi kapan pelanggan akan membeli suatu produk lagi di masa mendatang. Misalnya, seorang pelatih membeli sekaleng protein yang dapat bertahan selama 9 bulan. Toko yang menjual protein ini berencana merilis yang baru dalam 9 bulan agar pelatih dapat membelinya lagi. - Deteksi Penipuan
Penambangan data membantu dalam membangun model untuk deteksi penipuan. Dengan mengumpulkan sampel laporan palsu dan sah, bisnis dapat menentukan transaksi mana yang mencurigakan. - Deteksi pola dalam produksi
Dalam industri manufaktur, data mining digunakan untuk membantu merancang sistem dengan mengidentifikasi hubungan antara arsitektur produk, profil, dan kebutuhan pelanggan. Penambangan data juga dapat memprediksi waktu dan biaya pengembangan produk.
Dan ini hanyalah beberapa kasus penggunaan data mining.
Tahapan penambangan data
Penambangan data adalah proses holistik dalam mengumpulkan, memilih, membersihkan, mengubah, dan mengekstraksi data untuk mengevaluasi pola dan pada akhirnya mengekstraksi nilai.
Secara umum, keseluruhan proses penambangan data dapat diringkas menjadi 7 langkah:
- Pembersihan data
Di dunia nyata, data tidak selalu dibersihkan dan terstruktur. Mereka sering kali berisik, tidak lengkap, dan mungkin mengandung kesalahan. Untuk memastikan hasil data mining akurat, Anda perlu melakukan pembersihan data terlebih dahulu. Beberapa metode pembersihan termasuk mengisi nilai yang hilang, kontrol otomatis dan manual, dan sebagainya. - Integrasi data
Ini adalah tahap di mana data dari berbagai sumber diekstraksi, digabungkan, dan diintegrasikan. Sumber dapat berupa database, file teks, spreadsheet, dokumen, kumpulan data multidimensi, Internet, dan sebagainya. - Pengambilan sampel data
Biasanya, tidak semua data terintegrasi diperlukan dalam data mining. Pengambilan sampel data adalah tahap di mana hanya data yang berguna yang dipilih dan diekstraksi dari database besar. - Konversi data
Setelah data dipilih, data tersebut diubah menjadi bentuk yang sesuai untuk penambangan. Proses ini meliputi normalisasi, agregasi, generalisasi, dll. - Penambangan data
Inilah bagian terpenting dari penambangan data – menggunakan metode cerdas untuk menemukan pola di dalamnya. Prosesnya meliputi regresi, klasifikasi, prediksi, pengelompokan, pembelajaran asosiasi, dan banyak lagi. - Evaluasi model
Langkah ini bertujuan untuk mengidentifikasi pola yang berpotensi berguna, mudah dipahami, dan mendukung hipotesis. - Representasi pengetahuan
Pada tahap akhir, informasi yang diperoleh disajikan secara menarik dengan menggunakan metode representasi pengetahuan dan visualisasi.
Kekurangan Penambangan Data
- Investasi waktu dan tenaga yang besar
Karena penambangan data adalah proses yang panjang dan kompleks, maka diperlukan banyak pekerjaan dari orang-orang yang produktif dan terampil. Ilmuwan data dapat menggunakan alat penambangan data yang canggih, namun mereka membutuhkan ahli untuk menyiapkan data dan memahami hasilnya. Akibatnya, mungkin diperlukan waktu beberapa saat untuk memproses semua informasi. - Privasi dan keamanan data
Karena penambangan data mengumpulkan informasi pelanggan melalui metode pasar, hal ini mungkin melanggar privasi pengguna. Selain itu, peretas dapat memperoleh data yang disimpan dalam sistem data mining. Hal ini menimbulkan ancaman terhadap keamanan data pelanggan. Jika data yang dicuri disalahgunakan maka dapat dengan mudah merugikan orang lain.
Di atas adalah pengenalan singkat tentang data mining. Seperti yang sudah saya sebutkan, data mining melibatkan proses pengumpulan dan pengintegrasian data, termasuk proses ekstraksi data. Dalam hal ini, dapat dikatakan bahwa ekstraksi data dapat menjadi bagian dari proses penambangan data jangka panjang.
Apa itu Ekstraksi Data?
Juga dikenal sebagai “penambangan data web” dan “pengikisan web”, proses ini adalah tindakan mengekstraksi data dari sumber data (biasanya tidak terstruktur atau tidak terstruktur dengan baik) ke lokasi terpusat dan memusatkannya di satu tempat untuk penyimpanan atau pemrosesan lebih lanjut. Secara khusus, sumber data tidak terstruktur mencakup halaman web, email, dokumen, file PDF, teks pindaian, laporan mainframe, file reel-to-reel, iklan, dll. Penyimpanan terpusat dapat bersifat lokal, cloud, atau hybrid. Penting untuk diingat bahwa ekstraksi data tidak mencakup pemrosesan atau analisis lain yang mungkin terjadi nanti.
Apa yang bisa dilakukan dengan Ekstraksi Data?
Pada dasarnya, tujuan ekstraksi data terbagi dalam 3 kategori.
- Pengarsipan
Ekstraksi data dapat mengkonversi data dari format fisik seperti buku, koran, invoice ke format digital seperti database untuk penyimpanan atau backup. - Mengubah format data
Saat Anda ingin memigrasikan data dari situs Anda saat ini ke situs baru yang sedang dikembangkan, Anda dapat mengumpulkan data dari situs Anda sendiri dengan mengekstraknya. - ализ анных
Merupakan hal yang umum untuk menganalisis lebih lanjut data yang diekstraksi untuk mendapatkan wawasan tentangnya. Ini mungkin terdengar mirip dengan data mining, namun perlu diingat bahwa data mining adalah tujuan dari data mining, bukan bagian darinya. Selain itu, data dianalisis secara berbeda. Salah satu contohnya adalah pemilik toko online mengambil informasi produk dari situs e-commerce seperti Amazon untuk memantau strategi pesaing secara real time. Seperti penambangan data, ekstraksi data adalah proses otomatis dengan banyak manfaat. Dulu, orang menyalin dan menempelkan data secara manual dari satu tempat ke tempat lain, yang sangat memakan waktu. Ekstraksi data mempercepat pengumpulan dan sangat meningkatkan keakuratan data yang diekstraksi.
Beberapa contoh penggunaan Ekstraksi Data
Mirip dengan data mining, data mining banyak digunakan di berbagai industri. Selain pemantauan harga e-niaga, penambangan data dapat membantu penelitian Anda sendiri, pengumpulan berita, pemasaran, real estat, perjalanan dan pariwisata, konsultasi, keuangan, dan banyak lagi.
- Generasi pemimpin
Perusahaan dapat mengekstrak data dari direktori: Yelp, Crunchbase, Yellowpages dan menghasilkan arahan untuk pengembangan bisnis. Anda dapat menonton video di bawah ini untuk mempelajari cara mengekstrak data dari Yellowpages dengan . - Agregasi konten dan berita
Situs web agregasi konten dapat menerima aliran data reguler dari berbagai sumber dan terus memperbarui situs mereka. - Analisis Sentimen
Setelah mengekstraksi ulasan, komentar, dan testimonial dari jejaring sosial seperti Instagram dan Twitter, para profesional dapat menganalisis sikap yang mendasarinya dan mendapatkan wawasan tentang bagaimana persepsi suatu merek, produk, atau fenomena.
Langkah Ekstraksi Data
Ekstraksi data merupakan tahap pertama dari ETL (Extract, Transform, Load: Extract, Transform, Load) dan ELT (Extract, Load, dan Transform). ETL dan ELT sendiri merupakan bagian dari strategi integrasi data yang lengkap. Dengan kata lain, mengekstraksi data dapat menjadi bagian dari ekstraksi mereka.
Ekstrak, konversi, muat
Meskipun penambangan data adalah tentang mengekstraksi informasi dari sejumlah besar data, ekstraksi data adalah proses yang jauh lebih singkat dan sederhana. Hal ini dapat dikurangi menjadi tiga tahap:
- Memilih sumber data
Pilih sumber tempat Anda ingin mengekstrak data, misalnya situs web. - Pengumpulan data
Kirim permintaan "GET" ke situs dan parsing dokumen HTML yang dihasilkan menggunakan bahasa pemrograman seperti Python, PHP, R, Ruby, dll. - Penyimpanan data
Simpan data di database lokal atau penyimpanan cloud Anda untuk penggunaan di masa mendatang. Jika Anda seorang programmer berpengalaman yang ingin mengekstrak data, langkah-langkah di atas mungkin tampak sederhana bagi Anda. Namun, jika Anda tidak membuat kode, jalan pintasnya adalah menggunakan alat ekstraksi data, misalnya. . Alat ekstraksi data, seperti alat penambangan data, dirancang untuk menghemat energi dan memudahkan pemrosesan data bagi semua orang. Alat-alat ini tidak hanya ekonomis, tetapi juga ramah bagi pemula. Mereka memungkinkan pengguna mengumpulkan data dalam hitungan menit, menyimpannya di cloud dan mengekspornya ke berbagai format: Excel, CSV, HTML, JSON atau ke database situs web melalui API.
Kekurangan Ekstraksi Data
- Kerusakan server
Saat mengekstraksi data dalam skala besar, server web situs target mungkin kelebihan beban, yang dapat menyebabkan server crash. Hal ini akan merugikan kepentingan pemilik situs. - Larangan oleh IP
Jika seseorang terlalu sering mengumpulkan data, situs web mungkin memblokir alamat IP mereka. Sumber daya dapat sepenuhnya menolak alamat IP atau membatasi akses, sehingga membuat data tidak lengkap. Untuk mengambil data dan menghindari pemblokiran, Anda perlu melakukannya dengan kecepatan sedang dan menggunakan beberapa teknik anti-pemblokiran. - Masalah dengan hukum
Mengekstraksi data dari web termasuk dalam wilayah abu-abu jika menyangkut legalitas. Situs-situs besar seperti Linkedin dan Facebook dengan jelas menyatakan dalam ketentuan penggunaannya bahwa ekstraksi data secara otomatis dilarang. Ada banyak tuntutan hukum antar perusahaan karena aktivitas bot.
Perbedaan Utama Antara Penambangan Data dan Ekstraksi Data
- Penambangan data disebut juga penemuan pengetahuan dalam database, ekstraksi pengetahuan, analisis data/pola, pengumpulan informasi. Ekstraksi data digunakan secara bergantian dengan ekstraksi data web, perayapan web, penambangan data, dan sebagainya.
- Penelitian penambangan data sebagian besar didasarkan pada data terstruktur sedangkan penambangan data biasanya mengambil dari sumber yang tidak terstruktur atau tidak terstruktur dengan baik.
- Tujuan dari data mining adalah membuat data lebih berguna untuk analisis. Ekstraksi data adalah pengumpulan data ke dalam satu tempat untuk disimpan atau diproses.
- Analisis dalam data mining didasarkan pada metode matematika untuk mengidentifikasi pola atau tren. Ekstraksi data didasarkan pada bahasa pemrograman atau alat ekstraksi data untuk melewati sumber.
- Tujuan dari data mining adalah untuk menemukan fakta-fakta yang sebelumnya tidak diketahui atau diabaikan, sedangkan ekstraksi data berkaitan dengan informasi yang ada.
- Penambangan data lebih kompleks dan memerlukan investasi besar dalam pelatihan manusia. Ekstraksi data dengan alat yang tepat bisa menjadi sangat mudah dan hemat biaya.
Kami membantu pemula agar tidak bingung dalam Data. Kami telah membuat kode promosi khusus untuk warga Khabra HABR, memberikan tambahan diskon 10% dari diskon yang tertera di banner.
Lebih banyak kursus
Artikel Pilihan
Sumber: www.habr.com