Bu iki veri bilimi moda sözcüğü birçok insanın kafasını karıştırıyor. Veri Madenciliği genellikle veriyi çıkarmak ve geri almak olarak yanlış anlaşılır, ancak gerçekte çok daha karmaşıktır. Bu yazıda Madencilik konusuna son rötuşları yapalım ve Veri Madenciliği ile Veri Çıkarma arasındaki farkı bulalım.
Veri Madenciliği Nedir?
Veri madenciliği, aynı zamanda Veritabanı Bilgi Keşfi (KDD), gizli kalıpları veya eğilimleri bulmak ve bunlardan değer çıkarmak amacıyla istatistiksel ve matematiksel teknikler kullanarak büyük miktarda veriyi analiz etmek için sıklıkla kullanılan bir tekniktir.
Veri Madenciliği ile Neler Yapılabilir?
Süreci otomatikleştirerek, veritabanlarını tarayabilir ve gizli kalıpları etkili bir şekilde tanımlayabilir. İşletmeler için, veri madenciliği genellikle daha iyi iş kararları alınmasına yardımcı olmak amacıyla verilerdeki kalıpları ve ilişkileri belirlemek için kullanılır.
Uygulama örnekleri
1990'lı yıllarda veri madenciliğinin yaygınlaşmasıyla birlikte perakende, finans, sağlık, ulaştırma, telekomünikasyon, e-ticaret vb. gibi çok çeşitli sektörlerdeki şirketler, veri bazlı bilgi elde etmek için veri madenciliği yöntemlerini kullanmaya başladı. Veri madenciliği, müşterileri segmentlere ayırmaya, dolandırıcılığı tespit etmeye, satışları tahmin etmeye ve daha fazlasına yardımcı olabilir.
- Müşteri segmentasyonu
Şirketler, müşteri verilerini analiz ederek ve hedef müşterilerin özelliklerini belirleyerek onları ayrı bir gruba ayırabilir ve ihtiyaçlarını karşılayan özel teklifler sunabilir. - Pazar Sepeti Analizi
Bu teknik, belirli bir ürün grubunu satın alırsanız farklı bir ürün grubunu satın alma olasılığınızın daha yüksek olduğu teorisine dayanmaktadır. Ünlü bir örnek: Babalar bebekleri için bebek bezi alırken, bebek beziyle birlikte bira da satın alma eğilimindedirler. - Satış tahmini
Pazar sepeti analizine benzeyebilir ancak bu sefer veri analizi, bir müşterinin gelecekte ne zaman bir ürünü tekrar satın alacağını tahmin etmek için kullanılıyor. Örneğin bir antrenör 9 ay yetecek kadar protein konservesi alıyor. Bu proteini satan mağaza, koçun tekrar alması için 9 ay sonra yenisini piyasaya sürmeyi planlıyor. - Dolandırıcılık tespiti
Veri madenciliği dolandırıcılık tespiti için modeller oluşturmaya yardımcı olur. Sahte ve gerçek raporların örneklerini toplayarak işletmeler hangi işlemlerin şüpheli olduğunu belirleme yetkisine sahip olur. - Üretimdeki kalıpların tespiti
İmalat endüstrisinde veri madenciliği, ürün mimarisi, profil ve müşteri ihtiyaçları arasındaki ilişkiyi tanımlayarak sistemlerin tasarlanmasına yardımcı olmak için kullanılır. Veri madenciliği aynı zamanda ürün geliştirme sürelerini ve maliyetlerini de tahmin edebilir.
Ve bunlar veri madenciliği için sadece birkaç kullanım durumudur.
Veri Madenciliği Aşamaları
Veri madenciliği, kalıpları değerlendirmek ve sonuçta değer elde etmek için verileri toplama, seçme, temizleme, dönüştürme ve çıkarmadan oluşan bütünsel bir süreçtir.
Kural olarak, tüm veri madenciliği süreci 7 aşamada özetlenebilir:
- Veri temizleme
Gerçek dünyada veriler her zaman temizlenmez ve yapılandırılmaz. Genellikle gürültülüdürler, eksiktirler ve hatalar içerebilirler. Veri madenciliği sonucunun doğru olduğundan emin olmak için öncelikle verileri temizlemeniz gerekir. Bazı temizleme yöntemleri arasında eksik değerlerin doldurulması, otomatik ve manuel kontroller vb. yer alır. - Veri entegrasyonu
Bu, farklı kaynaklardan gelen verilerin çıkarıldığı, birleştirildiği ve entegre edildiği aşamadır. Kaynaklar veritabanları, metin dosyaları, elektronik tablolar, belgeler, çok boyutlu veri setleri, İnternet vb. olabilir. - Veri örnekleme
Genellikle veri madenciliğinde tüm entegre verilere ihtiyaç duyulmaz. Veri örnekleme, büyük bir veri tabanından yalnızca yararlı verilerin seçildiği ve çıkarıldığı aşamadır. - Veri dönüşümü
Veriler seçildikten sonra madenciliğe uygun formlara dönüştürülür. Bu süreç normalleştirmeyi, toplamayı, genelleştirmeyi vb. içerir. - Veri madenciliği
İşte veri madenciliğinin en önemli kısmı geliyor; içlerindeki kalıpları bulmak için akıllı yöntemler kullanmak. Süreç; regresyon, sınıflandırma, tahmin, kümeleme, ilişkilendirme öğrenimi ve daha fazlasını içerir. - Model değerlendirmesi
Bu adım, potansiyel olarak yararlı, anlaşılması kolay ve hipotezi destekleyen kalıpları tanımlamayı amaçlamaktadır. - Bilgi temsili
Son aşamada elde edilen bilgiler, bilgi temsili ve görselleştirme yöntemleri kullanılarak ilgi çekici bir şekilde sunulur.
Veri Madenciliğinin Dezavantajları
- Büyük zaman ve emek yatırımı
Veri madenciliği uzun ve karmaşık bir süreç olduğundan üretken ve yetenekli kişilerin çok fazla çalışmasını gerektirir. Veri madencileri güçlü veri madenciliği araçlarından yararlanabilirler ancak verileri hazırlamak ve sonuçları anlamak için uzmanlara ihtiyaç duyarlar. Sonuç olarak tüm bilgilerin işlenmesi biraz zaman alabilir. - Gizlilik ve veri güvenliği
Veri madenciliği müşteri bilgilerini pazar yöntemleri aracılığıyla topladığından kullanıcı gizliliğini ihlal edebilir. Ayrıca bilgisayar korsanları, veri madenciliği sistemlerinde depolanan verileri elde edebilir. Bu durum müşteri verilerinin güvenliği açısından tehdit oluşturmaktadır. Çalınan veriler kötüye kullanılırsa başkalarına kolaylıkla zarar verebilir.
Yukarıda veri madenciliğine kısa bir giriş verilmiştir. Daha önce de belirttiğim gibi veri madenciliği, veri çıkarma sürecini de içeren veri toplama ve entegre etme sürecini içerir. Bu durumda veri çıkarmanın uzun vadeli bir veri madenciliği sürecinin parçası olabileceğini söylemek yanlış olmaz.
Veri Çıkarma Nedir?
"Web veri madenciliği" ve "web kazıma" olarak da bilinen bu süreç, (genellikle yapılandırılmamış veya kötü yapılandırılmış) veri kaynaklarından merkezi konumlara veri çıkarma ve bunları depolama veya daha ileri işlemler için tek bir yerde merkezileştirme eylemidir. Özellikle yapılandırılmamış veri kaynakları arasında web sayfaları, e-posta, belgeler, PDF dosyaları, taranmış metin, ana bilgisayar raporları, makaradan makaraya dosyalar, reklamlar vb. yer alır. Merkezi depolama yerel, bulut veya hibrit olabilir. Veri çıkarmanın daha sonra meydana gelebilecek işleme veya diğer analizleri içermediğini unutmamak önemlidir.
Veri Çıkarma ile neler yapılabilir?
Temel olarak veri çıkarma amaçları 3 kategoriye ayrılır.
- arşivleme
Veri çıkarma, verileri kitap, gazete, fatura gibi fiziksel formatlardan, depolama veya yedekleme için veri tabanları gibi dijital formatlara dönüştürebilir. - Veri formatını değiştirme
Mevcut sitenizden, geliştirilmekte olan yeni sitenize veri taşımak istediğinizde, kendi sitenizden verileri çıkararak toplayabilirsiniz. - Veri analizi
Çıkarılan verilerin içgörü elde etmek için ek analizi yaygındır. Bu veri madenciliğine benzer görünebilir ancak veri madenciliğinin veri madenciliğinin bir parçası değil, amacı olduğunu unutmayın. Üstelik veriler farklı şekilde analiz ediliyor. Bir örnek: Çevrimiçi mağaza sahipleri, rakiplerin stratejilerini gerçek zamanlı olarak izlemek için Amazon gibi e-ticaret sitelerinden ürün bilgilerini alıyor. Veri madenciliği gibi veri çıkarma da birçok faydası olan otomatik bir süreçtir. Geçmişte insanlar verileri manuel olarak bir yerden başka bir yere kopyalayıp yapıştırıyorlardı ve bu çok zaman alıyordu. Veri çıkarma, toplamayı hızlandırır ve çıkarılan verilerin doğruluğunu büyük ölçüde artırır.
Veri Çıkarma kullanımına ilişkin bazı örnekler
Veri madenciliğine benzer şekilde veri madenciliği de çeşitli endüstrilerde yaygın olarak kullanılmaktadır. Veri madenciliği, e-ticaret fiyat izlemenin yanı sıra kendi araştırmanızda, haber toplamada, pazarlamada, emlakta, seyahat ve turizmde, danışmanlıkta, finansta ve daha pek çok alanda size yardımcı olabilir.
- Müşteri adayı oluşturma
Şirketler, Yelp, Crunchbase, Yellowpages gibi dizinlerden veri çıkarabilir ve iş geliştirme için potansiyel müşteriler oluşturabilir. Yellowpages'ten verileri nasıl çıkaracağınızı öğrenmek için aşağıdaki videoyu izleyebilirsiniz. . - İçerik ve haberlerin toplanması
İçerik toplayan web siteleri, birden fazla kaynaktan düzenli veri beslemeleri alabilir ve sitelerini güncel tutabilir. - Duygu Analizi
Profesyoneller, Instagram ve Twitter gibi sosyal ağlardan değerlendirmeleri, yorumları ve referansları çıkardıktan sonra, altta yatan tutumları analiz edebilir ve bir markanın, ürünün veya olgunun nasıl algılandığına dair içgörü elde edebilir.
Veri Çıkarma Adımları
Veri çıkarma, ETL'nin (Extract, Transform, Load kısaltması) ve ELT'nin (extract, load ve transform) ilk aşamasıdır. ETL ve ELT'nin kendisi de eksiksiz bir veri entegrasyon stratejisinin parçasıdır. Başka bir deyişle veri çıkarma, veri madenciliğinin bir parçası olabilir.
Çıkarma, dönüştürme, yükleme
Veri madenciliği büyük miktarda veriden bilgi çıkarmakla ilgili olsa da veri çıkarmak çok daha kısa ve basit bir süreçtir. Üç aşamaya indirgenebilir:
- Veri kaynağı seçme
Veri çıkarmak istediğiniz kaynağı (ör. web sitesi) seçin. - Veri toplama
Siteye bir "GET" isteği gönderin ve ortaya çıkan HTML belgesini Python, PHP, R, Ruby vb. programlama dillerini kullanarak ayrıştırın. - Veri depolama
Gelecekte kullanmak üzere verileri yerel veritabanınıza veya bulut depolama alanınıza kaydedin. Veri çıkarmak isteyen deneyimli bir programcıysanız yukarıdaki adımlar size basit görünebilir. Ancak programcı değilseniz bunun bir kısayolu var; aşağıdaki gibi veri madenciliği araçlarını kullanın: . Veri madenciliği araçları gibi veri çıkarma araçları, enerji tasarrufu sağlamak ve veri işlemeyi herkes için kolaylaştırmak üzere tasarlanmıştır. Bu araçlar sadece ekonomik değil aynı zamanda yeni başlayanlar için de uygundur. Kullanıcıların dakikalar içinde veri toplamasına, bulutta saklamasına ve birçok formata aktarmasına olanak tanır: Excel, CSV, HTML, JSON veya API aracılığıyla web sitesi veritabanlarına.
Veri Çıkarmanın Dezavantajları
- sunucu çökmesi
Büyük ölçekte veri çıkarırken, hedef sitenin web sunucusu aşırı yüklenebilir ve bu da sunucunun çökmesine neden olabilir. Bu durum site sahibinin çıkarlarına zarar verecektir. - IP'ye göre yasaklama
Bir kişi çok sık veri topladığında web siteleri bu kişinin IP adresini engelleyebilir. Kaynak, bir IP adresini tamamen reddedebilir veya erişimi sınırlayarak verileri eksik hale getirebilir. Verileri almak ve engellemeyi önlemek için bunu orta hızda yapmanız ve bazı engelleme önleme tekniklerini kullanmanız gerekir. - Hukukla ilgili sorunlar
Yasallık söz konusu olduğunda web'den veri çıkarmak gri bir alana düşer. Linkedin ve Facebook gibi büyük siteler, kullanım koşullarında her türlü otomatik veri çıkarmanın yasak olduğunu açıkça belirtmektedir. Bot faaliyeti nedeniyle şirketler arasında çok sayıda dava açıldı.
Veri Madenciliği ve Veri Çıkarma Arasındaki Temel Farklılıklar
- Veri madenciliği aynı zamanda veritabanlarında bilgi keşfi, bilgi çıkarma, veri/örüntü analizi, bilgi toplama olarak da adlandırılır. Veri çıkarma, web veri çıkarma, web tarama, veri madenciliği vb. ile birbirinin yerine kullanılır.
- Veri madenciliği araştırması çoğunlukla yapılandırılmış verilere dayanırken, veri madenciliği genellikle yapılandırılmamış veya kötü yapılandırılmış kaynaklardan yararlanır.
- Veri madenciliğinin amacı, verileri analiz için daha kullanışlı hale getirmektir. Veri çıkarma, verilerin saklanabileceği veya işlenebileceği tek bir yerde toplanmasıdır.
- Veri madenciliğinde analiz, kalıpları veya eğilimleri belirlemek için matematiksel yöntemlere dayanır. Veri çıkarma, kaynakları atlamak için programlama dillerine veya veri çıkarma araçlarına dayanır.
- Veri madenciliğinin amacı, daha önce bilinmeyen veya göz ardı edilen gerçekleri bulmaktır; veri çıkarma ise mevcut bilgilerle ilgilenir.
- Veri madenciliği daha karmaşıktır ve insanların eğitimine büyük yatırım yapılmasını gerektirir. Doğru araçla veri çıkarmak son derece kolay ve uygun maliyetli olabilir.
Yeni başlayanların Veri konusunda kafalarının karışmamasına yardımcı oluyoruz. Özellikle Habravchan'lar için bir promosyon kodu hazırladık HABR, banner'da belirtilen indirime %10 ek indirim vererek.
Daha fazla kurs
Seçme Makaleler
Kaynak: habr.com