Ushbu ikkita "Data Science" so'zlari ko'p odamlarni chalg'itadi. Data Mining ko'pincha ma'lumotlarni olish va olish deb noto'g'ri tushuniladi, ammo haqiqat ancha murakkab. Ushbu postda keling, Mining-ga nuqta qo'yib, Data Mining va Data Extraction o'rtasidagi farqni bilib olaylik.
Data Mining nima?
Ma'lumotlarni qazib olish, shuningdek, deyiladi Ma'lumotlar bazasida bilimlarni kashf qilish (KDD), ko'pincha yashirin naqshlar yoki tendentsiyalarni topish va ulardan qiymat olish uchun statistik va matematik usullardan foydalangan holda katta ma'lumotlar to'plamini tahlil qilish uchun ishlatiladigan usul.
Data Mining bilan nima qilish mumkin?
Jarayonni avtomatlashtirish orqali, ma'lumotlar bazalarini skanerlashi va yashirin naqshlarni samarali aniqlashi mumkin. Korxonalar uchun ma'lumotlarni to'plash ko'pincha yaxshi biznes qarorlarini qabul qilishga yordam berish uchun ma'lumotlardagi naqsh va munosabatlarni aniqlash uchun ishlatiladi.
Qo'llash misollari
1990-yillarda maʼlumotlarni qazib olish keng tarqalgach, chakana savdo, moliya, sogʻliqni saqlash, transport, telekommunikatsiya, elektron tijorat va boshqalarni oʻz ichiga olgan keng koʻlamli sohalardagi kompaniyalar maʼlumotlar bazasida maʼlumot olish uchun maʼlumotlarni qidirish usullaridan foydalana boshladilar. Ma'lumotlarni qidirish mijozlarni segmentlarga ajratish, firibgarlikni aniqlash, sotishni bashorat qilish va boshqalarga yordam beradi.
- Mijozlarni segmentatsiyalash
Mijozlarning ma'lumotlarini tahlil qilish va maqsadli mijozlarning xususiyatlarini aniqlash orqali kompaniyalar ularni alohida guruhga birlashtirishi va ularning ehtiyojlariga mos keladigan maxsus takliflarni taqdim etishi mumkin. - Bozor savati tahlili
Ushbu texnika, agar siz ma'lum bir mahsulot guruhini sotib olsangiz, boshqa mahsulotlar guruhini sotib olishingiz ehtimoli ko'proq degan nazariyaga asoslanadi. Mashhur misollardan biri: otalar chaqaloqlari uchun taglik sotib olishganda, ular tagliklar bilan birga pivo sotib olishga moyil bo'lishadi. - Sotishni prognoz qilish
Bu bozor savati tahliliga o'xshab ko'rinishi mumkin, ammo bu safar ma'lumotlar tahlili mijozning kelajakda mahsulotni qachon sotib olishini bashorat qilish uchun ishlatiladi. Misol uchun, murabbiy 9 oy davom etishi kerak bo'lgan oqsilli konserva sotib oladi. Ushbu oqsilni sotadigan do'kon 9 oy ichida yangisini chiqarishni rejalashtirmoqda, shunda murabbiy uni yana sotib oladi. - Firibgarlikni aniqlash
Ma'lumotni qazib olish firibgarlikni aniqlash uchun modellarni yaratishda yordam beradi. Soxta va qonuniy hisobotlarning namunalarini yig'ish orqali korxonalar qaysi tranzaktsiyalar shubhali ekanligini aniqlash huquqiga ega. - Ishlab chiqarishda naqshni aniqlash
Ishlab chiqarish sanoatida mahsulot arxitekturasi, profili va mijozlar ehtiyojlari o'rtasidagi bog'liqlikni aniqlash orqali tizimni loyihalashda yordam berish uchun ma'lumotlarni qidirishdan foydalaniladi. Ma'lumotni qazib olish, shuningdek, mahsulotni ishlab chiqish vaqtlari va xarajatlarini ham taxmin qilishi mumkin.
Va bu ma'lumotlar qazib olishdan foydalanishning bir nechta stsenariylari.
Ma'lumotlarni qazib olish bosqichlari
Ma'lumotni qazib olish - bu naqshlarni baholash va oxir-oqibat qiymatni olish uchun ma'lumotlarni yig'ish, tanlash, tozalash, o'zgartirish va chiqarishning yaxlit jarayoni.
Umuman olganda, butun ma'lumotlarni yig'ish jarayonini 7 bosqichga umumlashtirish mumkin:
- Ma'lumotlarni tozalash
Haqiqiy dunyoda ma'lumotlar har doim ham tozalanmaydi va tuzilmaydi. Ular ko'pincha shovqinli, to'liq emas va xatolarni o'z ichiga olishi mumkin. Ma'lumotlarni yig'ish natijasi to'g'ri ekanligiga ishonch hosil qilish uchun avval ma'lumotlarni tozalashingiz kerak. Ba'zi tozalash usullari etishmayotgan qiymatlarni to'ldirishni, avtomatik va qo'lda boshqaruvni va hokazolarni o'z ichiga oladi. - Ma'lumotlar integratsiyasi
Bu turli manbalardan ma'lumotlar olinadigan, birlashtirilgan va birlashtirilgan bosqichdir. Manbalar ma'lumotlar bazalari, matnli fayllar, elektron jadvallar, hujjatlar, ko'p o'lchovli ma'lumotlar to'plami, Internet va boshqalar bo'lishi mumkin. - Ma'lumotlardan namuna olish
Odatda, ma'lumotlarni qazib olishda barcha integratsiyalangan ma'lumotlar kerak emas. Ma'lumotlarni tanlash - bu katta ma'lumotlar bazasidan faqat foydali ma'lumotlar tanlanadigan va olinadigan bosqich. - Ma'lumotlarni konvertatsiya qilish
Ma'lumotlar tanlanganidan so'ng, u qazib olish uchun mos shakllarga aylantiriladi. Bu jarayon normallashtirish, yig'ish, umumlashtirish va boshqalarni o'z ichiga oladi. - Ma'lumotlarni qazib olish
Bu erda ma'lumotlarni qazib olishning eng muhim qismi keladi - ulardagi naqshlarni topish uchun aqlli usullardan foydalanish. Jarayon regressiya, tasniflash, bashorat qilish, klasterlash, assotsiatsiyani o'rganish va boshqalarni o'z ichiga oladi. - Modelni baholash
Ushbu qadam potentsial foydali, tushunarli naqshlarni, shuningdek, farazlarni qo'llab-quvvatlaydigan naqshlarni aniqlashga qaratilgan. - Bilim vakili
Yakuniy bosqichda olingan ma'lumotlar bilimlarni ifodalash va vizualizatsiya usullaridan foydalangan holda jozibador tarzda taqdim etiladi.
Ma'lumotlarni qazib olishning kamchiliklari
- Katta vaqt va mehnat investitsiyalari
Ma'lumotlarni yig'ish uzoq va murakkab jarayon bo'lgani uchun u samarali va malakali odamlardan ko'p mehnat talab qiladi. Ma'lumotlar olimlari kuchli ma'lumotlarni qidirish vositalaridan foydalanishlari mumkin, ammo ma'lumotlarni tayyorlash va natijalarni tushunish uchun ularga mutaxassislar kerak. Natijada, barcha ma'lumotlarni qayta ishlash biroz vaqt talab qilishi mumkin. - Maxfiylik va ma'lumotlar xavfsizligi
Ma'lumotlarni ishlab chiqish mijozlar ma'lumotlarini bozor usullari orqali to'plaganligi sababli, u foydalanuvchi maxfiyligini buzishi mumkin. Bundan tashqari, xakerlar ma'lumotlarni qidirish tizimlarida saqlangan ma'lumotlarni olishlari mumkin. Bu mijozlar ma'lumotlarining xavfsizligiga tahdid soladi. Agar o'g'irlangan ma'lumotlar noto'g'ri ishlatilsa, u boshqalarga osonlikcha zarar etkazishi mumkin.
Yuqorida ma'lumotlarni qidirishga qisqacha kirish. Yuqorida aytib o'tganimdek, ma'lumotlarni qazib olish ma'lumotlarni yig'ish va integratsiyalash jarayonini o'z ichiga oladi, bu ma'lumotlarni olish jarayonini o'z ichiga oladi. Bunday holda, ishonch bilan aytish mumkinki, ma'lumotlarni olish uzoq muddatli ma'lumotlarni qazib olish jarayonining bir qismi bo'lishi mumkin.
Ma'lumotlarni chiqarish nima?
"Veb-ma'lumotlarni yig'ish" va "veb qirqish" deb ham ataladigan bu jarayon (odatda tuzilmagan yoki yomon tuzilgan) ma'lumotlar manbalaridan markazlashtirilgan joylarga ma'lumotlarni olish va ularni saqlash yoki keyingi qayta ishlash uchun bir joyda markazlashtirish harakatidir. Xususan, tuzilmagan ma'lumotlar manbalariga veb-sahifalar, elektron pochta, hujjatlar, PDF-fayllar, skanerlangan matn, asosiy kadrlar hisobotlari, ma'lumotli fayllar, reklamalar va boshqalar kiradi. Markazlashtirilgan saqlash mahalliy, bulutli yoki gibrid bo'lishi mumkin. Shuni esda tutish kerakki, ma'lumotlarni olish keyinchalik sodir bo'lishi mumkin bo'lgan qayta ishlash yoki boshqa tahlillarni o'z ichiga olmaydi.
Ma'lumotlarni chiqarish bilan nima qilish mumkin?
Asosan, ma'lumotlarni olish maqsadlari 3 toifaga bo'linadi.
- Arxivlash
Ma'lumot olish kitoblar, gazetalar, fakturalar kabi jismoniy formatlardan ma'lumotlarni saqlash yoki zaxiralash uchun ma'lumotlar bazalari kabi raqamli formatlarga aylantirishi mumkin. - Ma'lumotlar formatini o'zgartirish
Ma'lumotni joriy saytingizdan ishlab chiqilayotgan yangisiga ko'chirmoqchi bo'lsangiz, uni ajratib olish orqali o'zingizning saytingizdan ma'lumotlarni to'plashingiz mumkin. - Analiz dannyx
Tushunish uchun olingan ma'lumotlarni qo'shimcha tahlil qilish keng tarqalgan. Bu ma'lumotlarni ishlab chiqarishga o'xshab ko'rinishi mumkin, lekin shuni yodda tutingki, ma'lumotlarni ishlab chiqish uning bir qismi emas, balki ma'lumotlarni ishlab chiqish maqsadidir. Bundan tashqari, ma'lumotlar boshqacha tahlil qilinadi. Bir misol: Onlayn do'kon egalari real vaqtda raqobatchilarning strategiyalarini kuzatish uchun Amazon kabi elektron tijorat saytlaridan mahsulot ma'lumotlarini olishadi. Ma'lumotlarni qazib olish kabi, ma'lumotlarni olish ham ko'p afzalliklarga ega bo'lgan avtomatlashtirilgan jarayondir. Ilgari odamlar ma'lumotlarni bir joydan ikkinchi joyga qo'lda nusxalash va joylashtirish uchun foydalanar edi, bu juda ko'p vaqt talab qilardi. Ma'lumotlarni olish yig'ishni tezlashtiradi va olingan ma'lumotlarning aniqligini sezilarli darajada yaxshilaydi.
Ma'lumotlarni chiqarishdan foydalanishning ba'zi misollari
Ma'lumotlar ishlab chiqarishga o'xshab, ma'lumotlarni ishlab chiqarish turli sohalarda keng qo'llaniladi. Elektron tijorat narxlari monitoringi bilan bir qatorda, ma'lumotlarni qidirish o'z tadqiqotlaringiz, yangiliklarni yig'ish, marketing, ko'chmas mulk, sayohat va turizm, konsalting, moliya va boshqalar bilan yordam berishi mumkin.
- Qo'rg'oshin avlodi
Kompaniyalar ma'lumotlarni kataloglardan olishlari mumkin: Yelp, Crunchbase, Yellowpages va biznesni rivojlantirish uchun etakchilarni yaratishi mumkin. Yellowpages-dan ma'lumotlarni qanday chiqarishni o'rganish uchun quyidagi videoni tomosha qilishingiz mumkin . - Kontent va yangiliklarni yig'ish
Kontentni birlashtiruvchi veb-saytlar bir nechta manbalardan muntazam ma'lumotlar tasmalarini olishlari va o'z saytlarini yangilab turishlari mumkin. - Hissiyot tahlili
Instagram va Twitter kabi ijtimoiy tarmoqlardan sharhlar, sharhlar va guvohliklarni olgandan so'ng, mutaxassislar asosiy munosabatlarni tahlil qilishlari va brend, mahsulot yoki hodisaning qanday qabul qilinishi haqida tushunchaga ega bo'lishlari mumkin.
Ma'lumot olish bosqichlari
Ma'lumotlarni ajratib olish ETL (Extract, Transform, Load: Extract, Transform, Load) va ELT (Extract, Load va Transform) ning birinchi bosqichidir. ETL va ELT o'zlari to'liq ma'lumotlar integratsiyasi strategiyasining bir qismidir. Boshqacha qilib aytadigan bo'lsak, ma'lumotlarni olish ularni qazib olishning bir qismi bo'lishi mumkin.
Chiqarish, o'zgartirish, yuklash
Ma'lumotlarni qazib olish katta hajmdagi ma'lumotlardan ma'lumot olish bilan bog'liq bo'lsa-da, ma'lumotlarni olish ancha qisqaroq va sodda jarayondir. Uni uch bosqichga qisqartirish mumkin:
- Ma'lumotlar manbasini tanlash
Veb-sayt kabi ma'lumotlarni chiqarmoqchi bo'lgan manbani tanlang. - Ma'lumotlar yig'ish
Saytga "GET" so'rovini yuboring va natijada olingan HTML hujjatni Python, PHP, R, Ruby va boshqalar kabi dasturlash tillari yordamida tahlil qiling. - Ma'lumotlarni saqlash
Kelajakda foydalanish uchun ma'lumotlarni mahalliy ma'lumotlar bazasiga yoki bulutli xotiraga saqlang. Agar siz ma'lumot olishni xohlaydigan tajribali dasturchi bo'lsangiz, yuqoridagi amallar sizga oddiy ko'rinishi mumkin. Biroq, agar siz dasturchi bo'lmasangiz, yorliq mavjud - ma'lumotlarni qidirish vositalaridan foydalaning . Ma'lumot olish vositalari, xuddi ma'lumotlarni qidirish vositalari kabi, energiyani tejash va ma'lumotlarni qayta ishlashni hamma uchun oson qilish uchun mo'ljallangan. Ushbu vositalar nafaqat tejamkor, balki yangi boshlanuvchilar uchun ham qulaydir. Ular foydalanuvchilarga bir necha daqiqada ma'lumotlarni to'plash, ularni bulutda saqlash va ko'plab formatlarga eksport qilish imkonini beradi: Excel, CSV, HTML, JSON yoki API orqali saytdagi ma'lumotlar bazalariga.
Ma'lumot olishning kamchiliklari
- Serverning ishdan chiqishi
Katta miqyosda ma'lumot olishda maqsadli saytning veb-serveri haddan tashqari yuklanishi mumkin, bu esa serverning ishdan chiqishiga olib kelishi mumkin. Bu sayt egasining manfaatlariga zarar keltiradi. - IP tomonidan taqiqlash
Biror kishi tez-tez ma'lumot to'plaganida, veb-saytlar ularning IP manzilini bloklashi mumkin. Resurs IP-manzilni to'liq taqiqlashi yoki ma'lumotlarni to'liqsiz qilish orqali kirishni cheklashi mumkin. Ma'lumotni olish va blokirovkadan qochish uchun uni o'rtacha tezlikda bajarishingiz va ba'zi blokirovkalarga qarshi usullarni qo'llashingiz kerak. - Qonun bilan bog'liq muammolar
Internetdan ma'lumotlarni olish qonuniylikka kelganda kulrang maydonga tushadi. Linkedin va Facebook kabi yirik saytlar o'zlarining foydalanish shartlarida ma'lumotlarni avtomatik ravishda olish taqiqlanganligini aniq ta'kidlaydi. Bot faoliyati tufayli kompaniyalar o'rtasida ko'plab da'volar bo'lgan.
Ma'lumotlarni qazib olish va ma'lumotlarni olish o'rtasidagi asosiy farqlar
- Ma'lumotlarni qazib olish, shuningdek, ma'lumotlar bazalarida bilimlarni kashf qilish, bilimlarni olish, ma'lumotlar / namunalarni tahlil qilish, ma'lumot to'plash deb ataladi. Ma'lumot olish veb-ma'lumotlarni olish, veb-sahifalarni skanerlash, ma'lumotlarni yig'ish va hokazolar bilan almashtiriladi.
- Ma'lumotni qazib olish bo'yicha tadqiqotlar asosan tuzilgan ma'lumotlarga asoslanadi, ma'lumotlarni qidirish esa odatda tuzilmagan yoki noto'g'ri tuzilgan manbalardan olinadi.
- Ma'lumotni qazib olishning maqsadi ma'lumotlarni tahlil qilish uchun foydaliroq qilishdir. Ma'lumotlarni olish - bu ma'lumotlarni saqlash yoki qayta ishlash mumkin bo'lgan bir joyda to'plash.
- Ma'lumotlarni qazib olishda tahlil naqsh yoki tendentsiyalarni aniqlashning matematik usullariga asoslanadi. Ma'lumot olish manbalarni chetlab o'tish uchun dasturlash tillari yoki ma'lumotlarni olish vositalariga asoslangan.
- Ma'lumotni qazib olishning maqsadi - ilgari ma'lum bo'lmagan yoki e'tiborga olinmagan faktlarni topish, ma'lumotlarni olish esa mavjud ma'lumotlar bilan shug'ullanadi.
- Ma'lumotni qazib olish ancha murakkab va odamlarni o'qitish uchun katta sarmoya talab qiladi. To'g'ri vosita yordamida ma'lumotlarni olish juda oson va tejamkor bo'lishi mumkin.
Biz yangi boshlanuvchilarga Datada adashmasliklariga yordam beramiz. Ayniqsa, habravchanlar uchun biz reklama kodini yaratdik HABR, bannerda ko'rsatilgan chegirmaga qo'shimcha 10% chegirma berish.
Ko'proq kurslar
Tavsiya etilgan maqolalar
Manba: www.habr.com