डाटा खनन र डाटा निकासी बीचको भिन्नता बुझ्दै

यी दुई डेटा विज्ञान buzzwords धेरै मानिसहरूलाई भ्रमित छन्। डाटा माइनिङलाई डाटा निकाल्ने र पुन: प्राप्त गर्ने भनेर प्रायः गलत बुझिन्छ, तर वास्तवमा यो धेरै जटिल छ। यस पोष्टमा, खननमा अन्तिम टचहरू राखौं र डाटा माइनिंग र डाटा एक्स्ट्र्याक्शन बीचको भिन्नता पत्ता लगाउनुहोस्।

डाटा माइनिङ के हो?

डाटा खनन, पनि भनिन्छ डाटाबेसमा ज्ञान खोज (KDD), लुकेका ढाँचा वा प्रवृतिहरू फेला पार्न र तिनीहरूबाट मूल्य निकाल्न सांख्यिकीय र गणितीय प्रविधिहरू प्रयोग गरेर ठूलो मात्रामा डाटा विश्लेषण गर्न प्रयोग गरिने प्रविधि हो।

तपाईं डाटा माइनिङ संग के गर्न सक्नुहुन्छ?

प्रक्रिया स्वचालित गरेर, डाटा खनन उपकरणहरू डाटाबेस स्क्यान गर्न र लुकेका ढाँचाहरू प्रभावकारी रूपमा पहिचान गर्न सक्छ। व्यवसायहरूका लागि, डाटा माइनिङ प्रायः डाटामा ढाँचा र सम्बन्धहरू पहिचान गर्न प्रयोग गरिन्छ जसले राम्रो व्यापार निर्णयहरू गर्न मद्दत गर्दछ।

आवेदन उदाहरणहरू

सन् १९९० को दशकमा डाटा माइनिङ व्यापक भएपछि रिटेल, फाइनान्स, स्वास्थ्य सेवा, यातायात, दूरसञ्चार, इ-कमर्स आदि उद्योगहरूको विस्तृत दायराका कम्पनीहरूले डाटामा आधारित जानकारी प्राप्त गर्न डाटा माइनिङ प्रविधिहरू प्रयोग गर्न थाले। डाटा खननले ग्राहकहरूलाई वर्गीकरण गर्न, धोखाधडी पत्ता लगाउन, बिक्रीको पूर्वानुमान गर्न र थप धेरै मद्दत गर्न सक्छ।

• ग्राहक विभाजन
  ग्राहक डेटाको विश्लेषण गरेर र लक्षित ग्राहकहरूको विशेषताहरू पहिचान गरेर, कम्पनीहरूले तिनीहरूलाई फरक समूहमा लक्षित गर्न र तिनीहरूका आवश्यकताहरू पूरा गर्ने विशेष प्रस्तावहरू प्रदान गर्न सक्छन्।
• बजार टोकरी विश्लेषण
  यो प्रविधि सिद्धान्तमा आधारित छ कि यदि तपाइँ उत्पादनहरूको एक निश्चित समूह किन्नुहुन्छ भने, तपाइँ उत्पादनहरूको अर्को समूह किन्न बढी सम्भावना हुन्छ। एउटा प्रख्यात उदाहरण: जब बुबाहरूले आफ्ना बच्चाहरूको लागि डायपर किन्नुहुन्छ, तिनीहरू डायपरसँगै बियर किन्न्छन्।
• बिक्री पूर्वानुमान
  यो बजार टोकरी विश्लेषण जस्तै लाग्न सक्छ, तर यस पटक डाटा विश्लेषण एक ग्राहकले भविष्यमा पुन: उत्पादन कहिले किन्ने भविष्यवाणी गर्न प्रयोग गरिन्छ। उदाहरणका लागि, कोचले प्रोटिनको क्यान किन्छन्, जुन ९ महिनासम्म रहनुपर्छ। यो प्रोटिन बेच्ने स्टोरले 9 महिनामा एउटा नयाँ रिलिज गर्ने योजना बनाएको छ त्यसैले प्रशिक्षकले यसलाई फेरि किन्नेछ।
• धोखाधडी पत्ता लगाउने
  डाटा माइनिङले जालसाजी पत्ता लगाउन मोडेल निर्माण गर्न मद्दत गर्छ। धोखाधडी र वैध रिपोर्टहरूको नमूनाहरू सङ्कलन गरेर, व्यवसायहरूलाई कुन लेनदेनहरू शंकास्पद छन् भनेर निर्धारण गर्न अधिकार दिइन्छ।
• उत्पादन मा ढाँचा को पहिचान
  उत्पादन उद्योगमा, डाटा माइनिङ उत्पादन वास्तुकला, प्रोफाइल र ग्राहक आवश्यकताहरू बीचको सम्बन्ध पहिचान गरेर प्रणाली डिजाइनमा सहयोग गर्न प्रयोग गरिन्छ। डाटा खननले उत्पादन विकास समयरेखा र लागतहरू पनि भविष्यवाणी गर्न सक्छ।

र यी डाटा खनन प्रयोग गर्नका लागि केही परिदृश्यहरू मात्र हुन्।

डाटा खनन चरणहरू

डाटा खनन ढाँचाहरू मूल्याङ्कन गर्न र अन्ततः मूल्य निकाल्न डेटा सङ्कलन, चयन, सफाई, रूपान्तरण र निकाल्ने समग्र प्रक्रिया हो।

एक नियमको रूपमा, सम्पूर्ण डाटा खनन प्रक्रियालाई 7 चरणहरूमा संक्षेप गर्न सकिन्छ:

1. डाटा सफाई
   वास्तविक संसारमा, डाटा सधैं सफा र संरचित हुँदैन। तिनीहरू प्रायः शोर, अपूर्ण हुन्छन्, र त्रुटिहरू हुन सक्छन्। डाटा खनन परिणाम सही छ भनेर सुनिश्चित गर्न, तपाईंले पहिले डाटा सफा गर्न आवश्यक छ। केही सफाई विधिहरूमा हराइरहेको मानहरू भर्ने, स्वचालित र म्यानुअल जाँच, आदि समावेश छन्।
2. डाटा एकीकरण
   यो चरण हो जहाँ विभिन्न स्रोतहरूबाट डाटा निकालिन्छ, संयुक्त र एकीकृत हुन्छ। स्रोतहरू डेटाबेसहरू, पाठ फाइलहरू, स्प्रेडसिटहरू, कागजातहरू, बहुआयामिक डेटा सेटहरू, इन्टरनेट, र यस्तै हुन सक्छन्।
3. डाटा नमूना
   सामान्यतया, डाटा माइनिङमा सबै एकीकृत डाटा आवश्यक पर्दैन। डाटा नमूना एक चरण हो जसमा उपयोगी डाटा मात्र चयन गरिन्छ र ठूलो डाटाबेसबाट निकालिन्छ।
4. डाटा रूपान्तरण
   एकचोटि डाटा चयन गरिसकेपछि, यसलाई खननका लागि उपयुक्त फारमहरूमा रूपान्तरण गरिन्छ। यो प्रक्रिया सामान्यीकरण, एकत्रीकरण, सामान्यीकरण, आदि समावेश गर्दछ।
5. डाटा माइनिङ
   यहाँ डाटा खननको सबैभन्दा महत्त्वपूर्ण भाग आउँछ - यसमा ढाँचाहरू फेला पार्न बुद्धिमानी विधिहरू प्रयोग गरेर। प्रक्रियामा रिग्रेसन, वर्गीकरण, भविष्यवाणी, क्लस्टरिङ, एसोसिएशन लर्निङ, र थप समावेश छ।
6. मोडेल मूल्याङ्कन
   यो कदमले सम्भावित रूपमा उपयोगी, बुझ्न सजिलो, र परिकल्पना-समर्थन गर्ने ढाँचाहरू पहिचान गर्ने लक्ष्य राखेको छ।
7. ज्ञान प्रतिनिधित्व
   अन्तिम चरणमा, प्राप्त जानकारी एक आकर्षक रूप मा ज्ञान प्रतिनिधित्व र दृश्य विधिहरू प्रयोग गरी प्रस्तुत गरिन्छ।

डाटा माइनिङ को बेफाइदा

• समय र श्रमको ठूलो लगानी
  डाटा माइनिङ एक लामो र जटिल प्रक्रिया भएकोले, यसका लागि उत्पादक र दक्ष व्यक्तिहरूबाट धेरै काम चाहिन्छ। डाटा माइनरहरूले शक्तिशाली डाटा खनन उपकरणहरूको फाइदा लिन सक्छन्, तर उनीहरूलाई डाटा तयार गर्न र परिणामहरू बुझ्न विशेषज्ञहरू चाहिन्छ। नतिजा स्वरूप, सबै जानकारी प्रशोधन गर्न केही समय लाग्न सक्छ।
• गोपनीयता र डाटा सुरक्षा
  डाटा माइनिङले बजार विधिहरू मार्फत ग्राहक जानकारी सङ्कलन गर्ने भएकोले, यसले प्रयोगकर्ताको गोपनीयता उल्लङ्घन गर्न सक्छ। थप रूपमा, ह्याकरहरूले डाटा माइनिङ प्रणालीहरूमा भण्डारण गरिएको डाटा प्राप्त गर्न सक्छन्। यसले ग्राहकको डाटाको सुरक्षामा खतरा पैदा गर्छ। यदि चोरी भएको डाटाको दुरुपयोग भयो भने, यसले सजिलै अरूलाई हानि पुर्‍याउन सक्छ।

माथिको डाटा माइनिङको संक्षिप्त परिचय हो। मैले पहिले नै उल्लेख गरेझैं, डाटा माइनिङले डाटा सङ्कलन र एकीकृत गर्ने प्रक्रिया समावेश गर्दछ, जसमा डाटा निकाल्ने प्रक्रिया समावेश छ। यस अवस्थामा, यो भन्न सुरक्षित छ कि डाटा निकासी एक दीर्घकालीन डाटा खनन प्रक्रिया को भाग हुन सक्छ।

डाटा निकासी भनेको के हो?

"वेब डाटा माइनिङ" र "वेब स्क्र्यापिङ" को रूपमा पनि चिनिन्छ, यो प्रक्रिया (सामान्यतया असंरचित वा कमजोर संरचित) डाटा स्रोतहरूबाट केन्द्रीकृत स्थानहरूमा डेटा निकाल्ने र भण्डारण वा थप प्रशोधनका लागि तिनीहरूलाई एक ठाउँमा केन्द्रित गर्ने कार्य हो। विशेष रूपमा, असंरचित डेटा स्रोतहरूमा वेब पृष्ठहरू, इमेलहरू, कागजातहरू, PDF फाइलहरू, स्क्यान गरिएको पाठ, मेनफ्रेम रिपोर्टहरू, रिल-टू-रील फाइलहरू, विज्ञापनहरू, आदि समावेश छन्। केन्द्रीकृत भण्डारण स्थानीय, क्लाउड, वा हाइब्रिड हुन सक्छ। यो याद राख्नु महत्त्वपूर्ण छ कि डाटा निकासीमा प्रशोधन वा पछि हुन सक्ने अन्य विश्लेषणहरू समावेश हुँदैन।

तपाईं डाटा निकासी संग के गर्न सक्नुहुन्छ?

मूलतया, डाटा निकासी को उद्देश्य 3 कोटिहरु मा आउँछ।

• अभिलेख गर्दै
  डाटा निकासीले भौतिक ढाँचाहरूबाट डाटा रूपान्तरण गर्न सक्छ: पुस्तकहरू, समाचारपत्रहरू, इनभ्वाइसहरू डिजिटल ढाँचाहरूमा, जस्तै भण्डारण वा ब्याकअपका लागि डाटाबेसहरू।
• डाटा ढाँचा परिवर्तन गर्दै
  जब तपाइँ तपाइँको हालको साइटबाट डाटा विकास अन्तर्गत नयाँमा माइग्रेट गर्न चाहनुहुन्छ, तपाइँ यसलाई निकालेर तपाइँको आफ्नै साइटबाट डाटा सङ्कलन गर्न सक्नुहुन्छ।
• डाटा विश्लेषण
  अन्तर्दृष्टि प्राप्त गर्न निकालिएको डाटा को अतिरिक्त विश्लेषण सामान्य छ। यो डाटा माइनिङ जस्तै लाग्न सक्छ, तर दिमागमा राख्नुहोस् कि डाटा माइनिङ डाटा माइनिङको उद्देश्य हो, यसको अंश होइन। यसबाहेक, डाटा फरक विश्लेषण गरिन्छ। एउटा उदाहरण: अनलाइन स्टोर मालिकहरूले वास्तविक समयमा प्रतिस्पर्धीहरूको रणनीतिहरू निगरानी गर्न अमेजन जस्ता ई-वाणिज्य साइटहरूबाट उत्पादन जानकारी निकाल्छन्। डाटा माइनिङ जस्तै, डाटा निकासी एक स्वचालित प्रक्रिया हो जसका धेरै फाइदाहरू छन्। विगतमा, मानिसहरूले एक ठाउँबाट अर्को ठाउँमा म्यानुअल रूपमा डेटा प्रतिलिपि गरेर टाँस्ने गर्थे, जुन धेरै समय खपत थियो। डाटा निकासीले सङ्कलनलाई गति दिन्छ र निकालिएको डाटाको शुद्धतामा ठूलो सुधार गर्छ।

डाटा एक्स्ट्र्यासन प्रयोग गर्ने केही उदाहरणहरू

डाटा माइनिङ जस्तै, डाटा माइनिङ विभिन्न उद्योगहरूमा व्यापक रूपमा प्रयोग गरिन्छ। इ-कमर्समा मूल्यहरू अनुगमन गर्नुको अतिरिक्त, डाटा माइनिङले तपाईंको आफ्नै अनुसन्धान, समाचार एकत्रीकरण, मार्केटिङ, घर जग्गा, यात्रा र पर्यटन, परामर्श, वित्त र अधिकमा मद्दत गर्न सक्छ।

• नेतृत्व पुस्ता
  कम्पनीहरूले डाइरेक्टरीहरूबाट डाटा निकाल्न सक्छन्: Yelp, Crunchbase, Yellowpages र व्यापार विकासको लागि नेतृत्वहरू उत्पन्न गर्नुहोस्। Yellowpages को प्रयोग गरेर डाटा कसरी निकाल्ने भनेर जान्नको लागि तलको भिडियो हेर्न सक्नुहुन्छ वेब स्क्र्यापिंग टेम्प्लेट.

• सामग्री र समाचार को एकत्रीकरण
  सामग्री एकत्रीकरण वेबसाइटहरूले धेरै स्रोतहरूबाट डेटाको नियमित स्ट्रिमहरू प्राप्त गर्न सक्छन् र तिनीहरूको साइटहरू अद्यावधिक राख्न सक्छन्।
• भावना विश्लेषण
  इन्स्टाग्राम र ट्विटर जस्ता सोशल मिडिया साइटहरूबाट समीक्षाहरू, टिप्पणीहरू, र प्रतिक्रियाहरू निकालेर, विशेषज्ञहरूले अन्तर्निहित भावनाहरूको विश्लेषण गर्न सक्छन् र ब्रान्ड, उत्पादन, वा घटनालाई कसरी बुझिन्छ भन्ने बारे अन्तरदृष्टि प्राप्त गर्न सक्छन्।

डाटा निकासी चरणहरू

डाटा निकासी ETL (संक्षेप एक्स्ट्र्याक्ट, ट्रान्सफर्म, लोड) र ELT (एक्स्ट्र्याक्ट, लोड र ट्रान्सफर्म) को पहिलो चरण हो। ETL र ELT आफैंमा पूर्ण डेटा एकीकरण रणनीतिको अंश हुन्। अर्को शब्दमा, डाटा निकासी डाटा खनन को भाग हुन सक्छ।

निकाल्नुहोस्, रूपान्तरण गर्नुहोस्, लोड गर्नुहोस्

जबकि डाटा माइनिङ भनेको ठूलो मात्रामा डाटाबाट जानकारी निकाल्ने हो, डाटा निकासी धेरै छोटो र सरल प्रक्रिया हो। यसलाई तीन चरणहरूमा घटाउन सकिन्छ:

1. डाटा स्रोत चयन गर्दै
   तपाईंले डेटा निकाल्न चाहेको स्रोत चयन गर्नुहोस्, जस्तै वेबसाइट।
2. तथ्यांक संकलन
   साइटमा "GET" अनुरोध पठाउनुहोस् र पाइथन, PHP, R, Ruby, आदि जस्ता प्रोग्रामिङ भाषाहरू प्रयोग गरेर नतिजा HTML कागजातलाई पार्स गर्नुहोस्।
3. डाटा भण्डारण
   भविष्यको प्रयोगको लागि आफ्नो स्थानीय डाटाबेस वा क्लाउड भण्डारणमा डाटा बचत गर्नुहोस्। यदि तपाइँ एक अनुभवी प्रोग्रामर हुनुहुन्छ जसले डेटा निकाल्न चाहानुहुन्छ, माथिका चरणहरू तपाइँलाई सरल लाग्न सक्छ। यद्यपि, यदि तपाइँ कोड गर्नुहुन्न भने, सर्टकट भनेको डेटा निकासी उपकरणहरू प्रयोग गर्नु हो, उदाहरणका लागि। अक्टोपार्से। डाटा निकासी उपकरणहरू, जस्तै डाटा खनन उपकरणहरू, ऊर्जा बचत गर्न र सबैका लागि डाटा प्रशोधन सजिलो बनाउन डिजाइन गरिएको हो। यी उपकरणहरू आर्थिक मात्र होइन तर शुरुआती-अनुकूल पनि छन्। तिनीहरूले प्रयोगकर्ताहरूलाई मिनेट भित्र डेटा सङ्कलन गर्न, क्लाउडमा भण्डारण गर्न र धेरै ढाँचाहरूमा निर्यात गर्न अनुमति दिन्छ: Excel, CSV, HTML, JSON वा API मार्फत वेबसाइट डेटाबेसहरूमा।

डाटा निकासी को हानि

• सर्भर क्र्यास
  ठूलो मात्रामा डेटा पुन: प्राप्त गर्दा, लक्षित साइटको वेब सर्भर ओभरलोड हुन सक्छ, जसले सर्भर क्र्यास हुन सक्छ। यसले साइट मालिकको हितलाई हानि पुर्‍याउँछ।
• IP द्वारा प्रतिबन्ध
  जब एक व्यक्तिले धेरै पटक डाटा सङ्कलन गर्दछ, वेबसाइटहरूले उनीहरूको आईपी ठेगाना रोक्न सक्छ। स्रोतले IP ठेगानालाई पूर्ण रूपमा अस्वीकार गर्न सक्छ वा पहुँच सीमित गर्न सक्छ, डेटा अपूर्ण बनाउँछ। डाटा पुन: प्राप्त गर्न र अवरुद्ध हुनबाट जोगिन, तपाईंले यसलाई मध्यम गतिमा गर्न आवश्यक छ र केही एन्टी-ब्लकिङ प्रविधिहरू प्रयोग गर्न आवश्यक छ।
• कानून समस्याहरु
  वैधताको कुरा गर्दा वेबबाट डाटा निकाल्दा खैरो क्षेत्रमा पर्छ। Linkedin र Facebook जस्ता ठूला साइटहरूले उनीहरूको प्रयोगका सर्तहरूमा स्पष्ट रूपमा बताउँछन् कि कुनै पनि स्वचालित डेटा निकासी निषेधित छ। बोट गतिविधिको कारण कम्पनीहरू बीच धेरै मुद्दाहरू भएका छन्।

डाटा खनन र डाटा निकासी बीच मुख्य भिन्नताहरू

1. डाटा माइनिङलाई डाटाबेसमा ज्ञान खोज, ज्ञान निकासी, डाटा/ढाँचा विश्लेषण, सूचना सङ्कलन पनि भनिन्छ। डाटा निकासी वेब डाटा निकासी, वेब क्रलिङ, डाटा खनन, र यस्तै अन्य संग एकान्तर रूपमा प्रयोग गरिन्छ।
2. डाटा माइनिङ अनुसन्धान मुख्यतया संरचित डाटा मा आधारित छ, जबकि डाटा माइनिंग मा यो सामान्यतया असंरचित वा खराब संरचित स्रोतहरु बाट निकालिएको छ।
3. डाटा माइनिङको लक्ष्य डाटालाई विश्लेषणका लागि थप उपयोगी बनाउनु हो। डाटा एक्स्ट्र्याक्सन भनेको डाटालाई एकै ठाउँमा जम्मा गर्नु हो जहाँ यसलाई भण्डारण वा प्रशोधन गर्न सकिन्छ।
4. डाटा माइनिङमा विश्लेषण ढाँचा वा प्रवृत्तिहरू पहिचान गर्न गणितीय विधिहरूमा आधारित हुन्छ। डेटा निकासी स्रोतहरू क्रल गर्न प्रोग्रामिङ भाषाहरू वा डेटा निकासी उपकरणहरूमा आधारित छ।
5. डाटा माइनिङको लक्ष्य तथ्यहरू फेला पार्नु हो जुन पहिले अज्ञात वा बेवास्ता गरिएको थियो, जबकि डाटा निकासी अवस्थित जानकारीसँग सम्बन्धित छ।
6. डाटा माइनिङ अधिक जटिल छ र मानिसहरूलाई प्रशिक्षणमा ठूलो लगानी चाहिन्छ। डाटा निकासी, सही उपकरणको साथ प्रयोग गर्दा, अत्यन्त सरल र लागत-प्रभावी हुन सक्छ।

हामी शुरुवातकर्ताहरूलाई डेटामा भ्रममा नपर्न मद्दत गर्छौं। हामीले विशेष गरी खबररा बासिन्दाहरूको लागि प्रचार कोड सिर्जना गरेका छौं HABRब्यानरमा देखाइएको छुटमा थप १०% छुट दिने।

• स्क्र्याच देखि डाटा विज्ञान को पेशा अध्यापन
• डाटा विज्ञान अनलाइन बुटक्याम्प
• स्क्र्याचबाट डाटा विश्लेषकको पेशालाई प्रशिक्षण दिँदै
• डाटा एनालिटिक्स अनलाइन बुटक्याम्प
• वेब विकास पाठ्यक्रम को लागी पाइथन

थप पाठ्यक्रमहरू

• डाटा एनालिटिक्स कोर्स
• DevOps पाठ्यक्रम
• पेशा वेब विकासकर्ता
• स्क्र्याच देखि पेशा iOS विकासकर्ता
• स्क्र्याचबाट पेशा एन्ड्रोइड विकासकर्ता
• स्क्र्याचबाट जाभा विकासकर्ता पेशा
• जाभास्क्रिप्ट पाठ्यक्रम
• मेसिन लर्निङ कोर्स
• पाठ्यक्रम "डेटा विज्ञानका लागि गणित र मेसिन लर्निङ"
• उन्नत पाठ्यक्रम "मेसिन लर्निङ प्रो + डीप लर्निङ"

विशेष लेखहरू

• अनलाइन पाठ्यक्रमहरू बिना डाटा वैज्ञानिक कसरी बन्ने
• 450 नि: शुल्क आइवी लीग पाठ्यक्रमहरू
• लगातार ९ महिनासम्म हप्ताको ५ दिन मेसिन लर्निङ कसरी अध्ययन गर्ने
• डेटा विश्लेषकले कति कमाउँछन्: 2020 मा रूस र विदेशमा तलब र रिक्त पदहरूको एक सिंहावलोकन
• खनन उद्योगमा मेशिन लर्निङ र कम्प्युटर भिजन

स्रोत: www.habr.com