डाटा साइन्सबाट चार्लटन कसरी चिन्न सकिन्छ?

तपाईंले विश्लेषकहरू, मेसिन लर्निङ र आर्टिफिसियल इन्टेलिजेन्स विशेषज्ञहरूको बारेमा सुन्नुभएको होला, तर के तपाईंले अयोग्य रूपमा बढी पारिश्रमिक पाउनेहरूको बारेमा सुन्नु भएको छ? भेट्नुहोस् डाटा चारलाटन! आकर्षक जागिरको प्रलोभनमा परेका यी ठगहरूले वास्तविक डाटा वैज्ञानिकहरूलाई नराम्रो नाम दिन्छन्। सामग्रीमा हामीले त्यस्ता मानिसहरूलाई सफा पानीमा कसरी ल्याउने भनेर बुझेका छौं।

डाटा charlatans सबै ठाउँमा छन्

डाटा चारलाटनहरू सादा दृष्टिमा लुकाउन धेरै राम्रो छन् कि तपाईं सक्नुहुन्छ ती मध्ये एक हुनुहोस्यो पनि थाहा छैन। सम्भावनाहरू तपाईंको संगठनले यी स्क्यामरहरूलाई वर्षौंदेखि आश्रय दिइरहेको छ, तर राम्रो समाचार यो हो कि यदि तपाईंलाई के खोज्ने भन्ने थाहा छ भने तिनीहरू पहिचान गर्न सजिलो छ।
पहिलो चेतावनी चिन्ह भनेको के हो बुझिदैन विश्लेषण र तथ्याङ्क धेरै फरक विषय हो। म यसलाई थप व्याख्या गर्नेछु।

विविध विषयहरू

तथ्याङ्कविद्हरूलाई उनीहरूको डेटा बाहिर के छ भन्ने निष्कर्ष निकाल्न प्रशिक्षित गरिन्छ, विश्लेषकहरूलाई डेटासेटको सामग्री अध्ययन गर्न प्रशिक्षित गरिन्छ। अर्को शब्दमा, विश्लेषकहरूले उनीहरूको डेटामा के छ भन्ने निष्कर्ष निकाल्छन्, र तथ्याङ्कविद्हरूले डेटामा के छैन भन्ने निष्कर्ष निकाल्छन्। विश्लेषकहरूले तपाईंलाई राम्रो प्रश्नहरू (अनुमानहरू) सोध्न मद्दत गर्छन्, र तथ्याङ्कहरूले तपाईंलाई राम्रो जवाफहरू (परीक्षण परिकल्पनाहरू) प्राप्त गर्न मद्दत गर्छन्।

त्यहाँ पनि विचित्र हाइब्रिड भूमिकाहरू छन् जहाँ एक व्यक्ति दुई कुर्सीमा बस्न खोज्छ ... किन हुँदैन? डाटा विज्ञानको आधारभूत सिद्धान्त: यदि तपाइँ अनिश्चिततासँग व्यवहार गर्दै हुनुहुन्छ भने, प्रयोग नगर्नुहोस् उस्तै परिकल्पना र परीक्षणको लागि डाटा बिन्दु। जब डेटा सीमित हुन्छ, अनिश्चितताले एकलाई तथ्याङ्क वा विश्लेषणहरू बीच छनौट गर्न बाध्य बनाउँछ। स्पष्टीकरण यहाँ.

तथ्याङ्कहरू बिना, तपाईं अडिग हुनुहुनेछ र तपाईंले भर्खरै तयार गर्नुभएको निर्णय आलोचनाको लागि खडा छ कि छैन भनेर बुझ्न असमर्थ हुनेछ, र विश्लेषण नगरी, तपाईं अज्ञातलाई ट्यामिङ गर्ने थोरै मौका पाएर अन्धाधुन्ध रूपमा अघि बढिरहनुभएको छ। यो एक कठिन छनोट हो।

यस गडबडीबाट बाहिर निस्कने मार्ग भनेको यसलाई बेवास्ता गर्नु र त्यसपछि अचानक प्रकट भएको कुरामा छक्क पर्ने नाटक गर्नु हो। सांख्यिकीय परिकल्पनाहरू परीक्षण गर्ने पछाडिको तर्कले हाम्रो दिमाग परिवर्तन गर्न डेटाले हामीलाई पर्याप्त छक्क पार्छ कि भनेर सोध्न उबलिन्छ। यदि हामीले यसलाई पहिले नै देखेका छौं भने हामी कसरी डेटाबाट छक्क पर्न सक्छौं?

जहिले पनि चार्लटनहरूले ढाँचा फेला पार्छन् उनीहरूले प्रेरणा दिन्छन् त्यसपछि परीक्षण गर्नुहोस् एउटै डाटा लागि एउटै ढाँचातिनीहरूको सिद्धान्तसँगै वैध p-value वा दुईको साथ परिणाम पोस्ट गर्न। त्यसो गरेर, तिनीहरू तपाईंसँग (र सम्भवतः आफैलाई पनि) झुटो बोलिरहेका छन्। यदि तपाईं आफ्नो परिकल्पनामा अडिग हुनुहुन्न भने यो p-मानले फरक पार्दैन। गर्न तपाइँ तपाइँको डाटा कसरी हेर्नुहुन्छ। Charlatans कारणहरू नबुझेर विश्लेषकहरू र तथ्याङ्कविद्हरूको कार्यहरूको नक्कल गर्छन्। नतिजाको रूपमा, डाटा विज्ञानको सम्पूर्ण क्षेत्र खराब र्याप भइरहेको छ।

साँचो तथ्याङ्कविद्हरूले सधैं आफ्नै निष्कर्ष निकाल्छन्

कठोर तर्कका लागि तथ्याङ्कविद्हरूको लगभग रहस्यमय प्रतिष्ठाको लागि धन्यवाद, डाटा विज्ञानमा नक्कली जानकारीको मात्रा सबै समय उच्च छ। यो ठगी गर्न सजिलो छ र समात्नु हुँदैन, विशेष गरी यदि अप्रत्याशित पीडितले सोच्दछ कि यो सबै समीकरण र डेटाको बारेमा हो। डाटासेट एक डाटासेट हो, हैन? छैन। तपाईले यसलाई कसरी प्रयोग गर्नुहुन्छ भन्ने कुरा महत्त्वपूर्ण छ।

सौभाग्य देखि, तपाईंलाई चार्लटनहरू समात्न केवल एउटा सुराग चाहिन्छ: तिनीहरू "तथ्य पछि अमेरिका पुन: पत्ता लगाउँछन्।" पुन: पत्ता लगाउने घटना जुन उनीहरूलाई पहिले नै थाहा छ डाटामा अवस्थित छन्।

Charlatans को विपरीत, असल विश्लेषकहरू खुला दिमागका हुन्छन् र बुझ्छन् कि प्रेरणादायक विचारहरूमा धेरै फरक व्याख्याहरू हुन सक्छन्। एकै समयमा, असल तथ्याङ्कविद्हरूले तिनीहरूलाई आकर्षित गर्नु अघि तिनीहरूको निष्कर्षहरू सावधानीपूर्वक परिभाषित गर्छन्।

विश्लेषकहरू दायित्वबाट मुक्त छन्... जबसम्म तिनीहरू आफ्नो डेटाभन्दा बाहिर जान सक्दैनन्। यदि तिनीहरू आफूले नदेखेको कुरा दाबी गर्न प्रलोभनमा छन् भने, त्यो फरक काम हो। तिनीहरूले एक विश्लेषकको रूपमा "आफ्ना जुत्ता फुकाल्नु पर्छ" र तथ्याङ्कविद्को जुत्तामा "परिवर्तन" गर्नुपर्छ। आखिर, आधिकारिक जागिरको शीर्षक जुनसुकै होस्, त्यहाँ कुनै नियम छैन जसले भन्छ कि तपाइँ दुबै ट्रेडहरू अध्ययन गर्न सक्नुहुन्न यदि तपाइँ चाहनुहुन्छ भने। बस तिनीहरूलाई भ्रमित नगर्नुहोस्।

तपाईं तथ्याङ्कमा राम्रो हुनुको मतलब तपाईं विश्लेषणमा राम्रो हुनुहुन्छ भन्ने होइन, र यसको विपरित। यदि कसैले तपाईंलाई अन्यथा भन्न खोज्दैछ भने, तपाईं आफ्नो सुरक्षामा हुनुपर्छ। यदि यो व्यक्तिले तपाईंलाई बताउँछ कि तपाईंले पहिले नै अध्ययन गरिसक्नु भएको डेटामा तथ्याङ्कीय निष्कर्ष निकाल्न अनुमति दिइएको छ भने, यो दोहोरो सावधान हुनुको कारण हो।

विचित्र व्याख्याहरू

जब तपाइँ जंगली मा डेटा charlatans अवलोकन गर्नुहुन्छ, तपाइँ याद गर्नुहुनेछ कि तिनीहरूले अवलोकन गरिएको डेटा "स्पष्टीकरण" गर्न काल्पनिक कथाहरू बनाउन मन पराउँछन्। जति अकादमिक हुन्छ त्यति राम्रो हुन्छ । यी कथाहरू पूर्वव्यापी रूपमा संचालित छन् भन्ने कुराले फरक पार्दैन।

जब चार्लटनहरूले यो गर्छन् - मलाई शब्दहरूसँग उदार हुन दिनुहोस् - तिनीहरू झूट बोल्छन्। कुनै पनि समीकरण वा सुन्दर अवधारणाहरू यस तथ्यको लागि बनाउँदैनन् कि तिनीहरूले तिनीहरूको संस्करणहरूको शून्य प्रमाण प्रस्ताव गरे। तिनीहरूको व्याख्या कत्तिको असामान्य छ भनेर छक्क नमान्नुहोस्।

यो पहिले तपाइँको हातमा कार्डहरू हेरेर तपाइँको "मानसिक" क्षमताहरू प्रदर्शन गर्नु जस्तै हो, र त्यसपछि तपाइँ के समात्दै हुनुहुन्छ ... तपाइँ के समात्दै हुनुहुन्छ भनेर भविष्यवाणी गर्न। यो एक पछाडी पूर्वाग्रह हो, र डाटा वैज्ञानिक पेशा यसमा भरिएको छ।

विश्लेषकहरू भन्छन्: "तपाईं भर्खर हीराकी रानीसँग जानुभयो।" तथ्याङ्कविद्हरू भन्छन्, "मैले यो कागजको टुक्रामा मेरो परिकल्पनाहरू हामीले सुरु गर्नु अघि लेखे। खेलौं, केही डेटा हेरौं र हेरौं कि म सही छु। चारलाटनहरू भन्छन्, "मलाई थाहा थियो कि तपाईं हीराको रानी बन्नुहुनेछ किनभने ..."

डाटा विभाजन सबैलाई चाहिने द्रुत समाधान हो।

जब त्यहाँ धेरै डेटा छैन, तपाईंले तथ्याङ्क र विश्लेषणहरू बीच छनौट गर्नुपर्छ, तर जब त्यहाँ पर्याप्त डेटा छ, त्यहाँ धोखा बिना विश्लेषण प्रयोग गर्ने ठूलो अवसर छ। и तथ्याङ्क। तपाईंसँग charlatans विरुद्ध पूर्ण सुरक्षा छ - यो डाटा को विभाजन हो र, मेरो विचार मा, यो डाटा विज्ञान मा सबै भन्दा शक्तिशाली विचार हो।

आफूलाई चार्लाटनहरूबाट जोगाउन, तपाईंले गर्नुपर्ने भनेको केही परीक्षण डाटा तिनीहरूको मनमोहक आँखाबाट बाहिर राख्नु होस् र त्यसपछि अरू सबै कुरालाई विश्लेषणको रूपमा व्यवहार गर्नुहोस्। जब तपाइँ एक सिद्धान्त भेट्नुहुन्छ जुन तपाइँ स्वीकार गर्ने जोखिममा हुनुहुन्छ, यसलाई स्थितिको मूल्याङ्कन गर्न प्रयोग गर्नुहोस् र त्यसपछि तपाइँको गोप्य परीक्षण डेटा प्रकट गर्नुहोस् कि सिद्धान्त बकवास छैन भनेर प्रमाणित गर्न। यो धेरै सरल छ!

अन्वेषण चरणको क्रममा कसैलाई पनि परीक्षण डेटा हेर्न अनुमति छैन भनी सुनिश्चित गर्नुहोस्। यो गर्नका लागि, अनुसन्धान डेटामा टाँस्नुहोस्। परीक्षण डाटा विश्लेषणको लागि प्रयोग गर्नु हुँदैन।

यो "सानो डेटा" को युगमा मानिसहरूलाई प्रयोग गर्ने कुराबाट ठूलो कदम हो, जहाँ तपाइँले तपाइँलाई के थाहा छ भनेर तपाइँलाई थाहा छ भन्ने कुरालाई अन्ततः तपाइँलाई केहि थाहा छ भनी मानिसहरूलाई विश्वस्त गराउनको लागि व्याख्या गर्नुपर्दछ।

ML/AI मा समान नियमहरू लागू गर्दै

ML/AI विज्ञहरूको रूपमा प्रस्तुत गर्ने केही चारलाटनहरू पनि सजिलै भेटिन्छन्। तपाईंले तिनीहरूलाई त्यसरी नै समात्नुहुनेछ जसरी तपाईंले कुनै अन्य खराब इन्जिनियरलाई समात्नुहुनेछ: "समाधानहरू" तिनीहरूले निर्माण गर्न खोज्ने लगातार असफल हुन्छन्। प्रारम्भिक चेतावनी संकेत उद्योग मानक भाषाहरू र प्रोग्रामिङ पुस्तकालयहरूसँग अनुभवको कमी हो।

तर मानिसहरूले काम गरेको जस्तो प्रणाली निर्माण गर्ने बारे के? केहि शंकास्पद भइरहेको छ भने कसरी थाहा पाउने? एउटै नियम लागू हुन्छ! चार्लाटन एक भयावह पात्र हो जसले तपाईंलाई मोडेलले कत्तिको राम्रो प्रदर्शन गरेको देखाउँछ... उही डेटामा उनीहरूले मोडेल सिर्जना गर्न प्रयोग गरे।

यदि तपाईंले एक अत्यन्तै जटिल मेसिन लर्निङ प्रणाली बनाउनुभएको छ भने, तपाईंलाई कसरी थाहा छ कि यो कति राम्रो छ? उसले पहिले नदेखेको नयाँ डाटाको साथ काम गरिरहेकी छिन् भनेर तपाईंले उसलाई नदेखाएसम्म तपाईंले थाहा पाउनुहुनेछैन।

जब तपाइँ भविष्यवाणी गर्नु अघि डाटा हेर्नुभयो, यो सम्भव छैन अघिभन्दै।

जब तपाइँसँग विभाजन गर्न पर्याप्त डेटा हुन्छ, तपाइँ एक परियोजना को औचित्य गर्न को लागी तपाइँको सूत्र को सुन्दरता को लागी आह्वान गर्न आवश्यक छैन (एक पुरानो फैशनेबल बानी म जताततै देख्छु, विज्ञान मा मात्र होइन)। तपाईं भन्न सक्नुहुन्छ: "मलाई थाहा छ यसले काम गर्छ किनभने मैले पहिले नदेखेको डेटा सेट लिन सक्छु र त्यहाँ के हुनेछ भनेर ठ्याक्कै भविष्यवाणी गर्न सक्छु ... र म सही हुनेछु। पटक पटक"।

नयाँ डाटा विरुद्ध आफ्नो मोडेल/सिद्धान्त परीक्षण विश्वास को लागि सबै भन्दा राम्रो आधार हो।

म डाटा charlatans सहन छैन। तपाईको राय फरक चिप्समा आधारित छ भने मलाई मतलब छैन। म व्याख्याहरूको सुन्दरताबाट प्रभावित छैन। तपाईंले पहिले कहिल्यै नदेखेको नयाँ डेटाको दायरामा तपाईंको सिद्धान्त/मोडेलले काम गर्छ (र काम गर्न जारी राख्छ) भनी मलाई देखाउनुहोस्। यो तपाईको विचारको शक्तिको वास्तविक परीक्षा हो।

डाटा वैज्ञानिकहरूलाई सम्पर्क गर्दै

यदि तपाइँ यो हास्य बुझ्ने जो कोहीले गम्भीरतापूर्वक लिन चाहानुहुन्छ भने, तपाइँको व्यक्तिगत पूर्वाग्रहलाई जीवित राख्न फैंसी समीकरणहरू पछि लुकाउन रोक्नुहोस्। तपाईसँग के छ देखाउनुहोस्। यदि तपाइँ "यो प्राप्त" गर्नेहरूले तपाइँको सिद्धान्त/नमूनालाई प्रेरणादायी कविता भन्दा बढीको रूपमा हेर्न चाहानुहुन्छ भने, साक्षीहरूको अगाडि यो एकदम नयाँ डेटा सेटमा कत्ति राम्रो प्रदर्शन गर्दछ भनेर भव्य प्रदर्शन गर्ने साहस गर्नुहोस्!

नेताहरुलाई अपिल

डाटाको बारेमा कुनै पनि "विचार" लाई गम्भीरताका साथ लिन अस्वीकार गर्नुहोस् जबसम्म यसको विरुद्ध परीक्षण नगरिएको छ नयाँ डाटा। प्रयासमा राख्न चाहनुहुन्न? एनालिटिक्समा टाँसिनुहोस्, तर यी विचारहरूमा भरोसा नगर्नुहोस् - तिनीहरू अविश्वसनीय छन् र विश्वसनीयताको लागि परीक्षण गरिएको छैन। साथै, जब एक संगठनसँग प्रचुर मात्रामा डेटा हुन्छ, त्यहाँ तथ्याङ्कको लागि परीक्षण डेटाको पहुँचलाई नियन्त्रण गरेर पूर्वाधार स्तरमा विज्ञानको जग बनाउन र यसलाई कायम राख्न कुनै नकारात्मक पक्ष छैन। तपाईंलाई मूर्ख बनाउने प्रयासहरू रोक्न यो एक राम्रो तरिका हो!

यदि तपाइँ केहि नराम्रो षड्यन्त्र गर्ने चारलाटन्सको थप उदाहरणहरू हेर्न चाहनुहुन्छ भने - यो एक महान twitter थ्रेड हो.

परिणामहरू

जब डाटा अलग गर्न धेरै सानो छ, केवल चारलाटनले कडाईका साथ प्रेरणा पछ्याउने प्रयास गर्दछ, अमेरिकालाई पूर्वव्यापी रूपमा पत्ता लगाउँदछ, गणितीय रूपमा डेटामा पहिले नै थाहा भएको घटनालाई पुन: पत्ता लगाउने, र आश्चर्यजनक तथ्याङ्कीय रूपमा महत्त्वपूर्ण भनिन्छ। यसले उनीहरूलाई प्रेरणासँग व्यवहार गर्ने खुला दिमागका विश्लेषक र भविष्यवाणी गर्दा प्रमाणहरू प्रदान गर्ने सावधान तथ्याङ्कविद्बाट फरक पार्छ।

जब त्यहाँ धेरै डाटा हुन्छ, डाटा साझेदारी गर्ने बानीमा जानुहोस् ताकि तपाईं दुबै संसारको उत्कृष्ट पाउन सक्नुहुन्छ! मूल डाटा पाइलको अलग-अलग उपसेटहरूको लागि अलग-अलग विश्लेषण र तथ्याङ्कहरू गर्न निश्चित हुनुहोस्।

• विश्लेषकहरू तपाईंलाई प्रेरणा र परिप्रेक्ष्य प्रदान गर्दछ।
• तथ्याङ्क तपाईलाई कठोर परीक्षण प्रदान गर्दछ।
• Charlatans तपाईंलाई विश्लेषण र तथ्याङ्कको बहाना गर्ने एक घुमाउरो पश्चदृष्टि प्रदान गर्दछ।

सायद, लेख पढेपछि, तपाइँ "के म एक चार्लटन" सोच्नुहुनेछ? यो ठीक छ। यस विचारबाट छुटकारा पाउन दुईवटा तरिकाहरू छन्: पहिलो, पछाडि हेर्नुहोस्, तपाईंले के गर्नुभयो हेर्नुहोस्, डाटाको साथ तपाईंको कामले व्यावहारिक लाभहरू ल्याएको छ कि छैन। र दोस्रो, तपाईं अझै पनि आफ्नो योग्यताहरूमा काम गर्न सक्नुहुन्छ (जुन निश्चित रूपमा अनावश्यक हुनेछैन), विशेष गरी जब हामी हाम्रा विद्यार्थीहरूलाई व्यावहारिक सीप र ज्ञान दिन्छौं जसले तिनीहरूलाई वास्तविक डेटा वैज्ञानिक बन्न अनुमति दिन्छ।

• स्क्र्याच देखि डाटा विज्ञान को पेशा अध्यापन
• डाटा विज्ञान अनलाइन बुटक्याम्प
• स्क्र्याचबाट डाटा विश्लेषकको पेशालाई प्रशिक्षण दिँदै
• डाटा एनालिटिक्स अनलाइन बुटक्याम्प

थप पाठ्यक्रमहरू

• मेसिन लर्निङ कोर्स
• पाठ्यक्रम "डेटा विज्ञानका लागि गणित र मेसिन लर्निङ"
• उन्नत पाठ्यक्रम "मेसिन लर्निङ प्रो + डीप लर्निङ"
• डाटा एनालिटिक्स कोर्स
• DevOps पाठ्यक्रम
• वेब विकास पाठ्यक्रम को लागी पाइथन
• पेशा वेब विकासकर्ता
• स्क्र्याच देखि पेशा iOS विकासकर्ता
• स्क्र्याचबाट पेशा एन्ड्रोइड विकासकर्ता
• स्क्र्याचबाट जाभा विकासकर्ता पेशा
• जाभास्क्रिप्ट पाठ्यक्रम
• स्क्र्याच देखि पेशा UX डिजाइनर
• पेशा वेब डिजाइनर

थप पढ्नुहोस्

• हामी भित्रको डाटा: जैव सूचनाविद्हरूले के गर्छन्?
• खनन उद्योगमा मेशिन लर्निङ र कम्प्युटर भिजन

स्रोत: www.habr.com