डेटा साइंस धोखेबाज़ को कैसे पहचानें?

आपने विश्लेषकों, मशीन लर्निंग और कृत्रिम बुद्धिमत्ता विशेषज्ञों के बारे में सुना होगा, लेकिन क्या आपने उन लोगों के बारे में सुना है जिन्हें गलत तरीके से अधिक वेतन मिलता है? मिलो डेटा चार्लटन! आकर्षक नौकरियों के लालच में ये हैक वास्तविक डेटा वैज्ञानिकों को बदनाम करते हैं। सामग्री में हम समझते हैं कि ऐसे लोगों को साफ पानी तक कैसे लाया जाए।

डेटा धोखेबाज़ हर जगह हैं

डेटा धोखेबाज़ सादे दृश्य में छिपने में इतने अच्छे हैं कि आप ऐसा कर सकते हैं उनमें से एक बनोबिना इसका एहसास हुए भी. संभावना है कि आपका संगठन वर्षों से इन डरपोक लोगों को पनाह दे रहा है, लेकिन अच्छी खबर यह है कि यदि आप जानते हैं कि क्या देखना है तो उन्हें पहचानना आसान है।
पहला चेतावनी संकेत इसे समझने की कमी है विश्लेषण और सांख्यिकी बहुत अलग विषय हैं. मैं इसे आगे समझाऊंगा.

विभिन्न अनुशासन

सांख्यिकीविदों को उनके डेटा से परे क्या होता है इसके बारे में निष्कर्ष निकालने के लिए प्रशिक्षित किया जाता है, विश्लेषकों को डेटा सेट की सामग्री की जांच करने के लिए प्रशिक्षित किया जाता है। दूसरे शब्दों में, विश्लेषक इस बारे में निष्कर्ष निकालते हैं कि उनके डेटा में क्या है, और सांख्यिकीविद् इस बारे में निष्कर्ष निकालते हैं कि डेटा में क्या नहीं है। विश्लेषक आपको अच्छे प्रश्न पूछने (परिकल्पनाएँ बनाने) में मदद करते हैं, और सांख्यिकीविद् आपको अच्छे उत्तर पाने (अपनी परिकल्पनाओं का परीक्षण करने) में मदद करते हैं।

ऐसी अजीब मिश्रित भूमिकाएँ भी हैं जहाँ एक व्यक्ति दो कुर्सियों पर बैठने की कोशिश करता है... क्यों नहीं? डेटा विज्ञान का मूल सिद्धांत: यदि आप अनिश्चितता से निपट रहे हैं, तो आप इसका उपयोग नहीं कर सकते वही परिकल्पनाओं और परीक्षण के लिए डेटा बिंदु। जब डेटा सीमित होता है, तो अनिश्चितता सांख्यिकी या विश्लेषण के बीच चयन करने को बाध्य करती है। व्याख्या यहां.

आँकड़ों के बिना, आप अटके रहेंगे और यह समझने में असमर्थ होंगे कि आपने अभी जो निर्णय लिया है वह कायम है या नहीं, और विश्लेषण के बिना, आप आँख मूँद कर आगे बढ़ रहे हैं, अज्ञात पर काबू पाने की बहुत कम संभावना है। यह एक कठिन विकल्प है.

इस झंझट से निकलने का धूर्त व्यक्ति का तरीका यह है कि इसे नज़रअंदाज कर दिया जाए और फिर जो अचानक सामने आता है उससे आश्चर्यचकित होने का नाटक किया जाए। सांख्यिकीय परिकल्पनाओं के परीक्षण के पीछे का तर्क इस सवाल पर आता है कि क्या डेटा हमें इतना आश्चर्यचकित करता है कि हमारा मन बदल जाए। यदि हमने डेटा पहले ही देख लिया है तो हम उससे आश्चर्यचकित कैसे हो सकते हैं?

जब भी धोखेबाजों को कोई पैटर्न मिलता है, वे प्रेरित हो जाते हैं, फिर जांच करते हैं वही डेटा के लिए वही पैटर्न, परिणाम को उनके सिद्धांत के बगल में वैध पी-वैल्यू या दो के साथ प्रकाशित करने के लिए। इस प्रकार, वे आपसे झूठ बोल रहे हैं (और, शायद, खुद से भी)। यदि आप अपनी परिकल्पना पर कायम नहीं रहते हैं तो यह पी-वैल्यू कोई मायने नहीं रखता से आपने अपना डेटा कैसे देखा. चार्लटन कारणों को समझे बिना विश्लेषकों और सांख्यिकीविदों के कार्यों की नकल करते हैं। परिणामस्वरूप, डेटा विज्ञान के पूरे क्षेत्र को खराब प्रतिष्ठा मिलती है।

सच्चे सांख्यिकीविद् हमेशा अपने निष्कर्ष स्वयं निकालते हैं

अपने कठोर तर्क के लिए सांख्यिकीविदों की लगभग रहस्यमय प्रतिष्ठा के लिए धन्यवाद, डेटा साइंस में नकली जानकारी की मात्रा अब तक के उच्चतम स्तर पर है। धोखा देना और पकड़े नहीं जाना आसान है, खासकर अगर पीड़ित को लगता है कि यह सब समीकरणों और डेटा के बारे में है। एक डेटासेट एक डेटासेट है, है ना? नहीं। यह मायने रखता है कि आप इसका उपयोग कैसे करते हैं।

सौभाग्य से, आपको धोखेबाज़ों को पकड़ने के लिए केवल एक सुराग की आवश्यकता है: वे "पूर्वव्यापी रूप से अमेरिका की खोज कर रहे हैं।" उन घटनाओं को फिर से खोजकर जिन्हें वे पहले से जानते हैं, डेटा में मौजूद हैं।

धोखेबाज़ों के विपरीत, अच्छे विश्लेषक खुले विचारों वाले होते हैं और समझते हैं कि प्रेरणादायक विचारों की कई अलग-अलग व्याख्याएँ हो सकती हैं। साथ ही, अच्छे सांख्यिकीविद् अपने निष्कर्ष निकालने से पहले उन्हें सावधानीपूर्वक परिभाषित करते हैं।

विश्लेषकों को दायित्व से छूट है... जब तक वे अपने डेटा के दायरे में रहते हैं। यदि वे किसी ऐसी चीज़ का दावा करने के लिए प्रलोभित हैं जो उन्होंने नहीं देखी है, तो यह बिल्कुल अलग काम है। उन्हें विश्लेषक के जूते उतारकर सांख्यिकीविद् के जूते पहनने चाहिए। आख़िरकार, इससे कोई फर्क नहीं पड़ता कि आधिकारिक नौकरी का शीर्षक क्या है, ऐसा कोई नियम नहीं है जो कहता हो कि आप चाहें तो दोनों व्यवसायों का अध्ययन नहीं कर सकते। बस उन्हें भ्रमित मत करो.

सिर्फ इसलिए कि आप सांख्यिकी में अच्छे हैं इसका मतलब यह नहीं है कि आप विश्लेषण में अच्छे हैं, और इसके विपरीत भी। यदि कोई आपको अन्यथा बताने का प्रयास करता है, तो आपको सावधान हो जाना चाहिए। यदि यह व्यक्ति आपसे कहता है कि आपके द्वारा पहले ही अध्ययन किए गए डेटा से सांख्यिकीय निष्कर्ष निकालना स्वीकार्य है, तो यह दोगुना सावधान होने का एक कारण है।

विचित्र व्याख्याएँ

जंगल में डेटा धोखेबाज़ों का अवलोकन करते समय, आप देखेंगे कि वे अपने द्वारा देखे गए डेटा को "समझाने" के लिए काल्पनिक कहानियाँ बनाना पसंद करते हैं। जितना अधिक अकादमिक, उतना बेहतर। इससे कोई फर्क नहीं पड़ता कि इन कहानियों को पीछे से समायोजित किया गया है।

जब धोखेबाज ऐसा करते हैं - मैं स्पष्ट कर दूं - वे झूठ बोल रहे हैं। कोई भी समीकरण या फैंसी अवधारणाएँ इस तथ्य की भरपाई नहीं कर सकतीं कि उन्होंने अपने सिद्धांतों का शून्य प्रमाण पेश किया। इस बात से आश्चर्यचकित न हों कि उनकी व्याख्याएँ कितनी असामान्य हैं।

यह वैसा ही है जैसे पहले अपने हाथों में कार्डों को देखकर अपनी "मानसिक" क्षमताओं का प्रदर्शन करना और फिर यह अनुमान लगाना कि आपके पास क्या है...आप क्या पकड़ रहे हैं। यह पूर्वदृष्टिकोण पूर्वाग्रह है, और डेटा विज्ञान पेशा इससे कूट-कूट कर भरा हुआ है।

विश्लेषकों का कहना है: "आप अभी हीरों की रानी के साथ गए थे।" सांख्यिकीविदों का कहना है, “शुरू करने से पहले मैंने कागज के इस टुकड़े पर अपनी परिकल्पनाएँ लिखी थीं। चलो आसपास खेलते हैं और कुछ डेटा देखते हैं और देखते हैं कि क्या मैं सही हूं।" धोखेबाज़ कहते हैं: "मुझे पता था कि तुम हीरों की रानी बनने वाली हो क्योंकि..."

डेटा शेयरिंग एक त्वरित समाधान है जिसकी हर किसी को आवश्यकता है।

जब बहुत अधिक डेटा नहीं होता है, तो आपको सांख्यिकी और विश्लेषण के बीच चयन करना होता है, लेकिन जब पर्याप्त से अधिक डेटा होता है, तो बिना किसी धोखे के विश्लेषण का उपयोग करने का एक शानदार अवसर होता है। и आँकड़े. आपके पास धोखेबाजों के खिलाफ अचूक बचाव है - डेटा पृथक्करण और, मेरी राय में, यह डेटा विज्ञान में सबसे शक्तिशाली विचार है।

अपने आप को धोखेबाज़ों से बचाने के लिए, आपको बस यह सुनिश्चित करना है कि आप कुछ परीक्षण डेटा को उनकी चुभती नज़रों की पहुंच से दूर रखें, और फिर बाकी को विश्लेषण के रूप में मानें। जब आपके सामने कोई ऐसा सिद्धांत आए जिसे स्वीकार करने में आपको जोखिम हो, तो स्थिति का मूल्यांकन करने के लिए इसका उपयोग करें, और फिर यह जांचने के लिए अपने गुप्त परीक्षण डेटा को प्रकट करें कि सिद्धांत बकवास नहीं है। ये इतना सरल है!

सुनिश्चित करें कि अन्वेषण चरण के दौरान किसी को भी परीक्षण डेटा देखने की अनुमति न हो। ऐसा करने के लिए, शोध डेटा पर टिके रहें। परीक्षण डेटा का उपयोग विश्लेषण के लिए नहीं किया जाना चाहिए.

यह "छोटे डेटा" युग में लोगों की आदत से एक बड़ा कदम है, जहां आपको यह समझाना होगा कि आप जो जानते हैं उसे कैसे जानते हैं ताकि अंततः लोगों को यह विश्वास दिलाया जा सके कि आप वास्तव में कुछ जानते हैं।

एमएल/एआई पर समान नियम लागू करें

खुद को एमएल/एआई विशेषज्ञ बताने वाले कुछ धोखेबाजों को भी पहचानना आसान है। आप उन्हें वैसे ही पकड़ेंगे जैसे आप किसी अन्य बुरे इंजीनियर को पकड़ेंगे: वे जो "समाधान" बनाने का प्रयास करते हैं वे लगातार विफल हो जाते हैं। एक प्रारंभिक चेतावनी संकेत उद्योग मानक प्रोग्रामिंग भाषाओं और पुस्तकालयों के साथ अनुभव की कमी है।

लेकिन उन लोगों के बारे में क्या जो सिस्टम बनाते हैं जो काम करते प्रतीत होते हैं? आपको कैसे पता चलेगा कि कुछ संदिग्ध हो रहा है? वही नियम लागू होता है! चार्लटन एक भयावह चरित्र है जो आपको दिखाता है कि मॉडल ने कितनी अच्छी तरह काम किया...उसी डेटा पर जिसका उपयोग उन्होंने मॉडल बनाने के लिए किया था।

यदि आपने एक बेहद जटिल मशीन लर्निंग सिस्टम बनाया है, तो आप कैसे जानेंगे कि यह कितना अच्छा है? आपको तब तक पता नहीं चलेगा जब तक आप उसे नए डेटा के साथ काम करते हुए नहीं दिखाएंगे जो उसने पहले नहीं देखा है।

जब आपने पूर्वानुमान लगाने से पहले डेटा देखा - तो इसकी संभावना नहीं थी से पहलेकह

जब आपके पास अलग करने के लिए पर्याप्त डेटा हो, तो आपको प्रोजेक्ट को सही ठहराने के लिए अपने फ़ार्मुलों की सुंदरता का हवाला देने की ज़रूरत नहीं है (एक पुरानी आदत जो मैं हर जगह देखता हूं, सिर्फ विज्ञान में नहीं)। आप कह सकते हैं: "मुझे पता है कि यह काम करता है क्योंकि मैं एक डेटा सेट ले सकता हूं जिसे मैंने पहले नहीं देखा है और भविष्यवाणी कर सकता हूं कि वहां क्या होगा... और मैं सही रहूंगा। बार - बार"।

नए डेटा के विरुद्ध अपने मॉडल/सिद्धांत का परीक्षण करना आत्मविश्वास का सबसे अच्छा आधार है।

मैं डेटा धोखेबाजों को बर्दाश्त नहीं करता। अगर आपकी राय अलग-अलग युक्तियों पर आधारित है तो मुझे इसकी परवाह नहीं है। मैं स्पष्टीकरणों की सुंदरता से प्रभावित नहीं हूँ। मुझे दिखाएँ कि आपका सिद्धांत/मॉडल नए डेटा के एक पूरे समूह पर काम करता है (और काम करना जारी रखता है) जिसे आपने पहले कभी नहीं देखा है। यह आपकी राय की ताकत की असली परीक्षा है.

डेटा विज्ञान विशेषज्ञों से संपर्क करना

यदि आप चाहते हैं कि इस हास्य को समझने वाले हर व्यक्ति आपको गंभीरता से ले, तो व्यक्तिगत पूर्वाग्रहों का समर्थन करने के लिए फैंसी समीकरणों के पीछे छिपना बंद करें। मुझे दिखाओ तुम्हें क्या मिला है। यदि आप चाहते हैं कि जो लोग इसे "समझते हैं" वे आपके सिद्धांत/मॉडल को केवल प्रेरणादायक कविता से अधिक के रूप में देखें, तो गवाहों के सामने डेटा के बिल्कुल नए सेट पर यह कितनी अच्छी तरह काम करता है, इसका भव्य प्रदर्शन करने का साहस रखें। !

नेताओं से अपील

डेटा के बारे में किसी भी "विचार" को तब तक गंभीरता से लेने से इंकार करें जब तक उनका परीक्षण न हो जाए नया डेटा। प्रयास करने का मन नहीं है? विश्लेषण पर टिके रहें, लेकिन इन विचारों पर भरोसा न करें—वे अविश्वसनीय हैं और विश्वसनीयता के लिए उनका परीक्षण नहीं किया गया है। इसके अलावा, जब किसी संगठन के पास प्रचुर मात्रा में डेटा होता है, तो विज्ञान में पृथक्करण को मौलिक बनाने और आंकड़ों के लिए परीक्षण डेटा तक पहुंच को नियंत्रित करके बुनियादी ढांचे के स्तर पर इसे बनाए रखने में कोई नकारात्मक पक्ष नहीं है। आपको मूर्ख बनाने की कोशिश कर रहे लोगों को रोकने का यह एक शानदार तरीका है!

यदि आप धोखेबाज़ों के और भी उदाहरण देखना चाहते हैं जिनका कोई फायदा नहीं है - यहाँ ट्विटर पर एक अद्भुत थ्रेड है.

परिणाम

जब अलग करने के लिए बहुत कम डेटा होता है, तो केवल एक चार्लटन पूर्वव्यापी रूप से अमेरिका की खोज करके, डेटा में पहले से ही ज्ञात घटनाओं को गणितीय रूप से फिर से खोजकर और आश्चर्य को सांख्यिकीय रूप से महत्वपूर्ण बताकर प्रेरणा का सख्ती से पालन करने की कोशिश करता है। यह उन्हें खुले दिमाग वाले विश्लेषक से अलग करता है, जो प्रेरणा से निपटता है, और सूक्ष्म सांख्यिकीविद्, जो भविष्यवाणियां करते समय सबूत पेश करता है।

जब बहुत अधिक डेटा हो, तो डेटा को अलग करने की आदत डालें ताकि आप दोनों दुनियाओं का सर्वोत्तम लाभ उठा सकें! डेटा के मूल ढेर के अलग-अलग उपसमूहों के लिए अलग-अलग विश्लेषण और सांख्यिकी करना सुनिश्चित करें।

• विश्लेषकों आपको प्रेरणा और खुले दिमाग की पेशकश करता है।
• आंकड़े आपको कठोर परीक्षण प्रदान करता है।
• चार्लाटंस आपको एक विकृत दृष्टिकोण प्रदान करता है जो विश्लेषणात्मक प्लस सांख्यिकी होने का दिखावा करता है।

शायद, लेख पढ़ने के बाद आपके मन में यह विचार आएगा कि "क्या मैं एक धोखेबाज़ हूँ"? यह ठीक है। इस विचार से छुटकारा पाने के दो तरीके हैं: पहला, पीछे मुड़कर देखें, देखें कि आपने क्या किया है, क्या डेटा के साथ आपके काम से व्यावहारिक लाभ हुआ है। और दूसरी बात, आप अभी भी अपनी योग्यताओं पर काम कर सकते हैं (जो निश्चित रूप से अतिश्योक्तिपूर्ण नहीं होगी), खासकर जब से हम अपने छात्रों को व्यावहारिक कौशल और ज्ञान देते हैं जो उन्हें वास्तविक डेटा वैज्ञानिक बनने की अनुमति देता है।

• स्क्रैच से डेटा साइंस के पेशे को पढ़ाना
• डेटा साइंस ऑनलाइन बूटकैंप
• डेटा विश्लेषक के पेशे को खरोंच से प्रशिक्षण देना
• डेटा एनालिटिक्स ऑनलाइन बूटकैंप

अधिक पाठ्यक्रम

• मशीन लर्निंग कोर्स
• कोर्स "डेटा साइंस के लिए गणित और मशीन लर्निंग"
• उन्नत पाठ्यक्रम "मशीन लर्निंग प्रो + डीप लर्निंग"
• डेटा एनालिटिक्स कोर्स
• डेवऑप्स कोर्स
• वेब डेवलपमेंट कोर्स के लिए पायथन
• व्यवसाय वेब डेवलपर
• शुरू से ही आईओएस डेवलपर का पेशा
• शुरू से ही पेशा एंड्रॉइड डेवलपर
• शुरू से ही पेशा जावा डेवलपर
• जावास्क्रिप्ट पाठ्यक्रम
• शुरू से ही पेशा यूएक्स डिजाइनर
• पेशे वेब डिजाइनर

अधिक पढ़ें

• हमारे भीतर का डेटा: जैव सूचना विज्ञानी क्या करते हैं?
• खनन उद्योग में मशीन लर्निंग और कंप्यूटर विजन

स्रोत: www.habr.com