डेटा सायन्समधून चार्लटन कसे ओळखायचे?

तुम्ही विश्लेषक, मशीन लर्निंग आणि आर्टिफिशियल इंटेलिजन्स तज्ञांबद्दल ऐकले असेल, परंतु ज्यांना अवाजवी पगार मिळतो त्यांच्याबद्दल तुम्ही ऐकले आहे का? भेटा डेटा चार्लॅटन! किफायतशीर नोकऱ्यांचे आमिष दाखवणारे हे फसवे, वास्तविक डेटा वैज्ञानिकांना बदनाम करतात. अशा लोकांना स्वच्छ पाण्यात कसे आणायचे ते सामग्रीमध्ये आम्ही समजतो.

डेटा चार्लॅटन्स सर्वत्र आहेत

डेटा चार्लॅटन्स साध्या दृष्टीक्षेपात लपवण्यात इतके चांगले आहेत की आपण करू शकता त्यापैकी एक व्हाते लक्षात न घेता. तुमची संस्था अनेक वर्षांपासून या घोटाळेबाजांना आश्रय देत असल्याची शक्यता आहे, परंतु चांगली बातमी अशी आहे की तुम्हाला काय शोधायचे हे माहित असल्यास ते ओळखणे सोपे आहे.
पहिली चेतावणी चिन्ह म्हणजे काय हे समजत नाही विश्लेषण आणि सांख्यिकी खूप भिन्न विषय आहेत. मी हे पुढे स्पष्ट करेन.

विविध विद्याशाखा

सांख्यिकीशास्त्रज्ञांना त्यांच्या डेटाच्या बाहेर काय आहे याबद्दल निष्कर्ष काढण्यासाठी प्रशिक्षित केले जाते, विश्लेषकांना डेटा सेटच्या सामग्रीचा अभ्यास करण्यासाठी प्रशिक्षित केले जाते. दुसऱ्या शब्दांत, विश्लेषक त्यांच्या डेटामध्ये काय आहे याबद्दल निष्कर्ष काढतात आणि सांख्यिकीशास्त्रज्ञ डेटामध्ये काय नाही याबद्दल निष्कर्ष काढतात. विश्लेषक तुम्हाला चांगले प्रश्न (अंदाज) विचारण्यात मदत करतात आणि आकडेवारी तुम्हाला चांगली उत्तरे मिळविण्यात मदत करतात (चाचणी गृहीतके).

विचित्र संकरित भूमिका देखील आहेत जिथे एखादी व्यक्ती दोन खुर्च्यांवर बसण्याचा प्रयत्न करते... का नाही? डेटा सायन्सचा मूलभूत सिद्धांत: जर तुम्ही अनिश्चिततेचा सामना करत असाल तर वापरू नका सारखे गृहीतके आणि चाचणीसाठी डेटा पॉइंट. जेव्हा डेटा मर्यादित असतो, तेव्हा अनिश्चितता एखाद्याला आकडेवारी किंवा विश्लेषण यापैकी एक निवडण्यास भाग पाडते. स्पष्टीकरण येथे.

आकडेवारीशिवाय, तुम्ही अडकलेले असाल आणि तुम्ही नुकताच तयार केलेला निर्णय टीकेला टिकून आहे की नाही हे समजू शकणार नाही, आणि विश्लेषण न करता, तुम्ही आंधळेपणाने पुढे जात आहात, अज्ञात व्यक्तीवर नियंत्रण ठेवण्याची शक्यता कमी आहे. ही एक अवघड निवड आहे.

या गडबडीतून बाहेर पडण्याचा चार्लटनचा मार्ग म्हणजे त्याकडे दुर्लक्ष करणे आणि नंतर अचानक जे काही समोर येते त्याबद्दल आश्चर्यचकित होण्याचे नाटक करणे. सांख्यिकीय गृहीतकांची चाचणी घेण्यामागील तर्कशास्त्र हे विचारण्यासारखे आहे की डेटा आपल्याला आपले विचार बदलण्यासाठी पुरेसे आश्चर्यचकित करतो का. जर आम्ही डेटा आधीच पाहिला असेल तर आम्हाला कसे आश्चर्य वाटेल?

जेव्हा जेव्हा चार्लॅटन्स एक नमुना शोधतात तेव्हा ते प्रेरणा देतात तेव्हा चाचणी करतात समान डेटा ते समान नमुनात्यांच्या सिद्धांतासोबत एक किंवा दोन कायदेशीर p-मूल्यांसह निकाल पोस्ट करण्यासाठी. असे केल्याने ते तुमच्याशी खोटे बोलत आहेत (आणि शक्यतो स्वतःशीही). तुम्ही तुमच्या गृहीतकाला चिकटून राहिल्यास हे p-मूल्य काही फरक पडत नाही. ते तुम्ही तुमचा डेटा कसा पाहिला. चार्लॅटन्स कारणे समजून न घेता विश्लेषक आणि सांख्यिकीशास्त्रज्ञांच्या कृतींचे अनुकरण करतात. परिणामी, डेटा सायन्सच्या संपूर्ण क्षेत्राला वाईट प्रतिष्ठा मिळते.

खरे सांख्यिकीकार नेहमीच त्यांचे स्वतःचे निष्कर्ष काढतात

कठोर तर्कासाठी सांख्यिकीशास्त्रज्ञांच्या जवळजवळ गूढ प्रतिष्ठेबद्दल धन्यवाद, डेटा सायन्समध्ये बनावट माहितीचे प्रमाण सर्वकाळ उच्च आहे. फसवणूक करणे सोपे आहे आणि पकडले जाऊ शकत नाही, विशेषत: जर संशयास्पद पीडित व्यक्तीला असे वाटते की हे सर्व समीकरण आणि डेटाबद्दल आहे. डेटासेट हा डेटासेट असतो, बरोबर? नाही. तुम्ही ते कसे वापरता हे महत्त्वाचे आहे.

सुदैवाने, चार्लॅटन्सला पकडण्यासाठी तुम्हाला फक्त एक सुगावा लागेल: ते "अमेरिकेचा पूर्वलक्षीपणे शोध घेत आहेत." त्यांना आधीच माहित असलेल्या घटना पुन्हा शोधून डेटामध्ये उपस्थित आहेत.

चार्लॅटन्सच्या विपरीत, चांगले विश्लेषक खुले मनाचे असतात आणि ते समजून घेतात की प्रेरणादायी कल्पनांचे अनेक भिन्न स्पष्टीकरण असू शकतात. त्याच वेळी, चांगले सांख्यिकीशास्त्रज्ञ त्यांचे निष्कर्ष काढण्यापूर्वी ते काळजीपूर्वक परिभाषित करतात.

जोपर्यंत विश्लेषक त्यांच्या डेटाच्या पलीकडे जात नाहीत तोपर्यंत त्यांना दायित्वातून मुक्त केले जाते. त्यांनी न पाहिलेल्या गोष्टीचा दावा करण्याचा मोह त्यांना झाला तर ते वेगळे काम आहे. त्यांनी विश्लेषक म्हणून "त्यांच्या शूज काढल्या पाहिजेत" आणि सांख्यिकीशास्त्रज्ञाच्या शूजमध्ये "बदल" केला पाहिजे. शेवटी, अधिकृत नोकरीचे शीर्षक काहीही असले तरी, तुम्हाला हवे असल्यास तुम्ही दोन्ही व्यवसायांचा अभ्यास करू शकत नाही असा कोणताही नियम नाही. फक्त त्यांना गोंधळात टाकू नका.

तुम्ही आकडेवारीत चांगले आहात याचा अर्थ तुम्ही विश्लेषणात चांगले आहात असा होत नाही आणि त्याउलट. जर कोणी तुम्हाला अन्यथा सांगण्याचा प्रयत्न करत असेल तर तुम्ही सावध राहावे. जर या व्यक्तीने तुम्हाला सांगितले की तुम्ही आधीच अभ्यास केलेल्या डेटावर तुम्हाला सांख्यिकीय निष्कर्ष काढण्याची परवानगी आहे, तर हे दुप्पट सावध राहण्याचे एक कारण आहे.

विचित्र स्पष्टीकरणे

जंगलातील डेटा चार्लॅटन्सचे निरीक्षण करताना, आपल्या लक्षात येईल की त्यांनी पाहिलेला डेटा "स्पष्टीकरण" करण्यासाठी त्यांना विलक्षण कथा बनवायला आवडते. अधिक शैक्षणिक, चांगले. या कथा अ‍ॅडजस्ट झाल्यात काही फरक पडत नाही.

जेव्हा चार्लॅटन्स असे करतात - मला शब्दांनी उदार होऊ द्या - ते खोटे बोलत आहेत. त्यांनी त्यांच्या आवृत्त्यांचा शून्य पुरावा देऊ केला या वस्तुस्थितीसाठी कोणतीही समीकरणे किंवा सुंदर संकल्पना तयार होत नाहीत. त्यांचे स्पष्टीकरण किती असामान्य आहेत याबद्दल आश्चर्यचकित होऊ नका.

हे आधी तुमच्या हातातील कार्डे पाहून तुमच्या "मानसिक" क्षमतेचे प्रदर्शन करण्यासारखेच आहे आणि नंतर तुम्ही काय धरले आहे... तुम्ही काय धरले आहे याचा अंदाज लावा. हा हिंडसाइट बायस आहे आणि डेटा सायंटिस्टचा व्यवसाय त्यात भरलेला आहे.

विश्लेषक म्हणतात: "तुम्ही नुकतेच हिऱ्यांच्या राणीबरोबर गेलात." सांख्यिकीशास्त्रज्ञ म्हणतात, “आम्ही सुरुवात करण्यापूर्वी या कागदावर मी माझी गृहीते लिहून ठेवली होती. चला आजूबाजूला खेळू आणि काही डेटा पाहू आणि मी बरोबर आहे का ते पाहू." चार्लॅटन्स म्हणतात: "मला माहित होते की तू हिऱ्यांची राणी होणार आहेस कारण..."

प्रत्येकाला आवश्यक असलेले डेटा विभाजन हे द्रुत निराकरण आहे.

जेव्हा जास्त डेटा नसतो, तेव्हा तुम्हाला आकडेवारी आणि विश्लेषण यापैकी निवड करावी लागते, परंतु जेव्हा पुरेशा डेटापेक्षा जास्त डेटा असतो तेव्हा फसवणूक न करता विश्लेषणे वापरण्याची उत्तम संधी असते. и आकडेवारी आपल्याकडे चार्लॅटन्सपासून परिपूर्ण संरक्षण आहे - हे डेटाचे पृथक्करण आहे आणि माझ्या मते, डेटा सायन्समधील ही सर्वात शक्तिशाली कल्पना आहे.

चार्लॅटन्सपासून स्वतःचे रक्षण करण्यासाठी, तुम्हाला फक्त काही चाचणी डेटा त्यांच्या डोळ्यांपासून दूर ठेवण्याची खात्री करायची आहे आणि नंतर इतर सर्व गोष्टींना विश्लेषण म्हणून हाताळावे लागेल. जेव्हा तुम्हाला एखादा सिद्धांत सापडला की तुम्ही स्वीकारण्याचा धोका पत्करावा, तेव्हा परिस्थितीचे मूल्यांकन करण्यासाठी त्याचा वापर करा आणि नंतर सिद्धांत मूर्ख नाही हे सत्यापित करण्यासाठी तुमचा गुप्त चाचणी डेटा उघड करा. हे खूप सोपे आहे!

एक्सप्लोरेशन टप्प्यात कोणालाही चाचणी डेटा पाहण्याची परवानगी नाही याची खात्री करा. हे करण्यासाठी, संशोधन डेटावर चिकटून रहा. चाचणी डेटा विश्लेषणासाठी वापरला जाऊ नये.

"स्मॉल डेटा" च्या युगात लोक ज्या गोष्टी वापरतात त्यापासून ही एक मोठी पायरी आहे, जिथे तुम्हाला खरोखर काहीतरी माहित आहे हे लोकांना पटवून देण्यासाठी तुम्हाला काय माहित आहे हे तुम्हाला कसे समजावून सांगावे लागेल.

ML/AI ला समान नियम लागू करणे

ML/AI तज्ञ म्हणून उभे असलेले काही चार्लॅटन्स देखील शोधणे सोपे आहे. तुम्ही इतर कोणत्याही वाईट अभियंत्याला जसे पकडता तसे तुम्ही त्यांना पकडाल: ते तयार करण्याचा प्रयत्न करत असलेले "उपाय" सतत अपयशी ठरतात. प्रारंभिक चेतावणी चिन्ह म्हणजे उद्योग मानक भाषा आणि प्रोग्रामिंग लायब्ररींचा अनुभव नसणे.

पण लोक बिल्डिंग सिस्टीमचे काय काम करतात असे दिसते? काहीतरी संशयास्पद चालले आहे हे कसे कळेल? हाच नियम लागू! चार्लटन हे एक भयंकर पात्र आहे जे तुम्हाला दाखवते की मॉडेलने किती चांगले प्रदर्शन केले… त्यांनी मॉडेल तयार करण्यासाठी वापरलेल्या डेटावर.

जर तुम्ही अत्यंत क्लिष्ट मशीन लर्निंग सिस्टम तयार केली असेल, तर ती किती चांगली आहे हे तुम्हाला कसे कळेल? तिने आधी न पाहिलेल्या नवीन डेटासह तिला काम करत असल्याचे दाखवेपर्यंत तुम्हाला कळणार नाही.

जेव्हा आपण अंदाज करण्यापूर्वी डेटा पाहिला तेव्हा ते संभव नाही आधीसांगणे

जेव्हा तुमच्याकडे विभक्त करण्यासाठी पुरेसा डेटा असतो, तेव्हा तुम्हाला प्रकल्पाचे औचित्य सिद्ध करण्यासाठी तुमच्या सूत्रांचे सौंदर्य उद्धृत करण्याची गरज नसते (एक जुनी फॅशन सवय मला सर्वत्र दिसते, फक्त विज्ञानात नाही). तुम्ही म्हणू शकता: "मला माहित आहे की ते कार्य करते कारण मी आधी न पाहिलेला डेटा सेट घेऊ शकतो आणि तिथे नेमके काय होईल याचा अंदाज लावू शकतो… आणि मी बरोबर आहे. पुन्हा पुन्हा".

नवीन डेटाच्या विरूद्ध तुमचे मॉडेल/सिद्धांत तपासणे हा विश्वासासाठी सर्वोत्तम आधार आहे.

मला डेटा चार्लॅटन्स सहन होत नाही. तुमचे मत वेगवेगळ्या चिप्सवर आधारित असल्यास मला पर्वा नाही. स्पष्टीकरणांच्या सौंदर्याने मी प्रभावित झालो नाही. मला दाखवा की तुमचा सिद्धांत/मॉडेल तुम्ही यापूर्वी कधीही न पाहिलेल्या नवीन डेटाच्या श्रेणीवर कार्य करते (आणि कार्य करत आहे). तुमच्या मताच्या ताकदीची हीच खरी कसोटी आहे.

डेटा सायंटिस्टशी संपर्क साधत आहे

हा विनोद समजणार्‍या प्रत्येकाकडून तुम्हाला गांभीर्याने घ्यायचे असेल, तर वैयक्तिक पक्षपातीपणाचे समर्थन करण्यासाठी फॅन्सी समीकरणांच्या मागे लपणे थांबवा. तुमच्याकडे काय आहे ते मला दाखवा. ज्यांना ते "मिळते" त्यांनी तुमचा सिद्धांत/मॉडेल केवळ प्रेरणादायी कविता म्हणून पाहावे असे तुम्हाला वाटत असल्यास, साक्षीदारांसमोर ते संपूर्णपणे नवीन डेटा सेटवर किती चांगले कार्य करते हे दाखवण्याचे धैर्य दाखवा. !

नेत्यांना आवाहन

डेटाच्या विरुद्ध चाचणी होईपर्यंत कोणत्याही "कल्पना" गांभीर्याने घेण्यास नकार द्या नवीन डेटा प्रयत्न करू इच्छित नाही? विश्‍लेषणाला चिकटून राहा, परंतु या कल्पनांवर विसंबून राहू नका - ते अविश्वसनीय आहेत आणि विश्वासार्हतेसाठी त्यांची चाचणी केली गेली नाही. तसेच, जेव्हा एखाद्या संस्थेकडे मुबलक प्रमाणात डेटा असतो, तेव्हा वेगळेपणाला विज्ञानाचा पाया बनवण्यात आणि आकडेवारीसाठी चाचणी डेटावर प्रवेश नियंत्रित करून पायाभूत सुविधांच्या स्तरावर टिकवून ठेवण्यासाठी कोणतीही कमतरता नाही. तुम्हाला फसवण्याचे प्रयत्न थांबवण्याचा हा एक चांगला मार्ग आहे!

तुम्हाला चांगले नसलेल्या चार्लॅटन्सची आणखी उदाहरणे पहायची असल्यास - Twitter वर हा एक अद्भुत धागा आहे.

परिणाम

जेव्हा डेटा विभक्त होण्यासाठी खूप लहान असतो, तेव्हा केवळ चार्लॅटन प्रेरणाचे काटेकोरपणे पालन करण्याचा प्रयत्न करतो, पूर्वलक्ष्यीपणे अमेरिकेचा शोध घेतो, डेटामध्ये आधीपासूनच ओळखल्या जाणार्‍या घटना गणितीयदृष्ट्या पुन्हा शोधतो आणि आश्चर्यचकित होण्याला सांख्यिकीयदृष्ट्या महत्त्वपूर्ण म्हणतो. हे त्यांना प्रेरणा घेऊन काम करणार्‍या मोकळ्या मनाचे विश्लेषक आणि भविष्यवाणी करताना पुरावा देणारे सूक्ष्म सांख्यिकीशास्त्रज्ञ यांच्यापासून वेगळे करते.

जेव्हा भरपूर डेटा असतो, तेव्हा डेटा सामायिक करण्याची सवय लावा जेणेकरुन तुम्हाला दोन्ही जगातील सर्वोत्तम गोष्टी मिळतील! मूळ डेटा ढीगच्या स्वतंत्र उपसंचांसाठी विश्लेषणे आणि आकडेवारी स्वतंत्रपणे करण्याचे सुनिश्चित करा.

• विश्लेषक तुम्हाला प्रेरणा आणि दृष्टीकोन देतात.
• आकडेवारी तुम्हाला कठोर चाचणी देतात.
• चार्लॅटन्स तुम्‍हाला एक वळणावळणाचा मागचा दृष्टीकोन ऑफर करतो जो विश्‍लेषण आणि आकडेवारी असल्‍याचा आव आणतो.

कदाचित, लेख वाचल्यानंतर, तुमच्या मनात असा विचार आला असेल की “मी चार्लटन नाही का”? हे ठीक आहे. या विचारातून मुक्त होण्याचे दोन मार्ग आहेत: प्रथम, मागे वळून पाहा, तुम्ही काय केले आहे ते पहा, डेटासह तुमच्या कामामुळे व्यावहारिक फायदा झाला आहे का. आणि दुसरे म्हणजे, तुम्ही अजूनही तुमच्या पात्रतेवर काम करू शकता (जे नक्कीच अनावश्यक होणार नाही), विशेषत: आम्ही आमच्या विद्यार्थ्यांना व्यावहारिक कौशल्ये आणि ज्ञान देतो ज्यामुळे त्यांना वास्तविक डेटा वैज्ञानिक बनता येते.

• डेटा सायन्सचा व्यवसाय सुरवातीपासून शिकवणे
• डेटा सायन्स ऑनलाइन बूटकॅम्प
• सुरवातीपासून डेटा विश्लेषक या व्यवसायाचे प्रशिक्षण
• डेटा विश्लेषण ऑनलाइन बूटकॅम्प

अधिक अभ्यासक्रम

• मशीन लर्निंग कोर्स
• कोर्स "डेटा सायन्ससाठी गणित आणि मशीन लर्निंग"
• प्रगत अभ्यासक्रम "मशीन लर्निंग प्रो + डीप लर्निंग"
• डेटा विश्लेषण अभ्यासक्रम
• DevOps कोर्स
• वेब डेव्हलपमेंट कोर्ससाठी पायथन
• प्रोफेशन वेब डेव्हलपर
• व्यवसाय iOS विकासक सुरवातीपासून
• सुरवातीपासून प्रोफेशन अँड्रॉइड डेव्हलपर
• प्रोफेशन जावा डेव्हलपर सुरवातीपासून
• जावास्क्रिप्ट कोर्स
• प्रोफेशन UX डिझायनर सुरवातीपासून
• व्यवसाय वेब डिझायनर

पुढे वाचा

• आमच्यातील डेटा: बायोइन्फॉरमॅटिशियन काय करतात?
• खाण उद्योगात मशीन लर्निंग आणि कॉम्प्युटर व्हिजन

स्त्रोत: www.habr.com