रेकवर चालणे: ज्ञान चाचणी विकासातील 10 गंभीर चुका

नवीन मशीन लर्निंग अॅडव्हान्स्ड कोर्समध्ये नावनोंदणी करण्यापूर्वी, आम्ही संभाव्य विद्यार्थ्यांची त्यांच्या तयारीची पातळी निश्चित करण्यासाठी आणि त्यांना कोर्सची तयारी करण्यासाठी नेमके काय ऑफर करणे आवश्यक आहे हे समजून घेण्यासाठी चाचणी घेतो. पण एक संदिग्धता उद्भवते: एकीकडे, आपण डेटा सायन्समध्ये ज्ञानाची चाचणी केली पाहिजे, तर दुसरीकडे, आपण पूर्ण 4 तासांच्या परीक्षेची व्यवस्था करू शकत नाही.

या समस्येचे निराकरण करण्यासाठी, आम्ही डेटा सायन्स कोर्स डेव्हलपमेंट टीममध्ये एक TestDev मुख्यालय तैनात केले आहे (आणि असे दिसते की ही फक्त सुरुवात आहे). ज्ञानाचे मूल्यमापन करण्यासाठी चाचण्या विकसित करताना समोर येणाऱ्या १० त्रुटींची यादी आम्ही तुमच्यासमोर सादर करतो. आशा आहे की यानंतर ऑनलाइन शिक्षणाचे जग थोडे चांगले होईल.

रेक 1: चाचणी उद्दिष्टे स्पष्टपणे परिभाषित करण्यात अयशस्वी

उद्दिष्टे अचूकपणे परिभाषित करण्यासाठी आणि त्यांना विचारात घेणारी चाचणी तयार करण्यासाठी, नियोजनाच्या टप्प्यावर आपण अनेक प्रश्नांची उत्तरे दिली पाहिजेत:

1. आम्ही प्रत्यक्षात काय तपासत आहोत? 
2. चाचणी कोणत्या वातावरणात होईल आणि कोणती यांत्रिकी वापरली जाईल? या वातावरणात काय मर्यादा आहेत? हाच मुद्दा तुम्हाला ज्या डिव्हाइसवर चाचणी केली जाईल त्या उपकरणासाठी तांत्रिक आवश्यकता समजून घेण्यास अनुमती देईल आणि सामग्रीसाठी देखील (जर चाचणी फोनवरून घेतली गेली असेल तर, चित्रे अगदी लहान स्क्रीनवर देखील वाचता येण्यासारखी असली पाहिजेत. ते मोठे करणे शक्य आहे, इ.).
3. चाचणी किती वेळ घेईल? वापरकर्ता कोणत्या परिस्थितीत परीक्षा देईल याचा विचार करणे आवश्यक आहे. अशी परिस्थिती असू शकते जिथे त्याला चाचणी प्रक्रियेत व्यत्यय आणावा लागेल आणि नंतर पुन्हा सुरू ठेवावे लागेल?
4. प्रतिक्रिया मिळेल का? आपण ते कसे तयार करू आणि वितरित करू? आपल्याला काय प्राप्त करण्याची आवश्यकता आहे? चाचणी अंमलबजावणी आणि अभिप्राय यामध्ये काही अंतर आहे का?

आमच्या बाबतीत, या प्रश्नांची उत्तरे देऊन, आम्ही चाचणीसाठी लक्ष्यांची खालील यादी परिभाषित केली:

1. भविष्यातील विद्यार्थी अभ्यासक्रम घेण्यास तयार आहेत की नाही आणि त्यांच्याकडे पुरेसे ज्ञान आणि कौशल्ये आहेत की नाही हे चाचणीने दाखवले पाहिजे.
2. चाचणीने आम्हाला अभिप्रायासाठी साहित्य दिले पाहिजे, विद्यार्थ्यांनी ज्या विषयात चूक केली आहे ते सूचित केले पाहिजे, जेणेकरून ते त्यांचे ज्ञान सुधारू शकतील. ते कसे तयार करायचे ते आम्ही तुम्हाला खाली सांगू.

रेक 2: तज्ञ चाचणी लेखकासाठी तांत्रिक वैशिष्ट्ये तयार करण्यात अयशस्वी

चाचणी आयटम तयार करण्यासाठी, ज्या क्षेत्रात ज्ञानाची चाचणी केली जात आहे त्या क्षेत्रातील तज्ञाचा समावेश करणे खूप महत्वाचे आहे. आणि एखाद्या तज्ञासाठी, या बदल्यात, तुम्हाला सक्षम तांत्रिक तपशील (वर्णन) आवश्यक आहे, ज्यामध्ये चाचणीचे विषय, चाचणी केलेले ज्ञान/कौशल्य आणि त्यांची पातळी यांचा समावेश आहे.

एक विशेषज्ञ स्वत: साठी अशी तांत्रिक वैशिष्ट्ये करणार नाही, कारण त्याचे कार्य कार्यांसह येणे आहे, चाचणीची रचना नाही. शिवाय, शिकवण्याच्या प्रक्रियेतही काही लोक व्यावसायिकपणे चाचण्या विकसित करतात. हे एका वेगळ्या खासियत - सायकोमेट्रिक्समध्ये शिकवले जाते.

जर तुम्हाला सायकोमेट्रिक्सशी त्वरीत परिचित व्हायचे असेल तर रशियामध्ये आहे उन्हाळी शाळा सर्व स्वारस्य असलेल्यांसाठी. अधिक सखोल अभ्यासासाठी, शिक्षण संस्थेकडे आहे पदव्युत्तर पदवी आणि पदवीधर शाळा.

तांत्रिक वैशिष्ट्ये तयार करताना, आम्ही तज्ञासाठी (किंवा अधिक चांगले, त्याच्यासह) चाचणीचे तपशीलवार वर्णन गोळा करतो: कार्यांचे विषय, कार्यांचे प्रकार, त्यांची संख्या.

कार्यांचा प्रकार कसा निवडावा: विषयांवर निर्णय घेतल्यानंतर, आम्ही ठरवतो की कोणती कार्ये याची सर्वोत्तम चाचणी करू शकतात? क्लासिक पर्याय: ओपन-एंडेड टास्क, मल्टिपल किंवा सिंगल चॉईस टास्क, मॅचिंग इ. (चाचणी वातावरणाच्या तांत्रिक मर्यादांबद्दल विसरू नका!). कार्यांचे प्रकार निश्चित केल्यानंतर आणि निर्दिष्ट केल्यानंतर, आमच्याकडे तज्ञांसाठी एक तयार तांत्रिक तपशील आहे. तुम्ही याला टेस्ट स्पेसिफिकेशन म्हणू शकता.

रेक 3: चाचणी विकासामध्ये तज्ञांचा समावेश नाही

चाचणीच्या विकासात एखाद्या तज्ञाला बुडवताना, त्याला केवळ "कामाची व्याप्ती" सूचित करणे नव्हे तर विकास प्रक्रियेतच त्याचा समावेश करणे फार महत्वाचे आहे.

एखाद्या तज्ञासह काम करणे शक्य तितके प्रभावी कसे करावे:

• ते आगाऊ सेट करा आणि चाचणी विकास आणि सायकोमेट्रिक्सच्या विज्ञानाबद्दल बोलण्यात थोडा वेळ घालवा.
• मूल्यमापनकर्त्याचे लक्ष प्रश्नांची सूची नव्हे तर वैध आणि विश्वासार्ह मूल्यमापन साधन तयार करण्यावर केंद्रित करा.
• समजावून सांगा की त्याच्या कार्यामध्ये केवळ कार्यांचा विकासच नाही तर तयारीचा टप्पा समाविष्ट आहे.

काही तज्ञ (त्यांच्या स्वभावामुळे) हे त्यांच्या स्वतःच्या कामाची चाचणी म्हणून समजू शकतात आणि आम्ही त्यांना समजावून सांगतो की जरी आम्ही उत्कृष्ट कार्ये तयार केली तरीही ती विशिष्ट चाचणी उद्दिष्टे पूर्ण करू शकत नाहीत.

प्रक्रिया जलद पार पाडण्यासाठी, आम्ही तज्ञांसोबत विषय कव्हरेज (ज्ञान आणि कौशल्ये) एक सारणी तयार करतो, जो चाचणी तपशीलाचा भाग आहे. हे सारणीच आम्हाला प्रश्नांचे अचूकपणे कार्य करण्यास आणि आम्ही काय मोजू ते ठरवू देतो. प्रत्येक विशिष्ट प्रकरणात ते थोड्या वेगळ्या पद्धतीने संकलित केले जाऊ शकते. एखाद्या व्यक्तीला मागील, मूलभूत अभ्यासक्रमांचे ज्ञान आणि कौशल्ये किती चांगल्या प्रकारे समजतात हे तपासणे हे आमचे कार्य आहे की तो नवीन अभ्यासक्रमासाठी किती तयार आहे हे समजून घेण्यासाठी.

रेक 4: असा विचार करणे की तज्ञ "सर्वोत्तम जाणतो"

विषय चांगले जाणतो. परंतु हे नेहमीच स्पष्टपणे स्पष्ट करत नाही. असाइनमेंटचे शब्द तपासणे खूप महत्वाचे आहे. स्पष्ट सूचना लिहा, उदाहरणार्थ, “एक योग्य पर्याय निवडा.” 1% प्रकरणांमध्ये, तज्ञ त्यांना स्वतःला समजतील अशा प्रकारे प्रश्न तयार करतात. आणि ते ठीक आहे. परंतु जे परीक्षा देतील त्यांच्याकडे चाचणी सोपवण्यापूर्वी, सर्वकाही तपासणे आणि एकत्र करणे आवश्यक आहे जेणेकरुन चाचणी घेणार्‍या लोकांना त्यांच्यासाठी नेमके काय आवश्यक आहे हे समजेल आणि ते कार्याच्या मजकुराचा चुकीचा अर्थ लावू शकतील म्हणून चुका करू नका.

कार्यांची दुहेरी व्याख्या टाळण्यासाठी, आम्ही "संज्ञानात्मक प्रयोगशाळा" आयोजित करतो. आम्ही लक्ष्यित प्रेक्षकांमधील लोकांना चाचणी घेण्यास सांगतो, त्यांना काय वाटते ते मोठ्याने सांगतो आणि तपशीलवार रेकॉर्ड करतो. "संज्ञानात्मक प्रयोगशाळांमध्ये" तुम्ही अस्पष्ट प्रश्न, चुकीचे शब्द "पकडू" शकता आणि चाचणीवर पहिला अभिप्राय मिळवू शकता.

रेक 5: चाचणी अंमलबजावणी वेळेकडे दुर्लक्ष करा

व्यंग्य मोड: चालू
अर्थात, आमची परीक्षा सर्वोत्तम आहे, ती उत्तीर्ण होण्याचे प्रत्येकाचे स्वप्न असते! होय, सर्व 4 तास.
व्यंग्य मोड: बंद

जेव्हा तपासल्या जाऊ शकतात अशा प्रत्येक गोष्टीची यादी असते, तेव्हा मुख्य गोष्ट म्हणजे ते न करणे (पहिल्या दृष्टीक्षेपात ते विचित्र वाटते, नाही का?). तुम्हाला निर्दयीपणे कापून काढणे आवश्यक आहे, एखाद्या तज्ञासह मुख्य ज्ञान आणि कौशल्ये ओळखणे आवश्यक आहे (होय, चाचणीमध्ये अनेक कौशल्ये देखील तपासली जाऊ शकतात). आम्ही कार्यांचे प्रकार पाहतो आणि लक्ष्य पूर्ण होण्याच्या वेळेचा अंदाज लावतो: जर सर्व काही वाजवी मर्यादेपेक्षा जास्त असेल तर आम्ही ते कमी करतो!

व्हॉल्यूम कमी करण्यासाठी, तुम्ही एका कामात दोन कौशल्ये तपासण्याचा (हळुवारपणे) प्रयत्न देखील करू शकता. या प्रकरणात, व्यक्तीने चूक का केली हे समजणे कठीण आहे, परंतु योग्यरित्या केले असल्यास, दोन्ही कौशल्ये विचारात घेतली जाऊ शकतात. ही 2 कौशल्ये ज्ञानाच्या समान क्षेत्राशी संबंधित आहेत याची खात्री करणे महत्वाचे आहे.

रेक 6: स्कोअरिंग सिस्टमद्वारे विचार करत नाही

अनेकदा, मूल्यांकन चाचण्या संकलित करताना, ते क्लासिक स्कोअरिंग सिस्टम वापरतात, उदाहरणार्थ, सोप्या कार्यांसाठी 1 गुण आणि कठीण कामांसाठी 2 गुण. पण ते सार्वत्रिक नाही. केवळ चाचणी परिणामांवर आधारित गुणांची बेरीज आम्हाला जास्त सांगणार नाही: हे गुण कोणत्या कार्यांसाठी प्राप्त झाले हे आम्हाला माहित नाही आणि आम्ही फक्त योग्य कार्यांची संख्या निर्धारित करू शकतो. चाचणी घेणारे नेमके कोणते कौशल्य दाखवत आहेत हे समजून घेतले पाहिजे. याशिवाय, कोणत्या विषयांमध्ये सुधारणा करणे आवश्यक आहे यावर आम्ही त्यांना अभिप्राय देऊ इच्छितो.

शेवटी, आम्ही एक चाचणी करत आहोत जे लोक तयार आहेत आणि जे कार्यक्रम पूर्ण करण्यास तयार नाहीत अशा लोकांमध्ये विभागतील; आम्ही काहींना विनामूल्य प्रशिक्षणाद्वारे कोर्सची तयारी करण्याचा सल्ला देऊ. आमच्यासाठी हे महत्त्वाचे आहे की या गटात फक्त तेच समाविष्ट आहेत ज्यांना खरोखर गरज आहे आणि जे त्यासाठी तयार आहेत.

आम्ही आमच्या परिस्थितीत काय करतो: आम्ही चाचणी विकासकांच्या कार्य गटामध्ये निर्धारित करतो की कोणत्या गटांना ओळखले जाणे आवश्यक आहे (उदाहरणार्थ, शिकण्यासाठी तयार, अंशतः तयार) आणि अशा गटांच्या वैशिष्ट्यांचे एक सारणी तयार करतो, कोणती कौशल्ये आणि ज्ञान दर्शवितो. प्रशिक्षण शिकण्यासाठी तयार गटासाठी उपयुक्त असेल. अशा प्रकारे तुम्ही अशा चाचण्यांसाठी कार्यांची "अडचण" तयार करू शकता.

रेक 7: केवळ आपोआप परिणामांचे मूल्यांकन करा

अर्थात, मूल्यमापन शक्य तितके उद्दिष्ट असले पाहिजे, त्यामुळे विद्यार्थ्यांच्या काही सामग्रीचे मूल्यांकन आपोआप केले जाते, “की द्वारे” - योग्य उत्तरांशी तुलना करून. कोणतीही विशेष चाचणी प्रणाली नसली तरीही, भरपूर विनामूल्य उपाय आहेत. आणि जर तुम्हाला स्क्रिप्ट लिहिण्याची तत्त्वे समजली असतील, तर तुम्ही गुगल फॉर्म आणि टेबल्सच्या सहाय्याने तुम्हाला हवे ते करू शकता. जर काही कामे तज्ञांकडून तपासली गेली, तर चाचणी घेणाऱ्यांबद्दल माहिती न देता, तज्ञांना उत्तरे देण्याचा विचार करणे आवश्यक आहे. आणि अंतिम मूल्यांकनामध्ये तज्ञांच्या चाचणीचे परिणाम कसे समाकलित करायचे याचा विचार करा.

आम्हाला सुरुवातीला कोडसह अनेक ओपन-एंडेड कार्ये करायची होती, जिथे तज्ञ पूर्व-निर्मित निकषांवर आधारित उपायांचे मूल्यांकन करतात आणि आम्ही एक प्रणाली देखील तयार केली जी चाचणी सहभागींकडून तज्ञांसाठी एका विशेष टेबलवर वैयक्तिक उत्तरे निर्यात करते आणि नंतर परिणाम आयात करते. मूल्यांकन गणनेसह एक टेबल. परंतु लक्ष्यित प्रेक्षक, उत्पादन व्यवस्थापक आणि शैक्षणिक डिझायनर यांच्या प्रतिनिधींशी चर्चा केल्यानंतर, आम्हाला असे वाटले की तात्काळ तज्ञांच्या अभिप्रायासह तांत्रिक मुलाखत घेणे आणि संहितेवर चर्चा करणे, तसेच वैयक्तिक समस्या, सहभागींसाठी स्वतःहून अधिक प्रभावी आणि उपयुक्त ठरतील. .

आता तज्ञ चाचणी पूर्ण झाल्याची पडताळणी करतात, काही प्रश्नांचे स्पष्टीकरण देतात. हे करण्यासाठी, आम्ही तांत्रिक मुलाखतीसाठी प्रश्न आणि मूल्यांकन निकषांची मार्गदर्शक तयार केली आहे. तांत्रिक मुलाखतीपूर्वी, परीक्षकाला विचारण्यासाठी प्रश्न निवडण्यात मदत करण्यासाठी परीक्षा देणाऱ्याच्या उत्तरांचा नकाशा प्राप्त होतो.

रेक 8: चाचणी परिणाम स्पष्ट करू नका

सहभागींना अभिप्राय देणे हा एक वेगळा मुद्दा आहे. आम्हाला केवळ चाचणी गुणांची माहिती देणे आवश्यक नाही, तर चाचणी परिणामांची समज देखील प्रदान करणे आवश्यक आहे.
ते असू शकते: 

• कार्ये ज्यामध्ये सहभागीने चूक केली आणि जी त्याने योग्यरित्या पूर्ण केली.
• ज्या विषयांमध्ये सहभागीने चुका केल्या आहेत.
• परीक्षा देणाऱ्यांमध्ये त्याचे रँकिंग.
• सहभागीच्या पातळीचे वर्णन, त्यानुसार, उदाहरणार्थ, विशेषज्ञ स्तराच्या वर्णनासह (रिक्त पदांच्या वर्णनावर आधारित).

आमच्या चाचणीच्या प्रायोगिक प्रक्षेपणादरम्यान, ज्यांना कार्यक्रमात नावनोंदणी करायची होती त्यांना, परिणामांसह, आम्ही सुधारित करणे आवश्यक असलेल्या विषयांची सूची दर्शविली. परंतु हे नक्कीच आदर्श नाही, आम्ही सुधारणा करू आणि चांगला अभिप्राय देऊ.

रेक 9: डेव्हलपरशी चाचणीबद्दल चर्चा करू नका

कदाचित सर्वात तीक्ष्ण रेक, ज्यावर पाऊल टाकणे विशेषतः अप्रिय आहे, चाचणी, वर्णन आणि स्कोअरिंग स्केल विकसकांना "जसे आहे तसे" पाठवणे आहे.
नक्की कशावर चर्चा करणे आवश्यक आहे:

• प्रश्नांचे स्वरूप, रचना, ग्राफिक्सची स्थिती, योग्य उत्तराची निवड कशी दिसते.
• गुणांची गणना कशी केली जाते (आवश्यक असल्यास), काही अतिरिक्त अटी आहेत का.
• फीडबॅक कसा तयार केला जातो, मजकूर कोठे मिळवायचा, अतिरिक्त स्वयंचलितपणे व्युत्पन्न केलेले ब्लॉक्स आहेत.
• तुम्हाला कोणती अतिरिक्त माहिती गोळा करायची आहे आणि कोणत्या टप्प्यावर (समान संपर्क).

गैरसमज टाळण्यासाठी, आम्ही आमच्या डेव्हलपरना 2 किंवा 3 भिन्न प्रश्न कोड करण्यास सांगतो जेणेकरून ते चाचणीचे कोडिंग करण्यापूर्वी ते कसे दिसतात ते पाहू शकतील.

रेक 10: चाचणी न करता, थेट उत्पादनावर अपलोड करा

3 वेळा, मित्रांनो, चाचणी वेगवेगळ्या लोकांनी 3 वेळा तपासली पाहिजे, किंवा अजून चांगले, प्रत्येकी 3 वेळा. हे सत्य रक्त, घाम आणि कोडच्या ओळींच्या पिक्सेलने प्राप्त केले गेले.

आमची चाचणी खालील त्रिकूट तपासते:

1. उत्पादन - कामगिरी, देखावा, यांत्रिकी साठी चाचणी तपासते.
2. चाचणी विकसक - कार्यांचा मजकूर, त्यांचा क्रम, चाचणीसह कार्य करण्याचा प्रकार, कार्यांचे प्रकार, योग्य उत्तरे, वाचनीयता आणि ग्राफिक्सचे सामान्य दृश्य तपासतो.
3. कार्यांचे लेखक (तज्ञ) तज्ञ पदावरून निष्ठा साठी चाचणी तपासतात.

सरावाचे एक उदाहरण: केवळ तिसऱ्या धावांवर, कार्यांच्या लेखकाने पाहिले की शब्दांच्या जुन्या आवृत्तीमध्ये 1 कार्य राहिले. पूर्वीच्या सर्वांनी सक्रियपणे राज्य केले. पण जेव्हा चाचणी कोड केली गेली तेव्हा ती मूळ कल्पनेपेक्षा वेगळी दिसली. काहीतरी दुरुस्त करावे लागण्याची दाट शक्यता आहे. हे लक्षात घेणे आवश्यक आहे.

परिणाम

या सर्व "रेक" काळजीपूर्वक बायपास करून, आम्ही एक विशेष तयार केले टेलीग्राम मध्ये बॉट, अर्जदारांच्या ज्ञानाची चाचणी घेण्यासाठी. आम्ही पुढील साहित्य तयार करत असताना कोणीही त्याची चाचणी करू शकतो, ज्यामध्ये आम्ही तुम्हाला सांगू की बॉटमध्ये काय घडले आणि नंतर त्याचे काय रूपांतर झाले.

स्किलफॅक्टरी ऑनलाइन कोर्सेस घेऊन तुम्ही कौशल्य आणि पगाराच्या बाबतीत सुरवातीपासून किंवा लेव्हल अप मिळवू शकता:

• मशीन लर्निंग कोर्स (६ आठवडे)
• प्रगत अभ्यासक्रम "मशीन लर्निंग प्रो + डीप लर्निंग" (६ आठवडे)
• कोर्स "डेटा सायन्ससाठी गणित आणि मशीन लर्निंग" (६ आठवडे)
• डेटा सायन्सचा व्यवसाय सुरवातीपासून शिकवणे (12 महिने)

अधिक अभ्यासक्रम

• डेटा सायन्सचा व्यवसाय सुरवातीपासून शिकवणे (12 महिने)
• डेटा सायन्स ऑनलाइन बूटकॅम्प (६ आठवडे)
• डेटा विश्लेषण ऑनलाइन बूटकॅम्प (६ आठवडे)
• कोणत्याही प्रारंभिक स्तरावर विश्लेषक व्यवसाय (18 महिने)
• डेटा विश्लेषण अभ्यासक्रम (6 महिने)
• DevOps कोर्स (12 महिने)
• प्रोफेशन वेब डेव्हलपर (8 महिने)
• वेब डेव्हलपमेंट कोर्ससाठी पायथन (9 महिने)
• व्यवसाय iOS विकासक सुरवातीपासून (12 महिने)
• सुरवातीपासून प्रोफेशन अँड्रॉइड डेव्हलपर (18 महिने)
• प्रोफेशन जावा डेव्हलपर सुरवातीपासून (18 महिने)
• जावास्क्रिप्ट कोर्स (12 महिने)
• प्रोफेशन UX डिझायनर सुरवातीपासून (9 महिने)
• व्यवसाय वेब डिझायनर (7 महिने)

स्त्रोत: www.habr.com