रेक पर चलना: ज्ञान परीक्षण विकसित करने में 10 महत्वपूर्ण गलतियाँ

नए मशीन लर्निंग एडवांस्ड पाठ्यक्रम में नामांकन करने से पहले, हम भावी छात्रों की तैयारी के स्तर को निर्धारित करने के लिए उनका परीक्षण करते हैं और समझते हैं कि पाठ्यक्रम की तैयारी के लिए उन्हें वास्तव में क्या पेशकश करने की आवश्यकता है। लेकिन एक दुविधा उत्पन्न होती है: एक ओर, हमें डेटा साइंस में ज्ञान का परीक्षण करना होगा, दूसरी ओर, हम पूरे 4 घंटे की परीक्षा की व्यवस्था नहीं कर सकते हैं।

इस समस्या को हल करने के लिए, हमने डेटा साइंस पाठ्यक्रम विकास टीम में एक टेस्टडेव मुख्यालय तैनात किया है (और ऐसा लगता है कि यह सिर्फ शुरुआत है)। हम आपके लिए 10 नुकसानों की एक सूची प्रस्तुत करते हैं जो ज्ञान का आकलन करने के लिए परीक्षण विकसित करते समय सामने आते हैं। उम्मीद है कि इसके बाद ऑनलाइन लर्निंग की दुनिया थोड़ी बेहतर होगी।

रेक 1: परीक्षण लक्ष्यों को स्पष्ट रूप से परिभाषित करने में विफल होना

लक्ष्यों को सही ढंग से परिभाषित करने और एक परीक्षण बनाने के लिए जो उन्हें ध्यान में रखेगा, योजना चरण में हमें कई प्रश्नों का उत्तर देना होगा:

1. हम वास्तव में क्या जाँच रहे हैं? 
2. परीक्षण किस वातावरण में होगा और किस यांत्रिकी का उपयोग किया जाएगा? इस वातावरण में क्या सीमाएँ हैं? यही बिंदु आपको उस उपकरण के लिए तकनीकी आवश्यकताओं को समझने की अनुमति देगा जिस पर परीक्षण किया जाएगा, और सामग्री के लिए भी (यदि परीक्षण फोन से लिया गया है, तो चित्र छोटी स्क्रीन पर भी पढ़ने योग्य होने चाहिए, ऐसा होना चाहिए) उन्हें बड़ा करना संभव हो, आदि)।
3. परीक्षण में कितना समय लगेगा? आपको उन परिस्थितियों के बारे में सोचने की ज़रूरत है जिनके तहत उपयोगकर्ता परीक्षा देगा। क्या ऐसी स्थिति हो सकती है जहां उसे परीक्षण प्रक्रिया को बाधित करने और फिर से जारी रखने की आवश्यकता हो?
4. क्या कोई प्रतिक्रिया होगी? हम इसे कैसे बनाते और वितरित करते हैं? आपको क्या प्राप्त करने की आवश्यकता है? क्या परीक्षण निष्पादन और फीडबैक के बीच कोई समय अंतराल है?

हमारे मामले में, इन सवालों के जवाब देने के बाद, हमने परीक्षण के लिए लक्ष्यों की निम्नलिखित सूची परिभाषित की है:

1. परीक्षण से पता चलना चाहिए कि क्या भविष्य के छात्र पाठ्यक्रम लेने के लिए तैयार हैं और क्या उनके पास पर्याप्त ज्ञान और कौशल हैं।
2. परीक्षण से हमें फीडबैक के लिए सामग्री मिलनी चाहिए, उस विषय को इंगित करना चाहिए जिसमें छात्रों ने गलती की है, ताकि वे अपने ज्ञान में सुधार कर सकें। हम आपको नीचे बताएंगे कि इसे कैसे बनाया जाए।

रेक 2: विशेषज्ञ परीक्षण लेखक के लिए तकनीकी विनिर्देश तैयार करने में विफलता

परीक्षण आइटम बनाने के लिए, उस क्षेत्र के विशेषज्ञ को शामिल करना बहुत महत्वपूर्ण है जिसमें ज्ञान का परीक्षण किया जा रहा है। और एक विशेषज्ञ के लिए, बदले में, आपको एक सक्षम तकनीकी विनिर्देश (विवरण) की आवश्यकता होती है, जिसमें परीक्षण के विषय, परीक्षण किए जा रहे ज्ञान/कौशल और उनका स्तर शामिल होता है।

एक विशेषज्ञ अपने लिए ऐसी तकनीकी विशिष्टताएँ नहीं बनाएगा, क्योंकि उसका काम कार्य तय करना है, न कि परीक्षण की संरचना बनाना। इसके अलावा, शिक्षण की प्रक्रिया में भी, कुछ लोग पेशेवर रूप से परीक्षण विकसित करते हैं। इसे एक अलग विशेषज्ञता - साइकोमेट्रिक्स में पढ़ाया जाता है।

यदि आप जल्दी से साइकोमेट्रिक्स से परिचित होना चाहते हैं, तो रूस में यह मौजूद है गर्मियों में स्कूल रुचि रखने वाले सभी लोगों के लिए। अधिक गहन अध्ययन के लिए, शिक्षा संस्थान के पास है स्नातकोत्तर उपाधि और स्नातक विद्यालय।

तकनीकी विशिष्टताओं को तैयार करते समय, हम विशेषज्ञ के लिए परीक्षण का विस्तृत विवरण एकत्र करते हैं (या उसके साथ बेहतर होगा): कार्यों के विषय, कार्यों के प्रकार, उनकी संख्या।

कार्यों का प्रकार कैसे चुनें: विषयों पर निर्णय लेने के बाद, हम तय करते हैं कि कौन से कार्य इसका सर्वोत्तम परीक्षण कर सकते हैं? क्लासिक विकल्प: ओपन-एंडेड कार्य, एकाधिक या एकल विकल्प कार्य, मिलान, आदि (परीक्षण वातावरण की तकनीकी सीमाओं के बारे में मत भूलना!)। कार्यों के प्रकार को निर्धारित करने और निर्दिष्ट करने के बाद, हमारे पास विशेषज्ञ के लिए एक तैयार तकनीकी विनिर्देश है। आप इसे परीक्षण विशिष्टता कह सकते हैं.

रेक 3: परीक्षण विकास में किसी विशेषज्ञ को शामिल नहीं करना

किसी विशेषज्ञ को परीक्षण विकास में डुबोते समय, न केवल उसे "कार्य का दायरा" बताना बहुत महत्वपूर्ण है, बल्कि उसे विकास प्रक्रिया में भी शामिल करना बहुत महत्वपूर्ण है।

किसी विशेषज्ञ के साथ काम को यथासंभव प्रभावी कैसे बनाएं:

• इसे पहले से सेट करें और परीक्षण विकास और साइकोमेट्रिक्स के विज्ञान के बारे में बात करने में कुछ समय व्यतीत करें।
• मूल्यांकनकर्ता का ध्यान एक वैध और विश्वसनीय मूल्यांकन उपकरण बनाने पर केंद्रित करें, न कि प्रश्नों की सूची बनाने पर।
• समझाएं कि उनके काम में प्रारंभिक चरण शामिल है, न कि केवल कार्यों का विकास।

कुछ विशेषज्ञ (अपनी प्रकृति के कारण) इसे अपने स्वयं के काम के परीक्षण के रूप में मान सकते हैं, और हम उन्हें समझाते हैं कि भले ही हम उत्कृष्ट कार्य बनाते हैं, वे विशिष्ट परीक्षण लक्ष्यों के अनुरूप नहीं हो सकते हैं।

प्रक्रिया को तेज़ी से आगे बढ़ाने के लिए, हम विशेषज्ञ के साथ विषय कवरेज (ज्ञान और कौशल) की एक तालिका तैयार करते हैं, जो परीक्षण विनिर्देश का हिस्सा है। यह वह तालिका है जो हमें प्रश्नों पर सटीकता से काम करने और यह निर्धारित करने की अनुमति देती है कि हम क्या मापेंगे। प्रत्येक विशिष्ट मामले में इसे थोड़ा अलग तरीके से संकलित किया जा सकता है। हमारा काम यह जांचना है कि कोई व्यक्ति पिछले, बुनियादी पाठ्यक्रमों के ज्ञान और कौशल को कितनी अच्छी तरह समझता है ताकि यह समझ सके कि वह एक नए पाठ्यक्रम में अध्ययन करने के लिए कितना तैयार है।

रेक 4: यह सोचना कि विशेषज्ञ "सर्वश्रेष्ठ जानता है"

विषय को बेहतर जानता है. लेकिन यह हमेशा स्पष्ट रूप से व्याख्या नहीं करता है। असाइनमेंट के शब्दों की जाँच करना बहुत महत्वपूर्ण है। स्पष्ट निर्देश लिखें, उदाहरण के लिए, "1 सही विकल्प चुनें।" 90% मामलों में, विशेषज्ञ इस तरह से प्रश्न तैयार करते हैं कि वे स्वयं समझ सकें। और यह ठीक है. लेकिन परीक्षा देने वालों को परीक्षा सौंपने से पहले, हर चीज की जांच और जांच की जानी चाहिए ताकि परीक्षा लेने वाले लोग ठीक से समझ सकें कि उनसे क्या अपेक्षित है और सिर्फ इसलिए गलतियाँ न करें क्योंकि वे कार्य के पाठ की गलत व्याख्या कर सकते हैं।

कार्यों की दोहरी व्याख्या से बचने के लिए, हम "संज्ञानात्मक प्रयोगशालाएँ" संचालित करते हैं। हम लक्षित दर्शकों में से लोगों से परीक्षा देने, वे जो सोचते हैं उसे ज़ोर से कहने और उसे विस्तार से रिकॉर्ड करने के लिए कहते हैं। "संज्ञानात्मक प्रयोगशालाओं" में आप अस्पष्ट प्रश्नों, खराब शब्दों को "पकड़" सकते हैं और परीक्षण पर पहली प्रतिक्रिया प्राप्त कर सकते हैं।

रेक 5: परीक्षण निष्पादन समय पर ध्यान न दें

व्यंग्य विधा: चालू
बेशक, हमारी परीक्षा सबसे अच्छी है, इसे पास करने का सपना हर कोई देखता है! हाँ, पूरे 4 घंटे।
व्यंग्य विधा: बंद

जब हर चीज़ की एक सूची होती है जिसे जाँचा जा सकता है, तो मुख्य बात यह नहीं है कि ऐसा न करें (पहली नज़र में यह अजीब लगता है, है ना?)। आपको एक विशेषज्ञ के साथ प्रमुख ज्ञान और कौशल की पहचान करते हुए बेरहमी से कटौती करने की आवश्यकता है (हां, परीक्षण में कई कौशलों का परीक्षण भी किया जा सकता है)। हम कार्यों के प्रकार को देखते हैं और लक्ष्य पूरा होने के समय का अनुमान लगाते हैं: यदि सब कुछ अभी भी उचित सीमा से अधिक है, तो हम इसमें कटौती करते हैं!

वॉल्यूम कम करने के लिए, आप एक कार्य में दो कौशलों का परीक्षण (सावधानीपूर्वक) करने का भी प्रयास कर सकते हैं। इस मामले में, यह समझना मुश्किल है कि व्यक्ति ने गलती क्यों की, लेकिन अगर सही ढंग से किया जाए, तो दोनों कौशलों को ध्यान में रखा जा सकता है। यह सुनिश्चित करना महत्वपूर्ण है कि ये 2 कौशल ज्ञान के एक ही क्षेत्र से मेल खाते हैं।

रेक 6: स्कोरिंग प्रणाली के बारे में नहीं सोचना

अक्सर, मूल्यांकन परीक्षण संकलित करते समय, वे क्लासिक स्कोरिंग प्रणाली का उपयोग करते हैं, उदाहरण के लिए, आसान कार्यों के लिए 1 अंक और कठिन कार्यों के लिए 2 अंक। लेकिन यह सार्वभौमिक नहीं है. केवल परीक्षण परिणामों के आधार पर अंकों का योग हमें बहुत कुछ नहीं बताएगा: हम नहीं जानते कि ये अंक किन कार्यों के लिए प्राप्त हुए थे और हम केवल सही कार्यों की संख्या निर्धारित कर सकते हैं। हमें यह समझने की ज़रूरत है कि परीक्षार्थी वास्तव में क्या कौशल प्रदर्शित कर रहे हैं। इसके अलावा, हम उन्हें फीडबैक देना चाहते हैं कि किन विषयों में सुधार की जरूरत है।

आख़िरकार, हम एक परीक्षण कर रहे हैं जो लोगों को उन लोगों में विभाजित करेगा जो तैयार हैं और जो कार्यक्रम को पूरा करने के लिए तैयार नहीं हैं; हम कुछ लोगों को निःशुल्क प्रशिक्षण के माध्यम से पाठ्यक्रम की तैयारी करने की सलाह देंगे। हमारे लिए यह महत्वपूर्ण है कि इस समूह में केवल वे ही शामिल हों जिन्हें वास्तव में इसकी आवश्यकता है और जो इसके लिए तैयार हैं।

हम अपनी स्थिति में क्या करते हैं: हम परीक्षण डेवलपर्स के कार्य समूह के भीतर यह निर्धारित करते हैं कि लोगों के किन समूहों की पहचान करने की आवश्यकता है (उदाहरण के लिए, सीखने के लिए तैयार, आंशिक रूप से तैयार) और ऐसे समूहों की विशेषताओं की एक तालिका बनाते हैं, जो दर्शाती हैं कि कौन से कौशल और ज्ञान हैं सीखने के लिए तैयार प्रशिक्षण समूह के लिए प्रासंगिक होगा। इस तरह आप ऐसे परीक्षणों के लिए कार्यों की "कठिनाई" तैयार कर सकते हैं।

रेक 7: परिणामों का मूल्यांकन केवल स्वचालित रूप से करें

बेशक, मूल्यांकन यथासंभव वस्तुनिष्ठ होना चाहिए, इसलिए कुछ छात्र सामग्रियों का मूल्यांकन स्वचालित रूप से, "कुंजियों द्वारा" किया जाता है - सही उत्तरों के साथ तुलना करते हुए। भले ही कोई विशेष परीक्षण प्रणाली न हो, बहुत सारे निःशुल्क समाधान मौजूद हैं। और यदि आप स्क्रिप्ट लिखने के सिद्धांतों को समझते हैं, तो आप Google फॉर्म और तालिकाओं में परिणामों के साथ जो चाहें कर सकते हैं। यदि कुछ कार्यों की जाँच विशेषज्ञों द्वारा की जाती है, तो हमें परीक्षार्थियों के बारे में जानकारी के बिना, विशेषज्ञों को उत्तर देने के बारे में सोचने की ज़रूरत है। और इस बारे में सोचें कि विशेषज्ञ परीक्षण के परिणामों को अंतिम मूल्यांकन में कैसे एकीकृत किया जाए।

हम शुरू में कोड के साथ कई ओपन-एंडेड कार्य करना चाहते थे, जहां विशेषज्ञ पूर्व-निर्मित मानदंडों के आधार पर समाधानों का मूल्यांकन करते हैं, और हमने एक प्रणाली भी तैयार की है जो परीक्षण प्रतिभागियों से व्यक्तिगत उत्तरों को विशेषज्ञों के लिए एक विशेष तालिका में निर्यात करती है, और फिर परिणामों को आयात करती है। मूल्यांकन गणनाओं वाली एक तालिका। लेकिन लक्षित दर्शकों, उत्पाद प्रबंधक और शैक्षिक डिजाइनर के प्रतिनिधियों के साथ चर्चा करने के बाद, हमने महसूस किया कि तत्काल विशेषज्ञ प्रतिक्रिया और कोड की चर्चा के साथ-साथ व्यक्तिगत मुद्दों पर एक तकनीकी साक्षात्कार आयोजित करना, प्रतिभागियों के लिए अधिक प्रभावी और उपयोगी होगा। .

अब विशेषज्ञ कुछ प्रश्नों को स्पष्ट करते हुए परीक्षण के पूरा होने की पुष्टि करता है। ऐसा करने के लिए, हमने तकनीकी साक्षात्कार के लिए प्रश्नों और मूल्यांकन मानदंडों की एक मार्गदर्शिका तैयार की है। तकनीकी साक्षात्कार से पहले, परीक्षक को परीक्षार्थी के उत्तरों का एक मानचित्र प्राप्त होता है जिससे उसे पूछने के लिए प्रश्नों का चयन करने में मदद मिलती है।

रेक 8: परीक्षण परिणामों की व्याख्या न करें

प्रतिभागियों को फीडबैक प्रदान करना एक अलग मुद्दा है। हमें न केवल परीक्षण स्कोर के बारे में सूचित करना होगा, बल्कि परीक्षा परिणामों की समझ भी प्रदान करनी होगी।
ये हो सकते हैं: 

• वे कार्य जिनमें प्रतिभागी ने गलती की और जिन्हें उसने सही ढंग से पूरा किया।
• जिन विषयों में प्रतिभागी ने गलतियाँ कीं।
• परीक्षा देने वालों में उनकी रैंकिंग.
• प्रतिभागी के स्तर का विवरण, उदाहरण के लिए, विशेषज्ञ स्तर के विवरण के अनुसार (रिक्तियों के विवरण के आधार पर)।

हमारे परीक्षण के पायलट लॉन्च के दौरान, जो लोग कार्यक्रम में नामांकन करना चाहते थे, हमने परिणामों के साथ उन विषयों की एक सूची दिखाई, जिनमें सुधार की आवश्यकता थी। लेकिन यह निश्चित रूप से आदर्श नहीं है, हम सुधार करेंगे और बेहतर प्रतिक्रिया प्रदान करेंगे।

रेक 9: डेवलपर्स के साथ परीक्षण पर चर्चा न करें

शायद सबसे तेज रेक, जिस पर कदम रखना विशेष रूप से अप्रिय है, डेवलपर्स को परीक्षण, विवरण और स्कोरिंग स्केल "जैसा है" भेजना है।
वास्तव में किस पर चर्चा की आवश्यकता है:

• प्रश्नों की उपस्थिति, संरचना, ग्राफिक्स की स्थिति, सही उत्तर का विकल्प कैसा दिखता है।
• स्कोर की गणना कैसे की जाती है (यदि आवश्यक हो), क्या कोई अतिरिक्त शर्तें हैं।
• फीडबैक कैसे उत्पन्न होता है, टेक्स्ट कहां से प्राप्त करें, क्या अतिरिक्त स्वचालित रूप से जेनरेट किए गए ब्लॉक हैं।
• आपको कौन सी अतिरिक्त जानकारी एकत्र करने की आवश्यकता है और किस बिंदु पर (समान संपर्क)।

गलतफहमी से बचने के लिए, हम अपने डेवलपर्स से 2 या 3 अलग-अलग प्रश्नों को कोड करने के लिए कहते हैं ताकि वे परीक्षण को कोड करने से पहले देख सकें कि वे कैसे दिखते हैं।

रेक 10: परीक्षण के बिना, सीधे उत्पादन पर अपलोड करें

3 बार, दोस्तों, परीक्षण को अलग-अलग लोगों द्वारा 3 बार जांचा जाना चाहिए, या इससे भी बेहतर, प्रत्येक को 3 बार। यह सत्य खून, पसीने और कोड की पंक्तियों के पिक्सेल से प्राप्त किया गया था।

हमारा परीक्षण निम्नलिखित तिकड़ी की जाँच करता है:

1. उत्पाद - प्रदर्शन, उपस्थिति, यांत्रिकी के लिए परीक्षण की जाँच करता है।
2. परीक्षण डेवलपर - कार्यों के पाठ, उनके क्रम, परीक्षण के साथ काम करने के रूप, कार्यों के प्रकार, सही उत्तर, पठनीयता और ग्राफिक्स के सामान्य दृश्य की जांच करता है।
3. कार्यों का लेखक (विशेषज्ञ) एक विशेषज्ञ स्थिति से निष्ठा के लिए परीक्षण की जाँच करता है।

अभ्यास से एक उदाहरण: केवल तीसरे भाग में, कार्यों के लेखक ने देखा कि 1 कार्य शब्दों के पुराने संस्करण में बना हुआ है। पिछले सभी ने भी सक्रिय रूप से शासन किया। लेकिन जब परीक्षण को कोडित किया गया, तो यह मूल कल्पना से भिन्न दिखाई दिया। इसकी अत्यधिक संभावना है कि कुछ सुधार करना होगा। इस पर गौर करने की जरूरत है.

संपूर्ण

इन सभी "रेक" को सावधानीपूर्वक दरकिनार करते हुए, हमने एक विशेष बनाया टेलीग्राम में बॉट, आवेदकों के ज्ञान का परीक्षण करने के लिए। जब हम अगली सामग्री तैयार कर रहे हों तो कोई भी इसका परीक्षण कर सकता है, जिसमें हम आपको बताएंगे कि बॉट के अंदर क्या हुआ और बाद में यह सब क्या बदल गया।

आप स्किलफैक्ट्री ऑनलाइन पाठ्यक्रम लेकर कौशल और वेतन के मामले में स्क्रैच या लेवल अप से एक पसंदीदा पेशा प्राप्त कर सकते हैं:

• मशीन लर्निंग कोर्स (12 सप्ताह)
• उन्नत पाठ्यक्रम "मशीन लर्निंग प्रो + डीप लर्निंग" (20 सप्ताह)
• कोर्स "डेटा साइंस के लिए गणित और मशीन लर्निंग" (20 सप्ताह)
• स्क्रैच से डेटा साइंस के पेशे को पढ़ाना (12 महीने)

अधिक पाठ्यक्रम

• स्क्रैच से डेटा साइंस के पेशे को पढ़ाना (12 महीने)
• डेटा साइंस ऑनलाइन बूटकैंप (14 सप्ताह)
• डेटा एनालिटिक्स ऑनलाइन बूटकैंप (5 सप्ताह)
• किसी भी शुरुआती स्तर पर विश्लेषक का पेशा (18 महीने)
• डेटा एनालिटिक्स कोर्स (6 महीने)
• डेवऑप्स कोर्स (12 महीने)
• व्यवसाय वेब डेवलपर (8 महीने)
• वेब डेवलपमेंट कोर्स के लिए पायथन (9 महीने)
• शुरू से ही आईओएस डेवलपर का पेशा (12 महीने)
• शुरू से ही पेशा एंड्रॉइड डेवलपर (18 महीने)
• शुरू से ही पेशा जावा डेवलपर (18 महीने)
• जावास्क्रिप्ट पाठ्यक्रम (12 महीने)
• शुरू से ही पेशा यूएक्स डिजाइनर (9 महीने)
• पेशे वेब डिजाइनर (7 महीने)

स्रोत: www.habr.com