ProHoster > بلوق > إدارة > المشي على أشعل النار: 10 أخطاء فادحة في تطوير اختبار المعرفة

المشي على أشعل النار: 10 أخطاء فادحة في تطوير اختبار المعرفة

المشي على أشعل النار: 10 أخطاء فادحة في تطوير اختبار المعرفة
قبل التسجيل في الدورة التدريبية المتقدمة للتعلم الآلي الجديدة، نقوم باختبار الطلاب المحتملين لتحديد مستوى استعدادهم وفهم ما يحتاجون إلى تقديمه بالضبط للتحضير للدورة. لكن هناك معضلة: من ناحية، يجب علينا اختبار المعرفة في علوم البيانات، من ناحية أخرى، لا يمكننا ترتيب امتحان كامل لمدة 4 ساعات.

لحل هذه المشكلة، قمنا بنشر مقر TestDev مباشرة في فريق تطوير دورة علوم البيانات (ويبدو أن هذه مجرد البداية). نقدم لك قائمة تضم 10 مطبات يمكن مواجهتها عند تطوير اختبارات تقييم المعرفة. نأمل أن يكون عالم التعلم عبر الإنترنت أفضل قليلاً بعد ذلك.

أشعل النار 1: الفشل في تحديد أهداف الاختبار بوضوح

من أجل تحديد الأهداف بشكل صحيح وإنشاء اختبار يأخذها في الاعتبار، في مرحلة التخطيط يجب علينا الإجابة على عدة أسئلة:

  1. ما الذي نتحقق منه في الواقع؟ 
  2. ما هي البيئة التي سيتم فيها إجراء الاختبار وما هي الآليات المستخدمة؟ ما هي القيود في هذه البيئة؟ هذه النقطة نفسها ستسمح لك بفهم المتطلبات الفنية للجهاز الذي سيتم إجراء الاختبار عليه، وكذلك للمحتوى (إذا تم إجراء الاختبار من الهواتف، فيجب أن تكون الصور قابلة للقراءة حتى على شاشة صغيرة، ويجب أن تكون الصور قابلة للقراءة حتى على شاشة صغيرة). يكون من الممكن تكبيرها، وما إلى ذلك).
  3. كم من الوقت سيستغرق الاختبار؟ عليك أن تفكر في الشروط التي بموجبها سيجري المستخدم الاختبار. هل يمكن أن يكون هناك موقف يحتاج فيه إلى مقاطعة عملية الاختبار ثم الاستمرار مرة أخرى؟
  4. هل ستكون هناك ردود فعل؟ كيف نشكلها ونسلمها؟ ماذا تحتاج لتلقي؟ هل هناك فارق زمني بين تنفيذ الاختبار والتعليقات؟

في حالتنا، بعد الإجابة على هذه الأسئلة، حددنا قائمة الأهداف التالية للاختبار:

  1. يجب أن يوضح الاختبار ما إذا كان الطلاب المستقبليون مستعدون لأخذ الدورة وما إذا كان لديهم ما يكفي من المعرفة والمهارات.
  2. يجب أن يوفر لنا الاختبار مادة للتعليقات، ويشير إلى الموضوع الذي ارتكب فيه الطلاب خطأً، حتى يتمكنوا من تحسين معرفتهم. سنخبرك بكيفية تأليفها أدناه.

الخليع 2: عدم وضع المواصفات الفنية لكاتب الاختبار الخبير

لتكوين عناصر الاختبار، من المهم جدًا إشراك خبير في المجال الذي يتم اختبار المعرفة فيه. وبالنسبة للخبير، فأنت تحتاج بدوره إلى مواصفات فنية مختصة (وصف)، تتضمن موضوعات الاختبار والمعرفة/المهارات التي يتم اختبارها ومستواها.

لن يقوم الخبير بإعداد مثل هذه المواصفات الفنية بنفسه، لأن وظيفته هي التوصل إلى المهام، وليس هيكل الاختبار. علاوة على ذلك، فإن القليل من الناس يطورون الاختبارات بشكل احترافي، حتى في عملية التدريس. يتم تدريس هذا في تخصص منفصل - القياس النفسي.

إذا كنت ترغب في التعرف بسرعة على القياسات النفسية، فهناك في روسيا مدرسة صيفية لجميع المهتمين. لمزيد من الدراسة المتعمقة، قام معهد التعليم ماجيستير ومدرسة الدراسات العليا.

عند إعداد المواصفات الفنية، نقوم بجمع وصف تفصيلي للاختبار للخبير (أو الأفضل معه): موضوعات المهام، نوع المهام، عددها.

كيفية اختيار نوع المهام: بعد تحديد المواضيع، نقرر ما هي المهام التي يمكنها اختبار ذلك بشكل أفضل؟ الخيارات الكلاسيكية: مهمة مفتوحة، مهمة اختيار متعددة أو فردية، المطابقة، وما إلى ذلك (لا تنس القيود الفنية لبيئة الاختبار!). بعد تحديد وتحديد نوع المهام، لدينا مواصفات فنية جاهزة للخبير. يمكنك تسميتها بمواصفات الاختبار.

الخليع 3: عدم إشراك خبير في تطوير الاختبار

عند غمر خبير في تطوير الاختبار، من المهم جدًا ليس فقط الإشارة إليه "بنطاق العمل"، ولكن إشراكه في إجراء التطوير نفسه.

كيفية جعل العمل مع خبير فعالاً قدر الإمكان:

  • قم بإعداده مسبقًا وقضاء بعض الوقت في الحديث عن علم تطوير الاختبارات والقياسات النفسية.
  • ركز انتباه المقيم على إنشاء أداة تقييم صالحة وموثوقة، وليس قائمة من الأسئلة.
  • اشرح له أن عمله يتضمن مرحلة تحضيرية، وليس فقط تطوير المهام نفسها.

قد ينظر بعض الخبراء (بسبب طبيعتهم) إلى ذلك على أنه اختبار لعملهم، ونوضح لهم أنه حتى لو قمنا بإنشاء مهام ممتازة، فإنها ببساطة قد لا تناسب أهداف الاختبار المحددة.

ولجعل العملية تسير بسرعة، نقوم بإعداد جدول لتغطية الموضوع (المعرفة والمهارات) مع الخبير، وهو جزء من مواصفات الاختبار. هذا الجدول هو الذي يسمح لنا بحل الأسئلة بدقة وتحديد ما سنقيسه. في كل حالة محددة، يمكن تجميعها بشكل مختلف قليلاً. مهمتنا هي التحقق من مدى فهم الشخص للمعرفة والمهارات في الدورات الأساسية السابقة من أجل فهم مدى استعداده للدراسة في دورة جديدة.

الخليع 4: الاعتقاد بأن الخبير "أعلم"

يعرف الموضوع بشكل أفضل. لكنها لا تشرح دائمًا بوضوح. من المهم جدًا التحقق من صياغة المهام. اكتب تعليمات واضحة، على سبيل المثال، "اختر خيارًا واحدًا صحيحًا". في 1% من الحالات، يقوم الخبراء بإعداد الأسئلة بطريقة يفهمونها هم أنفسهم. وهذا جيد. ولكن قبل تسليم الاختبار لمن سيتقدمون إليه، يجب فحص كل شيء وتمشيطه حتى يفهم الأشخاص الذين يقومون بالاختبار ما هو مطلوب منهم بالضبط ولا يرتكبون الأخطاء لمجرد أنهم قد يسيئون تفسير نص المهمة.

لتجنب التفسير المزدوج للمهام، نقوم بإجراء "المختبرات المعرفية". نطلب من الأشخاص من الجمهور المستهدف إجراء الاختبار، وقول ما يفكرون فيه بصوت عالٍ وتسجيله بالتفصيل. في "المختبرات المعرفية" يمكنك "التقاط" الأسئلة غير الواضحة والصياغة السيئة والحصول على التعليقات الأولى على الاختبار.

أشعل النار 5: تجاهل وقت تنفيذ الاختبار

وضع السخرية: تشغيل
بالطبع اختبارنا هو الأفضل، الجميع يحلم باجتيازه! نعم، كل 4 ساعات.
وضع السخرية: إيقاف

عندما تكون هناك قائمة بكل ما يمكن التحقق منه، فإن الشيء الرئيسي هو عدم القيام بذلك (للوهلة الأولى يبدو غريبا، أليس كذلك؟). تحتاج إلى قطع المعرفة والمهارات الأساسية بلا رحمة مع أحد الخبراء (نعم، يمكن أيضًا اختبار عدد من المهارات في الاختبار). نحن ننظر إلى نوع المهام ونقدر الوقت المستهدف لإنجازها: إذا كان كل شيء لا يزال أكثر من الحدود المعقولة، فإننا نقطعه!

لتقليل الحجم، يمكنك أيضًا تجربة (بعناية) اختبار مهارتين في مهمة واحدة. في هذه الحالة، من الصعب أن نفهم سبب ارتكاب الشخص للخطأ، ولكن إذا تم القيام به بشكل صحيح، فيمكن أخذ كلتا المهارتين في الاعتبار. من المهم التأكد من أن هاتين المهارتين تتوافقان مع نفس مجال المعرفة.

أشعل النار 6: عدم التفكير في نظام التسجيل

في كثير من الأحيان، عند تجميع اختبارات التقييم، يستخدمون نظام التسجيل الكلاسيكي، على سبيل المثال، نقطة واحدة للمهام السهلة ونقطتين للمهام الصعبة. لكنها ليست عالمية. إن مجرد مجموع النقاط بناءً على نتائج الاختبار لن يخبرنا إلا بالقليل: فنحن لا نعرف المهام التي تم الحصول على هذه النقاط بشأنها ولا يمكننا سوى تحديد عدد المهام الصحيحة. نحن بحاجة إلى فهم دقيق لما يظهره المتقدمون لاختبارات المهارات بالضبط. بالإضافة إلى ذلك، نريد أن نقدم لهم تعليقات حول المواضيع التي تحتاج إلى تحسين.

ففي النهاية، نحن نقوم باختبار سيقسم الأشخاص إلى مستعدين وغير مستعدين لإكمال البرنامج، وسننصح البعض بالاستعداد للدورة من خلال التدريب المجاني. من المهم بالنسبة لنا أن تضم هذه المجموعة فقط أولئك الذين يحتاجون إليها حقًا والمستعدون لها.

ما نقوم به في حالتنا: نحدد ضمن مجموعة عمل مطوري الاختبار مجموعات الأشخاص التي يجب تحديدها (على سبيل المثال، جاهزون للتعلم، جاهزون جزئيًا) ونشكل جدولًا بخصائص هذه المجموعات، مع الإشارة إلى المهارات والمعرفة ستكون ذات صلة بمجموعة الاستعداد للتعلم التدريبي. بهذه الطريقة يمكنك صياغة "صعوبة" المهام لمثل هذه الاختبارات.

أشعل النار 7: تقييم النتائج تلقائيًا فقط

بالطبع، يجب أن يكون التقييم موضوعيًا قدر الإمكان، بحيث يتم تقييم بعض مواد الطالب تلقائيًا، "بواسطة المفاتيح" - مقارنة بالإجابات الصحيحة. حتى لو لم يكن هناك نظام اختبار خاص، هناك الكثير من الحلول المجانية. وإذا كنت تفهم مبادئ كتابة النصوص البرمجية، فيمكنك أن تفعل ما تريد باستخدام نماذج جوجل والنتائج في الجداول. إذا تم فحص بعض المهام من قبل خبراء، فعندئذ نحتاج إلى التفكير في تقديم الإجابات للخبراء، دون معلومات حول المتقدمين للاختبار. وفكر في كيفية دمج نتائج اختبارات الخبراء في التقييم النهائي.

أردنا في البداية إجراء العديد من المهام المفتوحة باستخدام التعليمات البرمجية، حيث يقوم الخبراء بتقييم الحلول وفقًا لمعايير محددة مسبقًا، وقمنا حتى بإعداد نظام يقوم بتصدير الإجابات الفردية من المشاركين في الاختبار إلى جدول خاص للخبراء، ثم يستورد النتائج إلى جدول مع حسابات التقييم. ولكن بعد المناقشة مع ممثلي الجمهور المستهدف ومدير المنتج والمصمم التعليمي، شعرنا أن إجراء مقابلة فنية مع تعليقات الخبراء الفورية ومناقشة الكود، بالإضافة إلى المشكلات الفردية، سيكون أكثر فعالية وإفادة للمشاركين أنفسهم .

الآن يتحقق الخبير من إتمام الاختبار، موضحًا بعض الأسئلة. للقيام بذلك، قمنا بإعداد دليل الأسئلة ومعايير التقييم للمقابلة الفنية. قبل المقابلة الفنية، يتلقى الممتحن خريطة لإجابات المتقدم للاختبار لمساعدته في اختيار الأسئلة التي سيطرحها.

أشعل النار 8: لا تشرح نتائج الاختبار

يعد تقديم التعليقات للمشاركين مسألة منفصلة. لا نحتاج إلى الإبلاغ عن نتيجة الاختبار فحسب، بل نحتاج أيضًا إلى توفير فهم لنتائج الاختبار.
يمكن أن يكون: 

  • المهام التي أخطأ فيها المشارك وأكملها بشكل صحيح.
  • المواضيع التي أخطأ فيها المشارك.
  • ترتيبه بين المتقدمين للامتحان.
  • وصف مستوى المشارك، بما يتوافق على سبيل المثال مع وصف المستوى التخصصي (بناءً على وصف الوظائف الشاغرة).

أثناء الإطلاق التجريبي للاختبار، أظهرنا لأولئك الذين أرادوا التسجيل في البرنامج، إلى جانب النتائج، قائمة بالمواضيع التي تحتاج إلى تحسين. ولكن هذا بالتأكيد ليس مثاليًا، وسوف نقوم بتحسين وتقديم تعليقات أفضل.

Rake 9: لا تناقش الاختبار مع المطورين

ربما يكون الإجراء الأكثر حدة، وهو أمر مزعج بشكل خاص، هو إرسال الاختبار والوصف ومقياس التسجيل إلى المطورين "كما هو".
ما الذي يجب مناقشته بالضبط:

  • مظهر الأسئلة، وبنيتها، وموضع الرسومات، وكيف يبدو اختيار الإجابة الصحيحة.
  • كيف يتم حساب النتيجة (إذا لزم الأمر)، هل هناك أي شروط إضافية.
  • كيف يتم إنشاء التعليقات، وأين يمكن الحصول على النصوص، وهل هناك كتل إضافية يتم إنشاؤها تلقائيًا.
  • ما هي المعلومات الإضافية التي تحتاج إلى جمعها وفي أي نقطة (نفس جهات الاتصال).

لتجنب سوء الفهم، نطلب من المطورين لدينا كتابة سؤالين أو ثلاثة أسئلة مختلفة حتى يتمكنوا من رؤية شكلها قبل برمجة الاختبار نفسه.

Rake 10: بدون اختبار، قم بالتحميل مباشرة إلى الإنتاج

3 مرات يا رفاق، يجب أن يتم فحص الاختبار 3 مرات من قبل أشخاص مختلفين، أو الأفضل من ذلك، 3 مرات لكل منهم، تم الحصول على هذه الحقيقة بالدم والعرق وبكسلات من سطور التعليمات البرمجية.

اختبارنا يتحقق من الثلاثي التالي:

  1. المنتج - يتحقق من اختبار الأداء والمظهر والميكانيكا.
  2. مطور الاختبار - يتحقق من نص المهام وترتيبها وشكل العمل مع الاختبار وأنواع المهام والإجابات الصحيحة وسهولة القراءة والعرض العادي للرسومات.
  3. يقوم مؤلف المهام (الخبير) بفحص اختبار الإخلاص من منصب خبير.

مثال من الممارسة: فقط في الجولة الثالثة، رأى مؤلف المهام أن مهمة واحدة ظلت في النسخة القديمة من الصياغة. جميع السابقين حكموا أيضًا بنشاط. ولكن عندما تم ترميز الاختبار، بدا مختلفًا عما كان متصورًا في الأصل. من المحتمل جدًا أن يتم تصحيح شيء ما. هذا يجب أن يؤخذ بعين الاعتبار.

مجموع

تجاوز بعناية كل هذه "أشعل النار"، أنشأنا خاصا بوت في تيليجرام، لاختبار معرفة المتقدمين. يمكن لأي شخص اختباره بينما نقوم بإعداد المادة التالية، والتي سنخبرك فيها بما حدث داخل الروبوت، وما تحول إليه لاحقًا.

المشي على أشعل النار: 10 أخطاء فادحة في تطوير اختبار المعرفة
يمكنك الحصول على مهنة مرغوبة من الصفر أو المستوى الأعلى من حيث المهارات والراتب من خلال حضور دورات SkillFactory عبر الإنترنت:

المزيد من الدورات

المصدر: www.habr.com

إضافة تعليق