הליכה על מגרפה: 10 טעויות קריטיות בפיתוח מבחני ידע

לפני ההרשמה לקורס החדש של Machine Learning Advanced, אנו בודקים סטודנטים פוטנציאליים כדי לקבוע את רמת המוכנות שלהם ולהבין מה בדיוק הם צריכים להציע כדי להתכונן לקורס. אבל מתעוררת דילמה: מצד אחד עלינו לבחון ידע ב-Data Science, מצד שני, אנחנו לא יכולים לארגן בחינה מלאה של 4 שעות.

כדי לפתור בעיה זו, פרסנו מטה TestDev ממש בצוות הפיתוח של קורס Data Science (ונראה שזו רק ההתחלה). אנו מציגים בפניכם רשימה של 10 מלכודות שנתקלים בהן בעת ​​פיתוח מבחנים להערכת ידע. אני מקווה שעולם הלמידה המקוונת יהיה קצת יותר טוב אחרי זה.

גרפה 1: כישלון בהגדרה ברורה של מטרות הבדיקה

על מנת להגדיר נכון יעדים וליצור מבחן שיביא אותם בחשבון, בשלב התכנון עלינו לענות על מספר שאלות:

1. מה בעצם אנחנו בודקים? 
2. באיזו סביבה תתקיים הבדיקה ובאיזה מכניקה משתמשים? מהן המגבלות בסביבה זו? אותה נקודה תאפשר לכם להבין את הדרישות הטכניות למכשיר שבו תתבצע הבדיקה, וגם לתוכן (אם הבדיקה נלקחת מטלפונים, התמונות צריכות להיות קריאות גם על מסך קטן, אפשר להגדיל אותם וכו').
3. כמה זמן תארך הבדיקה? אתה צריך לחשוב על התנאים שבהם המשתמש יעבור את הבדיקה. האם יכול להיות מצב שהוא צריך להפריע לתהליך הבדיקה ואז להמשיך שוב?
4. האם יהיו משוב? כיצד אנו יוצרים ומעבירים אותו? מה אתה צריך לקבל? האם יש פער זמן בין ביצוע הבדיקה למשוב?

במקרה שלנו, לאחר שעניתי על שאלות אלו, הגדרנו את רשימת המטרות הבאה למבחן:

1. המבחן צריך להראות אם סטודנטים עתידיים מוכנים לקחת את הקורס והאם יש להם מספיק ידע ומיומנויות.
2. המבחן צריך לתת לנו חומר למשוב, לציין את הנושא בו טעו התלמידים, כדי שיוכלו לשפר את הידע שלהם. אנו אגיד לך כיצד לחבר אותו למטה.

גרפה 2: אי עריכת מפרט טכני עבור כותב המבחן המומחה

כדי לחבר פריטי מבחן, חשוב מאוד לערב מומחה בתחום בו נבדק הידע. ולמומחה, בתורו, אתה צריך מפרט טכני מוכשר (תיאור), הכולל את נושאי המבחן, הידע/מיומנויות הנבדקים ורמתם.

מומחה לא יעשה מפרט טכני כזה לעצמו, כי תפקידו הוא להמציא משימות, לא את מבנה הבדיקה. יתרה מכך, מעטים האנשים שמפתחים מבחנים באופן מקצועי, אפילו בתהליך ההוראה. זה נלמד בהתמחות נפרדת - פסיכומטרי.

אם אתה רוצה להכיר במהירות את הפסיכומטרי, אז ברוסיה יש סאמר סקול לכל המתעניינים. למחקר מעמיק יותר, יש במכון לחינוך תואר שני ובית ספר לתואר שני.

בעת הכנת המפרט הטכני, אנו אוספים תיאור מפורט של הבדיקה עבור המומחה (או טוב יותר, יחד איתו): נושאי המשימות, סוג המשימות, מספרן.

כיצד לבחור את סוג המשימות: לאחר שהחלטנו על הנושאים, אנו מחליטים אילו משימות יכולות לבדוק זאת בצורה הטובה ביותר? אפשרויות קלאסיות: משימה פתוחה, משימה מרובה או יחידה, התאמה וכו' (אל תשכחו את המגבלות הטכניות של סביבת הבדיקה!). לאחר קביעה וציון סוג המשימות, יש לנו מפרט טכני מוכן למומחה. אתה יכול לקרוא לזה מפרט בדיקה.

גריפה 3: לא לערב מומחה בפיתוח בדיקות

כשמטבילים מומחה בפיתוח מבחנים, חשוב מאוד לא רק לציין בפניו את "היקף העבודה", אלא לערב אותו בהליך הפיתוח עצמו.

כיצד להפוך את העבודה עם מומחה ליעילה ככל האפשר:

• הגדר אותו מראש והקדיש זמן לדבר על מדע פיתוח מבחנים ופסיכומטרי.
• מקד את תשומת הלב של המעריך ביצירת כלי הערכה תקף ואמין, לא רשימת שאלות.
• הסבירו שעבודתו כוללת שלב הכנה, לא רק פיתוח המשימות עצמן.

חלק מהמומחים (בשל טבעם) עשויים לתפוס זאת כמבחן לעבודה שלהם, ואנו מסבירים להם שגם אם ניצור משימות מצוינות, ייתכן שהן פשוט לא מתאימות למטרות הבדיקה הספציפיות.

כדי שהתהליך יעבור מהר, אנו מכינים טבלת סיקור נושאים (ידע ומיומנויות) עם המומחה, שהיא חלק ממפרט הבדיקה. הטבלה הזו היא שמאפשרת לנו לחשב במדויק את השאלות ולקבוע מה נמדוד. בכל מקרה ספציפי ניתן להרכיב אותו בצורה מעט שונה. המשימה שלנו היא לבדוק עד כמה אדם מבין את הידע והכישורים של קורסים קודמים ובסיסיים כדי להבין עד כמה הוא מוכן ללמוד בקורס חדש.

גריפה 4: לחשוב שהמומחה "יודע הכי טוב"

מכיר את הנושא טוב יותר. אבל זה לא תמיד מסביר בצורה ברורה. חשוב מאוד לבדוק את נוסח המשימות. כתוב הוראות ברורות, לדוגמה, "בחר אפשרות אחת נכונה". ב-1% מהמקרים, מומחים מכינים שאלות בצורה שהם עצמם מבינים. וזה בסדר. אבל לפני שמעבירים את המבחן למי שייגש, צריך לבדוק ולסרוק הכל כדי שהנבדקים יבינו בדיוק מה נדרש מהם ולא יטעו רק בגלל שהם עלולים לפרש לא נכון את נוסח המשימה.

כדי למנוע פרשנות כפולה של משימות, אנו עורכים "מעבדות קוגניטיביות". אנו מבקשים מאנשים מקהל היעד לגשת למבחן, לומר בקול רם מה הם חושבים ולתעד אותו בפירוט. ב"מעבדות קוגניטיביות" ניתן "לתפוס" שאלות לא ברורות, ניסוח גרוע ולקבל את המשוב הראשון על המבחן.

גריפה 5: התעלם מזמן ביצוע הבדיקה

מצב סרקזם: מופעל
כמובן, המבחן שלנו הוא הטוב ביותר, כולם חולמים לעבור אותו! כן, כל 4 השעות.
מצב סרקזם: כבוי

כשיש רשימה של כל מה שאפשר לבדוק, העיקר לא לעשות את זה (במבט ראשון זה נשמע מוזר, לא?). אתה צריך לחתוך ללא רחמים, לזהות ידע ומיומנויות מפתח עם מומחה (כן, ניתן לבדוק גם מספר מיומנויות במבחן). אנחנו מסתכלים על סוג המשימות ומעריכים את זמן השלמת היעד: אם הכל עדיין מעבר לגבולות הסבירים, אנחנו מקצצים אותו!

כדי להפחית את הווליום, אתה יכול גם לנסות (בזהירות) לבדוק שתי מיומנויות במשימה אחת. במקרה זה, קשה להבין מדוע האדם עשה טעות, אך אם עושים זאת נכון, ניתן לקחת בחשבון את שני הכישורים. חשוב לוודא ש-2 המיומנויות הללו תואמות לאותו תחום ידע.

גריפה 6: לא חושב דרך שיטת הניקוד

לעתים קרובות, בעת עריכת מבחני הערכה, הם משתמשים בשיטת הניקוד הקלאסית, למשל, נקודה אחת למשימות קלות ו-1 נקודות למשימות קשות. אבל זה לא אוניברסלי. רק סכום הנקודות על סמך תוצאות הבדיקה לא יגיד לנו הרבה: איננו יודעים עבור אילו משימות התקבלו הנקודות הללו ונוכל לקבוע רק את מספר המשימות הנכונות. עלינו להבין בדיוק אילו כישורים מפגינים נבחנים. בנוסף, אנחנו רוצים לתת להם משוב לגבי הנושאים שצריך לשפר.

הרי אנחנו עושים מבחן שיחלק את האנשים למי שמוכנים ואלה שלא מוכנים לסיים את התוכנית, נמליץ לחלק להתכונן לקורס באמצעות הכשרה חינם. חשוב לנו שהקבוצה הזו תכלול רק את מי שבאמת צריך ושמוכן לזה.

מה אנחנו עושים במצבנו: אנחנו קובעים בתוך קבוצת העבודה של מפתחי בדיקות אילו קבוצות של אנשים צריך לזהות (למשל, מוכנים ללמוד, מוכנים חלקית) ויוצרים טבלת מאפיינים של קבוצות כאלה, המציינת אילו מיומנויות וידע יהיה רלוונטי לקבוצת האימון המוכן ללמידה. כך תוכלו לנסח את "הקושי" של משימות למבחנים כאלה.

גרפה 7: הערכת תוצאות אוטומטית בלבד

כמובן שההערכה צריכה להיות אובייקטיבית ככל האפשר, כך שחלק מחומרי התלמיד מוערכים באופן אוטומטי, "לפי מקשים" - בהשוואה לתשובות הנכונות. גם אם אין מערכת בדיקה מיוחדת, יש הרבה פתרונות חינמיים. ואם אתה מבין את העקרונות של כתיבת סקריפטים, אז אתה יכול לעשות מה שאתה רוצה עם טפסים ותוצאות של גוגל בטבלאות. אם חלק מהמשימות נבדקות על ידי מומחים, אז עלינו לחשוב על מתן תשובות למומחים, ללא מידע על הנבחנים. וחשבו כיצד לשלב את התוצאות של בדיקות מומחים בהערכה הסופית.

בתחילה רצינו לעשות מספר משימות פתוחות עם קוד, שבהן מומחים מעריכים פתרונות על סמך קריטריונים שהוגדרו מראש, ואפילו הכנו מערכת שמייצאת תשובות בודדות ממשתתפי המבחן לטבלה מיוחדת למומחים, ולאחר מכן מייבאת את התוצאות לתוך טבלה עם חישובי הערכה. אבל לאחר דיון עם נציגי קהל היעד, מנהל המוצר והמעצב החינוכי, הרגשנו שביצוע ראיון טכני עם משוב מיידי של מומחים ודיון בקוד, כמו גם בנושאים בודדים, יהיה הרבה יותר יעיל ושימושי עבור המשתתפים עצמם .

כעת המומחה מוודא את השלמת הבדיקה, ומבהיר כמה שאלות. לשם כך הכנו מדריך שאלות וקריטריונים להערכה לראיון טכני. לפני הראיון הטכני, הבוחן מקבל מפה של תשובות הנבחן כדי לעזור לו לבחור שאלות לשאול.

גרפה 8: אל תסביר את תוצאות הבדיקה

מתן משוב למשתתפים הוא נושא נפרד. אנחנו צריכים לא רק להודיע ​​על ציון המבחן, אלא גם לספק הבנה של תוצאות המבחן.
זה יכול להיות: 

• משימות בהן טעה המשתתף ואותן ביצע נכון.
• נושאים בהם המשתתף עשה טעויות.
• דירוגו בין הניגשים לבחינה.
• תיאור רמת המשתתף, בהתאם, למשל, לתיאור רמת המומחה (בהתבסס על תיאור המשרות הפנויות).

במהלך השקת הפיילוט של המבחן שלנו, לאלו שרצו להירשם לתכנית, יחד עם התוצאות, הצגנו רשימה של נושאים שצריך לשפר. אבל זה בהחלט לא אידיאלי, אנחנו נשתפר ונספק משוב טוב יותר.

גרפה 9: אל תדון בבדיקה עם מפתחים

אולי המגרפה החדה ביותר, שלא נעימה במיוחד לדרוך עליה, היא לשלוח את המבחן, התיאור וסולם הניקוד למפתחים "כמות שהם".
מה בדיוק צריך לדון:

• מראה השאלות, המבנה, מיקום הגרפיקה, איך נראית הבחירה בתשובה הנכונה.
• כיצד מחושב הציון (במידת הצורך), האם ישנם תנאים נוספים.
• כיצד נוצר משוב, היכן ניתן לקבל טקסטים, האם ישנם בלוקים נוספים שנוצרו אוטומטית.
• איזה מידע נוסף אתה צריך לאסוף ובאיזה נקודה (אותם אנשי קשר).

כדי למנוע אי הבנות, אנו מבקשים מהמפתחים שלנו לקודד 2 או 3 שאלות שונות כדי שיוכלו לראות איך הן נראות לפני קידוד הבדיקה עצמה.

גריפה 10: ללא בדיקה, העלה ישירות לייצור

3 פעמים, חבר'ה, הבדיקה צריכה להיבדק 3 פעמים על ידי אנשים שונים, או יותר טוב, 3 פעמים כל אחת. האמת הזו התקבלה בדם, זיעה ופיקסלים של שורות קוד.

הבדיקה שלנו בודקת את השלישייה הבאה:

1. מוצר - בודק את המבחן לביצועים, מראה, מכניקה.
2. מפתח מבחנים - בודק את טקסט המשימות, סדרן, צורת העבודה עם המבחן, סוגי משימות, תשובות נכונות, קריאות וצפייה רגילה בגרפיקה.
3. כותב המשימות (מומחה) בודק את מבחן הנאמנות מתפקיד מומחה.

דוגמה מהתרגול: רק בריצה השלישית ראה מחבר המשימות שנשארה משימה אחת בגרסה הישנה של הנוסח. גם כל הקודמים שלטו באופן פעיל. אבל כאשר המבחן היה מקודד, הוא נראה שונה ממה שדמיינו במקור. סביר מאוד שמשהו יצטרך להיות מתוקן. זה צריך להילקח בחשבון.

סך הכל

עוקפים בזהירות את כל ה"גרפה" הללו, יצרנו ספיישל bot בטלגרם, כדי לבדוק את הידע של המועמדים. כל אחד יכול לבדוק את זה בזמן שאנחנו מכינים את החומר הבא, בו נספר לכם מה קרה בתוך הבוט, ולמה כל זה הפך מאוחר יותר.

אתה יכול לקבל מקצוע מבוקש מאפס או Level Up מבחינת מיומנויות ושכר על ידי לקיחת קורסים מקוונים של SkillFactory:

• קורס למידת מכונה (12 שבועות)
• קורס מתקדם "Machine Learning Pro + Deep Learning" (20 שבועות)
• קורס "מתמטיקה ולמידת מכונה למדעי הנתונים" (20 שבועות)
• מלמדת את מקצוע הנתונים מאפס (12 חודשים)

קורסים נוספים

• מלמדת את מקצוע הנתונים מאפס (12 חודשים)
• Data Science Online Bootcamp (14 שבועות)
• Data Analytics Bootcamp מקוון (5 שבועות)
• מקצוע אנליסט בכל רמה מתחילה (18 חודשים)
• קורס ניתוח נתונים (6 חודשים)
• קורס DevOps (12 חודשים)
• מקצוע מפתח אתרים (8 חודשים)
• קורס פייתון לפיתוח אתרים (9 חודשים)
• עיסוק מפתח iOS מאפס (12 חודשים)
• מקצוע מפתח אנדרואיד מאפס (18 חודשים)
• מקצוע מפתח Java מאפס (18 חודשים)
• קורס JavaScript (12 חודשים)
• מקצוע מעצב UX מאפס (9 חודשים)
• מקצוע מעצב אתרים (7 חודשים)

מקור: www.habr.com