Преди да се запишем в новия курс за Advanced Machine Learning, ние тестваме бъдещите студенти, за да определим нивото им на готовност и да разберем какво точно трябва да предложат, за да се подготвят за курса. Но възниква дилема: от една страна, трябва да проверим знанията по Data Science, от друга, не можем да организираме пълноценен 4-часов изпит.
За да разрешим този проблем, разположихме щаб на TestDev точно в екипа за разработка на курса Data Science (и изглежда, че това е само началото). Представяме ви списък с 10 клопки, които се срещат при разработването на тестове за оценка на знанията. Надяваме се, че светът на онлайн обучението ще бъде малко по-добър след това.
Рейтинг 1: Неуспех при ясно дефиниране на целите на тестването
За да дефинираме правилно целите и да създадем тест, който да ги вземе предвид, на етапа на планиране трябва да отговорим на няколко въпроса:
- Какво всъщност проверяваме?
- В каква среда ще се проведе тестването и каква механика се използва? Какви са ограниченията в тази среда? Същата тази точка ще ви позволи да разберете техническите изисквания за устройството, на което ще се извършва тестването, а също и за съдържанието (ако тестът се прави от телефони, снимките трябва да се четат дори на малък екран, трябва е възможно да ги увеличите и т.н.).
- Колко време ще отнеме тестването? Трябва да помислите за условията, при които потребителят ще вземе теста. Възможно ли е да има ситуация, в която той трябва да прекъсне процеса на тестване и след това да продължи отново?
- Ще има ли обратна връзка? Как да го формираме и доставим? Какво трябва да получите? Има ли забавяне във времето между изпълнението на теста и обратната връзка?
В нашия случай, след като отговорихме на тези въпроси, дефинирахме следния списък от цели за теста:
- Тестът трябва да покаже дали бъдещите студенти са готови да преминат курса и дали имат достатъчно знания и умения.
- Тестът трябва да ни даде материал за обратна връзка, да посочи темата, в която учениците са допуснали грешка, за да могат да подобрят знанията си. Ще ви кажем как да го съставите по-долу.
Рейк 2: Неизготвяне на технически спецификации за експертния писател на тестове
За съставянето на тестови задачи е много важно да се включи експерт в областта, в която се проверяват знанията. А за експерт от своя страна е необходимо компетентно техническо задание (описание), което включва темите на теста, проверяваните знания/умения и тяхното ниво.
Експертът няма да прави такива технически спецификации за себе си, защото неговата работа е да измисля задачи, а не структурата на теста. Освен това малко хора разработват тестове професионално, дори в процеса на преподаване. Това се учи в отделна специалност – психометрия.
Ако искате бързо да се запознаете с психометрията, тогава в Русия има за всички заинтересовани. За по-задълбочено изучаване Институтът по образование има и висше училище.
Когато изготвяме техническите спецификации, ние събираме подробно описание на теста за експерта (или по-добре, заедно с него): теми на задачите, вид на задачите, техния брой.
Как да изберем типа задачи: след като сме избрали темите, решаваме кои задачи могат най-добре да тестват това? Класически опции: отворена задача, задача с множество или един избор, съпоставяне и т.н. (не забравяйте за техническите ограничения на средата за тестване!). След определяне и уточняване на вида на задачите, имаме готово техническо задание за експерта. Можете да го наречете тестова спецификация.
Рейк 3: Без участие на експерт в разработването на тестове
Когато потапяте експерт в разработването на тестове, е много важно не просто да му посочите „обхвата на работа“, но и да го включите в самата процедура на разработване.
Как да направите работата с експерт възможно най-ефективна:
- Настройте го предварително и прекарайте известно време в разговори за науката за разработване на тестове и психометрия.
- Фокусирайте вниманието на оценителя върху създаването на валиден и надежден инструмент за оценка, а не върху списък с въпроси.
- Обяснете, че работата му включва подготвителен етап, а не само разработване на самите задачи.
Някои експерти (поради естеството си) може да възприемат това като тест за собствената си работа и ние им обясняваме, че дори и да създадем отлични задачи, те просто може да не отговарят на конкретните цели на тестване.
За да бъде процесът бърз, ние изготвяме таблица на тематичното покритие (знания и умения) с експерта, която е част от спецификацията на теста. Именно тази таблица ни позволява точно да разработим въпросите и да определим какво ще измерваме. Във всеки конкретен случай може да се компилира малко по-различно. Нашата задача е да проверим колко добре човек разбира знанията и уменията от предишни, основни курсове, за да разбере доколко е готов да учи в нов курс.
Рейк 4: Мисля, че експертът „знае най-добре“
Познава темата по-добре. Но не винаги обяснява ясно. Много е важно да проверите формулировката на задачите. Напишете ясни инструкции, например „Изберете 1 правилна опция“. В 90% от случаите експертите подготвят въпроси по разбираем за тях начин. И това е добре. Но преди да се предаде тестът на тези, които ще го решават, всичко трябва да бъде проверено и сресано, за да могат проверяващите да разберат какво точно се иска от тях и да не допускат грешки само защото може да изтълкуват грешно текста на задачата.
За да избегнем двойно тълкуване на задачите, провеждаме „когнитивни лаборатории“. Молим хора от целевата аудитория да направят теста, като кажат на глас какво мислят и го запишат подробно. В „когнитивните лаборатории“ можете да „хванете“ неясни въпроси, лоши формулировки и да получите първата обратна връзка за теста.
Рейк 5: Игнорирайте времето за изпълнение на теста
режим на сарказъм: включен
Разбира се, нашият тест е най-добрият, всеки мечтае да го издържи! Да, всичките 4 часа.
режим на сарказъм: изключен
Когато има списък с всичко, което може да се провери, най-важното е да не го правите (на пръв поглед звучи странно, нали?). Трябва безмилостно да режете, идентифицирайки ключови знания и умения с експерт (да, редица умения също могат да бъдат тествани в теста). Разглеждаме вида на задачите и оценяваме целевото време за изпълнение: ако всичко все още е над разумните граници, ние го съкращаваме!
За да намалите силата на звука, можете също да опитате (внимателно) да тествате две умения в една задача. В този случай е трудно да се разбере защо човекът е направил грешка, но ако се направи правилно, и двете умения могат да бъдат взети под внимание. Важно е да се уверите, че тези 2 умения съответстват на една и съща област на познание.
Рейк 6: Необмисляне на системата за точкуване
Често, когато съставят тестове за оценка, те използват класическата система за оценяване, например 1 точка за лесни задачи и 2 точки за трудни. Но не е универсален. Само сумата от точки въз основа на резултатите от теста няма да ни каже много: не знаем за кои задачи са получени тези точки и можем само да определим броя на правилните задачи. Трябва да разберем точно какви умения демонстрират участниците в теста. Освен това искаме да им дадем обратна връзка кои теми трябва да бъдат подобрени.
Все пак правим тест, който ще раздели хората на готови и неготови да завършат програмата; ще посъветваме някои да се подготвят за курса чрез безплатно обучение. За нас е важно тази група да включва само тези, които наистина имат нужда и са готови за това.
Какво правим в нашата ситуация: ние определяме в рамките на работната група от разработчици на тестове кои групи от хора трябва да бъдат идентифицирани (например готови да учат, частично готови) и формираме таблица с характеристики на такива групи, посочвайки какви умения и знания ще бъде от значение за групата на готовите за обучение обучения. По този начин можете да формулирате „трудността“ на задачите за такива тестове.
Рейк 7: Оценявайте резултатите само автоматично
Разбира се, оценката трябва да бъде възможно най-обективна, така че някои от учебните материали се оценяват автоматично, „по ключове“ - сравнявайки с верните отговори. Дори и да няма специална система за тестване, има много безплатни решения. И ако разбирате принципите на писане на скриптове, тогава можете да правите каквото искате с Google формуляри и резултати в таблици. Ако някои от задачите се проверяват от експерти, тогава трябва да помислим за предоставяне на отговори на експертите, без информация за участниците в теста. И помислете как да интегрирате резултатите от експертното тестване в крайната оценка.
Първоначално искахме да направим няколко задачи с отворен край с код, където експертите оценяват решенията по предварително формирани критерии и дори подготвихме система, която експортира индивидуалните отговори от участниците в теста в специална таблица за експерти и след това импортира резултатите в таблица с изчисления за оценка. Но след обсъждане с представители на целевата аудитория, продуктов мениджър и образователен дизайнер, решихме, че провеждането на техническо интервю с незабавна експертна обратна връзка и обсъждане на кода, както и на отделни проблеми, би било много по-ефективно и полезно за самите участници .
Сега експертът проверява завършването на теста, изяснявайки някои въпроси. За целта сме подготвили ръководство с въпроси и критерии за оценка за техническо интервю. Преди техническото интервю проверяващият получава карта с отговорите на тестващия, за да му помогне да избере въпроси, които да зададе.
Рейк 8: Не обяснявайте резултатите от теста
Предоставянето на обратна връзка с участниците е отделен въпрос. Трябва не само да информираме за резултата от теста, но и да осигурим разбиране на резултатите от теста.
Те могат да бъдат:
- Задачи, в които участникът е допуснал грешка и които е изпълнил правилно.
- Теми, в които участникът е допуснал грешки.
- Класирането му сред явилите се на изпита.
- Описание на нивото на участника, в съответствие, например, с описанието на нивото на специалист (въз основа на описанието на свободните работни места).
По време на пилотното стартиране на нашия тест, на тези, които искаха да се запишат в програмата, заедно с резултатите показахме списък с теми, които трябваше да бъдат подобрени. Но това със сигурност не е идеално, ние ще подобрим и ще предоставим по-добра обратна връзка.
Рейк 9: Не обсъждайте теста с разработчиците
Може би най-острият рейк, който е особено неприятен за стъпване, е да изпратите теста, описанието и скалата за оценяване на разработчиците „както е“.
Какво точно трябва да се обсъди:
- Външният вид на въпросите, структурата, позицията на графиката, как изглежда изборът на верен отговор.
- Как се изчислява оценката (ако е необходимо), има ли допълнителни условия.
- Как се генерира обратна връзка, къде да получите текстове, има ли допълнителни автоматично генерирани блокове.
- Каква допълнителна информация трябва да съберете и в кой момент (същите контакти).
За да избегнем недоразумения, ние молим нашите разработчици да кодират 2 или 3 различни въпроса, за да могат да видят как изглеждат, преди да кодират самия тест.
Рейк 10: Без тестване, качване директно в производството
3 пъти, момчета, тестът трябва да се проверява 3 пъти от различни хора или още по-добре по 3 пъти.Тази истина е получена с кръв, пот и пиксели от редове код.
Нашият тест проверява следното трио:
- Продукт - проверява теста за производителност, външен вид, механика.
- Разработчик на тестове - проверява текста на задачите, реда им, формата на работа с теста, видовете задачи, верните отговори, четливостта и нормалното гледане на графиките.
- Авторът на задачите (експерт) проверява теста за вярност от експертна позиция.
Пример от практиката: едва при третото изпълнение авторът на задачите видя, че 1 задача остава в старата версия на формулировката. Всички предишни също управляваха активно. Но когато тестът беше кодиран, той изглеждаше различно от първоначалното представяне. Много е вероятно нещо да се коригира. Това трябва да се вземе предвид.
Общо
Внимателно заобикаляйки всички тези „гребла“, създадохме специален , за проверка на знанията на кандидатите. Всеки може да го тества, докато подготвяме следващия материал, в който ще ви разкажем какво се е случило вътре в бота и в какво се е превърнал по-късно.
Можете да получите търсена професия от нулата или да получите ниво нагоре по отношение на умения и заплата, като вземете онлайн курсове SkillFactory:
- (12 седмици)
- (20 седмици)
- (20 седмици)
- (12 месеца)
Още курсове
- (12 месеца)
- (14 седмици)
- (5 седмици)
- (18 месеца)
- (6 месеца)
- (12 месеца)
- (8 месеца)
- (9 месеца)
- (12 месеца)
- (18 месеца)
- (18 месеца)
- (12 месеца)
- (9 месеца)
- (7 месеца)
Източник: www.habr.com