Преди записване на нов курс Machine Learning Advanced тестваме бъдещите студенти, за да определим нивото на готовност и да разберем какво именно им е необходимо, за да се подготвят за курса. Но възниква дилема: от една страна, трябва да проверим знанията по Data Science, от друга — не можем да проведем пълен 4-часов изпит.
За решаването на такава задача разгръщаме щаб по TestDev директно в екипа за разработка на курсовете по Data Science (и изглежда, че това е само началото). Представяме ви списък с 10 "трудности", на които попадаме при разработката на тестове за оценка на знания. Надяваме се, че светът на онлайн обучението ще стане малко по-добър след това.
Трудност 1: Неопределяне на ясни цели на теста
За да определим умно целите и да съставим тест, който ще ги отчита, на етапа на планиране трябва да си отговорим на няколко въпроса:
- Какво точно проверяваме?
- В каква среда ще протича тестът и какви механики ще се използват? Какви ограничения има в тази среда? Този пункт ще ни помогне да разберем техническите изисквания за устройството, на което ще се провежда тестът, както и за съдържанието (ако тестът се провежда на телефони, изображенията трябва да са четливи дори на малък екран, трябва да е възможно да се увеличават и т.н.).
- Колко време ще трае тестът? Трябва да помислим в какви условия потребителят ще преминава през теста. Може ли да възникне ситуация, в която трябва да прекъсне тестовия процес и след това отново да го продължи?
- Ще има ли обратна връзка? Как я формулираме и доставяме? Какво е необходимо за получаването ѝ? Има ли времеви интервал между изпълнението на теста и обратната връзка?
В нашия случай, след като отговорихме на тези въпроси, определихме за теста следния списък с цели:
- Тестът трябва да покаже дали бъдещите студенти са готови да преминат курса, дали разполагат с достатъчно знания и умения.
- Тестът трябва да ни предостави материал за обратна връзка, да посочи темата, в която студентите са допуснали грешка, за да могат да подобрят знанията си. Как да го съставим — ще разкажем по-нататък.
Трудност 2: Не съставяне на ТЗ за експерта — съставител на теста
За изготвянето на тестови задания е много важно да се привлече експерт в съответната област, знанията за която се проверяват. А за експерта е необходимо качествено ТЗ (описание), включващо темите на теста, проверяваните знания/умения и тяхното ниво.
Експертът няма да изготви такова ТЗ за себе си, тъй като неговата работа е да измисля задания, а не структурата на теста. Още повече, досега малко хора разработват тестове професионално, дори в процеса на преподаване. Това се учи в специализирана професия — психометрия.
Ако искате бързо да се запознаете с психометрията, в Русия има за всички заинтересовани. За по-дълбочинно изучаване в Института по образование има и аспирантура.
При подготовката на ТЗ, ние събираме подробно описание на теста за експерта (а още по-добре, заедно с него): теми на задания, типове задания, тяхното количество.
Как да изберем тип задания: след като определим темите, решаваме с какви задания можем да проверим най-добре? Класическите варианти са: задача с отворен отговор, задача с множество или единствен избор, съответствия и т.н. (не забравяйте за техническите ограничения на средата, в която се провежда тестироването!). След като определим и запишем типа задания, имаме готово ТЗ за експерта. Можем да го наречем спецификация на теста.
Грешка 3: Не ангажирането на експерта в разработката на теста
При ангажиране на експерта в разработката на теста е много важно не просто да му посочите "обхвата на работа", а да го включите в самия процес на разработка.
Как да направим работата с експерта максимално ефективна:
- Предварително да го подготвите и да отделите известно време за разказ за науката по разработка на тестове, психометрия.
- Да се фокусираме вниманието на експерта върху създаването на валиден и надежден инструмент за оценка, а не на списък с въпроси.
- Да обясните, че в неговата работа се включва предварителен етап, а не само разработването на самите задания.
Някои експерти (заради своя характер) могат да възприемат това като проверка на собствената си работа, и на тях обясняваме, че дори при създаването на отлични задания, те просто могат да не отговарят на конкретните цели на тестването.
За да премине процесът бързо, подготвяме с експерта таблица на покритие на теми (знания и умения), която е част от спецификацията на теста. Именно тази таблица позволява точно да се работят въпросите, да се определи какво ще измерим. Във всеки конкретен случай тя може да бъде съставена по малко различен начин. Нашата задача е да проверим колко добре човек се ориентира в знанията и уменията от предишни, базови курсове, за да разберем колко е готов за обучение на нов курс.
Заблуди 4: Да мислите, че експертът "знае по-добре"
Знае предмета по-добре. Но не винаги обяснява ясно. Много е важно да проверите формулировките на задачите. Да напишете ясни инструкции, например, "Изберете 1 верен вариант". В 90% от случаите експертите подготвят въпросите така, както сами разбират. И това е нормално. Но преди да предадете теста на тези, които ще го преминат, нужно е всичко да бъде проверено и коригирано, за да бъдат хората, които преминават теста, абсолютно сигурни какво им се иска и да не допуснат грешки, само защото могат да интерпретират текста на задачата неправилно.
За да избегнем двусмислие в задачите, провеждаме "когнитивни лаборатории". Молим хора от целевата аудитория да преминат теста, озвучавайки високос какво мислят, и подробно записваме. На "когнитивните лаборатории" можем да "уловим" неясни въпроси, лоши формулировки, получим първа обратна връзка за теста.
Заблуди 5: Да не се взема предвид времето за изпълнение на теста
sarcasm mode: on
Разбира се, нашият тест е най-добрият, всички мечтаят да го преминат! Да, всички 4 часа.
sarcasm mode: off
Когато имате списък на всичко, което може да се провери, най-важното е да не го правите (на пръв поглед звучи странно, нали?). Трябва безмилостно да режете, акцентирайки с експерта на ключовите знания и умения (да, редица умения също могат да се проверят в теста). Гледаме на типа задачи и преценяваме целевото време за изпълнение: ако всичко все още е над разумни граници — режем!
За намаляване на обема, можете също да опитате (внимателно) да проверите две умения с една задача. В този случай е трудно да се разбере защо човек е сгрешил, но при правилно изпълнение можете да вземете предвид и двете умения. Важно е да се уверите, че тези 2 умения съответстват на една област от знания.
Заблуди 6: Да не се обмисли системата за оценяване
Често при съставянето на оценъчни тестове се използва класическата система на оценяване в точки, например, 1 точка за лесни задачи и 2 точки за сложни. Но тя не е универсална. Просто сумата от точките след тестиране не ни казва много: не знаем за кои задачи са получени тези точки и можем само да определим броя на верните задачи. Нуждаем се от точно разбиране какви умения демонстрират участниците в теста. Освен това искаме да им предоставим обратна връзка за темите, които трябва да доработят.
В крайна сметка правим тест, който ще раздели хората на готови и неготови за преминаване на програмата, на някои от тях ще препоръчаме да се подготвят за курса с безплатно обучение. Важно е за нас да включим в тази група само онези, на които това наистина е необходимо и които са готови за него.
Какво правим в нашата ситуация: определяме вътре в работната група на разработчиците на теста какви групи хора трябва да излъчваме (например, готови за обучение, частично готови) и формулираме таблица с характеристики на тези групи, като посочваме какви умения и знания ще са актуални за групата, готова за обучение. Така можем да формулираме "трудността" на задачите за подобни тестове.
Грабли 7: Оценяване на резултатите само автоматично
Разбира се, оценяването трябва да бъде максимално обективно, затова част от материалите на студентите се оценяват автоматично, "по ключовете" – сравнявайки с верните отговори. Дори ако няма специализирана система за тестиране, има множество безплатни решения. А ако има разбиране за принципите на написване на скриптове, с Google формите и резултатите в таблиците можете да правите каквото пожелаете. Ако част от задачите се проверяват от експерти, то трябва да обмислим доставката на отговорите на експертите, без информация за тези, които ги дават. И да помислим как да интегрираме резултатите от проверката на експертите в крайното оценяване.
Първоначално планирахме да създадем няколко открити задачи с код, при които експертите оценяват решенията по предварително зададени критерии, и дори подготвихме система, която експортира отделните отговори на участниците в теста в специална таблица за експертите, а след това внася резултатите в таблица за оценка. Но след обсъждане с представители на целевата аудитория, продуктовия мениджър и педагогическия дизайнер, решихме, че провеждането на техническо интервю с моментална обратна връзка от експерта и обсъждане на кода, както и на отделни въпроси, ще бъде много по-ефективно и полезно за самите участници.
Сега експертът верифицира преминаването на теста, уточнявайки някои въпроси. За това подготвихме наръчник с въпроси и критерии за оценка за техническото интервю. Преди техническото интервю експертът получава карта с отговорите на участника в теста, за да избере въпросите, които е редно да зададе.
Грабли 8: Не обяснявайте резултатите от теста
Представянето на обратната връзка на участниците е отделен въпрос. Необходимо е не само да информираме за тестовия резултат, но и да предоставим разбиране на резултатите от теста.
Това могат да бъдат:
- Задачи, в които участникът е сбъркал, а е изпълнил правилно.
- Темите, в които участникът е допуснал грешки.
- Неговият рейтинг сред явяващите се на изпита.
- Описание на нивото на участника, в съответствие, например, с описанието на нивото на специалистите (на базата на описание на вакансии).
При пилотното стартиране на нашия тест, на тези, които желаят да се включат в програмата, заедно с резултатите показвахме списък с темите, които трябва да подобрят. Но това, разбира се, не е идеал, ще се усъвършенстваме и ще подобрим обратната връзка.
Грабли 9: Не обсъждайте теста с разработчиците
Може би най-острите грабли, на които е особено неприятно да стъпите — да изпратите на разработчиците тест, описание и скала за оценка в състояние "както е".
Какво точно се нуждае от обсъждане:
- Визуализацията на въпросите, структурата, разположението на графиката, как изглежда изборът на верния отговор.
- Как се изчислява точката (ако е необходима), няма ли допълнителни условия.
- Как се формира обратната връзка, откъде да се вземат текстовете, няма ли допълнителни, които се формират автоматично блокове.
- Каква допълнителна информация е необходимо да събирате и в кой момент (същите контакти).
За да избегнем недоразумения, молим нашите разработчици да закодират 2 или 3 различни въпроса, за да можем да видим как изглеждат преди програмирането на самия тест.
Грабли 10: Да не тествате, преди да качите направо в продукция.
3 пъти, момчета, тестът трябва да бъде проверяван от 3 различни хора, а най-добре — всеки поне по 3. Тази истина е извоювана с кръв, пот и пиксели в кодовите редове.
Нашият тест проверява такова трио:
- Продуктовият мениджър — проверява теста за функционалност, външен вид и механики.
- Разработчикът на теста — проверява текстовете на задачите, техния ред, начина на работа с теста, типовете задачи, верните отговори, четимостта и нормалния визуален вид на графиките.
- Авторът на задачите (експерт) — проверява теста за точност от експертна позиция.
Пример от практиката: само на третия път при прегледа авторът на задачите забеляза, че 1 задача е останала в старата формулировка. Всички предишни също са били активно поправяни. Но когато тестът беше закодиран, той изглеждаше иначе, отколкото първоначално си го представяха. С голяма вероятност нещо ще трябва да се коригира. Това трябва да се има предвид.
Резюме
Внимателно заобикаляйки всички тези "грабли", създадохме специален , за проверка на знанията на кандидат-студентите. Всеки желаещ може да го тества, докато подготвяме следващия материал, в който ще разкажем какво се случваше вътре в бота и какво всичко това се трансформира след това.
Можете да получите търсена професия от нулата или да повишите уменията и заплатата си, преминавайки онлайн курсове SkillFactory:
- (12 седмици)
- (20 седмици)
- (20 седмици)
- (12 месеца)
Още курсове
- (12 месеца)
- (14 седмици)
- (5 седмици)
- (18 месеца)
- (6 месеца)
- (12 месеца)
- (8 месеца)
- (9 месеца)
- (12 месеца)
- (18 месеца)
- (18 месеца)
- (12 месеца)
- (9 месеца)
- (7 месеца)
Източник: habr.com
