Проверка на компетенциите чрез тестове – защо и как

В своята статия разгледах 7 начина за бърза проверка на компетенциите на ИТ специалисти, които могат да се прилагат преди провеждането на голямо, обемно и трудоемко техническо интервю. Тогава изразих симпатиите си към тестовете с времеви ограничения. В тази статия ще разгледам темата на тестовете по-подробно.

Тестовете с времеви ограничения са универсален инструмент, който е подходящ за проверка на знанията и практическия опит на специалисти от всякакви професии.

И така, задачата е – имаме поток от кандидатури за вакансия, трябва бързо и лесно да получим допълнителна информация за уменията на кандидатите и тяхното съответствие на изискванията на нашата обява. Искаме този процес на проверка на компетенциите на кандидатите да не отнема много време, да бъде високо надежден и да е удобен за кандидатите, за да приемат да преминат нашата проверка.

Добро решение за тази задача са кратки тестове с времеви ограничения. Ограничението не е в момента на започване на теста, а във времето, в което кандидатът трябва да отговори на въпросите. Типичен пример за такъв тест е изпитът за познаване на правилата за движение, който е първият етап от изпита за получаване на шофьорска книжка. За 20 минути трябва да се отговори на 20 въпроса.

Няколко теории

В предишната статия Разказах за хибридния модел на вземане на решения от „разумния човек“, предложен от Даниел Канеман и неговите колеги. Според тази концепция, поведението на човека се управлява от две взаимодействащи системи за вземане на решения. Система 1 – бърза и автоматична, осигурява безопасността на организма и не изисква сериозни усилия за формулиране на решение. Тази система се обучава на база опита, който човек получава през живота си. Точността на решенията на тази система зависи от личния опит и обучението, а скоростта – от особеностите на нервната система на индивида. Система 2 – бавна, изисква усилия и концентрация на вниманието. Тя ни осигурява сложни разсъждения и логически изводи, работата й разкрива потенциала на човешкия интелект. Въпреки това, при работата на тази система се усвояват активно ресурси – енергия и внимание. Затова голяма част от решенията се взимат от Система 1 – така поведението на човека става значително по-ефективно. Система 1 се обучава достатъчно дълго благодарение на усилията, които полага Система 2, но след това дава бързи автоматични реакции. Система 2 – универсален решавач на задачи, но работи бавно и бързо се преуморява. „Прокачването“ на Система 2 е възможно, но границите на възможните подобрения са много скромни и това е продължителен процес, изискващ сериозни усилия. С голямо търсене в човешкото общество се ползва „прокачването“ на Система 1. Когато търсим човек, опитен в нещо, това означава, че неговата Система 1 е обучена да взима бързи решения по задачите, които ни интересуват.

Най-добрият начин за оценка на възможностите на Система 1 на конкретен човек в определена област на знание счита, че са тестовете с ограничено време за завършване. Един веднъж съставен тест позволява бързо оценяване и сравняване на голямо количество кандидати. Това е инструмент за цифров контрол на знанията и уменията.

Как да съставим добър тест?

Целта на добре съставения тест е да определи степента на тренираност на Система 1 на кандидата по необходимите ви знания и умения. За да съставите такъв тест, първо трябва да изясните темите и необходимите умения, а след това да формулирате въпросите и вариантите на отговорите.

И така, ето моите критерии за подготовка на тест, който точно и качествено оценява знанията и уменията на кандидата:

1. Въпросите и вариантите за отговори трябва да бъдат прости. Или знаеш верния отговор, или не знаеш. Не е необходимо да се включва в теста изискването за сложни разсъждения и изчисления.
2. Изпълнението на теста трябва да бъде ограничено във времето. Може дори да се ограничи времето за обмисляне на всеки отговор. Ако кандидатът не може да се определи с отговора в рамките на, да кажем, 30 секунди, то едва ли дългото разсъждение ще му помогне. Намерването на верния отговор за 30 секунди също трябва да бъде трудно.
3. Въпросите трябва да бъдат относно практиките, които наистина са необходими в работата – не абстрактни и теоретични, а чисто практични.
4. Препоръчително е за всяка малка тема да има няколко въпроса. Тези въпроси могат да се променят за различни кандидати (това е аналогично на различните варианти на контролни работи в училище) или всички да са налични в по-дългия вариант на теста.
5. Броят на въпросите и времето за преминаване на теста трябва да са строго свързани. Измерете колко време отнема прочитането на въпросите и вариантите за отговори. Добавете към това време по 10-20 секунди за всеки въпрос – това е времето за обмисляне и избиране на отговор.
6. Препоръчително е да тествате теста на вашите служители и да измерите времето им за преминаване, за да определите достатъчното време за преминаване на теста от кандидатите.
7. Обемът на теста зависи от целите на неговото приложение. За първоначална оценка на компетенциите, по мое мнение, е достатъчно 10-30 въпроса с ограничение на времето за преминаване – 5-15 минути. За по-подробна диагностика на уменията са подходящи тестове от 30-45 минути, съдържащи 50-100 въпроса.

За пример – ето теста, който разработих и използвах наскоро при подбор на кандидати за позицията IT-рекрутър. Времето за преминаване на теста беше 6 минути, времето се контролираше ръчно и на честно слово. Всички протестирани кандидати успяха да се впишат в това време. За съставянето на теста ми отне 30 минути. docs.google.com/forms/d/e/1FAIpQLSfL2pUZob2Xq-1taJPwaB2rUifbdKWK4Mk0VREKp5yUZhTQXA/viewform

Можете да направите тест и след приключването му ще можете да видите къде сте допуснали грешка. Когато тестът беше проведен от кандидатите, грешките не им бяха показвани, а ние обсъждахме грешките по-късно на интервютата с кандидатите, които бяха допуснали не повече от 3 грешки.

Инструменти

В момента създавам тестове и анкети с помощта на Google Forms – това е прост, удобен, универсален и безплатен инструмент. Въпреки това, не ми достига известен функционал за да нарека Google Forms добър инструмент за създаване на тестове. Основните ми оплаквания към Google Forms са:

1. Липсва отчет и контрол на времето, изразходвано както за целия тест, така и за всеки въпрос. Това предоставя повече информация за поведението на кандидата по време на теста.
2. Тъй като Google Forms не е специално проектиран за тестове по подразбиране, много важни опции за тестове (например, "отговорът на въпроса е задължителен" и "разбъркване на отговорите") трябва да бъдат активирани за всеки въпрос – което изисква време и внимание. За да се зададе всеки въпрос на отделен екран, трябва да се създадат отделни секции за всеки въпрос, което също води до голям брой допълнителни кликвания.
3. Ако е необходимо да направите нов тест като комбинация от фрагменти от няколко вече съществуващи теста (например, да съберете тест за fullstack разработчик от част от въпросите за frontend и backend на определен език), трябва ръчно да дублирате въпросите. Няма възможност да се изтеглят и копират няколко секции или въпроси в друга форма.

Колеги, ако знаете по-добри решения за създаване на тестове, моля, напишете за тях в коментарите.

Източник: habr.com