я розглядав 7 способів швидкої перевірки компетенцій IT-фахівців, які можна застосувати до проведення великої, об'ємної та трудомісткої технічної співбесіди. Тоді я висловив свою симпатію тестам, обмеженим у часі. У цій статті я розкрию тему тестів докладніше.
Тести, обмежені за часом – це універсальний інструмент, який добре підходить для перевірки знань та практичних навичок будь-яких фахівців будь-яких професій.
Отже, завдання – у нас є потік відгуків кандидатів на вакансію, нам потрібно швидко та просто отримати додаткову інформацію про навички кандидатів та їх відповідність вимогам нашої вакансії. Ми хочемо, щоб така перевірка компетенцій кандидатів не забирала у нас багато часу, була достовірною у високій мірі та була зручною кандидатам, щоб вони погоджувалися проходити нашу перевірку.
Хорошим рішенням для цього завдання є короткі тести, обмежені за часом проходження. Обмежується не момент початку проходження тесту, а час, протягом якого кандидат має відповісти на запитання. Типовий приклад такого тесту – це іспит на знання правил дорожнього руху, що є першим етапом іспиту для отримання посвідчення водія. За 20 хвилин потрібно відповісти на 20 запитань.
Трохи теорії
я розповів про гібридну модель прийняття рішень «людиною розумною», запропоновану Даніелем Канеманом та його колегами. Відповідно до цієї концепції, поведінка людини управляється двома взаємодіючими системами прийняття рішень. Система 1 – швидка та автоматична, забезпечує безпеку організму та не вимагає суттєвих зусиль для формування рішення. Ця система навчається з урахуванням досвіду, який отримує людина протягом життя. Точність рішень цієї системи залежить від особистого досвіду та тренування, а швидкість залежить від особливостей нервової системи індивідуума. Система 2 – повільна, потребує зусиль та концентрації уваги. Вона забезпечує нам складні міркування та логічний висновок, її робота розкриває потенціал інтелекту людини. Однак, під час роботи цієї системи посилено споживаються ресурси – енергія та увага. Тому більшість рішень приймається Системою 1 – так поведінка людини стає набагато ефективнішою. Система 1 досить довго навчається за рахунок зусиль, що здійснюються Системою 2, проте потім дає швидкі автоматичні реакції. Система 2 – універсальний вирішувач завдань, але працює повільно та швидко втомлюється. «Прокачати» Систему 2 можна, але межі можливих покращень дуже скромні і це довго й потребує важких зусиль. Великим попитом у суспільстві користується «прокачування» Системи 1. Коли ми шукаємо людини, досвідченого у чомусь, це означає, що його Система 1 навчена швидко вирішувати потрібні нам завдання.
Найкращим способом оцінки можливостей системи 1 конкретної людини у певній галузі знань я вважаю тести, обмежені за часом проходження. Одного разу складений тест дозволяє швидко оцінювати та порівнювати між собою велику кількість кандидатів. Це інструмент оцифрування контролю знань та навичок.
Як зробити добрий тест?
Завдання добре складеного тесту полягає у визначенні ступеня натренованості Системи 1 кандидата на потрібні знання та навички. Щоб скласти такий тест, потрібно для початку визначитися з темами та необхідними навичками, а потім скласти питання та варіанти відповідей.
Отже, ось мої критерії підготовки тесту, що точно і якісно оцінює знання та навички кандидата:
- Питання та варіанти відповідей мають бути простими. Або ти знаєш правильну відповідь, або не знаєш. Не варто закладати в тест необхідність складних міркувань та обчислень.
- Виконання тесту має бути обмеженим за часом. Можна навіть обмежити час обмірковування кожної відповіді. Якщо кандидат не може визначитися з відповіддю протягом, скажімо, 30 секунд, то навряд чи допоможуть йому довгі роздуми. Нагуглити правильну відповідь за 30 секунд теж має бути важко.
- Питання мають бути про практики, які реально потрібні у роботі – не абстрактні та теоретичні, а суто практичні.
- Бажано, щоб із кожної маленької теми було кілька питань. Ці питання можуть змінюватися для різних кандидатів (це аналогічно різним варіантам контрольних робіт у школі) або все бути присутніми в більш довгому варіанті тесту.
- Кількість питань та час на проходження тесту мають бути жорстко пов'язані. Заміряйте скільки часу займає прочитання питань та варіантів відповідей. Додайте до цього часу по 10-20 секунд на кожне запитання – час на обмірковування та вибір відповіді.
- Бажано випробувати тест на ваших співробітниках та засікти їх час проходження, щоб визначитися з достатнім часом на проходження тесту кандидатами.
- Об'єм тесту залежить від цілей його застосування. Для первинної оцінки компетенцій, на мою думку, достатньо 10-30 питань із обмеженням часу проходження – 5-15 хвилин. Для докладнішої діагностики навичок підходять тести на 30-45 хвилин, що містять 50-100 питань.
Для прикладу – ось тест, який я розробив та використав нещодавно при відборі кандидатів на позицію IT-рекрутера. На проходження тесту відводилося 6 хвилин, час контролювався вручну та під слово честі. Усі з протестованих кандидатів укладалися у цей час. На складання тесту у мене пішло 30 хвилин.
Ви можете пройти тест і по закінченні ви зможете подивитися, де припустилися помилки. Коли цей тест проходили кандидати, їм помилки не показувалися, помилки ми розбирали потім на співбесідах з кандидатами, які припустилися не більше трьох помилок.
Інструменти
Зараз я створюю тести та опитування за допомогою Google Forms – це простий, зручний, універсальний та безкоштовний інструмент. Однак, мені не вистачає деякого функціоналу, щоб назвати Google Forms хорошим інструментом для створення тестів. Основні мої претензії до Google Forms:
- Відсутня облік та контроль часу, витраченого як на весь тест, так і на кожне питання. Це дає більше інформації щодо поведінки кандидата під час проходження тесту.
- Оскільки Google Forms не заточений під тести за замовчуванням, багато важливих для тестів опцій (наприклад, «відповідь на запитання обов'язковий» та «перемішувати відповіді») доводиться «прокликувати» для кожного питання – що потребує часу та уваги. Щоб кожне запитання ставилося на окремому екрані, потрібно створити окремі секції для кожного питання, а це теж призводить до великої кількості додаткових кліків.
- Якщо потрібно зробити новий тест як комбінацію фрагментів з кількох вже існуючих тестів (наприклад, тест для fullstack розробника зібрати з частини питань для frontend і backеnd певною мовою), то доводиться дублювати питання руками. Немає можливості виділити та скопіювати кілька секцій чи питань в іншу форму.
Колеги, якщо ви знаєте найкращі рішення для створення тестів, будь ласка, напишіть про них у коментарях.
Джерело: habr.com