Проверка компетенций с помощью тестов – почему и как

В своей статье я рассматривал 7 способов быстрой проверки компетенций IT-специалистов, которые можно применить до проведения большого, объемного и трудоемкого технического собеседования. Тогда я выразил свою симпатию тестам, ограниченным по времени. В этой статье я раскрою тему тестов более подробно.

Тесты, ограниченные по времени – это универсальный инструмент, который хорошо подходит для проверки знаний и практических навыков любых специалистов любых профессий.

Итак, задача – у нас есть поток откликов кандидатов на вакансию, нам нужно быстро и просто получить дополнительную информацию о навыках кандидатов и их соответствии требованиям нашей вакансии. Мы хотим, чтобы такая проверка компетенций кандидатов не отнимала у нас много времени, была достоверной в высокой степени и была удобна кандидатам, чтобы они соглашались проходить нашу проверку.

Хорошим решением для этой задачи являются короткие тесты, ограниченные по времени прохождения. Ограничивается не момент начала прохождения теста, а время, в течение которого кандидат должен ответить на вопросы. Типичный пример такого теста – это экзамен на знания правил дорожного движения, являющийся первым этапом экзамена для получения водительского удостоверения. За 20 минут нужно ответить на 20 вопросов.

Немного теории

В предыдущей статье я рассказал о гибридной модели принятия решений «человеком разумным», предложенной Даниэлем Канеманом и его коллегами. Согласно этой концепции, поведение человека управляется двумя взаимодействующими системами принятия решений. Система 1 – быстрая и автоматическая, обеспечивает безопасность организма и не требует существенных усилий для формирования решения. Эта система обучается на основе опыта, который получает человек в течение жизни. Точность решений этой системы зависит от личного опыта и тренировки, а скорость – зависит от особенностей нервной системы индивидуума. Система 2 – медленная, требует усилий и концентрации внимания. Она обеспечивает нам сложные рассуждения и логический вывод, ее работа раскрывает потенциал интеллекта человека. Однако, при работе этой системы усиленно потребляются ресурсы – энергия и внимание. Поэтому большая часть решений принимается Системой 1 – так поведение человека становится намного эффективнее. Система 1 достаточно долго обучается за счет усилий, совершаемых Системой 2, зато потом дает быстрые автоматические реакции. Система 2 – универсальный решатель задач, но работает медленно и быстро утомляется. «Прокачать» Систему 2 можно, но пределы возможных улучшений очень скромные и это долго и требует тяжелых усилий. Большим спросом в человеческом обществе пользуется «прокачка» Системы 1. Когда мы ищем человека, опытного в чем-либо, это означает, что его Система 1 обучена быстро решать нужные нам задачи.

Наилучшим способом оценки возможностей Системы 1 конкретного человека в определенной области знаний я считаю тесты, ограниченные по времени прохождения. Однажды составленный тест позволяет быстро оценивать и сравнивать между собой большое количество кандидатов. Это инструмент оцифровки контроля знаний и навыков.

Как сделать хороший тест?

Задача хорошо составленного теста заключается в определении степени натренированности Системы 1 кандидата на нужные вам знания и навыки. Чтобы составить такой тест, нужно для начала определиться с темами и необходимыми навыками, а затем составить вопросы и варианты ответов.

Итак, вот мои критерии подготовки теста, точно и качественно оценивающего знания и навыки кандидата:

1. Вопросы и варианты ответов должны быть простыми. Либо ты знаешь правильный ответ, либо не знаешь. Не стоит закладывать в тест необходимость сложных рассуждений и вычислений.
2. Выполнение теста должно быть ограниченно по времени. Можно даже ограничить время обдумывания каждого ответа. Если кандидат не может определиться с ответом в течение, скажем, 30 секунд, то вряд ли ему помогут долгие раздумья. Нагуглить правильный ответ за 30 секунд тоже должно быть трудно.
3. Вопросы должны быть о практиках, которые реально нужны в работе – не абстрактные и теоретические, а сугубо практические.
4. Желательно, чтобы по каждой маленькой теме было несколько вопросов. Эти вопросы могут меняться для разных кандидатов (это аналогично разным вариантам контрольных работ в школе) или же все присутствовать в более долгом варианте теста.
5. Количество вопросов и время на прохождение теста должны быть жестко связаны. Замерьте сколько времени занимает прочтение вопросов и вариантов ответов. Добавьте к этому времени по 10-20 секунд на каждый вопрос – это время на обдумывание и выбор ответа.
6. Желательно опробовать тест на ваших сотрудниках и засечь их время прохождения, чтобы определиться с достаточным временем на прохождение теста кандидатами.
7. Объем теста зависит от целей его применения. Для первичной оценки компетенций, по моему мнению, достаточно 10-30 вопросов с ограничением времени прохождения – 5-15 минут. Для более подробной диагностики навыков подходят тесты на 30-45 минут, содержащие 50-100 вопросов.

Для примера – вот тест, который я разработал и использовал недавно при отборе кандидатов на позицию IT-рекрутера. На прохождение теста отводилось 6 минут, время контролировалось вручную и под честное слово. Все из протестированных кандидатов укладывались в это время. На составление теста у меня ушло 30 минут. docs.google.com/forms/d/e/1FAIpQLSfL2pUZob2Xq-1taJPwaB2rUifbdKWK4Mk0VREKp5yUZhTQXA/viewform

Вы можете пройти тест и по окончании вы сможете посмотреть, где допустили ошибку. Когда этот тест проходили кандидаты, им ошибки не показывались, ошибки мы разбирали потом на собеседованиях с кандидатами, которые допустили не более 3-х ошибок.

Инструменты

Сейчас я создаю тесты и опросы с помощью Google Forms – это простой, удобный, универсальный и бесплатный инструмент. Однако, мне не хватает некоторого функционала для того, чтобы назвать Google Forms хорошим инструментом для создания тестов. Основные мои претензии к Google Forms:

1. Отсутствует учет и контроль времени, затраченного как на весь тест, так и на каждый вопрос. Это дает больше информации о поведении кандидата во время прохождения теста.
2. Так как Google Forms не заточен под тесты по умолчанию, многие важные для тестов опции (например, «ответ на вопрос обязателен» и «перемешивать ответы») приходится «прокликивать» для каждого вопроса – что требует времени и внимания. Чтобы каждый вопрос задавался на отдельном экране, нужно создать отдельные секции для каждого вопроса, а это тоже приводит к большому числу дополнительных кликов.
3. Если нужно сделать новый тест как комбинацию фрагментов из нескольких уже существующих тестов (например, тест для fullstack разработчика собрать из части вопросов для frontend и backеnd на определенном языке), то приходится дублировать вопросы руками. Нет возможности выделить и скопировать несколько секций или вопросов в другую форму.

Коллеги, если вы знаете лучшие решения для создания тестов, пожалуйста, напишите о них в комментариях.

Источник: habr.com