Що тестують співбесіди та тестові завдання

У попередній статті habr.com/ua/post/450810 я розглядав 7 способів швидкої перевірки компетенцій IT-фахівців, які можна застосувати до проведення великої, об'ємної та трудомісткої технічної співбесіди. Там я розглянув суть цих способів та мою практику їх застосування, а також причини, чому вони мені подобаються чи не подобаються.
У цій статті я хочу розповісти про сучасну концепцію прийняття рішень людиною, як це пов'язано з перевіркою робочих навичок та що насправді тестують способи перевірки компетенцій, такі як співбесіди та тестові завдання.

Трохи теорії

Вчені багато століть були стурбовані питанням – як і чому людина приймає ті чи інші рішення? У кожну епоху на це питання відповідали по-різному - тисячоліттями панувала віра в долю і волю богів, потім довгий час була популярна думка, що людина - істота раціональна, яка в основному надходить розумно і обачливо. Наукова революція призвела до того, що у другій половині 20-го століття проводилося безліч досліджень поведінкових реакцій «людини розумної». І на даний момент найсучаснішою та визнаною у наукових колах концепцією є гібридна модель поведінки людини, про яку дуже добре написав психолог Даніель Канеман у своїх наукових статтях та науково-популярних книгах. Даніель отримав Нобелівську премію з економіки у зв'язку з тим, що його роботи спростували багато економічних теорій, що базувалися на моделях раціонального прийняття рішень людиною. Даніель Канеман переконливо показав, що поведінка людини у більшості ситуацій обумовлена ​​автоматичними поведінковими реакціями, що формуються на основі життєвого досвіду.
Відповідно до концепції Даніеля Канемана, поведінка людини управляється двома взаємодіючими системами прийняття рішень. Система 1 – швидка та автоматична, забезпечує безпеку організму та не вимагає суттєвих зусиль для формування рішення. Точність рішень цієї системи залежить від досвіду та тренування, а швидкість залежить від особливостей нервової системи індивідуума. Система 2 – повільна, потребує зусиль та концентрації уваги. Вона забезпечує нам складні міркування, логічний висновок, обґрунтоване прогнозування. Швидкість прийняття рішень цією системою в десятки та сотні разів нижча, ніж швидкість Системи 1. Саме під час роботи Системи 2 проявляється весь потенціал інтелекту людини. Проте, під час роботи цієї системи посилено споживаються ресурси – як фізичні (енергія), і увагу, що є похідною від безлічі ресурсів. Тому більшість рішень приймається Системою 1.
Я думаю, що кожен з вас помічав, що не може посилено думати і вирішувати складні завдання якогось проміжку часу поспіль. У кожної людини цей інтервал є різним. Хтось може посилено думати лише півгодини на день, а хтось може 3 години поспіль вирішувати найскладніші завдання. Цю здатність можна розвивати, проте це дається дуже важкою зусиллями над собою і все одно ресурс уваги буде обмежений.
Обидві системи працюють спільно. Інформацію, що надходить від органів чуття, спочатку обробляє швидка Система 1, яка розпізнає небезпечні ситуації і миттєво реагує у разі загроз. Також Система 1 розпізнає незнайомі їй ситуації і вирішує їх ігнорувати, або активує Систему 2.

Будь ласка, помножте 65 на 15 і відзначте про себе скільки часу зайняли у вас ці обчислення.

Як це працює? Ви коли-небудь спостерігали, як грають професійні шахісти – з якою швидкістю вони роблять ходи на початку партії? Для людини, яка рідко грає в шахи, здається, що неможливо так швидко приймати такі складні рішення. Однак при цьому ви можете на повному автоматі виправляти помилки стажистів, коли робите код-рев'ю. Ваша Система 1 вміє розпізнавати типові помилки програмістів-початківців і автоматично виправляти їх, так само, як професійний шахіст зчитує ситуацію на дошці і знає, як йому ходити, практично не напружуючи свідому Систему 2.

Будь ласка, знову помножте 65 на 15 і відзначте про себе, скільки часу зайняли у вас ці обчислення.

Численні експерименти показали, що у знайомих нам ситуаціях майже завжди рішення приймаються автоматичною Системою 1 і це цілком раціонально з погляду виживання організму та витрат енергії. У цьому плані ми діємо дуже раціонально та оптимально, але не в сенсі обдуманості та оптимальності самих рішень, а в сенсі балансу між результатом та витратами ресурсів нашого організму. Коли ви ведете автомобіль у місті по дорозі на роботу, ваша траєкторія проходження поворотів і кількість розгонів і гальмування можуть бути не оптимальними, але з точки зору завдання доставки вас від вашого дому до вашої роботи – все дуже непогано. Якщо ж ви – автогонщик і ведете гоночний автомобіль по гоночному треку, ваші рішення про траєкторію, розгони та гальмування будуть набагато розважливішими.
У незнайомих ситуаціях, які нам цікаві або яких не вдалося уникнути, ми змушені діяти усвідомлено, включаючи Систему 2. Після кількох повторень дуже схожих ситуацій результат роботи Системи 2 зберігається в пам'яті у вигляді ознак і реакцій і потім вам вже не доведеться витрачати сили та час на логічні висновки – Система 1 буде вже натренована на це завдання і наступного разу надасть рішення автоматично. Деякі автоматичні реакції з часом губляться, якщо вони не бувають періодично потрібні. Навички, які ми не тренуємо – губляться.

Будь ласка, знову помножте 65 на 15. Ви помітили прогрес порівняно з попередньою спробою вирішити це завдання?

Як усе це пов'язано із трудовою діяльністю та перевіркою компетенцій?

Численні експерименти показали, що спочатку на новому місці роботи звичайна, психічно здорова людина адаптується і намагається прийняти правила, умови та робочі процеси нового місця роботи. Однак через деякий час кожен з нас розслабляється і починає працювати так, як вміє. Старання і старанність поступаються місцем автоматичним реакціям і шаблонам, закріпленим у Системі 1. Крім того, навіть під час випробувального терміну у стресових ситуаціях, коли потрібне швидке рішення, ми реагуємо за допомогою автоматичної Системи 1 і не завжди так, як нас вчили на цьому новому місце роботи.
Загалом можна сказати, що наша основна цінність як співробітника значною мірою визначається нашим досвідом – тобто натренованістю нашої Системи 1 у вирішенні певних завдань, необхідних роботодавцю. Тому роботодавці часто хочуть співробітника не з видатним інтелектом, а з досвідом роботи в якійсь сфері. Досвід цінується більше, ніж інтелект. Це елементарними розрахунками. Якщо є достатньо часу, то будь-який співробітник, який має достатній інтелект, зможе розібратися в темі та вирішити поставлені завдання. Однак йому доведеться витратити час на навчання та набуття досвіду і лише потім він зможе якісно вирішувати поставлені завдання. Його Системі 2 доведеться вирішити багато тренувальних завдань, перш ніж його Система 1 зможе швидко та якісно вирішувати реальні завдання. Це вимагає часу, який роботодавець не готовий оплачувати за високою ставкою професіонала. Інший співробітник, що вже вирішував подібні завдання, робитиме роботу набагато швидше, тому що більшу частину рішень йому видаватиме його Система 1, натренована вирішувати завдання у потрібній сфері. Досвідчений співробітник видаватиме якісні рішення не тільки швидше, а й менше напружуватиметься при цьому. Це означає, що невикористані ним ресурси уваги можна спрямовувати на вирішення нових складних завдань та здобуття нового досвіду.
Що вибрати – досвід чи інтелект – роботодавець вирішує у кожному випадку індивідуально. Там, де потрібна швидка реакція на типове завдання та швидке рішення – часто обирають досвід. Якщо ж доводиться вирішувати багато різноманітних завдань, але час рішення, як і раніше, високо цінується – то вибирають досвідченого та розумного. Якщо час не дуже критично, можна віддати перевагу інтелектуалу без досвіду. Як ви розумієте – у реальному світі місць роботи, де час некритичний – замало.

Будь ласка, знову помножте 65 на 15 і відзначте про себе, скільки часу зайняли у вас ці обчислення. Ви помітили, як ви отримали результат?

Способи перевірки компетенцій з точки зору тестування «Системи 1» та «Системи 2»

Досвід – тобто натренованість системи 1 – часто є важливим, мабуть, навіть визначальним критерієм при виборі роботодавцем нового співробітника. Як нам оцінити досвід кандидата найбільш ефективно і точно? Погляньмо на популярні способи оцінки компетенцій з погляду того, що вони оцінюють.

співбесіди

Цей формат має на увазі розмову кандидата та оцінюючого. Переважно, питання ставить оцінювач, але кандидат має можливість зчитувати невербальні ознаки, ставити уточнюючі питання і, що називається, змінювати свою відповідь «на льоту». Це звичний для всіх нас «усний іспит». Як правило, співбесіда проходить за типовим планом і багато питань теж типові, а отже, до них можна підготуватися. Тобто натренувати свою систему 1 на успішне проходження співбесід.
Успіх оцінки кандидата залежить від комунікативних навичок обох учасників. Кандидат, досить досвідчений у проходженні співбесід, цілком може справити гарне враження. Однак цей результат виходить не за рахунок досвіду роботи, а за рахунок досвіду спілкування та співбесід. Підготовлений кандидат, який добре відповідає на типові питання, впливає на екзаменатора і той стає більш лояльним до кандидата.
Цей спосіб в основному тестує Систему 1 кандидата, щоправда, часто не той досвід, який знадобиться в роботі. Він непогано підійде для оцінки фахівців, яким доведеться багато спілкуватися за службовими обов'язками та швидко адаптуватися, але для оцінки технічних навичок, на мою думку, цей спосіб підходить погано. Поліпшити точність оцінки можна за рахунок нестандартних питань та сценаріїв інтерв'ю, а також за рахунок участі у співбесіді кількох фахівців, що оцінюють, що призводить до подорожчання цього заходу.

Тестові завдання

Кандидат отримує завдання, яке вирішує самостійно і потім демонструє результат розв'язання. По суті це звичний нам «письмовий іспит». У кандидата є достатня кількість часу, можливість поставити уточнюючі питання, а також шукати інформацію в мережі та навіть скористатися допомогою друзів. Якщо завдання складне і часу надано достатньо, то цей спосіб тестує скоріше Систему 2, аніж Систему 1, тобто інтелект, а не досвід. Якщо ж скоротити час виконання завдання, то висока ймовірність відмови кандидатів від виконання складного тестового завдання. Якщо ж одночасно спростити завдання, дати кілька завдань і скоротити час - цей спосіб стає цілком робочим інструментом, знайомим нам зі шкільної лави. Він непогано тестує Систему 1. Однак, його недоліком є ​​те, що перевірка результатів вимагає помітних зусиль на стороні фахівців, що оцінюють, оскільки кожне рішення може бути унікальним і перевіряючі повинні вникнути в суть рішення.

Live Doing

Кандидат отримує нескладне завдання, яке вирішує під наглядом фахівця, що оцінює. Цей метод найчастіше застосовується у процесі співбесіди – коли оцінюючі фахівці спочатку розмовляють, та був пропонують вирішити завдання. Для кандидатів-інтровертів, які давно не проходили співбесіди, такий спосіб часто буває психологічно некомфортним, і вони показують не дуже добрі результати. На мою думку, цей спосіб варто пропонувати кандидатам як альтернативу тестовому завданню. Тобто або 3-4 години самостійної роботи, або 1-1,5 години співбесіди та вирішення завдань онлайн. У разі готовності кандидата цей спосіб дозволяє протестувати базові навички Системи 1 на типових завданнях, що є складовими частинами складніших робочих завдань. Тобто як тестові завдання варто вибирати елементи реальних робочих завдань. Не варто пропонувати абстрактні завдання, які ніколи не зустрінуться вашому співробітнику потім у роботі.

Тести з варіантами відповідей

Як ви, напевно, знаєте, підсумкові іспити у російських школах зараз мають форму тестів (ДІА та ЄДІ). Свого часу це викликало бурхливі дискусії. Громадяни загалом негативно оцінили це рішення міністерства освіти. Особисто я вважаю, якщо не брати до уваги нові можливості для корупції, то заміна письмових іспитів на тести – це гарне рішення. Перевірка результатів тестів не потребує багато часу та уваги, легко автоматизується. У цьому мінімізується суб'єктивність оцінки знань. Тести дозволяють за 1-2 години якісно протестувати знання та досвід, отримані протягом кількох років навчання чи роботи. Водій-початківець вчить правила дорожнього руху протягом декількох місяців, а на іспиті він повинен відповісти на 20 питань протягом 20 хвилин. Практика десятиріч застосування цього виду іспиту показує, що цього достатньо, якщо тестові питання складені правильно, і їх досить багато.
У сучасному світі більшість рішень людини зводиться до вибору одного з існуючих варіантів, що найбільш підходить до ситуації. Вам навряд чи знадобиться фахівець, який винаходитиме велосипед. Але вам знадобиться фахівець, який добре знає переваги і недоліки різних видів велосипедів і подібних видів транспорту, допоможе швидко вибрати відповідну модель і налаштувати її під вирішення ваших завдань. Вирішувати логістичні проблеми зазвичай доводиться швидко і немає часу винаходити інноваційний велосипед. Іноді (дуже рідко) бувають ситуації, коли вам таки потрібен новий велосипед, якого поки що не існує і його потрібно створити. Однак і в цьому випадку людина, яка добре знається саме на конструкціях велосипедів, виявиться кориснішою за універсальний винахідник.
Ще один приклад. Якщо програміст може реалізувати кілька алгоритмів сортування – то він, звичайно ж, молодець, але в реальному житті йому кориснішим буде знання основних методів базової бібліотеки класів мови – там напевно вже реалізовано кілька варіантів сортування, достатньо лише викликати потрібну функцію.

Висновок

Важливо, щоб при виборі способу перевірки компетенцій ви увімкнули свою Систему 2 і вибрали відповідний спосіб осмислено, а не за традицією – «бо ми завжди так робили». При виборі способу перевірки компетенцій я раджу насамперед визначитися з тим, що буде важливішим для вас як для роботодавця у повсякденній діяльності вашого співробітника. Чи буде це здатність швидко розв'язувати деяке коло типових завдань, чи вирішувати складні, оригінальні, нетипові завдання.
У більшості випадків як перше випробування для кандидатів вам відмінно підійдуть тести, обмежені за часом проходження. Я рекомендую невеликі тести, на проходження яких потрібно не більше 15-20 хвилин. За цей час можна поставити 30-40 питань та досить докладно протестувати знання кандидатів. Потім можна провести співбесіду, під час якої розібратися помилки, допущені кандидатами. Тест також може служити опорним планом для інтерв'ю, в ході якого ви можете уточнити у кандидата причини, чому він відповів на питання тесту саме так і як він відповів, якби питання звучало інакше.
Якщо вам важливо те, як майбутній співробітник працює самостійно над досить великими та ізольованими завданнями, то буде доречно почати з співбесіди і потім запропонувати виконати тестове завдання. Варто пам'ятати, що тестові завдання до співбесіди погоджуються виконувати лише 20-25% кандидатів і у цьому випадку ви сильно зменшуєте вирву відбору.
У наступній статті я докладніше розберу особливості створення тестів для перевірки компетенцій кандидатів.

Джерело: habr.com

Додати коментар або відгук