Sprawdzanie kompetencji za pomocą testów – dlaczego i jak

W swoim artykule Przyjrzałem się 7 sposobom na szybkie przetestowanie kompetencji specjalistów IT, które można zastosować przed przeprowadzeniem dużej, obszernej i czasochłonnej rozmowy technicznej. Następnie wyraziłem współczucie dla testów ograniczonych czasowo. W tym artykule omówię bardziej szczegółowo temat testów.

Testy czasowe są uniwersalnym narzędziem, które doskonale sprawdza się przy sprawdzaniu wiedzy i umiejętności praktycznych każdego specjalisty w dowolnym zawodzie.

A więc zadanie jest takie - mamy strumień odpowiedzi kandydatów na wakat, musimy szybko i łatwo pozyskać dodatkowe informacje o umiejętnościach kandydatów i ich zgodności z wymogami naszego wakatu. Zależy nam, aby taka weryfikacja kompetencji kandydatów nie zajmowała nam dużo czasu, była rzetelna i wygodna dla kandydatów, aby zgodzili się poddać naszej weryfikacji.

Dobrym rozwiązaniem tego problemu są krótkie testy, które są ograniczone czasowo. Ograniczony jest nie moment rozpoczęcia testu, ale czas, w którym kandydat musi odpowiedzieć na pytania. Typowym przykładem takiego egzaminu jest egzamin z przepisów ruchu drogowego, będący pierwszym etapem egzaminu na prawo jazdy. Musisz odpowiedzieć na 20 pytań w 20 minut.

Trochę teorii

W poprzednim artykule Mówiłem o hybrydowym modelu podejmowania decyzji Homo sapiens zaproponowanym przez Daniela Kahnemana i jego współpracowników. Zgodnie z tą koncepcją ludzkim zachowaniem rządzą dwa, oddziałujące na siebie systemy decyzyjne. System 1 jest szybki i automatyczny, zapewnia bezpieczeństwo organizmu i nie wymaga dużego wysiłku przy formułowaniu rozwiązania. System ten uczy się na podstawie doświadczeń, które człowiek otrzymuje przez całe życie. Dokładność decyzji tego systemu zależy od osobistego doświadczenia i treningu, a szybkość zależy od charakterystyki układu nerwowego danej osoby. System 2 jest powolny i wymaga wysiłku i koncentracji. Dostarcza nam skomplikowanych rozumowań i logicznych wniosków, jej prace odkrywają potencjał ludzkiej inteligencji. Jednak działanie tego systemu intensywnie pochłania zasoby – energię i uwagę. Dlatego większość decyzji podejmuje System 1 – w ten sposób ludzkie zachowanie staje się znacznie bardziej efektywne. System 1 uczy się długo ze względu na wysiłki Systemu 2, ale potem reaguje szybko i automatycznie. System 2 to wszechstronne narzędzie do rozwiązywania problemów, ale jest powolne i szybko się męczy. Można „napompować” System 2, ale granice możliwych ulepszeń są bardzo skromne, zajmuje to dużo czasu i wymaga dużego wysiłku. W społeczeństwie ludzkim istnieje duże zapotrzebowanie na „modernizację” Systemu 1. Kiedy szukamy osoby, która ma w czymś doświadczenie, oznacza to, że jej System 1 jest przeszkolony do szybkiego rozwiązywania potrzebnych nam problemów.

Uważam, że testy ograniczone czasowo są najlepszym sposobem oceny możliwości Systemu 1 konkretnej osoby w określonym obszarze wiedzy. Po zakończeniu testu można szybko ocenić i porównać dużą liczbę kandydatów. To narzędzie służące do cyfryzacji kontroli wiedzy i umiejętności.

Jak zrobić dobry test?

Celem dobrze zaprojektowanego testu jest określenie stopnia, w jakim kandydat jest przeszkolony w Systemie 1 w zakresie potrzebnej wiedzy i umiejętności. Aby stworzyć taki test, należy najpierw określić tematykę i wymagane umiejętności, a następnie utworzyć pytania i opcje odpowiedzi.

Oto więc moje kryteria przygotowania testu, który trafnie i skutecznie ocenia wiedzę i umiejętności kandydata:

  1. Pytania i opcje odpowiedzi powinny być proste. Albo znasz właściwą odpowiedź, albo nie. Nie należy uwzględniać w teście potrzeby skomplikowanych wnioskowań i obliczeń.
  2. Test należy zaliczyć w określonym terminie. Możesz nawet ograniczyć czas myślenia o każdej odpowiedzi. Jeśli kandydat nie może zdecydować się na odpowiedź w ciągu, powiedzmy, 30 sekund, jest mało prawdopodobne, że długie narady mu pomogą. Znalezienie w Google prawidłowej odpowiedzi w 30 sekund musi być również trudne.
  3. Pytania powinny dotyczyć praktyk, które są naprawdę potrzebne w pracy – nie abstrakcyjnych i teoretycznych, ale czysto praktycznych.
  4. Wskazane jest, aby mieć kilka pytań na każdy mały temat. Pytania te mogą się różnić dla różnych kandydatów (jest to podobne do różnych wersji testów w szkole) lub wszystkie mogą występować w dłuższej wersji testu.
  5. Liczba pytań i czas na wypełnienie testu muszą być ze sobą ściśle powiązane. Zmierz, ile czasu zajmuje przeczytanie pytań i opcji odpowiedzi. Dodaj do tego czasu 10-20 sekund na każde pytanie – to czas na przemyślenie i wybranie odpowiedzi.
  6. Wskazane jest wypróbowanie testu na swoich pracownikach i zapisanie czasu jego ukończenia, aby określić wystarczający czas, aby kandydaci ukończyli test.
  7. Zakres badania zależy od celu jego użycia. Do wstępnej oceny kompetencji moim zdaniem wystarczy 10-30 pytań w terminie 5-15 minut. Do bardziej szczegółowej diagnostyki umiejętności odpowiednie są testy trwające 30-45 minut i zawierające 50-100 pytań.

Jako przykład podam test, który opracowałem i wykorzystałem ostatnio przy wyborze kandydatów na stanowisko rekrutera IT. Na wykonanie testu przeznaczono 6 minut, czas kontrolowano ręcznie i na zwolnieniu warunkowym. Tym razem spotkali się wszyscy testowani kandydaci. Przygotowanie testu zajęło mi 30 minut. docs.google.com/forms/d/e/1FAIpQLSfL2pUZob2Xq-1taJPwaB2rUifbdKWK4Mk0VREKp5yUZhTQXA/viewform

Możesz przystąpić do testu, a na koniec zobaczysz, gdzie popełniłeś błąd. Kandydaci przystępujący do tego testu nie wykazali żadnych błędów; później korygowaliśmy błędy podczas rozmów kwalifikacyjnych z kandydatami, którzy popełnili nie więcej niż 3 błędy.

Narzędzia

Teraz tworzę testy i ankiety za pomocą Formularzy Google - jest to proste, wygodne, wszechstronne i bezpłatne narzędzie. Brakuje mi jednak pewnej funkcjonalności, aby nazwać Formularze Google dobrym narzędziem do tworzenia testów. Moje główne skargi dotyczące Formularzy Google:

  1. Nie ma rozliczenia i kontroli czasu poświęconego zarówno na cały test, jak i na każde pytanie. Dzięki temu uzyskasz więcej informacji na temat zachowania kandydata podczas testu.
  2. Ponieważ Formularze Google nie są domyślnie zaprojektowane do testów, wiele opcji ważnych dla testów (na przykład „wymagana jest odpowiedź na pytanie” i „przetasuj odpowiedzi”) trzeba kliknąć przy każdym pytaniu – co wymaga czasu i uwagi. Aby każde pytanie mogło zostać zadane na osobnym ekranie, trzeba dla każdego pytania stworzyć osobną sekcję, a to też wiąże się z dużą liczbą dodatkowych kliknięć.
  3. Jeśli potrzebujesz wykonać nowy test jako kombinację fragmentów z kilku istniejących testów (np. test dla programisty full-stack składa się z części pytań dla frontendu i backendu w danym języku), to musisz zduplikuj pytania ręcznie. Nie ma możliwości zaznaczenia i skopiowania wielu sekcji lub pytań do innego formularza.

Koledzy, jeśli znacie najlepsze rozwiązania do tworzenia testów, napiszcie o nich proszę w komentarzach.

Źródło: www.habr.com

Dodaj komentarz