Kompetenskontroll genom tester - varför och hur

I min artikel diskuterade jag 7 sätt att snabbt kontrollera IT-specialisters kompetens, som kan tillämpas innan en stor, omfattande och tidskrävande teknisk intervju. Då uttryckte jag min sympati för tidsbegränsade tester. I den här artikeln kommer jag att gå in mer på djupet kring tester.

Tidsbegränsade tester är ett mångsidigt verktyg som passar bra för att kontrollera kunskap och praktiska färdigheter hos alla typer av specialister oavsett yrkesområde.

Så uppgiften – vi har ett flöde av kandidaters svar på en ledig tjänst, vi behöver snabbt och enkelt få mer information om kandidaternas färdigheter och deras överensstämmelse med våra krav. Vi vill att denna kontroll av kandidaters kompetens ska ta lite tid, vara mycket tillförlitlig och vara bekväm för kandidaterna så att de accepterar att genomföra vår kontroll.

Ett bra lösning för denna uppgift är korta tester med en tidsbegränsning för genomförandet. Det är inte tiden för när testerna börjar som begränsas, utan tiden under vilken kandidaten måste svara på frågorna. Ett typiskt exempel på ett sådant test är provet för att kontrollera kunskaper om trafikregler, vilket är det första steget i provet för att få körkort. Inom 20 minuter måste man svara på 20 frågor.

Lite teori

I den föregående artikeln Jag beskrev den hybridmodell för beslutsfattande som kallas "den rationella människan", föreslagen av Daniel Kahneman och hans kollegor. Enligt denna koncept styrs människans beteende av två interagerande beslutsfattandesystem. System 1 – snabbt och automatiskt, säkerställer kroppens säkerhet och kräver inte stora ansträngningar för att fatta beslut. Detta system lär sig baserat på den erfarenhet en person samlar på sig under livet. Precisionen i besluten från detta system beror på personlig erfarenhet och träning, medan hastigheten beror på individens nervsystems egenskaper. System 2 – långsamt, kräver ansträngning och koncentration. Det ger oss komplexa resonemang och logiska slutsatser, och dess arbete avslöjar potentialen i människans intelligens. Men när detta system arbetar förbrukas resurser – energi och uppmärksamhet. Därför fattas en stor del av besluten av System 1 – så blir människans beteende mycket mer effektivt. System 1 lär sig tillräckligt länge tack vare de ansträngningar som System 2 gör, vilket sedan ger snabba automatiska reaktioner. System 2 är en universell problemlösare men arbetar långsamt och blir snabbt uttröttad. Man kan "träna" System 2, men gränserna för möjliga förbättringar är mycket blygsamma, och det är en långvarig och ansträngande process. Det finns ett stort intresse i det mänskliga samhället för att "träna" System 1. När vi söker en person som är erfaren inom ett visst område, betyder det att deras System 1 har lärt sig att snabbt lösa de uppgifter vi behöver.

Det bästa sättet att utvärdera en specifik persons förmågor inom ett visst kunskapsområde tycker jag är att använda tester med tidsbegränsning. Ett test som har utformats en gång möjliggör snabb bedömning och jämförelse av ett stort antal kandidater. Det är ett verktyg för digitalisering av kontroll av kunskaper och färdigheter.

Hur gör man ett bra test?

Målet med ett väl utformat test är att fastställa graden av träning av kandidatens System 1 för de kunskaper och färdigheter du söker. För att skapa ett sådant test måste man först bestämma sig för teman och nödvändiga färdigheter, och sedan formulera frågor och svarsalternativ.

Så här är mina kriterier för att förbereda ett test som noggrant och korrekt bedömer kandidaten kunskaper och färdigheter:

1. Frågor och svarsalternativ ska vara enkla. Antingen vet du rätt svar eller så vet du det inte. Det är inte meningsfullt att inkludera komplexa resonemang och beräkningar i testet.
2. Testets genomförande bör tidsbegränsas. Man kan till och med begränsa tanketiden för varje svar. Om en kandidat inte kan bestämma sig för ett svar inom säg 30 sekunder, så kommer längre överväganden knappast att hjälpa. Att googla fram rätt svar på 30 sekunder bör också vara svårt.
3. Frågor bör handla om praktiska kunskaper som faktiskt behövs i arbetet – inte abstrakta och teoretiska, utan rent praktiska.
4. Det är önskvärt att det finns flera frågor om varje liten ämnesdel. Dessa frågor kan variera mellan olika kandidater (detta liknar olika versioner av prov i skolan) eller så kan de alla finnas med i en längre version av testet.
5. Antalet frågor och tiden för att genomföra testet bör vara strikt kopplade. Mät hur lång tid det tar att läsa frågorna och svarsalternativen. Lägg till 10-20 sekunder per fråga – den tiden är för att tänka igenom och välja svar.
6. Det är önskvärt att testa testet på era anställda och notera deras tid för genomförandet för att fastställa tillräcklig tid för kandidaternas test.
7. Testets omfattning beror på syftet med dess användning. För en första bedömning av kompetenser, anser jag att 10-30 frågor med en tidsbegränsning på 5-15 minuter är tillräckligt. För mer detaljerad diagnostisering av färdigheter är tester som tar 30-45 minuter med 50-100 frågor lämpliga.

Som exempel – här är ett test som jag utvecklade och använde nyligen vid urval av kandidater till IT-rekryterartjänsten. Testet var tidsbestämt till 6 minuter, och tiden övervakades manuellt och på heder och samvete. Alla testade kandidater höll sig inom denna tid. Jag tog 30 minuter för att skapa testet. docs.google.com/forms/d/e/1FAIpQLSfL2pUZob2Xq-1taJPwaB2rUifbdKWK4Mk0VREKp5yUZhTQXA/viewform

Du kan genomföra testet och efter avslutningen kan du se var du gjorde fel. När kandidater genomförde detta test visades inte deras fel; vi gick igenom dem senare under intervjuer med kandidater som gjorde högst 3 fel.

Verktyg

Just nu skapar jag tester och enkäter med hjälp av Google Forms – ett enkelt, bekvämt, mångsidigt och gratis verktyg. Men jag saknar viss funktionalitet för att kunna kalla Google Forms ett bra verktyg för att skapa tester. Mina huvudinvändningar mot Google Forms:

1. Det saknas registrering och kontroll av den tid som lagts ner, både på hela testet och på varje fråga. Detta ger mer information om kandidaten under testets gång.
2. Eftersom Google Forms inte är anpassat för tester som standard, måste många viktiga alternativ för tester (t.ex. "svar på frågan är obligatoriskt" och "blanda svar") klickas igenom för varje fråga – vilket kräver tid och uppmärksamhet. För att varje fråga ska ställas på en separat skärm måste jag skapa separata sektioner för varje fråga, vilket också leder till ett stort antal extra klick.
3. Om jag behöver göra ett nytt test som en kombination av fragment från flera redan befintliga tester (t.ex. att samla frågor för en fullstackutvecklare från delar för frontend och backend på ett visst språk), måste jag duplicera frågor för hand. Det finns ingen möjlighet att markera och kopiera flera sektioner eller frågor till ett annat formulär.

Kollegor, om ni känner till bättre lösningar för att skapa tester, vänligen skriv om dem i kommentarerna.

Källa: habr.com