Înainte de înscrierea la noul curs Machine Learning Advanced, testăm viitorii studenți pentru a stabili nivelul lor de pregătire și a înțelege ce anume le trebuie pentru a se pregăti pentru curs. Dar apare o dilema: pe de o parte, trebuie să verificăm cunoștințele de Data Science, iar pe de altă parte — nu putem organiza un examen complet de 4 ore.
Pentru a rezolva această problemă, am înființat un birou de TestDev chiar în echipa de dezvoltare a cursurilor de Data Science (și se pare că acesta este doar începutul). Vă prezentăm o listă cu 10 „capcane” în care se poate cădea la elaborarea testelor pentru evaluarea cunoștințelor. Sperăm că lumea învățării online va fi puțin mai bună după aceasta.
Capcana 1: Neprecizarea clară a obiectivelor testării
Pentru a defini corect obiectivele și a crea un test care să le ia în considerare, în etapa de planificare trebuie să ne punem câteva întrebări:
- Ce anume verificăm?
- În ce mediu va avea loc testarea și ce mecanisme sunt utilizate? Ce limitări sunt în acest mediu? Acest punct va ajuta de asemenea la înțelegerea cerințelor tehnice pentru dispozitivul pe care se va desfășura testarea, dar și pentru conținut (dacă testul se realizează de pe telefoane, imaginile trebuie să fie lizibile chiar și pe un ecran mic, iar utilizatorul trebuie să aibă posibilitatea de a le mări etc.).
- Cât timp va dura testarea? Trebuie să ne gândim în ce condiții va realiza utilizatorul testul. Poate apărea situația în care acesta trebuie să întrerupă procesul de testare și apoi să continue?
- Va exista feedback? Cum îl formăm și îl livrăm? Ce este necesar pentru a-l obține? Există un interval de timp între completarea testului și feedback?
În cazul nostru, după ce am răspuns la aceste întrebări, am stabilit următoarele obiective pentru test:
- Testul trebuie să arate dacă viitorii studenți sunt pregătiți pentru a urma cursul, dacă au suficiente cunoștințe și abilități.
- Testul trebuie să ne ofere material pentru feedback, să indice subiectul în care studenții au făcut greșeli, astfel încât să își poată îmbunătăți cunoștințele. Cum să îl concepem — vom explica mai departe.
Capcana 2: Nepregătirea unui caiet de sarcini pentru expertul — elaboratorul testului
Pentru a elabora sarcini de test, este foarte important să implici un expert în domeniul ale cărui cunoștințe sunt verificate. Iar pentru expert, este necesar un briefing corect (descriere) care să includă temele testului, cunoștințele/abilitățile verificate și nivelul acestora.
Expertul nu va crea un astfel de briefing pentru el însuși, deoarece rolul său este de a crea sarcinile, nu structura testului. Cu atât mai mult cu cât puțini dezvoltă teste profesional, chiar și în procesul de predare. Acest lucru se învață într-o specialitate separată - psihometrie.
Dacă doriți să vă familiarizați rapid cu psihometria, în Rusia există pentru toți cei interesați. Pentru o studiu mai aprofundat, la Institutul de educație există și doctorat.
Când pregătim briefingul, adunăm o descriere detaliată a testului pentru expert (sau și mai bine, împreună cu el): temele sarcinilor, tipul sarcinilor, numărul acestora.
Cum să alegem tipul sarcinilor: după ce am decis temele, trebuie să stabilim ce tip de sarcini poate verifica cel mai bine acest lucru. Opțiunile clasice sunt: sarcini cu răspuns deschis, sarcini cu alegere multipla sau unică, corespondențe, etc. (să nu uităm de restricțiile tehnice ale mediului în care se desfășoară testarea!). După determinarea și specificarea tipurilor de sarcini, avem un briefing gata pentru expert. Îl putem numi specificația testului.
Greșelile 3: Neimplicarea expertului în dezvoltarea testului
Atunci când implicăm expertul în dezvoltarea testului, este foarte important să nu-i indicăm doar «domeniul de lucru», ci să-l implicăm în întregul proces de dezvoltare.
Cum să facem ca colaborarea cu expertul să fie cât mai eficientă:
- Să-l pregătim dinainte și să dedicăm ceva timp pentru a-i povesti despre știința dezvoltării testelor, psihometrie.
- Să ne concentrăm atenția expertului pe crearea unui instrument de evaluare valid și fiabil, nu pe o listă de întrebări.
- Să-i explicăm că munca sa include o etapă pregătitoare, nu doar elaborarea sarcinilor în sine.
Unii experți (din cauza caracterului lor) pot percepe acest lucru ca pe o verificare a propriei lor munci, și le explicăm că, chiar și în cazul în care creează sarcini excelente, acestea pot să nu corespundă unor obiective specifice de testare.
Pentru a asigura un proces rapid, pregătim cu expertul un tabel de acoperire a temelor (cunoștințe și abilități), care face parte din specificația testului. Acest tabel ne permite să elaborăm precis întrebările și să definim ce vom măsura. În fiecare caz specific, acesta poate fi realizat puțin diferit. Sarcina noastră este să verificăm cât de bine se orientează o persoană în cunoștințele și abilitățile cursurilor anterioare de bază, pentru a înțelege cât de pregătită este pentru învățarea unui nou curs.
Capcana 4: A crede că expertul "știe mai bine"
Cunoaște subiectul mai bine. Dar nu întotdeauna explică clar. Este foarte important să verificăm formulările sarcinilor. Să scriem instrucțiuni clare, de exemplu: „Alegeți 1 variantă corectă”. În 90% din cazuri, experții pregătesc întrebările așa cum le este clar lor. Și asta este normal. Dar înainte de a transmite testul celor care îl vor susține, trebuie să verificăm totul și să-l rafinăm, astfel încât persoanele care susțin testul să înțeleagă exact ce li se cere și să nu comită erori doar pentru că au interpretat greșit textul sarcinii.
Pentru a evita interpretarea dublă a sarcinilor, desfășurăm „laboratoare cognitive”. Cerem persoanelor din publicul țintă să susțină testul, articulând cu voce tare ce cred și notăm detaliat. La „laboratoarele cognitive” putem „prinde” întrebări neclare, formulări slabe și obține un prim feedback asupra testului.
Capcana 5: A nu lua în considerare timpul de finalizare a testului
modul de sarcasm: activ
Desigur, testul nostru este cel mai bun, toată lumea visează să-l susțină! Da, toate cele 4 ore.
modul de sarcasm: inactiv
Când există o lista a tot ceea ce poate fi verificat, cheia este să nu facem asta (pe de-o parte pare ciudat, nu-i așa?). Trebuie să tăiem fără milă, evidențiind împreună cu expertul cunoștințele și abilitățile cheie (da, o serie de abilități pot fi de asemenea verificate în test). Ne uităm la tipul de sarcini și estimăm timpul țintă de realizare: dacă depășește limitele rezonabile — tăiem!
Pentru a reduce volumul, putem încerca, de asemenea (cu atenție), să verificăm două abilități cu o singură sarcină. În acest caz, este greu de înțeles de ce o persoană a greșit, dar, dacă este realizată corect, putem lua în considerare ambele abilități. Este important să ne asigurăm că aceste 2 abilități se încadrează în aceeași arie de cunoștințe.
Capcana 6: A nu gândi la sistemul de punctaj
Adesea, atunci când concepem teste de evaluare, folosim sistemul clasic de notare în puncte, de exemplu, 1 punct pentru sarcinile ușoare și 2 puncte pentru cele dificile. Dar acesta nu este universal. Pur și simplu suma punctelor obținute în urma testării ne va spune puține: nu știm pentru ce sarcini au fost obținute aceste puncte și putem determina doar numărul de sarcini corecte. Avem nevoie de o înțelegere precisă a abilităților pe care le demonstrează participanții la testare. În plus, dorim să le oferim feedback, indicând ce subiecte trebuie să îmbunătățească.
Căci realizăm un test care va împărți oamenii în pregătiți și nepregătiți pentru a participa la program, iar unora le vom recomanda să se pregătească prin cursuri gratuite. Este important pentru noi ca în acest grup să ajungă doar cei care au cu adevărat nevoie și care sunt pregătiți pentru aceasta.
Ce facem în situația noastră: ne stabilim în cadrul grupului de lucru al dezvoltatorilor de teste ce grupuri de oameni trebuie să distingem (de exemplu, pregătiți pentru învățare, parțial pregătiți) și formăm un tabel cu caracteristicile acestor grupuri, indicând ce abilități și cunoștințe vor fi relevante pentru grupul celor pregătiți pentru învățare. Astfel, putem determina „dificultatea” sarcinilor pentru asemenea teste.
Greșeala 7: A evalua rezultatele doar automat
Desigur, evaluarea trebuie să fie cât mai obiectivă, așa că o parte din materialele studenților sunt evaluate automat, „după chei” — comparându-le cu răspunsurile corecte. Chiar și fără un sistem special de testare, există o mulțime de soluții gratuite. Iar dacă există o înțelegere a principiilor de scriere a scripturilor, atunci cu formularele Google și rezultatele în tabele se poate face orice. Dacă o parte din sarcini sunt verificate de experți, atunci trebuie să ne gândim la livrarea răspunsurilor experților, fără informații despre cei care culeg. Și să ne gândim cum să integrăm rezultatele verificării experților în evaluarea finală.
Inițial, ne-am dorit să realizăm câteva teste deschise cu cod, în care experții evaluează soluțiile pe baza unor criterii predefinite și am pregătit chiar un sistem care exportă răspunsurile individuale ale participanților la test într-un tabel special pentru experți, iar apoi importă rezultatele într-un tabel pentru calcularea evaluărilor. Dar, după discuții cu reprezentanții publicului țintă, managerul de produs și designerul educațional, am considerat că a efectua un interviu tehnic cu feedback instant din partea expertului și discuții despre cod, precum și despre anumite întrebări, va fi mult mai eficient și util pentru participanți.
Acum expertul verifică absolvirea testului, clarificând anumite întrebări. Pentru aceasta, am pregătit un ghid de întrebări și criteriile de evaluare pentru interviul tehnic. Înainte de interviul tehnic, expertul primește o hartă a răspunsurilor participantului la test, pentru a alege întrebările care ar trebui puse.
Gafa 8: A nu explica rezultatele testării
Furnizarea de feedback participanților este o întrebare separată. Trebuie să informăm nu doar despre scorul testului, ci și să dăm înțelegerea rezultatelor testului.
Acestea pot fi:
- Sarcinile la care participantul a greșit și cele pe care le-a îndeplinit corect.
- Temele la care participantul a comis erori.
- Clasamentul său în rândul celor care își susțin examenul.
- Descrierea nivelului participantului, conform, de exemplu, cu descrierea nivelului specialiștilor (pe baza descrierii locurilor de muncă).
În timpul lansării pilot a testului nostru, celor care doreau să se înscrie în program, împreună cu rezultatele, le-am arătat lista temelor pe care trebuie să le îmbunătățească. Dar aceasta nu este, desigur, idealul; ne vom perfecționa și vom face feedback-ul mai bun.
Gafa 9: A nu discuta testul cu dezvoltatorii
Probabil cele mai deranjante capcane, în care este deosebit de neplăcut să cazi — a trimite dezvoltatorilor testul, descrierea și scala de evaluare a acestuia în starea „așa cum este”.
Ce anume necesită discuție:
- Aspectul întrebărilor, structura, poziția graficelor, cum arată alegerea răspunsului corect.
- Cum se calculează scorul (dacă este necesar), nu există condiții suplimentare.
- Cum se formează feedback-ul, de unde se iau textele, nu există blocuri suplimentare ce se formează automat.
- Ce informații suplimentare trebuie să colectați și în ce moment (aceleași contacte).
Pentru a evita neînțelegerile, cerem dezvoltatorilor noștri să codifice 2 sau 3 întrebări diferite, pentru a putea vedea cum arată înainte de programarea efectivă a testului.
Capcana 10: Fără a testa, să treci direct în producție
De 3 ori, oameni buni, testul trebuie verificat de 3 persoane diferite, iar cel mai bine — fiecare de 3 ori. Această adevăr a fost obținut cu sânge, sudoare și pixeli în linii de cod.
Testul nostru verifică acest trio:
- Product Owner — verifică testul pentru funcționalitate, aspect și mecanisme.
- Dezvoltatorul testului — verifică textul sarcinilor, ordinea, modul de lucru cu testul, tipurile de sarcini, răspunsurile corecte, lizibilitatea și vizualizarea adecvată a graficii.
- Autorul sarcinilor (expert) — verifică testul pentru corectitudine din perspectiva de expert.
Un exemplu din practică: doar la a treia rundă de verificare, autorul sarcinilor a observat că 1 sarcină a rămas în varianta veche a formulării. Toate celelalte au fost de asemenea corectate activ. Dar când testul a fost codificat, a arătat diferit de cum își imaginau inițial. Cu o mare probabilitate, va fi necesar să se facă corecturi. Acest lucru trebuie avut în vedere.
Rezultatul
Evitând cu atenție toate aceste „capcane”, am creat un , pentru a verifica cunoștințele candidaților. Oricine este interesat poate să-l testeze, în timp ce pregătim următorul material, în care vom povesti ce s-a întâmplat în interiorul botului și în ce s-a transformat ulterior.
Poți obține o profesie cerută de la zero sau să faci un Level Up în abilități și salariu, participând la cursurile online SkillFactory:
- (12 săptămâni)
- (20 de săptămâni)
- (20 de săptămâni)
- (12 luni)
Alte cursuri
- (12 luni)
- (14 săptămâni)
- (5 săptămâni)
- (18 luni)
- (6 luni)
- (12 luni)
- (8 luni)
- (9 luni)
- (12 luni)
- (18 luni)
- (18 luni)
- (12 luni)
- (9 luni)
- (7 luni)
Sursa: habr.com
