Prima di iscriversi al nuovo corso di Machine Learning Advanced, testiamo i futuri studenti per determinare il loro livello di preparazione e capire cosa è necessario proporre loro per prepararsi al corso. Ma sorge un dilemma: da un lato, dobbiamo verificare le conoscenze in Data Science, dall'altro non possiamo svolgere un esame completo di 4 ore.
Per affrontare questa sfida, abbiamo creato un team dedicato al TestDev proprio all'interno del gruppo di sviluppo dei corsi di Data Science (e sembra che sia solo l'inizio). Presentiamo un elenco di 10 'trappole' in cui si può incappare nello sviluppo di test per la valutazione delle conoscenze. Speriamo che il mondo dell'apprendimento online diventi un po' migliore dopo questo.
Trappola 1: Non definire chiaramente gli obiettivi del test
Per definire correttamente gli obiettivi e creare un test che li consideri, nella fase di pianificazione dobbiamo rispondere a diverse domande:
- Cosa stiamo veramente verificando?
- In quale ambiente si svolgerà la valutazione e quali meccaniche verranno utilizzate? Quali sono le limitazioni in questo ambiente? Questo punto ci aiuterà a comprendere i requisiti tecnici del dispositivo su cui si svolgerà il test, e anche del contenuto (se il test viene svolto da smartphone, le immagini devono essere leggibili anche su schermi piccoli, deve essere possibile ingrandirle, ecc.).
- Quanto tempo durerà il test? È importante pensare in quali condizioni l'utente svolgerà il test. Potrebbe sorgere la situazione in cui è necessario interrompere il processo di valutazione e poi riprenderlo?
- Ci sarà un feedback? Come lo formiamo e lo consegniamo? Cosa è necessario per riceverlo? C'è un intervallo di tempo tra il completamento del test e il feedback?
Nel nostro caso, rispondendo a queste domande, abbiamo definito per il test un elenco di obiettivi:
- Il test deve mostrare se i futuri studenti sono pronti per seguire il corso, se hanno sufficienti conoscenze e abilità.
- Il test deve fornirci materiale per il feedback, indicare l'argomento in cui gli studenti hanno commesso errori, affinché possano rafforzare le loro conoscenze. Come compilarlo, lo spieghiamo di seguito.
Trappola 2: Non redigere un documento di specifica per l'esperto - creatore del test
Per la preparazione delle domande del test è molto importante coinvolgere un esperto nel campo le cui conoscenze vengono valutate. Ed è necessario fornire all'esperto un documento di specifica (descrizione) che includa gli argomenti del test, le conoscenze/abilità verificate e il loro livello.
L'esperto non preparerà da solo un tale documento, poiché il suo compito è ideare le domande, non strutturare il test. Inoltre, ci sono ancora poche persone che sviluppano test professionalmente, anche durante l'insegnamento. Questo viene insegnato in una specializzazione separata: la psicometria.
Se desiderate familiarizzare rapidamente con la psicometria, in Russia c'è per tutti gli interessati. Per uno studio più approfondito, presso l'Istituto di Educazione c'è e un dottorato.
Preparando il documento di specifica, raccogliamo una descrizione dettagliata del test per l'esperto (meglio se insieme a lui): argomenti delle domande, tipo di domande, loro quantità.
Come scegliere il tipo di domande: una volta definiti gli argomenti, decidiamo quali domande possono verificare meglio tali conoscenze? Opzioni classiche: domanda a risposta aperta, domanda a scelta multipla o singola, corrispondenza, ecc. (non dimentichiamo i limiti tecnici dell'ambiente in cui si svolge il test!). Dopo aver definito e descritto il tipo di domande, abbiamo un documento di specifica pronto per l'esperto. Possiamo chiamarlo specifica del test.
Ostacolo 3: Non coinvolgere l'esperto nello sviluppo del test
Quando si coinvolge un esperto nello sviluppo del test, è molto importante non limitarsi a delineare il ‘campo di lavoro’, ma coinvolgerlo nel processo stesso di sviluppo.
Come fare in modo che il lavoro con l'esperto sia il più efficace possibile:
- Prepararlo in anticipo e dedicare del tempo a spiegare la scienza dello sviluppo dei test, la psicometria.
- Concentrarsi sulla creazione di uno strumento di valutazione valido e affidabile, e non su un elenco di domande.
- Spiegare che il suo lavoro include una fase preparatoria, non solo lo sviluppo delle domande stesse.
Alcuni esperti (per loro natura) possono percepire questo come un controllo del proprio lavoro, e a loro spieghiamo che anche se creano ottime domande, esse potrebbero non adattarsi agli obiettivi specifici del test.
Affinché il processo si svolga rapidamente, prepariamo con un esperto una tabella di copertura delle tematiche (conoscenze e competenze), che è parte della specifica del test. Questa tabella ci consente di elaborare precisamente le domande e definire cosa misureremo. In ogni caso specifico, può essere redatta in modo leggermente diverso. Il nostro obiettivo è verificare quanto bene una persona si orienti nelle conoscenze e competenze dei corsi precedenti, per comprendere quanto sia pronta ad apprendere in un nuovo corso.
Trappola 4: Pensare che l'esperto «sappia meglio»
Conosce meglio l'argomento. Ma non sempre spiega in modo chiaro. È molto importante controllare le formulazioni delle domande. Scrivere istruzioni chiare, ad esempio, «Seleziona 1 opzione corretta». Nel 90% dei casi, gli esperti preparano le domande in modo che siano comprensibili per loro stessi. E questo va bene. Ma prima di dare il test a chi lo affronterà, è necessario controllare tutto e rifinire, affinché le persone che fanno il test comprendano esattamente cosa viene richiesto e non commettano errori semplicemente perché potrebbero interpretare erroneamente il testo della domanda.
Per evitare ambiguità nelle domande, conduciamo «laboratori cognitivi». Chiediamo a persone del target di svolgere il test, esprimendo ad alta voce cosa pensano e annotiamo tutto dettagliatamente. Nei «laboratori cognitivi» è possibile individuare domande poco chiare, cattive formulazioni e ottenere un primo riscontro sul test.
Trappola 5: Non tenere conto del tempo di esecuzione del test
sarcasm mode: on
Certo, il nostro test è il migliore, tutti sognano di affrontarlo! Sì, tutti e 4 ore.
sarcasm mode: off
Quando c'è un elenco di tutto ciò che può essere verificato, la cosa principale è non farlo (sembra strano, vero?). È necessario tagliare spietatamente, evidenziando con l'esperto le conoscenze e competenze chiave (sì, alcune competenze possono essere verificate anche nel test). Osserviamo il tipo di domande e stimiamo il tempo di esecuzione previsto: se ci sono ancora margini ragionevoli, si taglia!
Per ridurre il volume, si può anche provare (con cautela) a verificare due competenze con un'unica domanda. In questo caso, è difficile capire perché una persona ha commesso un errore, ma se eseguita correttamente, entrambe le competenze possono essere considerate. È importante assicurarsi che queste 2 competenze corrispondano a un'unica area di conoscenze.
Trappola 6: Non progettare un sistema di attribuzione dei punteggi
Spesso, nella preparazione di test di valutazione, si utilizza un sistema di valutazione classico in punti, ad esempio, 1 punto per i compiti facili e 2 punti per quelli difficili. Ma non è universale. La semplice somma dei punti al termine del test non ci dirà molto: non sappiamo per quali compiti sono stati guadagnati questi punti e possiamo solo determinare il numero di compiti corretti. Abbiamo bisogno di una comprensione precisa delle competenze che i partecipanti al test stanno dimostrando. Inoltre, vogliamo fornire loro feedback su quali argomenti necessitano di miglioramenti.
Infatti, stiamo creando un test che dividerà le persone tra pronte e non pronte per il programma; a qualcuno consiglieremo di prepararsi per il corso di formazione gratuita. È importante per noi che in questo gruppo entrino solo coloro che ne hanno veramente bisogno e sono pronti per questo.
Cosa facciamo nella nostra situazione: definiamo all'interno del gruppo di lavoro degli sviluppatori del test quali gruppi di persone devono essere distinti (ad esempio, quelli pronti per l'apprendimento, quelli parzialmente pronti) e formiamo una tabella di caratteristiche per tali gruppi, indicando le abilità e le conoscenze che saranno rilevanti per il gruppo di quelli pronti per l'apprendimento. In questo modo possiamo definire la "difficoltà" dei compiti per tali test.
Zappa 7: Valutare i risultati solo automaticamente
Certo, la valutazione deve essere massimamente obiettiva, quindi parte del materiale degli studenti viene valutato automaticamente, "in base alle chiavi" — confrontando con le risposte corrette. Anche senza un sistema di test specifico, ci sono molte soluzioni gratuite. E se si comprende il principio per la scrittura di script, con Google Forms e i risultati in fogli di calcolo si può fare qualsiasi cosa. Se parte dei compiti è esaminata da esperti, dobbiamo pensare alla consegna delle risposte agli esperti, senza informazioni sugli studenti che le presentano. E riflettere su come integrare i risultati della valutazione degli esperti nella valutazione finale.
Inizialmente volevamo creare alcuni compiti aperti con codice, in cui gli esperti valutano le soluzioni secondo criteri predefiniti, e avevamo persino preparato un sistema che esporta le singole risposte dei partecipanti al test in una tabella speciale per gli esperti, per poi importare i risultati in una tabella per il calcolo delle valutazioni. Ma dopo aver discusso con i rappresentanti del target, il product manager e il designer pedagogico, abbiamo concluso che condurre un'intervista tecnica con feedback immediato da parte dell'esperto e discutere il codice, oltre a domande specifiche, sarebbe stato molto più efficace e utile per i partecipanti stessi.
Ora l'esperto verifica il superamento del test, chiarendo alcune domande. A questo scopo abbiamo preparato una guida alle domande e i criteri di valutazione per l'intervista tecnica. Prima dell'intervista tecnica, l'esperto riceve una mappa delle risposte del partecipante al test, per scegliere le domande da porre.
Trappole 8: Non spiegare i risultati del test
Fornire feedback ai partecipanti è una questione a parte. È necessario non solo informare sul punteggio del test, ma anche chiarire i risultati del test.
Questi possono essere:
- Le domande in cui il partecipante ha sbagliato, ma che ha risolto correttamente.
- Gli argomenti in cui il partecipante ha commesso errori.
- La sua posizione nella classifica di chi ha sostenuto l'esame.
- Descrizione del livello del partecipante, in base, ad esempio, alla descrizione del livello dei professionisti (a partire dalla descrizione delle offerte di lavoro).
Durante il lancio pilota del nostro test, a coloro che volevano partecipare al programma, insieme ai risultati, mostravamo un elenco di argomenti da approfondire. Ma ovviamente non è l'ideale, miglioreremo e renderemo il feedback più efficace.
Trappole 9: Non discutere il test con gli sviluppatori
Probabilmente, le trappole più insidiose su cui è particolarmente sgradevole cadere sono inviare agli sviluppatori il test, la descrizione e la scala di calcolo nello stato "così com'è".
Cosa occorre discutere:
- Aspetto delle domande, struttura, posizionamento della grafica, aspetto della scelta della risposta corretta.
- Come si calcola il punteggio (se necessario), se ci sono condizioni supplementari.
- Come viene fornito il feedback, dove reperire i testi, se ci sono blocchi supplementari che si generano automaticamente.
- Quali informazioni aggiuntive è necessario raccogliere e in quale momento (gli stessi contatti).
Per evitare incomprensioni, chiediamo ai nostri sviluppatori di codificare 2 o 3 domande diverse, per poter vedere come appaiono prima di programmare il test vero e proprio.
Errore 10: Non testare e caricare subito in produzione
Tre volte, ragazzi, il test deve essere controllato tre volte da persone diverse, o meglio, ciascuno per tre volte. Questa verità è stata guadagnata con sangue, sudore e righe di codice.
Il nostro test verifica un trio del genere:
- Il product manager - verifica il test per funzionalità, aspetto e meccaniche.
- Lo sviluppatore del test - verifica il testo delle domande, il loro ordine, il modo di interagire con il test, i tipi di domande, le risposte corrette, la leggibilità e una normale visualizzazione della grafica.
- L'autore delle domande (esperto) - verifica il test per accuratezza dalla posizione di esperto.
Esempio dalla pratica: solo alla terza prova l'autore delle domande ha visto che 1 domanda era rimasta nella vecchia formulazione. Tutti gli altri avevano anche corretto attivamente. Ma quando il test è stato codificato, appariva in modo diverso da come era stato originariamente immaginato. È molto probabile che qualcosa dovrà essere corretto. Questo va considerato.
Risultato
Eviteremo con attenzione tutti questi "errori", abbiamo creato un , per testare le conoscenze dei candidati. Chiunque può provarlo, mentre prepariamo il materiale successivo, in cui parleremo di cosa accade dentro al bot, e come si è poi trasformato.
Puoi ottenere una professione richiesta da zero o fare un Level Up delle tue competenze e del tuo stipendio, seguendo corsi online SkillFactory:
- (12 settimane)
- (20 settimane)
- (20 settimane)
- (12 mesi)
Altri corsi
- (12 mesi)
- (14 settimane)
- (5 settimane)
- (18 mesi)
- (6 mesi)
- (12 mesi)
- (8 mesi)
- (9 mesi)
- (12 mesi)
- (18 mesi)
- (18 mesi)
- (12 mesi)
- (9 mesi)
- (7 mesi)
Fonte: habr.com
