Prima di iscriversi al nuovo corso di Machine Learning Advanced, testiamo i nostri futuri studenti per determinare il loro livello di preparazione e capire quali offerte fare per la loro preparazione al corso. Ma si presenta un dilemma: da un lato, dobbiamo verificare le conoscenze in Data Science, dall'altro non possiamo organizzare un esame completo di 4 ore.
Per affrontare questo compito, abbiamo istituito un team TestDev direttamente all'interno del gruppo di sviluppo dei corsi di Data Science (e sembra che sia solo l'inizio). Vi presentiamo un elenco di 10 'scivoloni' che si commettono nello sviluppo di test per valutare le conoscenze. Speriamo che il mondo dell'apprendimento online ne risulti migliorato.
Scivolone 1: Non definire chiaramente gli obiettivi del test
Per definire correttamente gli obiettivi e redigere un test che li tenga in considerazione, nella fase di pianificazione dobbiamo rispondere a diverse domande:
- Cosa stiamo effettivamente verificando?
- In quale ambiente si svolgerà il test e quali meccaniche vengono utilizzate? Quali sono le limitazioni in questo ambiente? Questo punto aiuterà a comprendere anche i requisiti tecnici per il dispositivo su cui si svolgerà il test, e riguardo ai contenuti (se il test avviene su telefoni, le immagini devono essere leggibili anche su uno schermo piccolo, deve esserci la possibilità di ingrandirle, ecc.).
- Quanto tempo durerà il test? È necessario pensare in quali condizioni l'utente svolgerà il test. Potrebbe sorgere la situazione in cui deve interrompere il processo di testing e poi riprenderlo?
- Ci sarà un feedback? Come viene formulato e consegnato? Cosa è necessario per riceverlo? C'è un intervallo di tempo tra l'esecuzione del test e il feedback?
Nel nostro caso, rispondendo a queste domande, abbiamo definito per il test questo elenco di obiettivi:
- Il test deve mostrare se gli studenti futuri sono pronti a seguire il corso, se hanno sufficienti conoscenze e competenze.
- Il test dovrebbe fornirci materiale per il feedback, evidenziando gli argomenti in cui gli studenti hanno commesso errori, in modo che possano rafforzare le loro conoscenze. Come redigerlo — lo spieghiamo di seguito.
Errore 2: Non redigere un documento di lavoro per l'esperto — redattore del test
Per la creazione dei compiti del test è molto importante coinvolgere un esperto nel settore le cui conoscenze vengono valutate. Inoltre, per l'esperto è necessario un documento di lavoro preciso (descrizione) che includa gli argomenti del test, le conoscenze/abilità da verificare e il loro livello.
Un esperto non creerà un tale documento per se stesso, poiché il suo compito è ideare le domande, non la struttura del test. Tanto più che, al momento, pochi progettano test in modo professionale, anche durante l'insegnamento. Questo viene insegnato in una specializzazione specifica — psicometria.
Se vuoi familiarizzare rapidamente con la psicometria, in Russia c'è per tutti gli interessati. Per uno studio più approfondito, presso l'Istituto di istruzione ci sono e un dottorato.
Preparando il documento di lavoro, raccogliamo una descrizione dettagliata del test per l'esperto (meglio se insieme a lui): argomenti delle domande, tipo di domande, e il loro numero.
Come scegliere il tipo di compiti: dopo aver definito gli argomenti, decidi quali compiti possano meglio verificarli. Le opzioni classiche includono: compito a risposta aperta, compito a scelta multipla o singola, corrispondenze, ecc. (non dimentichiamo le limitazioni tecniche dell'ambiente in cui avviene la valutazione!). Dopo aver definito e redatto il tipo di compiti, abbiamo un capitolato pronto per l'esperto. Potremmo chiamarlo specifica del test.
Scivolo 3: Non coinvolgere l'esperto nello sviluppo del test.
Quando si coinvolge l'esperto nello sviluppo del test, è molto importante non solo delineare il "campo di lavoro", ma coinvolgerlo nel procedimento stesso di sviluppo.
Come rendere la collaborazione con l'esperto il più efficace possibile:
- Prepararlo in anticipo e dedicare un po' di tempo per parlare della scienza dello sviluppo dei test, della psicometria.
- Concentrarsi sulla creazione di uno strumento di valutazione valido e affidabile, piuttosto che su una lista di domande.
- Spiegare che il suo lavoro include una fase preparatoria, non solo la creazione dei compiti stessi.
Alcuni esperti (per loro natura) potrebbero percepirlo come una verifica del proprio lavoro, e noi spieghiamo loro che anche creando ottimi compiti, questi potrebbero semplicemente non adattarsi agli obiettivi specifici del test.
Affinché il processo sia rapido, prepariamo con l'esperto una tabella di copertura degli argomenti (conoscenze e abilità), che fa parte della specifica del test. Questa tabella consente di elaborare con precisione le domande e determinare cosa andremo a misurare. In ogni caso specifico, può essere redatta in modo leggermente diverso. Il nostro obiettivo è verificare quanto una persona è ben orientata nelle conoscenze e abilità dei corsi precedenti di base, per capire quanto è pronta per l'apprendimento nel nuovo corso.
Trappola 4: Pensare che l'esperto 'sappia meglio'
Conosce l'argomento meglio. Ma non spiega sempre in modo chiaro. È molto importante controllare la formulazione delle domande. Scrivere istruzioni chiare, ad esempio, «Seleziona 1 risposta corretta». Nel 90% dei casi, gli esperti preparano le domande in base alla loro comprensione. E questo è normale. Ma prima di passare il test a chi lo dovrà sostenere, è necessario verificare e sistemare tutto, affinché le persone che svolgono il test comprendano esattamente cosa è richiesto e non commettano errori solo perché potrebbero interpretare erroneamente il testo dell'assegnazione.
Per evitare ambiguità nelle domande, conduciamo «laboratori cognitivi». Chiediamo a persone del target di completare il test, esprimendo ad alta voce i loro pensieri e documentiamo tutto in dettaglio. Nei «laboratori cognitivi» si possono «catturare» domande incomprensibili, cattive formulazioni e ricevere un primo feedback sul test.
Errore 5: Non considerare il tempo di completamento del test
modalità sarcasmo: attivata
Certo, il nostro test è il migliore, tutti sognano di sostenerlo! Sì, per tutte e 4 ore.
modalità sarcasmo: disattivata
Quando hai un elenco di tutto ciò che puoi controllare, la cosa principale è non farlo (sembra strano, vero?). È necessario tagliare senza pietà, evidenziando con l'esperto le conoscenze e le competenze chiave (sì, alcune competenze possono essere verificate anche nel test). Guardiamo il tipo di compiti e stimiamo il tempo di esecuzione previsto: se supera anche i limiti ragionevoli, dobbiamo tagliare!
Per ridurre il volume, si può anche provare (con attenzione) a verificare due competenze con un unico compito. In questo caso, è difficile capire perché una persona ha commesso un errore, ma se eseguito correttamente, entrambe le competenze possono essere considerate. È importante assicurarsi che queste due competenze appartengano allo stesso campo di conoscenza.
Errore 6: Non aver pensato a un sistema di punteggio
Spesso, quando si creano test di valutazione, si utilizza un sistema di punteggio classico, ad esempio, 1 punto per esercizi facili e 2 punti per esercizi difficili. Ma questo sistema non è universale. La semplice somma dei punti alla fine del test non ci dirà molto: non sappiamo per quali esercizi sono stati ottenuti questi punti e possiamo solo determinare il numero di domande corrette. Abbiamo bisogno di comprendere esattamente quali abilità dimostrano i partecipanti al test. Inoltre, vogliamo fornire loro un feedback su quali argomenti necessitano di ulteriore lavoro.
Infatti, stiamo facendo un test che separerà le persone pronte e quelle non pronte a seguire il programma; ad alcuni consiglieremo di prepararsi per il corso di formazione gratuita. È importante per noi che solo coloro che ne hanno veramente bisogno e sono pronti vengano inclusi in questo gruppo.
Cosa facciamo nella nostra situazione: definiamo all'interno del gruppo di lavoro dei programmatori del test quali gruppi di persone è necessario distinguere (ad esempio, quelli pronti per la formazione, quelli parzialmente pronti) e formiamo una tabella delle caratteristiche di tali gruppi, indicando quali competenze e conoscenze saranno rilevanti per il gruppo pronto per la formazione. In questo modo si può formare la «difficoltà» dei compiti per tali test.
Grattacapo 7: Valutare i risultati solo in modo automatico
Naturalmente, la valutazione deve essere il più oggettiva possibile, quindi parte dei materiali degli studenti è valutata automaticamente, «per chiavi» — confrontando con le risposte corrette. Anche se non esiste un sistema di testing specifico, ci sono molte soluzioni gratuite. E se si ha una comprensione dei principi di scrittura degli script, allora con Google Forms e i risultati nelle tabelle si può fare qualsiasi cosa. Se parte dei compiti vengono controllati da esperti, dobbiamo pensare alla consegna delle risposte agli esperti, senza informazioni sugli studenti. E riflettere su come integrare i risultati della verifica degli esperti nella valutazione finale.
Inizialmente volevamo creare alcune missioni aperte con codice, in cui gli esperti valutano le soluzioni secondo criteri predefiniti, e avevamo persino preparato un sistema che esporta le singole risposte dei partecipanti al test in una tabella speciale per gli esperti, per poi importare i risultati in una tabella per il calcolo delle valutazioni. Tuttavia, dopo aver discusso con i rappresentanti del nostro pubblico target, il product manager e il designer pedagogico, abbiamo ritenuto che condurre un colloquio tecnico con feedback immediato dall'esperto e discussioni sul codice, insieme a domande specifiche, sarebbe stato molto più efficace e utile per i partecipanti stessi.
Ora l'esperto verifica il superamento del test, chiarendo alcune domande. A tal fine, abbiamo preparato una guida alle domande e criteri di valutazione per il colloquio tecnico. Prima del colloquio tecnico, l'esperto riceve una mappa delle risposte del partecipante al test, per scegliere le domande da porre.
Ostacolo 8: Non spiegare i risultati del test
La presentazione del feedback ai partecipanti è un aspetto a parte. Dobbiamo non solo informare sui punteggi del test, ma anche fornire una comprensione dei risultati.
Questi possono essere:
- Compiti in cui il partecipante ha commesso errori, ma che ha completato correttamente.
- Argomenti in cui il partecipante ha fatto errori.
- Il suo punteggio rispetto a chi ha sostenuto l'esame.
- Descrizione del livello del partecipante, ad esempio in base alla descrizione dei professionisti (sulla base delle descrizioni delle offerte di lavoro).
Durante il lancio pilota del nostro test, a coloro che desideravano iscriversi al programma, insieme ai risultati, mostravamo un elenco di argomenti da migliorare. Ma questo ovviamente non è ideale, ci impegneremo a migliorare e rendere il feedback migliore.
Ostacolo 9: Non discutere il test con gli sviluppatori.
Probabilmente, i più spinosi ostacoli, sui quali è particolarmente sgradevole inciampare — inviare agli sviluppatori il test, la descrizione e la scala di valutazione così com'è.
Cosa necessita di discussione:
- Aspetto delle domande, struttura, posizione della grafica, come appare la scelta della risposta corretta.
- Come viene calcolato il punteggio (se necessario), se ci sono condizioni aggiuntive.
- Come viene strutturato il feedback, dove trovare i testi, ci sono blocchi aggiuntivi che si formano automaticamente?
- Quali informazioni aggiuntive è necessario raccogliere e in quale momento (degli stessi contatti)?
Per evitare malintesi, chiediamo ai nostri sviluppatori di codificare 2 o 3 domande diverse, in modo da poter vedere come appaiono prima della programmazione del test stesso.
Errore 10: Non testare prima di caricare direttamente in produzione.
Tre volte, ragazzi, il test deve essere controllato 3 volte da persone diverse, o meglio — ciascuno di loro 3 volte. Questa verità è stata guadagnata con sangue, sudore e righe di codice.
Il nostro test verifica un trio del genere:
- Product — verifica il test per funzionalità, aspetto e meccaniche.
- Sviluppatore del test — controlla il testo degli incarichi, il loro ordine, la modalità di lavoro con il test, i tipi di incarichi, le risposte corrette, la leggibilità e la visualizzazione normale della grafica.
- Autore degli incarichi (esperto) — verifica il test per correttezza da un punto di vista esperto.
Esempio pratico: solo al terzo tentativo l'autore dei compiti ha notato che 1 compito era rimasto con una formulazione precedente. Anche tutti gli altri erano stati modificati attivamente. Ma quando il test è stato codificato, appariva diverso da come inizialmente era stato immaginato. Con grande probabilità, sarà necessario apportare delle modifiche. È importante tenerne conto.
Risultato
Eviteremo con cura tutte queste "trappole" creando un , per testare le conoscenze degli aspiranti. Chiunque può metterlo alla prova mentre ci prepariamo per il prossimo materiale, nel quale racconteremo cosa è successo all'interno del bot e come tutto si è trasformato successivamente.
Acquisire una professione richiesta da zero o fare un Level Up nelle competenze e nello stipendio, è possibile seguendo i corsi online di SkillFactory:
- (12 settimane)
- (20 settimane)
- (20 settimane)
- (12 mesi)
Altri corsi
- (12 mesi)
- (14 settimane)
- (5 settimane)
- (18 mesi)
- (6 mesi)
- (12 mesi)
- (8 mesi)
- (9 mesi)
- (12 mesi)
- (18 mesi)
- (18 mesi)
- (12 mesi)
- (9 mesi)
- (7 mesi)
Fonte: habr.com
