Antes de se inscrever em um novo curso de Machine Learning Avançado, testamos os futuros alunos para determinar seu nível de prontidão e entender o que exatamente precisamos oferecer para prepará-los para o curso. Mas surge um dilema: por um lado, precisamos verificar o conhecimento em Data Science, por outro, não podemos aplicar um exame completo de 4 horas.
Para resolver essa questão, estabelecemos um escritório de TestDev diretamente na equipe de desenvolvimento dos cursos de Data Science (e parece que isso é apenas o começo). Apresentamos a vocês uma lista de 10 "tranqueiras" que podem atrapalhar no desenvolvimento de testes para avaliar o conhecimento. Esperamos que o mundo do ensino online melhore um pouco após isso.
Tranqueira 1: Não definir claramente os objetivos da avaliação
Para definir corretamente os objetivos e criar um teste que os leve em consideração, na fase de planejamento devemos nos fazer algumas perguntas:
- O que estamos realmente avaliando?
- Em qual ambiente a avaliação ocorrerá e que mecânicas serão utilizadas? Quais são as limitações desse ambiente? Esse ponto também ajudará a entender os requisitos técnicos para o dispositivo no qual a avaliação será realizada, além de incluir o conteúdo (se o teste for realizado em celulares, as imagens devem ser legíveis mesmo em telas pequenas, deve haver a possibilidade de aumentá-las, etc.).
- Quanto tempo durará a avaliação? É necessário pensar nas condições em que o usuário fará o teste. Pode haver a situação em que ele precise interromper o processo da avaliação e depois continuar?
- Haverá feedback? Como o formamos e entregamos? O que é necessário para recebê-lo? Existe um intervalo de tempo entre a realização do teste e o feedback?
No nosso caso, ao responder a essas perguntas, definimos para o teste a seguinte lista de objetivos:
- O teste deve mostrar se os futuros alunos estão prontos para realizar o curso, se possuem conhecimento e habilidades suficientes.
- O teste deve nos fornecer material para feedback, indicando o tema em que os alunos cometeram erros, para que possam melhorar seus conhecimentos. Como elaborá-lo – nós explicaremos a seguir.
Tranqueira 2: Não elaborar um TZ para o especialista – criador do teste
Para a elaboração de tarefas de teste, é muito importante envolver um especialista na área cujos conhecimentos estão sendo verificados. E para o especialista, é necessário um briefing (descrição) bem estruturado, que inclua os tópicos do teste, os conhecimentos/habilidades a serem verificados e seu nível.
O especialista não irá elaborar esse briefing para si mesmo, pois seu trabalho é criar as tarefas, não a estrutura do teste. Além disso, ainda há poucos que desenvolvem testes de forma profissional, mesmo durante o ensino. Isso é ensinado em uma especialidade separada — psicometria.
Se você deseja se familiarizar rapidamente com psicometria, na Rússia há para todos os interessados. Para um estudo mais aprofundado, no Instituto de Educação há e doutorado.
Ao preparar o briefing, reunimos uma descrição detalhada do teste para o especialista (ou melhor, junto com ele): tópicos das tarefas, tipo das tarefas, sua quantidade.
Como escolher o tipo de tarefa: após determinar os tópicos, decidimos quais tarefas podem verificar isso da melhor forma? As opções clássicas incluem: tarefa de resposta aberta, tarefa de múltipla ou única escolha, correspondências, etc. (não esqueçamos das limitações técnicas do ambiente em que o teste está sendo realizado!). Após a definição e descrição do tipo de tarefa, temos um briefing pronto para o especialista. Podemos chamá-lo de especificação do teste.
Armadilha 3: Não envolver o especialista no desenvolvimento do teste
Ao envolver o especialista no desenvolvimento do teste, é muito importante não apenas definir para ele "o escopo do trabalho", mas envolvê-lo no próprio processo de desenvolvimento.
Como maximizar a eficácia do trabalho com o especialista:
- Prepará-lo com antecedência e gastar algum tempo explicando a ciência do desenvolvimento de testes, psicometria.
- Focar a atenção do especialista na criação de uma ferramenta de avaliação válida e confiável, em vez de uma lista de perguntas.
- Deixar claro que seu trabalho inclui uma fase preparatória, não apenas a elaboração das tarefas em si.
Alguns especialistas (devido à sua natureza) podem interpretar isso como uma verificação de seu próprio trabalho, e para eles explicamos que mesmo ao criar tarefas excelentes, estas podem simplesmente não se adequar a objetivos específicos de teste.
Para que o processo seja rápido, preparamos com um especialista uma tabela de cobertura dos temas (conhecimentos e habilidades), que faz parte da especificação do teste. Essa tabela permite elaborar questões de forma precisa, determinando o que vamos medir. Em cada caso específico, ela pode ser montada de forma um pouco diferente. Nossa tarefa é verificar o quanto a pessoa compreende os conhecimentos e habilidades dos cursos anteriores, para entender o quão preparada ela está para o novo curso.
Armadilha 4: Pensar que o especialista "sabe melhor"
Sabe mais sobre o assunto. Mas nem sempre explica de forma clara. É muito importante verificar as formulações das tarefas. Escrever instruções claras, como "Escolha 1 opção correta". Em 90% dos casos, os especialistas preparam as questões da maneira que lhes é compreensível. E isso é normal. Mas antes de entregar o teste para aqueles que o farão, é necessário revisar e polir tudo, para que as pessoas que realizam o teste compreendam exatamente o que se espera delas, sem cometer erros apenas pela possibilidade de interpretar mal o texto da tarefa.
Para evitar ambiguidade nas tarefas, realizamos "laboratórios cognitivos". Pedimos a pessoas do nosso público-alvo que façam o teste, verbalizando em voz alta o que pensam, e registramos isso detalhadamente. Nos "laboratórios cognitivos", é possível identificar perguntas confusas, formulações ruins e receber o primeiro retorno sobre o teste.
Armadilha 5: Não considerar o tempo de realização do teste
modo sarcasmo: ativado
Claro, nosso teste é o melhor, todos sonham em fazê-lo! Sim, todos os 4 horas.
modo sarcasmo: desativado
Quando há uma lista de tudo o que pode ser verificado, o principal é não fazer isso (aparentemente soa estranho, não é?). É preciso cortar sem piedade, destacando com o especialista os conhecimentos e habilidades-chave (sim, uma série de habilidades também pode ser verificadas no teste). Observamos o tipo de tarefas e estimamos o tempo alvo para execução: se tudo ainda estiver além dos limites razoáveis — cortamos!
Para reduzir o volume, também é possível tentar (com cuidado) verificar duas habilidades com uma única tarefa. Nesse caso, é difícil entender por que a pessoa cometeu um erro, mas se realizado corretamente, é possível considerar ambas as habilidades. É importante garantir que essas 2 habilidades pertençam a uma mesma área de conhecimento.
Armadilha 6: Não pensar no sistema de pontuação
Frequentemente, ao elaborar testes de avaliação, é utilizada a clássica sistemática de pontuação, por exemplo, 1 ponto para tarefas fáceis e 2 pontos para as difíceis. No entanto, essa abordagem não é universal. Simplesmente somar os pontos obtidos no teste pouco nos dirá: não sabemos quais tarefas geraram essas pontuações e apenas podemos determinar a quantidade de respostas corretas. Precisamos ter uma compreensão precisa das habilidades que os participantes do teste estão demonstrando. Além disso, queremos fornecer feedback sobre quais tópicos precisam ser revisados.
Estamos criando um teste que dividirá as pessoas entre aquelas que estão prontas e aquelas que não estão para passar pelo programa; para alguns, sugeriremos uma preparação para o curso de forma gratuita. É importante para nós que apenas aqueles que realmente precisam e estão prontos sejam incluídos nesse grupo.
O que fazemos na nossa situação: definimos dentro do grupo de trabalho de desenvolvedores do teste quais grupos de pessoas precisam ser destacados (por exemplo, prontos para o aprendizado, parcialmente prontos) e formamos uma tabela de características desses grupos, indicando quais habilidades e conhecimentos serão relevantes para o grupo que está pronto para aprender. Assim podemos determinar a 'dificuldade' das tarefas para esses testes.
Armadilhas 7: Avaliar os resultados apenas automaticamente
Certamente, a avaliação deve ser o mais objetiva possível, portanto, parte dos materiais dos alunos é avaliada automaticamente, 'por chave' — comparando com as respostas corretas. Mesmo que não exista um sistema especial de testes, há uma infinidade de soluções gratuitas. E se houver uma compreensão dos princípios de redação de scripts, é possível fazer qualquer coisa com formulários do Google e resultados em planilhas. Se parte das tarefas for revisada por especialistas, precisamos planejar a entrega das respostas para os especialistas, sem informações sobre os candidatos. E pensar em como integrar os resultados da avaliação dos especialistas na avaliação final.
Inicialmente, queríamos criar algumas tarefas abertas com código, onde os especialistas avaliam as soluções com base em critérios pré-definidos. Chegamos a preparar um sistema que exporta as respostas individuais dos participantes do teste para uma tabela especial para os especialistas e depois importa os resultados para uma tabela com o cálculo das notas. Contudo, após conversas com representantes do público-alvo, o gerente de produto e o designer instrucional, concluímos que realizar uma entrevista técnica com feedback imediato do especialista e discussão do código, assim como questões específicas, seria muito mais eficaz e útil para os participantes.
Agora, o especialista verifica a conclusão do teste, esclarecendo algumas perguntas. Para isso, preparamos um guia de perguntas e critérios de avaliação para a entrevista técnica. Antes da entrevista técnica, o especialista recebe um mapa das respostas do participante do teste para escolher as perguntas que devem ser feitas.
Armando 8: Não explicar os resultados do teste.
Apresentar feedback aos participantes é uma questão à parte. Precisamos não apenas informar sobre a pontuação do teste, mas também fornecer uma compreensão dos resultados do teste.
Estas podem ser:
- Tarefas nas quais o participante errou, mas também aquelas que ele realizou corretamente.
- Temas em que o participante cometeu erros.
- Sua classificação entre os que estão fazendo o exame.
- Descrição do nível do participante, de acordo com, por exemplo, a descrição de níveis de especialistas (com base nas descrições de vagas).
Durante o lançamento piloto do nosso teste, para aqueles que queriam se inscrever no programa, mostramos, junto com os resultados, uma lista de temas que precisavam ser revisados. Mas isso, claro, não é o ideal; iremos aprimorar e tornar o feedback melhor.
Armando 9: Não discutir o teste com os desenvolvedores.
Sem dúvida, os erros mais críticos a evitar - enviar o teste, a descrição e a escala de contagem para os desenvolvedores em seu estado 'como está'.
O que exatamente precisa ser discutido:
- A aparência das perguntas, estrutura, disposição gráfica, como se apresenta a escolha da resposta correta.
- Como a pontuação é calculada (se necessário), se há condições adicionais.
- Como o feedback é formado, de onde obter os textos, se há blocos adicionais que se formam automaticamente.
- Que informações adicionais você precisa coletar e em que momento (contatos, por exemplo).
Para evitar mal-entendidos, pedimos aos nossos desenvolvedores que codifiquem 2 ou 3 perguntas diferentes, para que possamos ver como elas ficam antes de programar o próprio teste.
Armadilhas 10: Não testar antes de colocar em produção
3 vezes, pessoal, o teste deve ser verificado 3 vezes por pessoas diferentes, ou melhor — cada um por 3. Esta verdade foi conquistada com sangue, suor e pixels de linhas de código.
Nosso teste verifica este trio:
- Product Owner — verifica o teste quanto à funcionalidade, aparência e mecânicas.
- Desenvolvedor do teste — verifica o texto das perguntas, a ordem, a forma de interação com o teste, os tipos de perguntas, as respostas corretas, a legibilidade e a visualização adequada dos gráficos.
- Autor das perguntas (especialista) — verifica o teste quanto à precisão a partir de uma posição especializada.
Um exemplo prático: somente na terceira execução, o autor das perguntas percebeu que 1 pergunta permaneceu na antiga formulação. Todas as anteriores também foram ativamente corrigidas. Mas quando o teste foi codificado, ele parecia diferente do que inicialmente se imaginava. Com alta probabilidade, algo precisará ser ajustado. Isso deve ser levado em consideração.
Resultado
Evitando cuidadosamente todas essas "armadilhas", criamos um , para teste de conhecimento de candidatos. Qualquer interessado pode testá-lo enquanto preparamos o próximo material, onde contaremos o que aconteceu dentro do bot e como tudo isso se transformou depois.
Adquirir uma profissão demandada do zero ou fazer um Level Up nas habilidades e no salário pode ser feito ao participar dos cursos online da SkillFactory:
- (12 semanas)
- (20 semanas)
- (20 semanas)
- (12 meses)
Mais cursos
- (12 meses)
- (14 semanas)
- (5 semanas)
- (18 meses)
- (6 meses)
- (12 meses)
- (8 meses)
- (9 meses)
- (12 meses)
- (18 meses)
- (18 meses)
- (12 meses)
- (9 meses)
- (7 meses)
Fonte: habr.com
