Antes de inscribirse no novo curso de Machine Learning Advanced, probamos aos posibles estudantes para determinar o seu nivel de preparación e comprender o que precisan ofrecer para prepararse para o curso. Pero xorde un dilema: por unha banda, debemos probar coñecementos en Data Science, por outra, non podemos organizar un exame completo de 4 horas.
Para resolver este problema, implantamos unha sede de TestDev no equipo de desenvolvemento do curso de Data Science (e parece que isto é só o comezo). Presentámosche unha lista de 10 trampas que se atopan ao desenvolver probas para avaliar o coñecemento. Esperemos que o mundo da aprendizaxe en liña sexa un pouco mellor despois disto.
Rake 1: non definir claramente os obxectivos das probas
Para definir correctamente os obxectivos e crear unha proba que os teña en conta, na fase de planificación debemos responder a varias preguntas:
- Que estamos comprobando realmente?
- En que ambiente terán lugar as probas e que mecánicas se utilizan? Cales son as limitacións neste ambiente? Este mesmo punto permitirache comprender os requisitos técnicos do dispositivo no que se realizará a proba, e tamén do contido (se a proba se realiza desde teléfonos, as imaxes deberían ser lexibles incluso nunha pantalla pequena, debería ser posible amplialos, etc.).
- Canto tempo levará a proba? Debes pensar nas condicións nas que o usuario realizará a proba. Podería haber unha situación na que necesite interromper o proceso de proba e continuar de novo?
- Haberá comentarios? Como o formamos e entregamos? Que necesitas recibir? Hai un desfase de tempo entre a execución da proba e os comentarios?
No noso caso, unha vez contestadas estas preguntas, definimos a seguinte lista de obxectivos para a proba:
- A proba debe mostrar se os futuros estudantes están preparados para realizar o curso e se teñen coñecementos e habilidades suficientes.
- A proba debe darnos material para o feedback, indicar o tema no que se equivocaron os alumnos, para que poidan mellorar os seus coñecementos. Imos dicirche como compoñelo a continuación.
Rake 2: non elaborar especificacións técnicas para o redactor experto da proba
Para compoñer ítems de proba, é moi importante involucrar a un experto no campo no que se está a probar o coñecemento. E para un experto, á súa vez, precisa unha especificación técnica competente (descrición), que inclúa os temas da proba, os coñecementos/habilidades que se están a probar e o seu nivel.
Un experto non fará tales especificacións técnicas por si mesmo, porque o seu traballo é elaborar tarefas, non a estrutura da proba. Ademais, poucas persoas desenvolven probas profesionalmente, mesmo no proceso de ensino. Isto ensínase nunha especialidade separada: psicometría.
Se queres familiarizarte rapidamente coa psicometría, entón en Rusia hai para todos os interesados. Para un estudo máis profundo, o Instituto de Educación ten e escola de posgrao.
Ao elaborar as especificacións técnicas, recollemos unha descrición detallada da proba para o experto (ou mellor, xunto con el): temas de tarefas, tipo de tarefas, o seu número.
Como elixir o tipo de tarefas: unha vez decididos os temas, decidimos que tarefas poden probar mellor isto? Opcións clásicas: tarefa aberta, tarefa de opción múltiple ou única, correspondencia, etc. (non se esqueza das limitacións técnicas do entorno de proba!). Despois de determinar e especificar o tipo de tarefas, temos unha especificación técnica preparada para o experto. Podes chamalo unha especificación de proba.
Rake 3: non implicar a un experto no desenvolvemento de probas
Ao mergullar un experto no desenvolvemento de probas, é moi importante non só indicarlle o "ámbito de traballo", senón implicalo no propio procedemento de desenvolvemento.
Como facer que o traballo cun experto sexa o máis eficaz posible:
- Configúrao con antelación e dedica un tempo a falar sobre a ciencia do desenvolvemento de probas e a psicometría.
- Centra a atención do avaliador na creación dunha ferramenta de avaliación válida e fiable, non nunha lista de preguntas.
- Explique que o seu traballo inclúe unha etapa preparatoria, non só o desenvolvemento das tarefas en si.
Algúns expertos (pola súa natureza) poden percibir isto como unha proba do seu propio traballo, e explicámoslles que aínda que creamos tarefas excelentes, simplemente non se adaptan aos obxectivos específicos da proba.
Para que o proceso vaia rápido, elaboramos co experto unha táboa de temática (coñecementos e habilidades) que forma parte da especificación da proba. É esta táboa a que nos permite elaborar con precisión as preguntas e determinar o que imos medir. En cada caso específico pódese compilar de forma lixeiramente diferente. A nosa tarefa é comprobar o ben que unha persoa comprende os coñecementos e as habilidades dos cursos básicos anteriores para comprender o que está preparado para estudar nun novo curso.
Rake 4: Pensar que o experto "sabe mellor"
Coñece mellor o tema. Pero non sempre se explica claramente. É moi importante comprobar a redacción dos traballos. Escribe instrucións claras, por exemplo, "Escolle 1 opción correcta". No 90% dos casos, os expertos preparan as preguntas dun xeito que eles mesmos entenden. E iso está ben. Pero antes de entregar a proba a quen a vai realizar, hai que revisar e peitear todo para que as persoas que realicen a proba comprendan exactamente o que se lles esixe e non se equivoquen só porque poidan malinterpretar o texto da tarefa.
Para evitar a dobre interpretación das tarefas, realizamos "laboratorios cognitivos". Pedimos á xente do público obxectivo que faga a proba, dicindo en voz alta o que pensa e gravándoa en detalle. Nos "laboratorios cognitivos" podes "captar" preguntas pouco claras, malas redaccións e obter os primeiros comentarios sobre a proba.
Rake 5: Ignora o tempo de execución da proba
Modo sarcasmo: activado
Por suposto, a nosa proba é a mellor, todo o mundo soña con pasala! Si, as 4 horas.
modo sarcasmo: desactivado
Cando hai unha lista de todo o que se pode comprobar, o principal é non facelo (a primeira vista parece raro, non?). Debe cortar sen piedade, identificando coñecementos e habilidades clave cun experto (si, tamén se poden probar varias habilidades na proba). Observamos o tipo de tarefas e estimamos o tempo de finalización obxectivo: se todo segue sendo máis que límites razoables, recortámolo!
Para reducir o volume, tamén podes probar (con coidado) probar dúas habilidades nunha mesma tarefa. Neste caso, é difícil entender por que a persoa cometeu un erro, pero se se fai correctamente, pódense ter en conta ambas as habilidades. É importante asegurarse de que estas 2 habilidades corresponden á mesma área de coñecemento.
Rake 6: Non pensar no sistema de puntuación
Moitas veces, á hora de elaborar probas de avaliación, utilizan o sistema de puntuación clásico, por exemplo, 1 punto para tarefas fáciles e 2 puntos para tarefas difíciles. Pero non é universal. Só a suma de puntos baseada nos resultados da proba non nos dirá moito: non sabemos para que tarefas recibiron estes puntos e só podemos determinar o número de tarefas correctas. Necesitamos comprender exactamente cales son as habilidades que están demostrando os participantes. Ademais, queremos darlles comentarios sobre os temas que hai que mellorar.
Despois de todo, estamos a facer unha proba que dividirá entre as persoas que están preparadas e as que non están preparadas para completar o programa, aconsellaremos a algúns que se preparen para o curso mediante formación gratuíta. É importante para nós que este grupo inclúa só aqueles que realmente o necesitan e que están preparados para iso.
O que facemos na nosa situación: determinamos dentro do grupo de traballo de desenvolvedores de probas que grupos de persoas hai que identificar (por exemplo, preparados para aprender, parcialmente preparados) e formamos unha táboa de características destes grupos, indicando cales son as habilidades e coñecementos. será relevante para o grupo de formación listo para aprender. Deste xeito podes formular a "dificultade" das tarefas para tales probas.
Rake 7: avalía os resultados só automaticamente
Por suposto, a avaliación debe ser o máis obxectiva posible, polo que algúns dos materiais dos estudantes avalíanse automaticamente, "por claves", comparando coas respostas correctas. Aínda que non exista un sistema de proba especial, hai moitas solucións gratuítas. E se entendes os principios de escribir guións, podes facer o que queiras cos formularios de Google e os resultados en táboas. Se algunhas das tarefas son verificadas por expertos, entón debemos pensar en entregar respostas aos expertos, sen información sobre os participantes. E pensa en como integrar os resultados das probas de expertos na avaliación final.
Inicialmente queriamos facer varias tarefas abertas con código, onde os expertos avalían solucións en función de criterios preformados, e ata preparamos un sistema que exporta as respostas individuais dos participantes das probas a unha táboa especial para expertos e despois importa os resultados a unha táboa cos cálculos de avaliación. Pero despois de discutir con representantes do público obxectivo, xestor de produtos e deseñador educativo, consideramos que realizar unha entrevista técnica con comentarios de expertos instantáneos e discusión do código, así como cuestións individuais, sería moito máis eficaz e útil para os propios participantes. .
Agora o experto verifica a realización da proba, aclarando algunhas preguntas. Para iso, elaboramos unha guía de preguntas e criterios de avaliación para unha entrevista técnica. Antes da entrevista técnica, o examinador recibe un mapa das respostas do examinado para axudarlle a seleccionar as preguntas para facer.
Rake 8: Non explique os resultados das probas
Proporcionar comentarios aos participantes é unha cuestión aparte. Non só debemos informar sobre a puntuación da proba, senón tamén proporcionar unha comprensión dos resultados da proba.
Estes poden ser:
- Tarefas nas que o participante cometeu un erro e que realizou correctamente.
- Temas nos que o participante cometeu erros.
- A súa clasificación entre os que se presentan ao exame.
- Descrición do nivel do participante, de acordo, por exemplo, coa descrición do nivel de especialista (a partir da descrición das vacantes).
Durante o lanzamento piloto da nosa proba, aos que quixesen inscribirse no programa, xunto cos resultados, mostrámoslles unha lista de temas que había que mellorar. Pero isto certamente non é o ideal, melloraremos e proporcionaremos mellores comentarios.
Rake 9: non discutas a proba cos desenvolvedores
Quizais o máis agudo, que é especialmente desagradable de pisar, sexa enviar a proba, a descrición e a escala de puntuación aos desenvolvedores "tal e como están".
O que hai que discutir exactamente:
- A aparencia das preguntas, a estrutura, a posición dos gráficos, como é a elección da resposta correcta.
- Como se calcula a puntuación (se é necesario), existen condicións adicionais.
- Como se xeran os comentarios, onde obter os textos, hai bloques adicionais xerados automaticamente.
- Que información adicional necesitas recoller e en que momento (mesmos contactos).
Para evitar malentendidos, pedímoslles aos nosos desenvolvedores que codifiquen 2 ou 3 preguntas diferentes para que vexan o seu aspecto antes de codificar a propia proba.
Rake 10: sen probar, carga directamente a produción
3 veces, rapaces, a proba debería ser revisada 3 veces por persoas diferentes, ou mellor aínda, 3 veces cada unha.Esta verdade foi obtida con sangue, suor e píxeles de liñas de código.
A nosa proba verifica o seguinte trío:
- Produto: comproba o rendemento, o aspecto e a mecánica da proba.
- Desenvolvedor de probas: comproba o texto das tarefas, a súa orde, a forma de traballar coa proba, os tipos de tarefas, as respostas correctas, a lexibilidade e a visualización normal dos gráficos.
- O autor das tarefas (experto) verifica a fidelidade da proba desde un posto de experto.
Un exemplo da práctica: só na terceira execución, o autor das tarefas viu que 1 tarefa quedaba na versión antiga da redacción. Tamén gobernaron activamente todos os anteriores. Pero cando a proba foi codificada, parecía diferente do que se imaxinaba orixinalmente. É moi probable que algo teña que ser corrixido. Isto hai que telo en conta.
Total
Evitando coidadosamente todos estes "rake", creamos un especial , para comprobar os coñecementos dos solicitantes. Calquera pode probalo mentres estamos preparando o seguinte material, no que vos contaremos o que pasou dentro do bot, e en que se transformou todo despois.
Podes obter unha profesión demandada desde cero ou subir de nivel en termos de habilidades e salario facendo os cursos en liña de SkillFactory:
- (12 semanas)
- (20 semanas)
- (20 semanas)
- (12 meses)
Máis cursos
- (12 meses)
- (14 semanas)
- (5 semanas)
- (18 meses)
- (6 meses)
- (12 meses)
- (8 meses)
- (9 meses)
- (12 meses)
- (18 meses)
- (18 meses)
- (12 meses)
- (9 meses)
- (7 meses)
Fonte: www.habr.com