Antes de inscribirse en el nuevo curso de Machine Learning Advanced, evaluamos a los futuros estudiantes para determinar su nivel de preparación y entender qué necesitan para prepararse para el curso. Pero surge un dilema: por un lado, necesitamos verificar los conocimientos en Data Science, y por otro, no podemos realizar un examen completo de 4 horas.
Para abordar esta tarea, establecimos un equipo de TestDev directamente en el equipo de desarrollo de cursos de Data Science (y parece que esto es solo el comienzo). Presentamos una lista de 10 "piedras en el camino" que se encuentran al desarrollar pruebas para evaluar conocimientos. Esperamos que el mundo del aprendizaje en línea mejore un poco después de esto.
Piedra en el camino 1: No definir claramente los objetivos de la evaluación
Para definir correctamente los objetivos y elaborar una prueba que los considere, en la fase de planificación debemos responder algunas preguntas:
- ¿Qué estamos evaluando propiamente dicho?
- ¿En qué entorno se llevará a cabo la evaluación y qué mecánicas se utilizan? ¿Cuáles son las limitaciones de este entorno? Este punto también ayudará a entender los requisitos técnicos del dispositivo en el que se realizará la evaluación, así como al contenido (si la prueba se realiza desde teléfonos, las imágenes deben ser legibles incluso en pantallas pequeñas, debe haber opción de ampliarlas, etc.).
- ¿Cuánto tiempo durará la evaluación? Es necesario pensar en las condiciones en las que el usuario realizará la prueba. ¿Puede haber una situación en la que necesite interrumpir el proceso de evaluación y luego continuar?
- ¿Habrá retroalimentación? ¿Cómo la generamos y entregamos? ¿Qué se necesita para obtenerla? ¿Hay un intervalo de tiempo entre la realización de la prueba y la retroalimentación?
En nuestro caso, al responder a estas preguntas, definimos para la prueba la siguiente lista de objetivos:
- La prueba debe mostrar si los futuros estudiantes están preparados para realizar el curso, si tienen los conocimientos y habilidades suficientes.
- La prueba debe proporcionarnos material para la retroalimentación, señalar el tema en el que los estudiantes cometieron un error, para que puedan reforzar sus conocimientos. Cómo elaborarla, lo explicamos a continuación.
Piedra en el camino 2: No elaborar un documento de requisitos para el experto - creador de la prueba
Para la elaboración de tareas de prueba, es muy importante involucrar a un experto en el área cuyos conocimientos están siendo evaluados. Y para el experto, a su vez, se necesita un pliego de condiciones bien redactado (descripción), que incluya los temas de la prueba, los conocimientos/habilidades a evaluar y su nivel.
El experto no elaborará este pliego de condiciones por sí mismo, ya que su tarea es crear las tareas, no la estructura de la prueba. Además, hasta ahora, pocas personas desarrollan pruebas de manera profesional, ni siquiera en el proceso de enseñanza. Esto se enseña en una especialidad separada: psicometría.
Si deseas conocer rápidamente la psicometría, en Rusia hay para todos los interesados. Para un estudio más profundo, en el Instituto de Educación hay y un programa de doctorado.
Al preparar el pliego de condiciones, recopilamos una descripción detallada de la prueba para el experto (mejor aún, junto a él): temas de las tareas, tipo de tareas, cantidad de ellas.
Cómo elegir el tipo de tareas: una vez definidos los temas, decidimos cuáles tareas permiten verificar mejor los conocimientos. Opciones clásicas: tarea de respuesta abierta, tarea de elección múltiple o única, correspondencias, etc. (¡sin olvidar las limitaciones técnicas del entorno en el que se realiza la evaluación!). Después de definir y especificar el tipo de tareas, tenemos listo un pliego de condiciones para el experto. Se puede llamar especificación de la prueba.
Tropezones 3: No involucrar al experto en el desarrollo de la prueba
Al involucrar al experto en el desarrollo de la prueba, es muy importante no solo delinear el "alcance del trabajo", sino también involucrarlo en el propio procedimiento de elaboración.
Cómo hacer que el trabajo con el experto sea lo más efectivo posible:
- Prepararlo de antemano y dedicar un tiempo a hablar sobre la ciencia de la elaboración de pruebas, psicometría.
- Centrar la atención del experto en la creación de una herramienta de evaluación válida y confiable, y no en una lista de preguntas.
- Explicar que su trabajo incluye una etapa preparatoria, no solo la elaboración de las propias tareas.
Algunos expertos (debido a su carácter) pueden interpretar esto como una evaluación de su propio trabajo, y a ellos les aclaramos que, incluso al crear excelentes tareas, estas simplemente pueden no adecuarse a los objetivos específicos de la evaluación.
Para que el proceso sea rápido, preparamos con un experto una tabla de cobertura de temas (conocimientos y habilidades), que es parte de la especificación de la prueba. Esta tabla permite abordar las preguntas con precisión, determinando qué vamos a medir. En cada caso específico, puede elaborarse de manera ligeramente diferente. Nuestra tarea es comprobar cuán bien una persona se orienta en los conocimientos y habilidades de los cursos anteriores, para entender su disposición para el aprendizaje en el nuevo curso.
Trampa 4: Pensar que el experto "sabe mejor"
Conoce el tema mejor. Pero no siempre explica de manera clara. Es muy importante revisar las formulaciones de las tareas. Escribir instrucciones claras, por ejemplo, "Elija 1 opción correcta". En el 90% de los casos, los expertos preparan las preguntas de la forma en que les resulta clara a ellos. Y eso está bien. Pero antes de entregar la prueba a quienes la van a realizar, todo debe revisarse y ajustarse, para que quienes tomen la prueba comprendan exactamente qué se requiere de ellos y no cometan errores solo porque puedan interpretar incorrectamente el texto de la tarea.
Para evitar interpretaciones dobles de las tareas, realizamos "laboratorios cognitivos". Pedimos a personas del público objetivo que realicen la prueba, expresando en voz alta lo que piensan y documentamos esto en detalle. En los "laboratorios cognitivos" se pueden detectar preguntas confusas, malas formulaciones y obtener el primer feedback sobre la prueba.
Trampa 5: No tener en cuenta el tiempo de ejecución de la prueba
modo sarcasmo: activado
Por supuesto, ¡nuestra prueba es la mejor, todos sueñan con hacerla! Sí, son 4 horas.
modo sarcasmo: desactivado
Cuando hay una lista de todo lo que se puede verificar, lo más importante es no hacerlo (suena extraño a primera vista, ¿verdad?). Debemos cortar sin piedad, destacando junto al experto los conocimientos y habilidades clave (sí, también se pueden verificar varias habilidades en la prueba). Observamos el tipo de tareas y estimamos el tiempo objetivo de ejecución: ¡si todo aún está muy por encima de límites razonables, cortamos!
Para reducir el volumen, también se puede intentar (con cuidado) verificar dos habilidades con una sola tarea. En este caso, es difícil entender por qué una persona cometió un error, pero si se ejecuta correctamente, se pueden tener en cuenta ambas habilidades. Es importante asegurarse de que estas 2 habilidades correspondan a un mismo campo de conocimiento.
Trampa 6: No pensar en el sistema de puntuación
A menudo, al crear pruebas de evaluación, se utiliza el sistema clásico de puntuación en puntos, por ejemplo, 1 punto por tareas fáciles y 2 puntos por tareas difíciles. Pero no es universal. Simplemente sumar los puntos al final de la prueba poco nos dirá: no sabemos por qué tareas se obtuvieron esos puntos y solo podemos determinar la cantidad de tareas correctas. Necesitamos una comprensión precisa de qué habilidades específicas demuestran los participantes en la evaluación. Además, queremos darles retroalimentación sobre qué temas necesitan mejorar.
De hecho, estamos haciendo una prueba que dividirá a las personas en listas de preparadas y no preparadas para el programa, a algunos les aconsejaremos prepararse para el curso en educación gratuita. Es importante para nosotros que en este grupo solo estén aquellos que realmente lo necesitan y están listos para ello.
Qué hacemos en nuestra situación: nos definimos dentro del grupo de trabajo de desarrolladores de pruebas, qué grupos de personas necesitamos destacar (por ejemplo, aquellos listos para aprender, parcialmente listos) y formamos una tabla de características de esos grupos, especificando qué habilidades y conocimientos serán relevantes para el grupo listo para aprender. Así podemos definir la "dificultad" de las tareas para este tipo de pruebas.
Trampa 7: Evaluar los resultados solo automáticamente
Por supuesto, la evaluación debe ser lo más objetiva posible, por lo que parte de los materiales de los estudiantes se evalúa automáticamente, "según claves" — comparando con las respuestas correctas. Incluso si no hay un sistema especial de evaluación, hay un montón de soluciones gratuitas. Y si se comprende los principios de escritura de scripts, se pueden hacer muchas cosas con formularios de Google y los resultados en tablas. Si parte de las tareas son revisadas por expertos, entonces debemos considerar cómo entregar a los expertos las respuestas sin información sobre los examinados. Y pensar en cómo integrar los resultados de la revisión de expertos en la evaluación final.
Originalmente queríamos crear varias tareas abiertas con código, donde los expertos evalúan las soluciones según criterios predefinidos, e incluso preparamos un sistema que exporta las respuestas individuales de los participantes de la prueba a una tabla especial para los expertos y luego importa los resultados a una tabla para el cálculo de calificaciones. Sin embargo, tras discutirlo con representantes de la audiencia objetivo, el gerente de producto y el diseñador pedagógico, consideramos que llevar a cabo una entrevista técnica con retroalimentación instantánea del experto y discusión del código, así como algunas preguntas individuales, sería mucho más efectivo y útil para los propios participantes.
Ahora el experto verifica la realización de la prueba, aclarando algunas preguntas. Para esto, hemos preparado una guía de preguntas y criterios de evaluación para la entrevista técnica. Antes de la entrevista técnica, el experto recibe un mapa de respuestas del participante de la prueba para elegir las preguntas que vale la pena hacer.
Trampa 8: No explicar los resultados de la prueba
La presentación de retroalimentación a los participantes es un tema aparte. No solo necesitamos informar sobre el puntaje de la prueba, sino también proporcionar una comprensión de los resultados de la prueba.
Estos pueden ser:
- Las tareas en las que el participante cometió errores, pero que realizó correctamente.
- Los temas en los que el participante cometió errores.
- Su calificación entre los que presentan el examen.
- Descripción del nivel del participante, de acuerdo con, por ejemplo, la descripción del nivel de los especialistas (basado en descripciones de vacantes).
Durante el lanzamiento piloto de nuestra prueba, a aquellos que deseaban inscribirse en el programa, junto con los resultados, les mostramos una lista de temas que necesitan mejorar. Pero esto no es ideal, seguiremos mejorando y brindando mejor retroalimentación.
Trampa 9: No discutir la prueba con los desarrolladores
Quizás, las trampas más agudas, en las que resulta especialmente desagradable caer, son enviar a los desarrolladores la prueba, la descripción y la escala de conteo tal como están.
¿Qué necesita discutir exactamente?
- La apariencia de las preguntas, la estructura, la ubicación de los gráficos, cómo se ve la elección de la respuesta correcta.
- Cómo se calcula el puntaje (si es necesario), si hay condiciones adicionales.
- Cómo se forma la retroalimentación, de dónde obtener los textos, si hay bloques adicionales que se generan automáticamente.
- Qué información adicional necesita recopilar y en qué momento (los mismos contactos).
Para evitar malentendidos, pedimos a nuestros desarrolladores que programen 2 o 3 preguntas diferentes, para que podamos ver cómo lucen antes de programar la prueba en sí.
Trampa 10: No lanzar directamente a producción sin probar.
Tres veces, chicos, la prueba debe ser revisada por 3 personas diferentes, o mejor aún, cada uno por 3. Esta verdad se ha ganado con sangre, sudor y líneas de código.
Nuestra prueba verifica este trío:
- El Product Owner verifica la funcionalidad, apariencia y mecánicas de la prueba.
- El desarrollador de la prueba verifica el texto de las tareas, su orden, la forma de trabajar con la prueba, los tipos de tareas, las respuestas correctas, la legibilidad y la correcta visualización de los gráficos.
- El autor de las tareas (experto) verifica la prueba por su corrección desde una perspectiva experta.
Ejemplo de la práctica: solo en la tercera ronda, el autor de las tareas vio que 1 tarea había quedado con la antigua formulación. Todos los anteriores también fueron revisados activamente. Pero cuando se codificó la prueba, se veía diferente a lo que inicialmente imaginaban. Con una gran probabilidad, algo tendrá que ser corregido. Esto debe tenerse en cuenta.
Summary
Evitando cuidadosamente todas estas "trampas", hemos creado un , para verificar los conocimientos de los aspirantes. Cualquiera puede probarlo mientras preparamos el siguiente material, donde contaremos lo que sucedió dentro del bot y cómo todo se transformó después.
Obtener una profesión demandada desde cero o mejorar las habilidades y el salario, se puede lograr al completar los cursos en línea de SkillFactory:
- (12 semanas)
- (20 semanas)
- (20 semanas)
- (12 meses)
Más cursos
- (12 meses)
- (14 semanas)
- (5 semanas)
- (18 meses)
- (6 meses)
- (12 meses)
- (8 meses)
- (9 meses)
- (12 meses)
- (18 meses)
- (18 meses)
- (12 meses)
- (9 meses)
- (7 meses)
Fuente: habr.com
