ProHoster > Blog > Administration > Fallen auf die Nase: 10 kritische Fehler bei der Entwicklung von Wissenstests

Fallen auf die Nase: 10 kritische Fehler bei der Entwicklung von Wissenstests

Fallen auf die Nase: 10 kritische Fehler bei der Entwicklung von Wissenstests
Vor der Einschreibung in den neuen Kurs Machine Learning Advanced testen wir die zukünftigen Studierenden, um ihr Bereitschaftsniveau zu bestimmen und zu verstehen, was genau sie zur Vorbereitung auf den Kurs benötigen. Doch es entsteht ein Dilemma: Einerseits müssen wir das Wissen in Data Science überprüfen, andererseits können wir nicht eine vollständige vierstündige Prüfung abhalten.

Um diese Herausforderung zu meistern, haben wir ein TestDev-Team direkt innerhalb der Kursentwicklung für Data Science aufgebaut (und dies scheint erst der Anfang zu sein). Hier stellen wir eine Liste von 10 „Fallen“ vor, in die man beim Erstellen von Tests zur Wissensbewertung geraten kann. Wir hoffen, dass die Welt des Online-Lernens dadurch ein wenig besser wird.

Falle 1: Die Ziele des Testens nicht klar definieren

Um die Ziele richtig zu definieren und einen Test zu erstellen, der diese berücksichtigt, müssen wir uns in der Planungsphase mehrere Fragen stellen:

  1. Was überprüfen wir eigentlich? 
  2. In welcher Umgebung findet das Testen statt und welche Mechaniken werden verwendet? Welche Einschränkungen gibt es in dieser Umgebung? Dieser Punkt wird auch technische Anforderungen an das Gerät, auf dem das Testen stattfindet, sowie an den Inhalt (wenn Tests auf Smartphones durchgeführt werden, sollten die Bilder auch auf kleinen Bildschirmen lesbar sein, sie sollten vergrößert werden können usw.) aufzeigen.
  3. Wie lange wird das Testen dauern? Es ist wichtig, darüber nachzudenken, unter welchen Bedingungen der Benutzer den Test durchläuft. Kann es Situationen geben, in denen der Prozess der Testdurchführung unterbrochen und später fortgesetzt werden muss?
  4. Wird Feedback gegeben? Wie formulieren und liefern wir es? Was ist nötig, um es zu erhalten? Gibt es eine zeitliche Lücke zwischen dem Test und dem Feedback?

In unserem Fall haben wir nach Beantwortung dieser Fragen folgende Ziele für den Test festgelegt:

  1. Der Test soll zeigen, ob die zukünftigen Studierenden bereit sind, den Kurs zu absolvieren und ob sie genügend Kenntnisse und Fähigkeiten haben.
  2. Der Test soll uns Material für das Feedback liefern, auf das Thema hinweisen, in dem die Studierenden Fehler gemacht haben, damit sie ihr Wissen verbessern können. Wie man ihn erstellt, erfahren Sie weiter unten.

Falle 2: Kein Anforderungsdokument für den Experten – Testersteller erstellen

Für die Erstellung von Testaufgaben ist es sehr wichtig, einen Experten auf dem jeweiligen Fachgebiet hinzuzuziehen, dessen Kenntnisse überprüft werden. Und für den Experten wiederum benötigt man ein gut durchdachtes Lastenheft (Beschreibung), das die Themen des Tests, die zu überprüfenden Kenntnisse/Fähigkeiten und deren Niveau umfasst.

Ein Experte wird ein solches Lastenheft nicht für sich selbst erstellen, schließlich besteht seine Aufgabe darin, die Aufgaben zu entwickeln und nicht die Struktur des Tests. Umso mehr, da bislang nur wenige Menschen Tests professionell entwickeln, selbst im Lehrprozess. Dies wird in einem speziellen Studiengang gelehrt — Psychometrie.

Wenn Sie schnell mit Psychometrie vertraut werden möchten, gibt es in Russland eine Sommerschule für alle Interessierten. Für ein tiefergehendes Studium gibt es am Institut für Bildung ein Masterprogramm und eine Promotion.

Bei der Erstellung des Lastenhefts sammeln wir eine detaillierte Beschreibung des Tests für den Experten (noch besser zusammen mit ihm): die Themen der Aufgaben, die Art der Aufgaben, deren Anzahl.

Wie wählt man die Art der Aufgaben aus: Nachdem wir uns auf die Themen geeinigt haben, überlegen wir, mit welchen Aufgaben dies am besten überprüft werden kann. Klassische Varianten sind: Aufgaben mit offenen Antworten, Aufgaben mit Mehrfach- oder Einzelwahl, Zuordnungen, usw. (vergessen Sie nicht die technischen Einschränkungen der Umgebung, in der die Tests durchgeführt werden!). Nachdem wir die Art der Aufgaben festgelegt und beschrieben haben, haben wir ein fertiges Lastenheft für den Experten. Man kann es als Test-Spezifikation bezeichnen.

Falle 3: Den Experten nicht in die Testentwicklung einbeziehen

Bei der Einbeziehung des Experten in die Testentwicklung ist es sehr wichtig, ihm nicht nur den "Umfang der Arbeiten" zu kennzeichnen, sondern ihn selbst in den Entwicklungsprozess einzubeziehen.

Wie man sicherstellt, dass die Zusammenarbeit mit dem Experten maximal effektiv ist:

  • Bereiten Sie ihn im Voraus vor und investieren Sie etwas Zeit, um über die Wissenschaft der Testentwicklung, Psychometrie zu sprechen.
  • Konzentrieren Sie die Aufmerksamkeit des Experten auf die Erstellung eines validen und zuverlässigen Bewertungsinstruments und nicht auf eine Liste von Fragen.
  • Erläutern Sie, dass in seine Arbeit eine Vorbereitungsphase gehört, nicht nur die Entwicklung der Aufgaben selbst.

Einige Experten (wegen ihrer Persönlichkeit) können dies als Überprüfung ihrer eigenen Arbeit empfinden, und wir erläutern ihnen, dass selbst bei der Erstellung hervorragender Aufgaben diese möglicherweise nicht zu den spezifischen Zielen des Tests passen.

Um den Prozess zu beschleunigen, erstellen wir mit einem Experten eine Kompetenzmatrix, die Teil der Testspezifikation ist. Diese Matrix ermöglicht es, die Fragen genau zu formulieren und zu bestimmen, was wir messen werden. In jedem speziellen Fall kann sie etwas anders gestaltet sein. Unser Ziel ist es, zu überprüfen, wie gut eine Person die Kenntnisse und Fähigkeiten vorheriger, grundlegender Kurse beherrscht, um zu verstehen, wie bereit sie für das Lernen im neuen Kurs ist.

Falle 4: Denken, dass der Experte 'besser weiß'

Kennt das Thema besser. Aber erklärt nicht immer klar. Es ist sehr wichtig, die Formulierungen der Aufgaben zu überprüfen. Klare Anweisungen zu schreiben, wie zum Beispiel: 'Wählen Sie 1 richtige Antwort'. In 90% der Fälle erstellen Experten Fragen so, wie sie für sich selbst verständlich sind. Und das ist in Ordnung. Aber bevor der Test an diejenigen übergeben wird, die ihn ablegen sollen, muss alles überprüft und überarbeitet werden, damit die Personen, die den Test ablegen, genau verstehen, was von ihnen gefordert ist, und keine Fehler machen, nur weil sie den Text der Aufgabe falsch interpretiert haben.

Um doppeldeutige Aufgaben zu vermeiden, führen wir 'kognitive Labore' durch. Wir bitten Personen aus der Zielgruppe, den Test durchzuführen und laut auszusprechen, was sie denken, während wir dies detailliert festhalten. In den 'kognitiven Laboren' können wir unklare Fragen, schlechte Formulierungen erfassen und erstes Feedback zum Test erhalten.

Falle 5: Die Zeit für die Testdurchführung nicht berücksichtigen

sarkasmus modus: ein
Natürlich ist unser Test der beste, jeder träumt davon, ihn abzulegen! Ja, alle 4 Stunden.
sarkasmus modus: aus

Wenn es eine Liste aller zu prüfenden Punkte gibt, ist es wichtig, dies nicht zu tun (auf den ersten Blick klingt das seltsam, nicht wahr?). Wir müssen ohne Gnade kürzen, indem wir mit dem Experten die Schlüsselkenntnisse und -fähigkeiten herausarbeiten (ja, einige Fähigkeiten können ebenfalls durch den Test überprüft werden). Wir schauen uns den Aufgabentyp an und schätzen die Zielzeit für die Durchführung: wenn diese immer noch über einem vernünftigen Zeitrahmen liegt - kürzen wir!

Um den Umfang zu reduzieren, kann man auch versuchen, (vorsichtig) zwei Fähigkeiten mit einer Aufgabe zu überprüfen. In diesem Fall ist es schwierig zu verstehen, warum eine Person einen Fehler gemacht hat, aber bei richtiger Ausführung können beide Fähigkeiten berücksichtigt werden. Es ist wichtig sicherzustellen, dass diese zwei Fähigkeiten zu einem Wissensbereich gehören.

Falle 6: Das Punktesystem nicht durchdenken

Bei der Erstellung von Bewertungstests wird oft das klassische Punktesystem verwendet, zum Beispiel 1 Punkt für einfache Aufgaben und 2 Punkte für schwierige. Doch dies ist nicht universell. Die reinen Punktzahlen am Ende des Tests sagen uns wenig: Wir wissen nicht, für welche Aufgaben diese Punkte vergeben wurden und können nur die Anzahl der richtigen Aufgaben bestimmen. Wir müssen genau verstehen, welche Fähigkeiten die Testteilnehmer zeigen. Außerdem möchten wir ihnen Feedback geben, welche Themen sie weiter vertiefen müssen.

Schließlich erstellen wir einen Test, der die Menschen in geeignete und nicht geeignete Teilnehmer für das Programm unterteilt, und einigen werden wir empfehlen, sich im Rahmen kostenloser Schulungen vorzubereiten. Es ist uns wichtig, dass nur diejenigen in diese Gruppe kommen, die es wirklich brauchen und bereit sind.

Was wir in unserer Situation tun: Wir bestimmen innerhalb der Arbeitsgruppe der Testentwickler, welche Gruppen von Personen gebildet werden sollen (zum Beispiel bereit für das Lernen, teilweise bereit) und erstellen eine Tabelle mit den Merkmalen dieser Gruppen, in der angegeben wird, welche Fähigkeiten und Kenntnisse für die Gruppe der Lernbereiten relevant sind. So kann die "Schwierigkeit" der Aufgaben für solche Tests gebildet werden.

Fehler 7: Ergebnisse nur automatisch bewerten

Natürlich sollte die Bewertung so objektiv wie möglich sein, daher werden Teile der Materialien der Studierenden automatisch nach "Schlüsseln" bewertet – indem sie mit den richtigen Antworten verglichen werden. Selbst ohne ein spezielles Testsystem gibt es eine Vielzahl kostenloser Lösungen. Und wenn man die Grundsätze des Schreibens von Skripten versteht, kann man mit Google-Formularen und den Ergebnissen in Tabellen alles Mögliche machen. Wenn einige Aufgaben von Experten überprüft werden, müssen wir überlegen, wie wir den Experten die Antworten ohne Informationen über die Prüflinge übermitteln. Und wir sollten darüber nachdenken, wie wir die Ergebnisse der Expertenüberprüfung in die endgültige Bewertung integrieren.

Ursprünglich wollten wir mehrere offene Aufgaben mit Code erstellen, bei denen Experten die Lösungen anhand vorab festgelegter Kriterien bewerten. Wir haben sogar ein System vorbereitet, das die einzelnen Antworten der Testteilnehmer in eine spezielle Tabelle für die Experten exportiert und anschließend die Ergebnisse in eine Bewertungstabelle importiert. Nach Gesprächen mit Vertretern der Zielgruppe, dem Produktmanager und dem Instructional Designer haben wir jedoch beschlossen, dass ein technisches Interview mit sofortigem Feedback des Experten und einer Diskussion über den Code sowie spezifische Fragen viel effektiver und nützlicher für die Teilnehmer sein wird.

Jetzt verifiziert der Experte das Bestehen des Tests und klärt einige Fragen. Dafür haben wir einen Leitfaden mit Fragen sowie Bewertungskriterien für das technische Interview vorbereitet. Vor dem technischen Interview erhält der Experte eine Übersicht der Antworten des Teilnehmers, um auszuwählen, welche Fragen er stellen sollte.

Fallen 8: Testergebnisse nicht erklären

Die Rückmeldung an die Teilnehmer ist ein eigenes Thema. Wir müssen nicht nur den Testwert mitteilen, sondern auch ein Verständnis für die Testergebnisse bieten.
Das können sein: 

  • Aufgaben, bei denen der Teilnehmer Fehler gemacht hat, und solche, die er korrekt gelöst hat.
  • Themen, in denen der Teilnehmer Fehler gemacht hat.
  • Sein Ranking unter den Prüflingen.
  • Beschreibung des Teilnehmendenniveaus, zum Beispiel basierend auf der Beschreibung der Berufsanforderungen.

Bei der pilotmäßigen Einführung unseres Tests haben wir denjenigen, die sich für das Programm bewerben wollten, zusammen mit den Ergebnissen eine Liste von Themen gezeigt, die sie vertiefen sollten. Aber das ist natürlich nicht ideal; wir werden uns weiter verbessern und das Feedback optimieren.

Fallen 9: Den Test nicht mit den Entwicklern diskutieren

Vielleicht sind die schmerzhaftesten Fallen, in die man besonders ungern tritt, den Entwicklern den Test, die Beschreibung und die Bewertungseskala im Zustand „wie ist“ zuzusenden.
Was genau besprochen werden muss:

  • Das Erscheinungsbild der Fragen, die Struktur, die Position der Grafiken, wie die Wahl der richtigen Antwort aussieht.
  • Wie die Punkte berechnet werden (falls nötig), ob es zusätzliche Bedingungen gibt.
  • Wie das Feedback erstellt wird, woher die Texte stammen, ob es zusätzlich automatisch generierte Blöcke gibt.
  • Welche zusätzlichen Informationen Sie sammeln müssen und zu welchem Zeitpunkt (wie z.B. Kontakte).

Um Missverständnisse zu vermeiden, bitten wir unsere Entwickler, 2 oder 3 verschiedene Fragen zu kodieren, damit wir sehen können, wie sie vor der Programmierung des eigentlichen Tests aussehen.

Stolperstein 10: Direkte Veröffentlichung in die Produktion ohne Testen

3 Mal, Leute, der Test muss 3 Mal von verschiedenen Personen überprüft werden, besser — jeder 3 Mal. Diese Wahrheit wurde durch Blut, Schweiß und Pixelstränge des Codes erlangt.

Unser Test überprüft folgendes Trio:

  1. Produktmanager — überprüft den Test auf Funktionsfähigkeit, Aussehen, Mechanik.
  2. Entwickler des Tests — überprüft den Text der Aufgaben, deren Reihenfolge, die Form der Arbeit mit dem Test, die Arten der Aufgaben, die richtigen Antworten, die Lesbarkeit und die ordnungsgemäße Anzeige der Grafiken.
  3. Aufgabenautor (Experte) — überprüft den Test auf Richtigkeit aus der Expertenperspektive.

Beispiel aus der Praxis: erst beim dritten Durchlauf bemerkte der Aufgabenautor, dass 1 Aufgabe in der alten Formulierung geblieben war. Alle vorherigen wurden ebenfalls aktiv bearbeitet. Aber als der Test kodiert wurde, sah er anders aus, als ursprünglich gedacht. Mit hoher Wahrscheinlichkeit muss etwas angepasst werden. Das sollte berücksichtigt werden.

Fazit

Nachdem wir all diese „Stolpersteine“ vorsichtig umgangen sind, haben wir einen speziellen Bot in Telegram, zur Überprüfung des Wissens von Bewerbern erstellt. Jeder Interessierte kann ihn testen, während wir das nächste Material vorbereiten, in dem wir erklären, was im Bot passiert ist und in was es sich später verwandelt hat.

Fallen auf die Nase: 10 kritische Fehler bei der Entwicklung von Wissenstests
Eine gefragte Profession von Grund auf neu erlernen oder die Fähigkeiten und das Gehalt aufbessern, ist durch die Online-Kurse von SkillFactory möglich:

Weitere Kurse

Quelle: habr.com

60GB SSD 8Gb DDR4