Vor der Anmeldung zu unserem neuen Kurs 'Machine Learning Advanced' testen wir die zukünftigen Teilnehmer, um ihr Wissensniveau zu bestimmen und zu verstehen, was wir ihnen zur Vorbereitung auf den Kurs anbieten sollten. Dabei stehen wir vor einem Dilemma: Einerseits müssen wir Kenntnisse im Bereich Data Science prüfen, andererseits können wir kein umfassendes, vierstündiges Examen durchführen.
Um dieses Problem zu lösen, haben wir ein Testentwicklungsteam direkt in der Kursentwicklung für Data Science eingerichtet (und es scheint, als wäre dies erst der Anfang). Hier präsentieren wir eine Liste von 10 'Fehlern', die bei der Erstellung von Tests zur Wissensbewertung häufig gemacht werden. Wir hoffen, dass die Welt des Online-Lernens dadurch ein Stück besser wird.
Fehler 1: Ziele des Tests nicht klar definieren
Um die Ziele sinnvoll zu definieren und einen Test zu erstellen, der diesen Rechnung trägt, müssen wir uns in der Planungsphase einige Fragen stellen:
- Was genau prüfen wir?
- In welcher Umgebung wird der Test durchgeführt und welche Mechaniken kommen zum Einsatz? Welche Einschränkungen gibt es in dieser Umgebung? Dieser Punkt hilft auch, die technischen Anforderungen an das Gerät zu verstehen, auf dem der Test stattfinden wird, sowie an die Inhalte (wenn der Test auf Smartphones durchgeführt wird, müssen die Bilder auch auf kleinen Bildschirmen lesbar sein, und es sollte die Möglichkeit bestehen, sie zu vergrößern usw.).
- Wie lange wird der Test dauern? Es muss überlegt werden, unter welchen Bedingungen der Nutzer den Test absolvieren wird. Könnte es vorkommen, dass er den Testprozess unterbrechen und später fortsetzen muss?
- Wird es eine Rückmeldung geben? Wie wird sie formuliert und zugestellt? Was wird benötigt, um diese zu erhalten? Gibt es einen zeitlichen Abstand zwischen der Testdurchführung und der Rückmeldung?
In unserem Fall haben wir durch die Beantwortung dieser Fragen eine Liste von Zielen für den Test festgelegt:
- Der Test soll zeigen, ob die zukünftigen Studierenden bereit sind, den Kurs zu absolvieren und ob sie über die notwendigen Kenntnisse und Fähigkeiten verfügen.
- Der Test sollte uns Materialien für Feedback liefern, das Thema angeben, in dem die Studierenden einen Fehler gemacht haben, damit sie ihr Wissen verbessern können. Wie man ihn erstellt, erläutern wir im Folgenden.
Fehler 2: Kein Lastenheft für den Experten - Testdesigner erstellen
Für die Erstellung von Testaufgaben ist es sehr wichtig, einen Experten in dem Bereich hinzuzuziehen, dessen Wissen geprüft wird. Und für den Experten braucht es ein ordentliches Lastenheft (Beschreibung), das die Themen des Tests, die zu prüfenden Kenntnisse/Fähigkeiten und deren Niveau umfasst.
Ein Experte wird ein solches Lastenheft nicht selbst erstellen, denn seine Aufgabe ist es, die Aufgaben zu entwerfen, nicht die Struktur des Tests. Umso mehr, als nur wenige derzeit Tests professionell entwickeln, selbst im Lehrprozess. Dies wird in einem eigenen Studiengang - Psychometrie - gelehrt.
Wenn Sie sich schnell mit Psychometrie vertraut machen möchten, gibt es in Russland für alle Interessierten. Für eine vertiefte Ausbildung gibt es an der Bildungsinstanz und eine Promotion.
Bei der Erstellung des Lastenhefts sammeln wir eine detaillierte Beschreibung des Tests für den Experten (idealerweise zusammen mit ihm): Themen der Aufgaben, Aufgabentyp, deren Anzahl.
Wie wählt man den Aufgabentyp aus: Nachdem wir uns über die Themen im Klaren sind, entscheiden wir, welche Art von Aufgaben sich am besten zur Überprüfung eignen. Klassische Optionen sind: offene Fragen, Multiple-Choice-Fragen, Zuordnungsaufgaben u. a. (vergessen Sie nicht die technischen Einschränkungen der Umgebung, in der die Tests durchgeführt werden!). Nach der Festlegung und Beschreibung des Aufgabentyps haben wir ein fertiges Lastenheft für den Experten. Man kann es als Testspezifikation bezeichnen.
Fallstrick 3: Den Experten nicht in die Testentwicklung einbeziehen.
Wenn der Experte in die Testentwicklung einbezogen wird, ist es äußerst wichtig, ihm nicht nur den „Umfang der Arbeiten“ zu skizzieren, sondern ihn aktiv in den Entwicklungsprozess einzubinden.
Wie man die Zusammenarbeit mit dem Experten so effektiv wie möglich gestaltet:
- Bereiten Sie ihn im Voraus vor und investieren Sie etwas Zeit, um über die Wissenschaft der Testentwicklung und Psychometrie zu sprechen.
- Lenken Sie die Aufmerksamkeit des Experten auf die Schaffung eines gültigen und zuverlässigen Bewertungsinstruments anstelle einer Liste von Fragen.
- Erklären Sie, dass seine Arbeit eine Vorbereitungsphase umfasst, die nicht nur die Entwicklung der Aufgaben selbst beinhaltet.
Einige Experten könnten dies als Überprüfung ihrer eigenen Arbeit betrachten. Daher erläutern wir, dass selbst hervorragende Prüfungen möglicherweise nicht zu den spezifischen Testzielen passen.
Damit der Prozess zügig verläuft, erstellen wir gemeinsam mit einem Experten eine Übersicht der Themen (Wissen und Fähigkeiten), die Teil der Testspezifikation ist. Diese Übersicht ermöglicht es, die Fragen präzise zu entwickeln und zu bestimmen, was wir messen werden. In jedem Einzelfall kann sie etwas unterschiedlich formuliert werden. Unser Ziel ist es, zu prüfen, wie gut eine Person die Wissen und Fähigkeiten der vorherigen, grundlegenden Kurse beherrscht, um festzustellen, ob sie bereit ist für die Weiterbildung in einem neuen Kurs.
Fehler 4: Zu denken, dass der Experte "besser weiß".
Kennt sich besser mit dem Thema aus. Aber erklärt nicht immer verständlich. Es ist sehr wichtig, die Formulierungen der Aufgaben zu überprüfen. Klare Anweisungen schreiben, z. B. „Wählen Sie 1 richtigen Vorschlag“. In 90 % der Fälle stellen Experten die Fragen so zusammen, wie sie es selbst verstehen. Und das ist auch in Ordnung. Aber vor der Übergabe des Tests an die Teilnehmer muss alles überprüft und überarbeitet werden, damit die Personen, die den Test machen, genau verstehen, was von ihnen verlangt wird, und nicht aufgrund missverständlicher Formulierungen Fehler machen.
Um doppelte Auslegungen der Aufgaben zu vermeiden, führen wir „kognitive Labore“ durch. Wir bitten Personen aus der Zielgruppe, den Test zu absolvieren, während sie laut aussprechen, was sie denken, und halten dies detailliert fest. In den „kognitiven Laboren“ können wir unklare Fragen und schlechte Formulierungen aufdecken sowie erstes Feedback zum Test erhalten.
Fehler 5: Die Zeit für die Testdurchführung nicht berücksichtigen
Sarkasmusmodus: ein
Natürlich ist unser Test der beste, alle träumen davon, ihn zu machen! Ja, die ganzen 4 Stunden.
Sarkasmusmodus: aus
Wenn es eine Liste gibt, was überprüft werden kann, ist das Wichtigste: nicht alles zu tun (das klingt auf den ersten Blick seltsam, nicht wahr?). Es gilt, zusammen mit einem Experten entscheidende Kenntnisse und Fähigkeiten gnadenlos herauszufiltern (ja, einige Fähigkeiten können ebenfalls im Test überprüft werden). Wir betrachten die Art der Aufgaben und schätzen die Zielzeit für die Durchführung: Wenn alles weiterhin über die vernünftigen Grenzen hinausgeht — kürzen wir!
Um den Umfang zu reduzieren, kann man auch versuchen, (vorsichtig) mit einer Aufgabe zwei Fähigkeiten zu überprüfen. In diesem Fall ist es schwierig zu verstehen, warum jemand einen Fehler gemacht hat, aber bei korrekter Ausführung können beide Fähigkeiten berücksichtigt werden. Es ist wichtig, sicherzustellen, dass diese beiden Fähigkeiten zu einem Wissensbereich passen.
Fallstrick 6: Das Punktesystem nicht durchdenken
Bei der Erstellung von Bewertungstests wird oft ein klassisches Punktesystem verwendet, zum Beispiel 1 Punkt für einfache Aufgaben und 2 Punkte für schwierige. Doch dieses System ist nicht universell. Einfach die Punktzahlen am Ende der Prüfung zu addieren, sagt uns nicht viel: Wir wissen nicht, für welche Aufgaben die Punkte vergeben wurden und können nur die Anzahl der richtigen Antworten bestimmen. Wir benötigen ein präzises Verständnis dafür, welche spezifischen Fähigkeiten die Testteilnehmer demonstrieren. Außerdem möchten wir ihnen ein Feedback geben, welche Themen sie weiter vertiefen sollten.
Wir entwickeln einen Test, der Menschen in solche unterteilen wird, die bereit sind und solche, die nicht bereit sind, das Programm zu absolvieren. Einige werden wir empfehlen, sich im Rahmen einer kostenlosen Schulung auf den Kurs vorzubereiten. Es ist wichtig für uns, dass nur die Personen in diese Gruppe gelangen, die wirklich Hilfe benötigen und bereit sind.
Was wir in unserer Situation tun: Wir bestimmen innerhalb der Arbeitsgruppe der Testerentwickler, welche Personengruppen hervorgehoben werden müssen (zum Beispiel bereit für das Training, teilweise bereit) und erstellen eine Tabelle mit den Eigenschaften dieser Gruppen, die angibt, welche Fähigkeiten und Kenntnisse für die Gruppe der bereit zu schulenden Personen relevant sein werden. So kann die "Schwierigkeitsstufe" der Aufgaben für solche Tests festgelegt werden.
Fallstrick 7: Ergebnisse nur automatisch bewerten
Natürlich sollte die Bewertung so objektiv wie möglich sein, daher wird ein Teil der Materialien der Studenten automatisch "nach Schlüsseln" bewertet – im Vergleich zu den richtigen Antworten. Auch wenn es kein spezielles Testsystem gibt, gibt es viele kostenlose Lösungen. Und wenn man die Prinzipien der Skripterstellung versteht, kann man mit Google-Formularen und den Ergebnissen in Tabellen alles Mögliche machen. Wenn ein Teil der Aufgaben von Experten überprüft wird, müssen wir die Zustellung der Antworten an die Experten sicherstellen, ohne Informationen über die Prüflinge zu liefern. Und wir sollten darüber nachdenken, wie die Ergebnisse der Expertenbewertung in die endgültige Bewertung integriert werden können.
Ursprünglich hatten wir die Idee, mehrere offene Aufgaben mit Code zu erstellen, bei denen Experten die Lösungen anhand vorab festgelegter Kriterien bewerten. Wir hatten sogar ein System vorbereitet, das die einzelnen Antworten der Testteilnehmer in eine spezielle Tabelle für die Experten exportiert und anschließend die Ergebnisse in eine Tabelle mit Auswertungsberechnung importiert. Nach Gesprächen mit Vertretern der Zielgruppe, dem Produktmanager und dem pädagogischen Designer erachteten wir jedoch, dass ein technisches Interview mit sofortigem Feedback der Experten und einer Diskussion über den Code sowie spezifische Fragen viel effektiver und nützlicher für die Teilnehmer sein würde.
Der Experte verifiziert nun den Testablauf, indem er einige Fragen klärt. Dazu haben wir einen Fragenleitfaden und Bewertungskriterien für das technische Interview vorbereitet. Vor dem technischen Interview erhält der Experte die Antwortkarte des Testteilnehmers, um Fragen auszuwählen, die es wert sind, gestellt zu werden.
Hindernis 8: Testergebnisse nicht erklären
Das Feedback an die Teilnehmer ist ein separates Thema. Wir müssen nicht nur über das Testergebnis informieren, sondern auch die Ergebnisse des Tests verständlich machen.
Diese können sein:
- Aufgaben, bei denen der Teilnehmer Fehler gemacht hat, die er aber richtig gelöst hat.
- Themen, in denen der Teilnehmer Fehler gemacht hat.
- Sein Ranking unter den Prüfungsteilnehmern.
- Beschreibung des Niveaus des Teilnehmers, beispielsweise entsprechend der Beschreibung von Fachkräften (basierend auf den Stellenangeboten).
Beim Pilotstart unseres Tests haben wir denjenigen, die sich für das Programm bewerben wollten, zusammen mit den Ergebnissen eine Liste von Themen gezeigt, an denen sie arbeiten sollten. Aber das ist natürlich nicht ideal, wir werden uns verbessern und das Feedback optimieren.
Hürde 9: Den Test nicht mit den Entwicklern diskutieren
Wahrscheinlich die unangenehmsten Hürden, auf die man treten kann – den Test, die Beschreibung und die Bewertungsmaßstäbe in ihrem aktuellen Zustand an die Entwickler zu senden.
Was genau besprochen werden muss:
- Das Erscheinungsbild der Fragen, die Struktur, die Anordnung der Grafiken, wie die Auswahl der richtigen Antwort aussieht.
- Wie die Punkte zählen (falls erforderlich), ob es zusätzliche Bedingungen gibt.
- Wie wird das Feedback generiert, woher erhält man die Texte und gibt es keine automatisch generierten Blöcke?
- Welche zusätzlichen Informationen müssen Sie sammeln und zu welchem Zeitpunkt (z. B. dieselben Kontaktdaten)?
Um Missverständnisse zu vermeiden, bitten wir unsere Entwickler, 2 oder 3 verschiedene Fragen zu codieren, damit man sehen kann, wie sie aussehen, bevor der Test programmiert wird.
Fehler 10: Nicht direkt in die Produktion hochladen, ohne zu testen.
Leute, der Test muss dreimal von verschiedenen Personen überprüft werden — besser noch, jeder sollte ihn dreimal durchsehen. Diese Wahrheit wurde mit Blut, Schweiß und Pixeln in Codezeilen erkämpft.
Unser Test prüft ein solches Trio:
- Produktverantwortlicher — überprüft die Funktionalität, das Aussehen und die Mechanik des Tests.
- Testentwickler — überprüft den Text der Aufgaben, deren Reihenfolge, die Art der Interaktion mit dem Test, die Aufgabentypen, korrekten Antworten, Lesbarkeit und die korrekte Anzeige der Grafiken.
- Aufgabenautor (Experte) — überprüft den Test aus expertenmäßiger Sicht auf Korrektheit.
Praxisbeispiel: Erst beim dritten Durchlauf der Aufgabenstellung bemerkte der Autor, dass eine Aufgabe in der alten Formulierung geblieben war. Alle vorherigen wurden ebenfalls aktiv bearbeitet. Doch als der Test programmiert wurde, sah er anders aus, als ursprünglich angenommen. Mit hoher Wahrscheinlichkeit wird etwas nachgebessert werden müssen. Das ist zu berücksichtigen.
Zusammenfassung
Um all diese "Hürden" geschickt zu umgehen, haben wir einen speziellen , zur Überprüfung des Wissens von angehenden Studenten, erstellt. Jeder Interessierte kann ihn testen, während wir das nächste Material vorbereiten, in dem wir erzählen, was im Bot vor sich ging und in was sich alles dann verwandelt hat.
Erwerben Sie einen gefragten Beruf von Grund auf oder verbessern Sie Ihre Fähigkeiten und Gehaltschancen durch die Online-Kurse von SkillFactory:
- (12 Wochen)
- (20 Wochen)
- (20 Wochen)
- (12 Monate)
Weitere Kurse
- (12 Monate)
- (14 Wochen)
- (5 Wochen)
- (18 Monate)
- (6 Monate)
- (12 Monate)
- (8 Monate)
- (9 Monate)
- (12 Monate)
- (18 Monate)
- (18 Monate)
- (12 Monate)
- (9 Monate)
- (7 Monate)
Quelle: habr.com
