Bevor wir uns für den neuen Kurs „Machine Learning Advanced“ anmelden, testen wir potenzielle Studenten, um ihren Bereitschaftsgrad zu ermitteln und zu verstehen, was sie genau zur Vorbereitung auf den Kurs mitbringen müssen. Es entsteht jedoch ein Dilemma: Einerseits müssen wir Kenntnisse in Data Science prüfen, andererseits können wir keine vollwertige 4-Stunden-Prüfung organisieren.
Um dieses Problem zu lösen, haben wir direkt im Data Science-Kursentwicklungsteam eine TestDev-Zentrale eingerichtet (und es sieht so aus, als wäre dies erst der Anfang). Wir präsentieren Ihnen eine Liste mit 10 Fallstricken, die bei der Entwicklung von Tests zur Wissensbewertung auftreten können. Hoffentlich wird die Welt des Online-Lernens danach etwas besser.
Risikofaktor 1: Testziele können nicht klar definiert werden
Um Ziele richtig zu definieren und einen Test zu erstellen, der diese berücksichtigt, müssen wir in der Planungsphase mehrere Fragen beantworten:
- Was überprüfen wir eigentlich?
- In welcher Umgebung findet der Test statt und welche Mechanik wird verwendet? Welche Einschränkungen gibt es in dieser Umgebung? Derselbe Punkt ermöglicht es Ihnen, die technischen Anforderungen für das Gerät, auf dem der Test durchgeführt wird, und auch für den Inhalt zu verstehen (wenn der Test von Mobiltelefonen aus durchgeführt wird, sollten die Bilder auch auf einem kleinen Bildschirm lesbar sein). möglich sein, sie zu vergrößern usw.).
- Wie lange wird die Prüfung dauern? Sie müssen über die Bedingungen nachdenken, unter denen der Benutzer den Test absolvieren wird. Könnte es eine Situation geben, in der er den Testvorgang unterbrechen und dann erneut fortsetzen muss?
- Wird es Feedback geben? Wie gestalten und liefern wir es? Was müssen Sie erhalten? Gibt es eine Zeitverzögerung zwischen der Testdurchführung und dem Feedback?
In unserem Fall haben wir nach Beantwortung dieser Fragen die folgende Liste von Zielen für den Test definiert:
- Der Test soll zeigen, ob zukünftige Studierende für das Studium bereit sind und über ausreichende Kenntnisse und Fähigkeiten verfügen.
- Der Test soll uns Material für Rückmeldungen liefern und auf das Thema hinweisen, bei dem die Studierenden einen Fehler gemacht haben, damit sie ihr Wissen verbessern können. Im Folgenden verraten wir Ihnen, wie Sie es zusammenstellen.
Risikofaktor 2: Versäumnis, technische Spezifikationen für den erfahrenen Testautor zu erstellen
Für die Erstellung von Testaufgaben ist es sehr wichtig, einen Experten auf dem Gebiet, in dem das Wissen getestet wird, einzubeziehen. Und für einen Experten wiederum benötigen Sie eine kompetente technische Spezifikation (Beschreibung), die die Themen der Prüfung, die zu prüfenden Kenntnisse/Fähigkeiten und deren Niveau umfasst.
Ein Experte wird solche technischen Spezifikationen nicht für sich selbst erstellen, da es seine Aufgabe ist, Aufgaben zu erarbeiten, nicht die Struktur des Tests. Darüber hinaus entwickeln nur wenige Menschen professionell Tests, auch nicht im Unterrichtsprozess. Dies wird in einem eigenen Fachgebiet gelehrt – der Psychometrie.
Wenn Sie sich schnell mit der Psychometrie vertraut machen möchten, dann gibt es in Russland die Möglichkeit für alle Interessierten. Für tiefergehende Studien steht das Institute of Education zur Verfügung und Graduiertenschule.
Bei der Erstellung der technischen Spezifikationen erstellen wir für den Experten (oder besser gemeinsam mit ihm) eine detaillierte Beschreibung der Prüfung: Themen der Aufgaben, Art der Aufgaben, deren Anzahl.
So wählen Sie die Art der Aufgaben aus: Nachdem wir uns für die Themen entschieden haben, entscheiden wir, welche Aufgaben dies am besten testen können. Klassische Optionen: offene Aufgabe, Multiple- oder Single-Choice-Aufgabe, Matching usw. (Vergessen Sie nicht die technischen Einschränkungen der Testumgebung!). Nach der Festlegung und Spezifizierung der Art der Aufgaben liegt uns ein fertiges Pflichtenheft für den Sachverständigen vor. Man kann es als Testspezifikation bezeichnen.
Risikofaktor 3: Kein Experte für die Testentwicklung einbeziehen
Bei der Einbindung eines Experten in die Testentwicklung ist es sehr wichtig, ihm nicht nur den „Arbeitsumfang“ anzugeben, sondern ihn auch in den Entwicklungsprozess selbst einzubeziehen.
So gestalten Sie die Zusammenarbeit mit einem Experten so effektiv wie möglich:
- Bereiten Sie es im Voraus vor und verbringen Sie etwas Zeit damit, über die Wissenschaft der Testentwicklung und Psychometrie zu sprechen.
- Konzentrieren Sie die Aufmerksamkeit des Bewerters auf die Erstellung eines gültigen und zuverlässigen Bewertungsinstruments und nicht auf eine Liste von Fragen.
- Erklären Sie, dass seine Arbeit eine Vorbereitungsphase umfasst und nicht nur die Entwicklung der Aufgaben selbst.
Einige Experten empfinden dies (aufgrund ihrer Natur) möglicherweise als einen Test ihrer eigenen Arbeit, und wir erklären ihnen, dass selbst wenn wir hervorragende Aufgaben erstellen, diese möglicherweise einfach nicht zu den spezifischen Testzielen passen.
Damit der Prozess schnell vonstatten geht, erstellen wir mit dem Experten eine Tabelle zur Themenabdeckung (Wissen und Fähigkeiten), die Teil der Testspezifikation ist. Anhand dieser Tabelle können wir die Fragen genau ausarbeiten und bestimmen, was wir messen werden. Im Einzelfall kann es etwas anders zusammengestellt werden. Unsere Aufgabe besteht darin, zu prüfen, wie gut eine Person die Kenntnisse und Fähigkeiten früherer Grundkurse versteht, um zu verstehen, wie bereit sie für das Studium in einem neuen Kurs ist.
Rake 4: Denken, dass der Experte „es am besten weiß“
Kennt das Thema besser. Aber es wird nicht immer klar erklärt. Es ist sehr wichtig, den Wortlaut der Aufgaben zu überprüfen. Schreiben Sie klare Anweisungen, zum Beispiel „Wählen Sie 1 richtige Option.“ In 90 % der Fälle bereiten Experten Fragen so auf, dass sie sie selbst verstehen. Und das ist in Ordnung. Doch bevor die Prüfung an diejenigen übergeben wird, die sie ablegen, muss alles überprüft und durchgekämmt werden, damit die Personen, die die Prüfung ablegen, genau verstehen, was von ihnen verlangt wird, und keine Fehler machen, nur weil sie den Text der Aufgabe falsch interpretieren könnten.
Um Doppelinterpretationen von Aufgaben zu vermeiden, führen wir „Kognitionslabore“ durch. Wir bitten Menschen aus der Zielgruppe, den Test zu machen, indem sie laut sagen, was sie denken, und es detailliert aufzeichnen. In „Kognitionslaboren“ können Sie unklare Fragen und schlechte Formulierungen „auffangen“ und das erste Feedback zum Test erhalten.
Rake 5: Testausführungszeit ignorieren
Sarkasmusmodus: an
Natürlich ist unsere Prüfung die beste, jeder träumt davon, sie zu bestehen! Ja, alle 4 Stunden.
Sarkasmusmodus: aus
Wenn es eine Liste mit allem gibt, was überprüft werden kann, ist die Hauptsache, es nicht zu tun (auf den ersten Blick klingt es seltsam, nicht wahr?). Sie müssen rücksichtslos schneiden und mit einem Experten wichtige Kenntnisse und Fähigkeiten ermitteln (ja, im Test können auch einige Fähigkeiten getestet werden). Wir schauen uns die Art der Aufgaben an und schätzen die angestrebte Fertigstellungszeit ein: Wenn alles immer noch über den angemessenen Grenzen liegt, kürzen wir es!
Um den Umfang zu reduzieren, können Sie auch versuchen, zwei Fähigkeiten in einer Aufgabe (vorsichtig) zu testen. In diesem Fall ist es schwer zu verstehen, warum die Person einen Fehler gemacht hat, aber wenn man es richtig macht, können beide Fähigkeiten berücksichtigt werden. Es ist wichtig sicherzustellen, dass diese beiden Fähigkeiten demselben Wissensgebiet entsprechen.
Rake 6: Das Punktesystem nicht durchdacht
Bei der Zusammenstellung von Beurteilungstests greifen sie häufig auf das klassische Punktesystem zurück, zum Beispiel 1 Punkt für leichte Aufgaben und 2 Punkte für schwierige. Aber es ist nicht universell. Allein die Summe der Punkte auf Basis der Testergebnisse sagt uns nicht viel: Wir wissen nicht, für welche Aufgaben diese Punkte vergeben wurden und können nur die Anzahl der richtigen Aufgaben ermitteln. Wir müssen genau verstehen, welche Fähigkeiten die Testteilnehmer unter Beweis stellen. Darüber hinaus möchten wir ihnen Feedback geben, welche Themen verbessert werden müssen.
Schließlich führen wir einen Test durch, der die Menschen in diejenigen einteilt, die bereit sind, das Programm zu absolvieren, und diejenigen, die nicht bereit sind, das Programm zu absolvieren. Wir werden einigen raten, sich durch ein kostenloses Training auf den Kurs vorzubereiten. Für uns ist es wichtig, dass zu dieser Gruppe nur diejenigen gehören, die es wirklich brauchen und dazu bereit sind.
Was wir in unserer Situation tun: Wir legen innerhalb der Arbeitsgruppe der Testentwickler fest, welche Personengruppen identifiziert werden müssen (z. B. lernbereit, teilweise bereit) und erstellen eine Tabelle mit Merkmalen dieser Gruppen, in der angegeben ist, welche Fähigkeiten und Kenntnisse vorhanden sind wird für die Gruppe der lernbereiten Schulungen relevant sein. Auf diese Weise können Sie die „Schwierigkeit“ von Aufgaben für solche Tests formulieren.
Rechen 7: Ergebnisse nur automatisch auswerten
Natürlich sollte die Bewertung so objektiv wie möglich sein, daher werden einige der Schülermaterialien automatisch „nach Schlüsseln“ bewertet – im Vergleich mit den richtigen Antworten. Auch wenn es kein spezielles Testsystem gibt, gibt es zahlreiche kostenlose Lösungen. Und wenn Sie die Prinzipien des Schreibens von Skripten verstehen, können Sie mit Google-Formularen und -Ergebnissen in Tabellen machen, was Sie wollen. Wenn einige der Aufgaben von Experten überprüft werden, müssen wir darüber nachdenken, Antworten an die Experten zu liefern, ohne Informationen über die Testteilnehmer. Und überlegen Sie, wie Sie die Ergebnisse der Expertentests in die abschließende Bewertung integrieren können.
Wir wollten zunächst mehrere offene Aufgaben mit Code erstellen, bei denen Experten Lösungen anhand vorgefertigter Kriterien bewerten, und wir haben sogar ein System vorbereitet, das einzelne Antworten von Testteilnehmern in eine spezielle Tabelle für Experten exportiert und die Ergebnisse dann in importiert eine Tabelle mit Bewertungsberechnungen. Nach Gesprächen mit Vertretern der Zielgruppe, Produktmanagern und Bildungsdesignern kamen wir jedoch zu dem Schluss, dass die Durchführung eines technischen Interviews mit sofortigem Experten-Feedback und der Diskussion des Codes sowie einzelner Probleme für die Teilnehmer selbst viel effektiver und nützlicher wäre .
Nun überprüft der Experte den Abschluss des Tests und klärt einige Fragen. Zu diesem Zweck haben wir einen Leitfaden mit Fragen und Bewertungskriterien für ein technisches Interview erstellt. Vor dem technischen Interview erhält der Prüfer eine Karte mit den Antworten des Testteilnehmers, um ihm bei der Auswahl der zu stellenden Fragen zu helfen.
Regel 8: Testergebnisse nicht erklären
Die Bereitstellung von Feedback für die Teilnehmer ist ein separates Thema. Wir müssen nicht nur über das Testergebnis informieren, sondern auch ein Verständnis für die Testergebnisse vermitteln.
Dies können sein:
- Aufgaben, bei denen der Teilnehmer einen Fehler gemacht und die er richtig erledigt hat.
- Themen, bei denen der Teilnehmer Fehler gemacht hat.
- Sein Rang unter denjenigen, die die Prüfung ablegen.
- Beschreibung des Niveaus des Teilnehmers, beispielsweise in Übereinstimmung mit der Beschreibung des Fachniveaus (basierend auf der Beschreibung der offenen Stellen).
Während des Pilotstarts unseres Tests zeigten wir denjenigen, die sich für das Programm anmelden wollten, zusammen mit den Ergebnissen eine Liste mit Themen, die verbessert werden mussten. Aber das ist sicherlich nicht ideal, wir werden uns verbessern und besseres Feedback geben.
Grund 9: Besprechen Sie den Test nicht mit Entwicklern
Der vielleicht schärfste Rake, auf den man besonders unangenehm tritt, besteht darin, den Test, die Beschreibung und die Bewertungsskala „wie sie sind“ an die Entwickler zu senden.
Was genau besprochen werden muss:
- Das Aussehen der Fragen, der Aufbau, die Position der Grafiken, wie die Wahl der richtigen Antwort aussieht.
- Wie wird die Punktzahl berechnet (falls erforderlich), gibt es zusätzliche Bedingungen?
- Wie wird Feedback generiert, wo bekommt man Texte, gibt es zusätzliche automatisch generierte Blöcke?
- Welche zusätzlichen Informationen müssen Sie zu welchem Zeitpunkt sammeln (gleiche Kontakte)?
Um Missverständnisse zu vermeiden, bitten wir unsere Entwickler, zwei oder drei verschiedene Fragen zu programmieren, damit sie sehen können, wie diese aussehen, bevor sie den Test selbst programmieren.
Rake 10: Ohne Tests direkt in die Produktion hochladen
3 Mal, Leute, der Test sollte 3 Mal von verschiedenen Leuten überprüft werden, oder besser noch, 3 Mal von jedem. Diese Wahrheit wurde mit Blut, Schweiß und Pixeln von Codezeilen erlangt.
Unser Test überprüft das folgende Trio:
- Produkt – prüft den Test auf Leistung, Aussehen, Mechanik.
- Testentwickler – prüft den Text der Aufgaben, deren Reihenfolge, Form der Arbeit mit dem Test, Aufgabentypen, korrekte Antworten, Lesbarkeit und normale Anzeige von Grafiken.
- Der Autor der Aufgaben (Experte) prüft aus Expertenposition den Test auf Genauigkeit.
Ein Beispiel aus der Praxis: Erst beim dritten Durchlauf stellte der Autor der Aufgaben fest, dass 1 Aufgabe in der alten Version des Wortlauts verblieben war. Alle vorherigen regierten auch aktiv. Doch als der Test kodiert wurde, sah es anders aus, als ursprünglich gedacht. Es ist sehr wahrscheinlich, dass etwas korrigiert werden muss. Dies muss berücksichtigt werden.
Ergebnis
Unter sorgfältiger Umgehung all dieser „Rechen“ haben wir etwas Besonderes geschaffen , um das Wissen der Bewerber zu testen. Jeder kann es testen, während wir das nächste Material vorbereiten, in dem wir Ihnen erzählen, was im Bot passiert ist und was sich daraus später alles entwickelt hat.
Sie können einen begehrten Beruf von Grund auf erlernen oder in Bezug auf Fähigkeiten und Gehalt aufsteigen, indem Sie an den Online-Kursen von SkillFactory teilnehmen:
- (12 Wochen)
- (20 Wochen)
- (20 Wochen)
- (12 Monate)
Weitere Kurse
- (12 Monate)
- (14 Wochen)
- (5 Wochen)
- (18 Monate)
- (6 Monate)
- (12 Monate)
- (8 Monate)
- (9 Monate)
- (12 Monate)
- (18 Monate)
- (18 Monate)
- (12 Monate)
- (9 Monate)
- (7 Monate)
Source: habr.com