Przed zapisaniem się na nowy kurs Machine Learning Advanced testujemy potencjalnych studentów, aby określić ich poziom gotowości i zrozumieć, co dokładnie muszą zaoferować, aby przygotować się do kursu. Powstaje jednak dylemat: z jednej strony musimy sprawdzić wiedzę z Data Science, z drugiej nie możemy umówić się na pełnoprawny 4-godzinny egzamin.
Aby rozwiązać ten problem, wdrożyliśmy siedzibę TestDev bezpośrednio w zespole opracowującym kursy Data Science (a wygląda na to, że to dopiero początek). Przedstawiamy listę 10 pułapek, które można napotkać podczas opracowywania testów oceniających wiedzę. Mamy nadzieję, że po tym świat nauki online będzie trochę lepszy.
Rake 1: Brak jasnego zdefiniowania celów testowania
Aby poprawnie zdefiniować cele i stworzyć test, który je uwzględni, na etapie planowania musimy odpowiedzieć sobie na kilka pytań:
- Co właściwie sprawdzamy?
- W jakim środowisku będą odbywać się testy i jakie mechanizmy zostaną zastosowane? Jakie są ograniczenia w tym środowisku? Ten sam punkt pozwoli zrozumieć wymagania techniczne urządzenia, na którym będą przeprowadzane testy, a także treści (jeśli test jest wykonywany z telefonów, zdjęcia powinny być czytelne nawet na małym ekranie, powinno możliwość ich powiększenia itp.).
- Jak długo potrwa testowanie? Trzeba pomyśleć o warunkach, w jakich użytkownik przystąpi do testu. Czy może zaistnieć sytuacja, w której będzie musiał przerwać proces testowania, a następnie kontynuować go od nowa?
- Czy będzie informacja zwrotna? Jak to formujemy i dostarczamy? Co musisz otrzymać? Czy istnieje opóźnienie czasowe pomiędzy wykonaniem testu a otrzymaniem opinii?
W naszym przypadku, odpowiadając na te pytania, zdefiniowaliśmy następującą listę celów testu:
- Test powinien wykazać, czy przyszli studenci są gotowi do podjęcia zajęć oraz czy posiadają wystarczającą wiedzę i umiejętności.
- Test powinien dać nam materiał do oceny, wskazać temat, w którym uczniowie popełnili błąd, aby mogli udoskonalić swoją wiedzę. Poniżej podpowiemy Ci, jak go skomponować.
Rake 2: Brak sporządzenia specyfikacji technicznych dla eksperta piszącego testy
Do komponowania pozycji testowych bardzo ważne jest zaangażowanie eksperta w dziedzinie, z której sprawdzana jest wiedza. A dla eksperta z kolei potrzebna jest kompetentna specyfikacja techniczna (opis), która zawiera tematykę testu, sprawdzaną wiedzę/umiejętności i ich poziom.
Ekspert nie zrobi dla siebie takich specyfikacji technicznych, bo jego zadaniem jest wymyślenie zadań, a nie struktury testu. Co więcej, niewiele osób profesjonalnie opracowuje testy, nawet w procesie nauczania. Tego uczy się na odrębnej specjalności – psychometrii.
Jeśli chcesz szybko zapoznać się z psychometrią, to w Rosji jest dla wszystkich zainteresowanych. Aby uzyskać bardziej szczegółowe badania, Instytut Edukacji ma i studia podyplomowe.
Przygotowując specyfikację techniczną zbieramy dla eksperta (lub lepiej razem z nim) szczegółowy opis testu: tematyka zadań, rodzaj zadań, ich liczba.
Jak wybrać rodzaj zadań: po ustaleniu tematów decydujemy, które zadania najlepiej to sprawdzą? Klasyczne opcje: zadanie otwarte, zadanie wielokrotnego lub pojedynczego wyboru, dopasowywanie itp. (nie zapomnij o ograniczeniach technicznych środowiska testowego!). Po ustaleniu i określeniu rodzaju zadań dysponujemy gotową specyfikacją techniczną dla eksperta. Można to nazwać specyfikacją testową.
Rake 3: Brak zaangażowania eksperta w tworzenie testów
Zaangażowując eksperta w tworzenie testów, bardzo ważne jest nie tylko wskazanie mu „zakresu pracy”, ale włączenie go w samą procedurę tworzenia testów.
Jak sprawić, by praca z ekspertem była jak najbardziej efektywna:
- Skonfiguruj to z wyprzedzeniem i poświęć trochę czasu na dyskusję o nauce o opracowywaniu testów i psychometrii.
- Skoncentruj uwagę ewaluatora na stworzeniu ważnego i wiarygodnego narzędzia oceny, a nie listy pytań.
- Wyjaśnij, że jego praca obejmuje etap przygotowawczy, a nie tylko opracowanie samych zadań.
Niektórzy eksperci (ze względu na swój charakter) mogą odebrać to jako sprawdzian własnej pracy, a my im tłumaczymy, że nawet jeśli stworzymy doskonałe zadania, to mogą one po prostu nie odpowiadać konkretnym celom testowania.
Aby proces przebiegał szybko, przygotowujemy z ekspertem tabelę zakresu tematycznego (wiedzy i umiejętności), która jest częścią specyfikacji testu. To właśnie ta tabela pozwala nam dokładnie opracować pytania i określić, co będziemy mierzyć. W każdym konkretnym przypadku można go skompilować nieco inaczej. Naszym zadaniem jest sprawdzenie, jak dobrze dana osoba rozumie wiedzę i umiejętności z poprzednich, podstawowych kursów, aby zrozumieć, na ile jest gotowa do nauki na nowym kierunku.
Rake 4: Myślenie, że ekspert „wie najlepiej”
Zna temat lepiej. Ale nie zawsze jest to jasno wyjaśnione. Bardzo ważne jest sprawdzenie sformułowań w zadaniach. Napisz jasne instrukcje, na przykład „Wybierz 1 poprawną opcję”. W 90% przypadków eksperci przygotowują pytania w sposób dla nich zrozumiały. I to jest w porządku. Zanim jednak przekaże się test osobom, które go podejmą, należy wszystko sprawdzić i przeczesać, aby osoby przystępujące do testu dokładnie zrozumiały, czego się od nich wymaga i nie popełniły błędów tylko dlatego, że mogłyby źle zinterpretować tekst zadania.
Aby uniknąć podwójnej interpretacji zadań, prowadzimy „laboratoria kognitywne”. Prosimy osoby z docelowej grupy odbiorców, aby przystąpiły do testu, wypowiadając się na głos i szczegółowo nagrywając, co myślą. W „laboratoriach kognitywnych” możesz „wyłapać” niejasne pytania, złe sformułowania i uzyskać pierwszą informację zwrotną na temat testu.
Rake 5: Ignoruj czas wykonania testu
tryb sarkazmu: włączony
Oczywiście nasz test jest najlepszy, każdy marzy o tym, żeby go zdać! Tak, całe 4 godziny.
tryb sarkazmu: wyłączony
Kiedy jest lista wszystkiego, co można sprawdzić, najważniejsze jest, aby tego nie robić (na pierwszy rzut oka brzmi to dziwnie, prawda?). Trzeba bezlitośnie ciąć, utożsamiając kluczową wiedzę i umiejętności z ekspertem (tak, w teście można sprawdzić także szereg umiejętności). Przyglądamy się rodzajowi zadań i szacujemy docelowy czas realizacji: jeśli nadal wszystko przekracza rozsądne limity, skracamy go!
Aby zmniejszyć głośność, możesz także spróbować (ostrożnie) przetestować dwie umiejętności w jednym zadaniu. W takim przypadku trudno zrozumieć, dlaczego dana osoba popełniła błąd, ale jeśli zostanie wykonana poprawnie, obie umiejętności można wziąć pod uwagę. Ważne jest, aby upewnić się, że te 2 umiejętności odpowiadają temu samemu obszarowi wiedzy.
Rake 6: Nie przemyślenie systemu punktacji
Często przy zestawieniu testów oceniających stosują klasyczny system punktacji, np. 1 punkt za zadania łatwe i 2 punkty za trudne. Ale to nie jest uniwersalne. Sama suma punktów na podstawie wyników testu niewiele nam powie: nie wiemy, za jakie zadania te punkty zostały otrzymane i możemy jedynie określić liczbę poprawnych zadań. Potrzebujemy dokładnego zrozumienia, jakie umiejętności wykazują osoby przystępujące do testu. Ponadto chcemy przekazać im informację zwrotną na temat tego, które tematy wymagają poprawy.
Przecież robimy test, który podzieli ludzi na gotowych i tych, którzy nie są gotowi ukończyć programu, niektórym doradzimy, aby przygotowali się do kursu poprzez bezpłatne szkolenia. Zależy nam, aby w tym gronie znaleźli się tylko ci, którzy naprawdę tego potrzebują i są na to gotowi.
Co robimy w naszej sytuacji: ustalamy w grupie roboczej twórców testów, które grupy osób należy zidentyfikować (na przykład gotowe do nauki, częściowo gotowe) i tworzymy tabelę cech charakterystycznych takich grup, wskazując, jakie umiejętności i wiedza będzie istotne dla grupy szkoleń gotowych do nauki. W ten sposób można sformułować „trudność” zadań dla takich testów.
Rake 7: Oceniaj wyniki tylko automatycznie
Oczywiście ocena powinna być jak najbardziej obiektywna, dlatego część materiałów studenckich oceniana jest automatycznie, „kluczowo” – porównując z poprawnymi odpowiedziami. Nawet jeśli nie ma specjalnego systemu testowania, istnieje wiele bezpłatnych rozwiązań. A jeśli rozumiesz zasady pisania skryptów, możesz zrobić, co chcesz z formularzami Google i wynikami w tabelach. Jeżeli część zadań sprawdzają eksperci, to trzeba pomyśleć o przekazaniu ekspertom odpowiedzi, bez informacji o osobach zdających. Zastanów się także, jak włączyć wyniki testów eksperckich do oceny końcowej.
Początkowo chcieliśmy wykonać z kodem kilka zadań otwartych, w których eksperci oceniają rozwiązania według wcześniej ustalonych kryteriów, a nawet przygotowaliśmy system, który eksportuje indywidualne odpowiedzi uczestników testu do specjalnej tabeli dla ekspertów, a następnie importuje wyniki do tabela z obliczeniami oceny. Jednak po rozmowach z przedstawicielami grupy docelowej, menedżerem produktu i projektantem edukacji, poczuliśmy, że przeprowadzenie wywiadu technicznego z natychmiastową informacją zwrotną od ekspertów i omówieniem kodu, a także poszczególnych kwestii, będzie znacznie skuteczniejsze i przydatne dla samych uczestników .
Teraz ekspert weryfikuje zakończenie testu, wyjaśniając niektóre pytania. W tym celu przygotowaliśmy przewodnik po pytaniach i kryteriach oceny rozmowy kwalifikacyjnej. Przed rozmową techniczną egzaminator otrzymuje mapę odpowiedzi osoby zdającej, która pomaga mu wybrać pytania, które chce zadać.
Rake 8: Nie wyjaśniaj wyników testu
Osobną kwestią jest przekazywanie informacji zwrotnej uczestnikom. Musimy nie tylko poinformować o wyniku testu, ale także zapewnić zrozumienie wyników testu.
Mogą to być:
- Zadania, w których uczestnik popełnił błąd i które wykonał poprawnie.
- Tematy, w których uczestnik popełnił błędy.
- Jego miejsce wśród osób przystępujących do egzaminu.
- Opis poziomu uczestnika zgodny np. z opisem poziomu specjalistycznego (na podstawie opisu wolnych stanowisk).
Podczas pilotażowego uruchomienia naszego testu, osobom chcącym zapisać się do programu, wraz z wynikami pokazaliśmy listę tematów wymagających poprawy. Ale z pewnością nie jest to idealne rozwiązanie, ulepszymy je i zapewnimy lepsze opinie.
Rake 9: Nie omawiaj testu z programistami
Być może najostrzejszą prowizją, na którą szczególnie nieprzyjemnie jest nadepnąć, jest przesłanie programistom testu, opisu i skali punktacji „tak jak jest”.
Co dokładnie należy omówić:
- Wygląd pytań, struktura, położenie grafiki, jak wygląda wybór prawidłowej odpowiedzi.
- Jak obliczany jest wynik (jeśli jest to konieczne), czy są jakieś dodatkowe warunki.
- Jak generowany jest feedback, skąd wziąć teksty, czy są dodatkowe, automatycznie generowane bloki.
- Jakie dodatkowe informacje musisz zebrać i w jakim momencie (te same kontakty).
Aby uniknąć nieporozumień, prosimy naszych programistów o zakodowanie 2 lub 3 różnych pytań, aby mogli zobaczyć, jak wyglądają przed kodowaniem samego testu.
Rake 10: Bez testowania, prześlij bezpośrednio do produkcji
3 razy, chłopaki, test powinien być sprawdzany 3 razy przez różne osoby, albo jeszcze lepiej, 3 razy każda.Tę prawdę uzyskano za pomocą krwi, potu i pikseli linii kodu.
Nasz test sprawdza następujące trio:
- Produkt - sprawdza test pod kątem wydajności, wyglądu, mechaniki.
- Twórca testów - sprawdza treść zadań, ich kolejność, formę pracy z testem, rodzaje zadań, poprawne odpowiedzi, czytelność i prawidłowe wyświetlanie grafiki.
- Autor zadań (ekspert) sprawdza wierność testu ze stanowiska eksperta.
Przykład z praktyki: dopiero przy trzecim uruchomieniu autor zadań zauważył, że 1 zadanie pozostało w starej wersji brzmienia. Wszystkie poprzednie również aktywnie rządziły. Ale kiedy test został zakodowany, wyglądał inaczej, niż pierwotnie wyobrażano. Bardzo prawdopodobne, że trzeba będzie coś poprawić. Należy to wziąć pod uwagę.
Łączny
Ostrożnie omijając te wszystkie „grabie”, stworzyliśmy coś specjalnego w celu sprawdzenia wiedzy kandydatów. Każdy może to przetestować, a my przygotowujemy kolejny materiał, w którym opowiemy, co wydarzyło się wewnątrz bota i w co to wszystko się później przekształciło.
Możesz zdobyć poszukiwany zawód od podstaw lub podnieść poziom pod względem umiejętności i wynagrodzenia, biorąc udział w kursach online SkillFactory:
- (12 tygodni)
- (20 tygodni)
- (20 tygodni)
- (12 miesięcy)
Więcej kursów
- (12 miesięcy)
- (14 tygodni)
- (5 tygodni)
- (18 miesięcy)
- (6 miesięcy)
- (12 miesięcy)
- (8 miesięcy)
- (9 miesięcy)
- (12 miesięcy)
- (18 miesięcy)
- (18 miesięcy)
- (12 miesięcy)
- (9 miesięcy)
- (7 miesięcy)
Źródło: www.habr.com