Przed zapisaniem się na nowy kurs Machine Learning Advanced testujemy przyszłych studentów, aby określić ich poziom gotowości i zrozumieć, co dokładnie musimy im zaproponować w celu przygotowania do kursu. Jednakże pojawia się dylemat: z jednej strony musimy sprawdzić wiedzę z zakresu Data Science, z drugiej — nie możemy zorganizować pełnowymiarowego 4-godzinnego egzaminu.
Aby rozwiązać ten problem, uruchomiliśmy zespół TestDev bezpośrednio w zespole opracowującym kursy z zakresu Data Science (i wydaje się, że to dopiero początek). Przedstawiamy listę 10 „pułapek”, w które można wpaść podczas opracowywania testów oceniających wiedzę. Mamy nadzieję, że świat kształcenia online po tym stanie się trochę lepszy.
Pułapka 1: Nie określić jasno celów testowania
Aby właściwie określić cele i stworzyć test, który je uwzględni, na etapie planowania musimy odpowiedzieć sobie na kilka pytań:
- Co dokładnie sprawdzamy?
- W jakim środowisku będzie odbywać się testowanie i jakie mechaniki są używane? Jakie są ograniczenia w tym środowisku? Ten punkt pozwoli również zrozumieć wymagania techniczne dotyczące urządzenia, na którym będzie przeprowadzane testowanie, a także dotyczące treści (jeśli test jest przeprowadzany na telefonach, obrazy muszą być czytelne nawet na małym ekranie, powinno być możliwe ich powiększenie itd.).
- Ile czasu będzie trwało testowanie? Należy przemyśleć, w jakich warunkach użytkownik będzie odbywał test. Czy może zaistnieć sytuacja, w której będzie musiał przerwać proces testowania, a następnie wznowić go?
- Czy będzie zapewniona informacja zwrotna? Jak ją formułujemy i dostarczamy? Co jest potrzebne do jej uzyskania? Czy istnieje odstęp czasowy między wykonaniem testu a informacją zwrotną?
W naszym przypadku, odpowiadając na te pytania, określiliśmy dla testu następujący zestaw celów:
- Test powinien pokazać, czy przyszli studenci są gotowi do uczestnictwa w kursie, czy mają wystarczającą wiedzę i umiejętności.
- Test powinien dostarczyć nam materiału do informacji zwrotnej, wskazując temat, w którym studenci popełnili błąd, aby mogli poprawić swoje umiejętności. Jak go stworzyć — opisujemy dalej.
Pułapka 2: Nie stworzyć specyfikacji dla eksperta — twórcy testu
Aby stworzyć zadania testowe, bardzo ważne jest zaangażowanie eksperta w danej dziedzinie, której wiedza jest weryfikowana. Ekspert potrzebuje z kolei dobrze sformułowanego briefu (opisu), który będzie zawierał tematy testu, wiedzę/umiejętności do sprawdzenia oraz ich poziom.
Ekspert sam nie stworzy takiego briefu, ponieważ jego zadaniem jest wymyślenie zadań, a nie struktura testu. Co więcej, niewielu jeszcze rozwija testy profesjonalnie, nawet w trakcie nauczania. Na to uczą w oddzielnym zawodzie – psychometrii.
Jeśli chcesz szybko zapoznać się z psychometrią, to w Rosji istnieje dla wszystkich zainteresowanych. Dla bardziej zaawansowanego wykształcenia w Instytucie Edukacji oferowane są i doktoranckie.
Przygotowując brief, zbieramy szczegółowy opis testu dla eksperta (a najlepiej razem z nim): tematy zadań, typ zadań, ich liczba.
Jak wybrać typ zadań: ustalając tematy, decydujemy, jakimi zadaniami można to najlepiej zweryfikować. Klasyczne opcje to: zadanie z otwartą odpowiedzią, zadanie z wieloma lub jednym wyborem, dopasowania, itp. (nie zapominajmy o technicznych ograniczeniach środowiska, w którym przeprowadzane jest testowanie!). Po ustaleniu i zapisaniu typu zadań mamy gotowy brief dla eksperta. Można go nazwać specyfikacją testu.
Pułapka 3: Nie zaangażować eksperta w rozwój testu
Podczas angażowania eksperta w rozwój testu, bardzo ważne jest, aby nie tylko określić mu "zakres prac", ale również zaangażować go w samą procedurę rozwoju.
Jak sprawić, aby współpraca z ekspertem była maksymalnie efektywna:
- Z góry nastawić go i poświęcić trochę czasu na opowiedzenie o nauce tworzenia testów, psychometrii.
- Skupić uwagę eksperta na stworzeniu ważnego i niezawodnego narzędzia oceny, a nie tylko listy pytań.
- Wyjaśnić, że jego praca obejmuje również etap przygotowawczy, a nie tylko opracowywanie samych zadań.
Niektórzy eksperci (z powodu swojego charakteru) mogą postrzegać to jako sprawdzanie własnej pracy, i dla nich wyjaśniamy, że nawet przy tworzeniu doskonałych zadań, mogą one po prostu nie pasować do konkretnych celów testowania.
Aby proces przebiegł sprawnie, przygotowujemy z ekspertem tabelę pokrycia tematów (wiedzy i umiejętności), która jest częścią specyfikacji testu. To właśnie ta tabela pozwala dokładnie opracować pytania i określić, co będziemy mierzyć. W każdym konkretnym przypadku może być ona skonstruowana nieco inaczej. Naszym zadaniem jest sprawdzenie, jak dobrze osoba orientuje się w wiedzy i umiejętnościach z wcześniejszych, podstawowych kursów, aby zrozumieć, na ile jest gotowa do nauki na nowym kursie.
Pułapka 4: Myślenie, że ekspert "wie lepiej"
Zna przedmiot lepiej. Ale nie zawsze jasno to tłumaczy. Bardzo ważne jest, aby sprawdzić sformułowania zadań. Napisać zrozumiałe instrukcje, na przykład: „Wybierz 1 poprawną opcję”. W 90% przypadków eksperci przygotowują pytania tak, jak sami je rozumieją. I to jest w porządku. Ale przed przekazaniem testu osobom, które będą go zdawać, trzeba wszystko sprawdzić i uporządkować, aby osoby zdające test dokładnie wiedziały, co od nich oczekiwano, i nie popełniły błędów tylko dlatego, że mogły błędnie zinterpretować tekst zadania.
Aby uniknąć podwójnych interpretacji zadań, przeprowadzamy "laboratoria poznawcze". Prosimy osoby z grupy docelowej o zdanie testu, na głos mówiąc, co myślą, i szczegółowo to zapisujemy. Na „laboratoriach poznawczych” można „wyłapać” niejasne pytania, słabe sformułowania i uzyskać pierwszą informację zwrotną na temat testu.
Pułapka 5: Nie uwzględnianie czasu na wykonanie testu
tryb sarkazmu: włączony
Oczywiście nasz test jest najlepszy, wszyscy marzą o jego zdaniu! Tak, wszystkie 4 godziny.
tryb sarkazmu: wyłączony
Gdy jest lista wszystkiego, co można sprawdzić, najważniejsze jest, aby tego nie robić (na pierwszy rzut oka brzmi to dziwnie, prawda?). Należy bezlitośnie cięć, wyróżniając z ekspertem kluczowe wiedze i umiejętności (tak, pewne umiejętności również można sprawdzić w teście). Patrzymy na typ zadań i szacujemy docelowy czas wykonania: jeśli nadal przekracza rozsądne granice — tnijemy!
Aby zmniejszyć objętość, można także spróbować (ostrożnie) sprawdzić dwie umiejętności jednym zadaniem. W tym przypadku trudno zrozumieć, dlaczego osoba się pomyliła, ale przy prawidłowym wykonaniu można uwzględnić obie umiejętności. Ważne jest, aby upewnić się, że te 2 umiejętności należą do jednej dziedziny wiedzy.
Pułapka 6: Nie przemyślenie systemu przyznawania punktów
Często przy tworzeniu testów oceniających stosuje się klasyczny system oceniania w punktach, na przykład 1 punkt za łatwe zadania i 2 punkty za trudne. Jednak nie jest on uniwersalny. Po prostu suma punktów na koniec testowania niewiele nam powie: nie wiemy, za jakie zadania te punkty zostały przyznane i możemy jedynie określić liczbę poprawnych zadań. Potrzebujemy dokładnego zrozumienia, jakie umiejętności demonstrują uczestnicy testu. Ponadto chcemy dać im feedback, jakie tematy należy przyswoić.
W końcu tworzymy test, który będzie dzielił ludzi na gotowych i niegotowych do odbycia programu; niektórym będziemy sugerować przygotowanie się do kursu na bezpłatnym szkoleniu. Ważne jest dla nas, aby do tej grupy trafili tylko ci, którzy naprawdę tego potrzebują i którzy są do tego gotowi.
Co robimy w naszej sytuacji: określamy w ramach zespołu roboczego, które grupy ludzi powinny zostać wyróżnione (na przykład gotowi do nauki, częściowo gotowi) i tworzymy tabelę charakterystyk takich grup, wskazując, jakie umiejętności i wiedza będą istotne dla grupy gotowych do nauki. W ten sposób można formułować „trudność” zadań dla podobnych testów.
Słaba strona 7: Ocenianie wyników tylko automatycznie
Oczywiście, ocena powinna być jak najbardziej obiektywna, dlatego część materiałów studentów ocenia się automatycznie, „według kluczy” — porównując z poprawnymi odpowiedziami. Nawet jeśli nie ma specjalnego systemu testowania, są masy darmowych rozwiązań. A jeśli ma się wiedzę na temat pisania skryptów, to z formularzami Google i wynikami w tabelach można zrobić wszystko. Jeśli część zadań oceniają eksperci, musimy przemyśleć sposób dostarczenia odpowiedzi ekspertom, bez informacji o zdających. I zastanowić się, jak zintegrować wyniki oceny ekspertów w końcowej ocenie.
Początkowo chcieliśmy stworzyć kilka otwartych zadań z kodem, w których eksperci oceniają rozwiązania według wcześniej ustalonych kryteriów. Przygotowaliśmy nawet system, który eksportuje indywidualne odpowiedzi uczestników testowania do specjalnej tabeli dla ekspertów, a potem importuje wyniki do tabeli z obliczeniami ocen. Jednak po rozmowach z przedstawicielami grupy docelowej, menedżerem produktu i projektantem e-learningu, uznaliśmy, że przeprowadzenie technicznego wywiadu z natychmiastowym feedbackiem eksperta i dyskusją na temat kodu, a także poszczególnych pytań, będzie znacznie bardziej efektywne i korzystne dla samych uczestników.
Teraz ekspert weryfikuje zaliczenie testu, wyjaśniając niektóre pytania. W tym celu przygotowaliśmy przewodnik pytań oraz kryteria oceniania dla wywiadu technicznego. Przed wywiadem technicznym ekspert otrzymuje mapę odpowiedzi uczestnika testu, aby wybrać pytania, które warto zadać.
Pułapka 8: Nie tłumaczyć wyników testowania
Przekazanie informacji zwrotnej uczestnikom to osobny temat. Musimy nie tylko poinformować o wyniku testu, ale także dać zrozumienie wyników testu.
Mogą to być:
- Zadania, w których uczestnik się pomylił, ale które wykonał poprawnie.
- Tematy, w których uczestnik popełnił błędy.
- Jego ranking wśród zdających egzamin.
- Opis poziomu uczestnika, zgodnie z opisem poziomu specjalistów (na podstawie opisu ofert pracy).
Podczas pilotażowego uruchomienia naszego testu, osobom, które chciały aplikować do programu, pokazywaliśmy listę tematów, które trzeba poprawić, razem z wynikami. Oczywiście to nie jest ideał, będziemy doskonalić się i poprawiać feedback.
Pułapka 9: Nie dyskutować o teście z programistami
Być może najbardziej dotkliwą pułapką, na którą szczególnie nieprzyjemnie się wpada, jest wysłanie programistom testu, opisu i skali oceniania w stanie 'jak jest'.
Co dokładnie wymaga omówienia:
- Wygląd pytań, struktura, układ grafik, jak wygląda wybór poprawnej odpowiedzi.
- Jak obliczany jest wynik (jeśli jest potrzebny), czy nie ma dodatkowych warunków.
- Jak formułowana jest informacja zwrotna, gdzie brać teksty, czy nie ma dodatkowych, automatycznie generowanych bloków.
- Jakie dodatkowe informacje należy zbierać i w którym momencie (na przykład te same kontakty).
Aby uniknąć nieporozumień, prosimy naszych programistów o zakodowanie 2 lub 3 różnych pytań, aby można było zobaczyć, jak wyglądają przed zaprogramowaniem właściwego testu.
Błąd 10: Nie testować i od razu wdrażać na produkcję
3 razy, panowie, testy powinny być sprawdzane 3 razy przez różnych ludzi, a najlepiej — każdy 3 razy. Ta prawda została wypracowana za cenę krwi, potu i pikseli linii kodu.
Nasz test sprawdza takie trio:
- Product — sprawdza działanie testu, wygląd, mechaniki.
- Twórca testu — sprawdza teksty zadań, ich kolejność, sposób pracy z testem, typy zadań, poprawne odpowiedzi, czytelność i poprawny wyświetlacz grafiki.
- Autor zadań (ekspert) — sprawdza test pod kątem poprawności z perspektywy eksperta.
Przykład z praktyki: dopiero przy trzecim uruchomieniu autor zadań zauważył, że 1 zadanie pozostało w starej formie sformułowania. Wszystkie wcześniejsze również były aktywnie poprawiane. Ale kiedy test został zakodowany, wyglądał on inaczej niż początkowo zakładano. Z dużym prawdopodobieństwem coś trzeba będzie poprawić. Należy to uwzględnić.
Podsumowanie
Ostrożnie omijając wszystkie te „błędy”, stworzyliśmy specjalnego , do sprawdzania wiedzy przyszłych studentów. Każdy chętny może go przetestować, podczas gdy przygotowujemy następny materiał, w którym opowiemy, co działo się wewnątrz bota i w co to wszystko potem się przekształciło.
Zdobyć pożądaną profesję od zera lub poziom wyżej pod względem umiejętności i wynagrodzenia, można uczestnicząc w kursach online SkillFactory:
- (12 tygodni)
- (20 tygodni)
- (20 tygodni)
- (12 miesięcy)
Inne kursy
- (12 miesięcy)
- (14 tygodni)
- (5 tygodni)
- (18 miesięcy)
- (6 miesięcy)
- (12 miesięcy)
- (8 miesięcy)
- (9 miesięcy)
- (12 miesięcy)
- (18 miesięcy)
- (18 miesięcy)
- (12 miesięcy)
- (9 miesięcy)
- (7 miesięcy)
Źródło: habr.com
