Prije upisa na novi tečaj Machine Learning Advanced, testiramo buduće studente kako bismo utvrdili njihovu razinu spremnosti i razumjeli što točno trebaju ponuditi za pripremu za tečaj. No, javlja se dilema: s jedne strane, moramo testirati znanje iz Data Science, s druge strane, ne možemo organizirati puni ispit od 4 sata.
Kako bismo riješili ovaj problem, postavili smo sjedište TestDev-a točno u tim za razvoj tečaja Data Science (i čini se da je ovo tek početak). Predstavljamo vam popis od 10 zamki na koje nailazimo pri izradi testova za procjenu znanja. Nadamo se da će svijet online učenja nakon ovoga biti malo bolji.
Rake 1: Neuspjeh u jasnom definiranju ciljeva testiranja
Kako bismo ispravno definirali ciljeve i izradili test koji će ih uzeti u obzir, u fazi planiranja moramo odgovoriti na nekoliko pitanja:
- Što zapravo provjeravamo?
- U kakvom okruženju će se odvijati testiranje i koja se mehanika koristi? Koja su ograničenja u ovom okruženju? Ta ista točka omogućit će vam razumijevanje tehničkih zahtjeva za uređaj na kojem će se testiranje provoditi, kao i za sadržaj (ako se test radi s telefona, slike bi trebale biti čitljive čak i na malom ekranu, treba biti moguće povećati ih itd.).
- Koliko će trajati testiranje? Morate razmisliti o uvjetima pod kojima će korisnik polagati test. Može li doći do situacije u kojoj treba prekinuti postupak testiranja i zatim nastaviti ponovno?
- Hoće li biti povratnih informacija? Kako ga formiramo i dostavljamo? Što trebate primiti? Postoji li vremenski odmak između izvršenja testa i povratne informacije?
U našem slučaju, nakon što smo odgovorili na ova pitanja, definirali smo sljedeću listu ciljeva za test:
- Test bi trebao pokazati jesu li budući studenti spremni za slušanje predmeta te posjeduju li dovoljno znanja i vještina.
- Test nam treba dati materijal za povratnu informaciju, ukazati na temu u kojoj su učenici pogriješili, kako bi unaprijedili svoje znanje. U nastavku ćemo vam reći kako ga sastaviti.
Rake 2: Neuspjeh u izradi tehničkih specifikacija za stručnog pisca testa
Za sastavljanje ispitnih zadataka vrlo je važno uključiti stručnjaka iz područja iz kojeg se ispituje znanje. A za stručnjaka je pak potrebna kompetentna tehnička specifikacija (opis), koja uključuje teme testa, znanja/vještine koje se provjeravaju i njihovu razinu.
Stručnjak takve tehničke specifikacije neće raditi za sebe, jer je njegov posao smišljanje zadataka, a ne strukture testa. Štoviše, malo ljudi profesionalno razvija testove, čak iu procesu nastave. To se uči u zasebnoj specijalnosti - psihometriji.
Ako se želite brzo upoznati s psihometrijom, onda u Rusiji postoji za sve zainteresirane. Za dublje proučavanje Zavod za školstvo ima i diplomski studij.
Prilikom izrade tehničkih specifikacija, stručnjaku (ili bolje, zajedno s njim) prikupljamo detaljan opis testa: teme zadataka, vrstu zadataka, njihov broj.
Kako odabrati vrstu zadataka: nakon što smo se odlučili za teme, odlučujemo koji zadaci to mogu najbolje provjeriti? Klasične opcije: otvoreni zadatak, zadatak s više ili jednim izborom, uparivanje itd. (ne zaboravite na tehnička ograničenja okoline za testiranje!). Nakon određivanja i specifikacije vrste zadataka, imamo gotovu tehničku specifikaciju za stručnjaka. Možete to nazvati specifikacijom testa.
Rake 3: Ne uključuje stručnjaka u razvoj testa
Kada stručnjaka uranjate u razvoj testa, vrlo je važno ne samo naznačiti mu “opseg posla”, već ga uključiti u sam postupak razvoja.
Kako rad sa stručnjakom učiniti što učinkovitijim:
- Postavite ga unaprijed i provedite neko vrijeme razgovarajući o znanosti o razvoju testova i psihometriji.
- Usmjerite pozornost ocjenjivača na stvaranje valjanog i pouzdanog alata za procjenu, a ne na popis pitanja.
- Objasnite da njegov rad uključuje pripremnu fazu, a ne samo izradu samih zadataka.
Neki stručnjaci (zbog svoje prirode) ovo mogu shvatiti kao provjeru vlastitog rada, a mi im objašnjavamo da čak i ako izradimo izvrsne zadatke, oni jednostavno ne moraju odgovarati specifičnim ciljevima testiranja.
Kako bi proces tekao brzo, sa stručnjakom pripremamo tablicu pokrivenosti tema (znanja i vještina) koja je dio specifikacije testa. Upravo nam ta tablica omogućuje da točno razradimo pitanja i odredimo što ćemo mjeriti. U svakom konkretnom slučaju može se sastaviti malo drugačije. Naš zadatak je provjeriti koliko dobro osoba razumije znanja i vještine prethodnih, osnovnih kolegija kako bismo shvatili koliko je spremna za učenje na novom kolegiju.
Rake 4: Misljenje da stručnjak "zna najbolje"
Bolje poznaje predmet. Ali ne objašnjava uvijek jasno. Vrlo je važno provjeriti tekst zadataka. Napišite jasne upute, na primjer, "Odaberite 1 ispravnu opciju." U 90% slučajeva stručnjaci pripremaju pitanja na način koji sami razumiju. I to je u redu. Ali prije predaje testa onima koji će ga rješavati, potrebno je sve provjeriti i pročešljati kako bi ispitanici točno shvatili što se od njih traži i ne bi pogriješili samo zato što bi krivo protumačili tekst zadatka.
Kako bismo izbjegli dvostruko tumačenje zadataka, provodimo “kognitivne laboratorije”. Tražimo od ljudi iz ciljane publike da pristupe testu, govoreći naglas što misle i to detaljno snimajući. U “kognitivnim laboratorijima” možete “uloviti” nejasna pitanja, loše formulacije i dobiti prvu povratnu informaciju o testu.
Rake 5: Zanemari vrijeme izvršenja testa
način sarkazma: uključen
Naravno, naš test je najbolji, svatko sanja da ga položi! Da, sva 4 sata.
način sarkazma: isključen
Kad postoji popis svega što se može provjeriti, glavno je ne činiti to (na prvi pogled zvuči čudno, zar ne?). Morate nemilosrdno rezati, identificirati ključna znanja i vještine sa stručnjakom (da, brojne vještine također se mogu testirati u testu). Gledamo vrstu zadataka i procjenjujemo ciljno vrijeme dovršetka: ako je sve još uvijek iznad razumnih granica, prekidamo ga!
Da biste smanjili glasnoću, također možete pokušati (pažljivo) testirati dvije vještine u jednom zadatku. U ovom slučaju, teško je razumjeti zašto je osoba pogriješila, ali ako se radi ispravno, mogu se uzeti u obzir obje vještine. Važno je osigurati da ove 2 vještine odgovaraju istom području znanja.
Rake 6: Ne razmišljam o sustavu bodovanja
Često se pri sastavljanju testova ocjenjivanja koriste klasičnim sustavom bodovanja, na primjer, 1 bod za lake zadatke i 2 boda za teške. Ali nije univerzalan. Sam zbroj bodova na temelju rezultata testa neće nam puno reći: ne znamo za koje su zadatke dobili te bodove i možemo samo utvrditi broj točnih zadataka. Moramo točno razumjeti koje vještine ispitanici pokazuju. Osim toga, želimo im dati povratne informacije o tome koje teme treba poboljšati.
Uostalom, mi radimo test koji će podijeliti ljude na one koji su spremni i one koji nisu spremni završiti program, nekima ćemo savjetovati da se pripreme za tečaj kroz besplatnu obuku. Važno nam je da u ovu skupinu ulaze samo oni kojima je to stvarno potrebno i koji su na to spremni.
Što radimo u našoj situaciji: unutar radne skupine programera testova određujemo koje skupine ljudi treba identificirati (na primjer, spremni za učenje, djelomično spremni) i oblikujemo tablicu karakteristika takvih skupina, navodeći koje vještine i znanja bit će relevantan za skupinu obuka spremnih za učenje. Na taj način možete formulirati "težinu" zadataka za takve testove.
Rake 7: Rezultate procijenite samo automatski
Naravno, ocjenjivanje treba biti što objektivnije, pa se dio gradiva za studente ocjenjuje automatski, “po ključevima” – uspoređujući s točnim odgovorima. Čak i ako ne postoji poseban sustav testiranja, postoji mnogo besplatnih rješenja. A ako razumijete principe pisanja skripti, onda možete raditi što god želite s Google obrascima i rezultatima u tablicama. Ako neke od zadataka provjeravaju stručnjaci, onda treba razmišljati o dostavi odgovora stručnjacima, bez podataka o ispitanicima. I razmislite kako rezultate vještačenja integrirati u konačnu ocjenu.
Prvotno smo željeli napraviti nekoliko zadataka otvorenog tipa s kodom, gdje eksperti ocjenjuju rješenja na temelju unaprijed formiranih kriterija, a čak smo pripremili i sustav koji pojedinačne odgovore sudionika testiranja eksportira u posebnu tablicu za eksperte, a potom rezultate uvozi u tablica s izračunima procjene. Ali nakon razgovora s predstavnicima ciljane publike, voditeljem proizvoda i obrazovnim dizajnerom, smatrali smo da bi provođenje tehničkog intervjua s trenutnim povratnim informacijama stručnjaka i raspravom o kodu, kao i pojedinačnim problemima, bilo puno učinkovitije i korisnije za same sudionike .
Sada stručnjak provjerava završetak testa, razjašnjavajući neka pitanja. Da bismo to učinili, pripremili smo vodič s pitanjima i kriterijima procjene za tehnički intervju. Prije tehničkog intervjua, ispitivač dobiva mapu odgovora ispitanika koja mu pomaže pri odabiru pitanja koja će postaviti.
Greška 8: Ne objašnjavajte rezultate testa
Pružanje povratnih informacija sudionicima zasebno je pitanje. Moramo ne samo informirati o rezultatima testa, već i omogućiti razumijevanje rezultata testa.
To može biti:
- Zadaci u kojima je sudionik pogriješio i koje je točno riješio.
- Teme u kojima je sudionik napravio pogreške.
- Njegov rang među polagačima.
- Opis razine polaznika, u skladu, na primjer, s opisom specijalističke razine (na temelju opisa slobodnih radnih mjesta).
Tijekom pilot lansiranja našeg testa, onima koji su se željeli upisati u program, uz rezultate smo pokazali i popis tema koje je trebalo poboljšati. Ali ovo sigurno nije idealno, poboljšat ćemo se i pružiti bolje povratne informacije.
Rake 9: Ne raspravljajte o testu s programerima
Možda je najoštrija grablje, na koju je posebno neugodno stati, slanje testa, opisa i bodovne ljestvice razvojnim programerima "kakvi jesu".
O čemu točno treba razgovarati:
- Izgled pitanja, struktura, položaj grafike, kako izgleda izbor točnog odgovora.
- Kako se izračunava bodovanje (ako je potrebno), postoje li dodatni uvjeti.
- Kako se generiraju povratne informacije, gdje dobiti tekstove, postoje li dodatni automatski generirani blokovi.
- Koje dodatne podatke trebate prikupiti i u kojem trenutku (isti kontakti).
Kako bismo izbjegli nesporazume, od naših programera tražimo da kodiraju 2 ili 3 različita pitanja kako bi mogli vidjeti kako izgledaju prije kodiranja samog testa.
Rake 10: Bez testiranja, učitajte izravno u proizvodnju
3 puta, momci, test treba provjeriti 3 puta od strane različitih ljudi ili još bolje 3 puta svaki. Ova istina je dobivena krvlju, znojem i pikselima linija koda.
Naš test provjerava sljedeću trojku:
- Proizvod - provjerava test performansi, izgleda, mehanike.
- Programer testa - provjerava tekst zadataka, njihov redoslijed, oblik rada s testom, tipove zadataka, točne odgovore, čitljivost i normalan pregled grafike.
- Autor zadataka (stručnjak) provjerava vjernost testa sa stručne pozicije.
Primjer iz prakse: tek pri trećem izvođenju, autor zadataka je vidio da je 1 zadatak ostao u staroj verziji teksta. Svi prethodni također su aktivno vladali. Ali kada je test kodiran, izgledao je drugačije nego što je prvobitno zamišljeno. Vrlo je vjerojatno da će se nešto morati ispraviti. Ovo treba uzeti u obzir.
Ukupan
Pažljivo zaobilazeći sve te “grablje”, stvorili smo poseban , radi provjere znanja pristupnika. Svatko ga može testirati dok pripremamo sljedeći materijal u kojem ćemo vam reći što se dogodilo unutar bota, te u što se sve kasnije pretvorio.
Možete dobiti traženo zanimanje od nule ili Level Up u smislu vještina i plaće pohađanjem online tečajeva SkillFactory:
- (12 tjedana)
- (20 tjedana)
- (20 tjedana)
- (12 mjeseci)
Više tečajeva
- (12 mjeseci)
- (14 tjedana)
- (5 tjedana)
- (18 mjeseci)
- (6 mjeseci)
- (12 mjeseci)
- (8 mjeseci)
- (9 mjeseci)
- (12 mjeseci)
- (18 mjeseci)
- (18 mjeseci)
- (12 mjeseci)
- (9 mjeseci)
- (7 mjeseci)
Izvor: www.habr.com