Prije upisa na novi Napredni kurs mašinskog učenja, testiramo buduće studente kako bismo utvrdili njihov nivo spremnosti i razumjeli šta tačno treba da ponude da bi se pripremili za kurs. Ali postavlja se dilema: s jedne strane moramo testirati znanje u Data Science-u, s druge strane, ne možemo dogovoriti kompletan ispit od 4 sata.
Da bismo riješili ovaj problem, postavili smo sjedište TestDev-a upravo u timu za razvoj kursa Data Science (i izgleda da je ovo tek početak). Predstavljamo vam listu od 10 zamki na koje se susrećete prilikom izrade testova za procjenu znanja. Nadamo se da će svijet online učenja nakon ovoga biti malo bolji.
Rake 1: Neuspjeh da se jasno definiraju ciljevi testiranja
Kako bismo ispravno definirali ciljeve i kreirali test koji će ih uzeti u obzir, u fazi planiranja moramo odgovoriti na nekoliko pitanja:
- Šta mi zapravo provjeravamo?
- U kom okruženju će se testiranje odvijati i koja se mehanika koristi? Koja su ograničenja u ovom okruženju? Ova ista tačka će vam omogućiti da razumete tehničke uslove za uređaj na kojem će se vršiti testiranje, ali i za sadržaj (ako je test preuzet sa telefona, slike bi trebalo da budu čitljive čak i na malom ekranu, trebalo bi da moguće ih povećati itd.).
- Koliko će trajati testiranje? Morate razmisliti o uslovima pod kojima će korisnik polagati test. Može li doći do situacije u kojoj on treba da prekine proces testiranja i zatim nastavi ponovo?
- Hoće li biti povratnih informacija? Kako ga formiramo i isporučujemo? Šta treba da dobijete? Postoji li vremenski odmak između izvršenja testa i povratnih informacija?
U našem slučaju, nakon odgovora na ova pitanja, definisali smo sljedeću listu ciljeva za test:
- Test treba da pokaže da li su budući studenti spremni da pohađaju kurs i da li imaju dovoljno znanja i veština.
- Test nam treba dati materijal za povratnu informaciju, ukazati na temu u kojoj su učenici pogriješili, kako bi mogli unaprijediti svoje znanje. U nastavku ćemo vam reći kako ga sastaviti.
Rake 2: Neuspeh u izradi tehničkih specifikacija za stručnog pisca testa
Za sastavljanje ispitnih zadataka veoma je važno uključiti stručnjaka iz oblasti u kojoj se provjerava znanje. A za stručnjaka vam je zauzvrat potrebna kompetentna tehnička specifikacija (opis), koja uključuje teme testa, znanja/vještine koje se provjeravaju i njihov nivo.
Stručnjak neće raditi takve tehničke specifikacije za sebe, jer je njegov posao da osmišljava zadatke, a ne strukturu testa. Štaviše, malo ljudi profesionalno razvija testove, čak iu procesu nastave. Ovo se predaje u posebnoj specijalnosti - psihometriji.
Ako želite brzo da se upoznate sa psihometrijom, onda u Rusiji postoji za sve zainteresovane. Za detaljnije proučavanje Zavod za školstvo i postdiplomske škole.
Prilikom izrade tehničkih specifikacija prikupljamo detaljan opis testa za stručnjaka (ili bolje, zajedno sa njim): teme zadataka, vrste zadataka, njihov broj.
Kako odabrati vrstu zadataka: nakon što smo se odlučili za teme, odlučujemo koji zadaci to najbolje mogu testirati? Klasične opcije: otvoreni zadatak, zadatak sa više ili jednim izborom, uparivanje, itd. (ne zaboravite na tehnička ograničenja okruženja za testiranje!). Nakon određivanja i preciziranja vrste zadataka, imamo gotovu tehničku specifikaciju za stručnjaka. Možete to nazvati testnom specifikacijom.
Rake 3: Ne uključuje stručnjaka u razvoj testova
Prilikom uranjanja stručnjaka u razvoj testova, veoma je važno ne samo ukazati mu na „obim posla“, već ga uključiti u samu proceduru razvoja.
Kako da rad sa stručnjakom učinite što efikasnijim:
- Postavite ga unaprijed i provedite neko vrijeme pričajući o nauci o razvoju testova i psihometriji.
- Usmjerite pažnju evaluatora na stvaranje valjanog i pouzdanog alata za procjenu, a ne na listu pitanja.
- Objasnite da njegov rad uključuje pripremnu fazu, a ne samo razvoj samih zadataka.
Neki stručnjaci (zbog svoje prirode) to mogu shvatiti kao test vlastitog rada, a mi im objašnjavamo da čak i ako kreiramo odlične zadatke, oni jednostavno neće odgovarati specifičnim ciljevima testiranja.
Kako bismo ubrzali proces, sa stručnjakom pripremamo tabelu pokrivenosti teme (znanja i vještina), koja je dio specifikacije testa. Upravo ova tabela nam omogućava da precizno razradimo pitanja i odredimo šta ćemo mjeriti. U svakom konkretnom slučaju može se sastaviti malo drugačije. Naš zadatak je provjeriti koliko dobro osoba razumije znanja i vještine prethodnih, osnovnih kurseva, kako bi shvatila koliko je spremna za učenje na novom kursu.
Rake 4: Mislite da stručnjak „najbolje zna“
Bolje poznaje temu. Ali to ne objašnjava uvijek jasno. Vrlo je važno provjeriti formulacije zadataka. Napišite jasna uputstva, na primjer, "Odaberite 1 ispravnu opciju." U 90% slučajeva stručnjaci pripremaju pitanja na način koji i sami razumiju. I to je u redu. Ali prije predaje testa onima koji će ga polagati, potrebno je sve provjeriti i pročešljati kako bi ispitanici tačno razumjeli šta se od njih traži i ne bi pogriješili samo zato što bi mogli pogrešno protumačiti tekst zadatka.
Kako bismo izbjegli dvostruko tumačenje zadataka, provodimo “kognitivne laboratorije”. Tražimo od ljudi iz ciljne publike da polažu test, govoreći naglas šta misle i detaljno snimajući. U “kognitivnim laboratorijama” možete “uhvatiti” nejasna pitanja, loše riječi i dobiti prvu povratnu informaciju o testu.
Rake 5: Zanemarite vrijeme izvršenja testa
način sarkazma: uključen
Naravno, naš test je najbolji, svi sanjaju da ga polože! Da, sva 4 sata.
način sarkazma: isključen
Kada postoji lista svega što se može provjeriti, glavna stvar je da to ne radite (na prvi pogled zvuči čudno, zar ne?). Morate nemilosrdno rezati, identifikujući ključna znanja i vještine sa stručnjakom (da, niz vještina se također može testirati na testu). Gledamo vrstu zadataka i procjenjujemo ciljno vrijeme završetka: ako je sve još uvijek više od razumnih granica, skraćujemo!
Da biste smanjili glasnoću, također možete pokušati (pažljivo) testirati dvije vještine u jednom zadatku. U ovom slučaju, teško je razumjeti zašto je osoba pogriješila, ali ako se uradi ispravno, obje vještine se mogu uzeti u obzir. Važno je osigurati da ove 2 vještine odgovaraju istoj oblasti znanja.
Rake 6: Ne razmišljam o sistemu bodovanja
Često pri sastavljanju testova za ocjenjivanje koriste klasični sistem bodovanja, na primjer, 1 bod za lake zadatke i 2 boda za teške. Ali to nije univerzalno. Samo zbir bodova na osnovu rezultata testa neće nam reći mnogo: ne znamo za koje zadatke su ti bodovi dobijeni i možemo samo odrediti broj tačnih zadataka. Moramo da razumemo tačno koje veštine demonstriraju ispitanici. Osim toga, želimo im dati povratnu informaciju o tome koje teme treba poboljšati.
Na kraju krajeva, radimo test koji će podijeliti ljude na one koji su spremni i one koji nisu spremni da završe program, nekima ćemo savjetovati da se pripreme za kurs kroz besplatnu obuku. Važno nam je da u ovu grupu spadaju samo oni kojima je to zaista potrebno i koji su za to spremni.
Šta radimo u našoj situaciji: u okviru radne grupe programera testova utvrđujemo koje grupe ljudi treba identifikovati (na primer, spremne za učenje, delimično spremne) i formiramo tabelu karakteristika takvih grupa, navodeći koje veštine i znanja bit će relevantno za grupu obuka spremnih za učenje. Na taj način možete formulirati "teškoću" zadataka za takve testove.
Rake 7: Procijenite rezultate samo automatski
Naravno, ocenjivanje treba da bude što objektivnije, pa se deo učeničkih materijala ocenjuje automatski, „po ključevima“ – upoređujući sa tačnim odgovorima. Čak i ako ne postoji poseban sistem testiranja, postoji mnogo besplatnih rješenja. A ako razumijete principe pisanja skripti, onda možete raditi šta god želite sa Google obrascima i rezultatima u tabelama. Ako neke od zadataka provjeravaju stručnjaci, onda treba razmišljati o dostavljanju odgovora stručnjacima, bez podataka o ispitanicima. I razmislite o tome kako integrirati rezultate stručnog testiranja u konačnu ocjenu.
Prvobitno smo hteli da napravimo nekoliko otvorenih zadataka sa kodom, gde stručnjaci procenjuju rešenja na osnovu unapred formiranih kriterijuma, a pripremili smo čak i sistem koji izvozi pojedinačne odgovore učesnika testa u posebnu tabelu za stručnjake, a zatim uvoze rezultate u tabela sa izračunima procjene. No, nakon razgovora s predstavnicima ciljne publike, menadžerom proizvoda i dizajnerom edukacije, smatrali smo da bi vođenje tehničkog intervjua s trenutnim povratnim informacijama stručnjaka i raspravom o kodu, kao i pojedinačnim pitanjima, bilo mnogo efikasnije i korisnije za same sudionike. .
Sada stručnjak potvrđuje završetak testa, pojašnjavajući neka pitanja. Da bismo to učinili, pripremili smo vodič za pitanja i kriterije ocjenjivanja za tehnički intervju. Prije tehničkog intervjua, ispitivač prima mapu odgovora ispitanika kako bi mu pomogao da izabere pitanja koja će postaviti.
Rake 8: Ne objašnjavajte rezultate testa
Pružanje povratnih informacija učesnicima je posebno pitanje. Moramo ne samo informirati o rezultatu testa, već i pružiti razumijevanje rezultata testa.
To mogu biti:
- Zadaci u kojima je učesnik pogrešio i koje je tačno uradio.
- Teme u kojima je učesnik napravio greške.
- Njegov rang među onima koji polažu ispit.
- Opis nivoa polaznika, u skladu, na primer, sa opisom nivoa specijaliste (na osnovu opisa slobodnih radnih mesta).
Tokom pilot pokretanja našeg testa, onima koji su željeli da se upišu u program, uz rezultate, pokazali smo i listu tema koje je trebalo poboljšati. Ali ovo svakako nije idealno, mi ćemo se poboljšati i dati bolje povratne informacije.
Rake 9: Ne razgovarajte o testu sa programerima
Možda je najoštriji rake, na koji je posebno neugodno gaziti, poslati test, opis i bodovnu skalu programerima „kao što je“.
O čemu tačno treba razgovarati:
- Izgled pitanja, struktura, pozicija grafike, kako izgleda izbor tačnog odgovora.
- Kako se računa rezultat (ako je potrebno), postoje li dodatni uslovi.
- Kako se generiše povratna informacija, gdje dobiti tekstove, postoje li dodatni automatski generirani blokovi.
- Koje dodatne informacije trebate prikupiti i u kom trenutku (isti kontakti).
Da bismo izbjegli nesporazume, tražimo od naših programera da kodiraju 2 ili 3 različita pitanja kako bi mogli vidjeti kako izgledaju prije kodiranja samog testa.
Rake 10: Bez testiranja, otpremite direktno u produkciju
3 puta, ljudi, test bi trebao biti provjeren 3 puta od strane različitih ljudi, ili još bolje, svaki po 3 puta. Ova istina je dobijena krvlju, znojem i pikselima koda.
Naš test provjerava sljedeći trio:
- Proizvod - provjerava test za performanse, izgled, mehaniku.
- Programer testova - proverava tekst zadataka, njihov redosled, formu rada sa testom, vrste zadataka, tačne odgovore, čitljivost i normalan pregled grafike.
- Autor zadataka (ekspert) provjerava test na vjernost sa stručne pozicije.
Primjer iz prakse: tek u trećem pokretanju autor zadataka je vidio da je 1 zadatak ostao u staroj verziji teksta. Svi prethodni su također aktivno vladali. Ali kada je test bio kodiran, izgledao je drugačije nego što je prvobitno zamišljeno. Velika je vjerovatnoća da će nešto morati da se ispravi. Ovo treba uzeti u obzir.
Rezultat
Pažljivo zaobilazeći sve ove „grablje“, napravili smo specijal , za testiranje znanja kandidata. Svako može to testirati dok mi pripremamo sljedeći materijal, u kojem ćemo vam reći šta se dešavalo unutar bota, a u šta se sve kasnije transformisalo.
Možete dobiti traženu profesiju od nule ili na viši nivo u smislu vještina i plate pohađanjem online kurseva SkillFactory:
- (12 sedmica)
- (20 sedmica)
- (20 sedmica)
- (12 mjeseci)
Više kurseva
- (12 mjeseci)
- (14 sedmica)
- (5 sedmica)
- (18 mjeseci)
- (6 mjeseci)
- (12 mjeseci)
- (8 mjeseci)
- (9 mjeseci)
- (12 mjeseci)
- (18 mjeseci)
- (18 mjeseci)
- (12 mjeseci)
- (9 mjeseci)
- (7 mjeseci)
izvor: www.habr.com