Pred vpisom v novi tečaj Machine Learning Advanced testiramo bodoče študente, da ugotovimo njihovo stopnjo pripravljenosti in razumemo, kaj točno morajo ponuditi za pripravo na tečaj. A pojavi se dilema: po eni strani moramo preverjati znanje pri Data Science, po drugi pa ne moremo organizirati polnopravnega 4-urnega izpita.
Da bi rešili to težavo, smo namestili sedež TestDev neposredno v skupino za razvoj tečaja Data Science (in zdi se, da je to šele začetek). Predstavljamo vam seznam 10 pasti, na katere naletimo pri izdelavi testov za ocenjevanje znanja. Upajmo, da bo svet spletnega učenja po tem nekoliko boljši.
Rake 1: Nezmožnost jasne opredelitve ciljev testiranja
Za pravilno opredelitev ciljev in izdelavo testa, ki jih bo upošteval, moramo v fazi načrtovanja odgovoriti na več vprašanj:
- Kaj pravzaprav preverjamo?
- V kakšnem okolju bo potekalo testiranje in kakšna mehanika bo uporabljena? Kakšne so omejitve v tem okolju? Ta ista točka vam bo omogočila razumevanje tehničnih zahtev za napravo, na kateri se bo testiranje izvajalo, in tudi za vsebino (če se test izvaja s telefonov, morajo biti slike berljive tudi na majhnem zaslonu, jih je mogoče povečati itd.).
- Kako dolgo bo trajalo testiranje? Razmisliti morate o pogojih, pod katerimi bo uporabnik opravil test. Ali bi lahko prišlo do situacije, ko bi moral prekiniti postopek testiranja in nato znova nadaljevati?
- Bo prišlo do povratnih informacij? Kako ga oblikujemo in dostavimo? Kaj morate prejeti? Ali obstaja časovni zamik med izvedbo testa in povratnimi informacijami?
V našem primeru smo po odgovorih na ta vprašanja določili naslednji seznam ciljev za test:
- Test naj bi pokazal, ali so bodoči študenti pripravljeni na opravljanje predmeta ter ali imajo dovolj znanja in veščin.
- Test naj nam da gradivo za povratno informacijo, navede temo, pri kateri so se učenci zmotili, da lahko izboljšajo svoje znanje. Spodaj vam bomo povedali, kako ga sestavite.
Rake 2: Nepriprava tehničnih specifikacij za strokovnega pisca testov
Za sestavo testnih nalog je zelo pomembno, da sodeluje strokovnjak s področja, s katerega se znanje preverja. Za strokovnjaka pa potrebujete ustrezno tehnično specifikacijo (opis), ki vključuje teme testa, znanja/spretnosti, ki se preverjajo, in njihovo raven.
Strokovnjak takšnih tehničnih specifikacij ne bo delal zase, saj je njegova naloga, da pripravi naloge, ne pa strukture testa. Še več, malo ljudi razvija teste profesionalno, tudi v procesu poučevanja. To se poučuje v ločeni specialnosti - psihometriji.
Če se želite hitro seznaniti s psihometrijo, potem v Rusiji obstaja za vse zainteresirane. Za bolj poglobljen študij ima Zavod za šolstvo in podiplomski študij.
Pri pripravi tehničnih specifikacij za strokovnjaka (ali bolje skupaj z njim) zberemo podroben opis testa: teme nalog, vrsto nalog, njihovo število.
Kako izbrati vrsto nalog: ko se odločimo za teme, se odločimo, katere naloge lahko to najbolje preverijo? Klasične možnosti: odprta naloga, naloga z več ali eno izbiro, ujemanje itd. (ne pozabite na tehnične omejitve okolja za testiranje!). Po določitvi in specifikaciji vrste nalog imamo pripravljeno tehnično specifikacijo za strokovnjaka. To lahko imenujete testna specifikacija.
Rake 3: Brez vključevanja strokovnjaka v razvoj testa
Ko strokovnjaka potopimo v razvoj testa, je zelo pomembno, da mu ne le nakažemo »obseg dela«, ampak ga vključimo v sam postopek razvoja.
Kako narediti delo s strokovnjakom čim bolj učinkovitim:
- Nastavite ga vnaprej in namenite nekaj časa pogovoru o znanosti o razvoju testov in psihometriji.
- Osredotočite ocenjevalčevo pozornost na ustvarjanje veljavnega in zanesljivega ocenjevalnega orodja, ne na seznam vprašanj.
- Pojasnite, da njegovo delo vključuje pripravljalno fazo, ne le razvoj samih nalog.
Nekateri strokovnjaki (zaradi svoje narave) lahko to dojemajo kot preizkus lastnega dela, mi pa jim razložimo, da tudi če izdelamo odlične naloge, preprosto morda ne bodo ustrezale specifičnim ciljem testiranja.
Da bi postopek potekal hitro, skupaj s strokovnjakom pripravimo tabelo pokritosti vsebine (znanja in veščin), ki je del testne specifikacije. Prav ta tabela nam omogoča, da natančno razdelamo vprašanja in določimo, kaj bomo merili. V vsakem posameznem primeru se lahko sestavi nekoliko drugače. Naša naloga je preveriti, kako dobro oseba razume znanje in veščine prejšnjih, osnovnih tečajev, da bi razumeli, kako pripravljena je na študij v novem tečaju.
Rake 4: Mišljenje, da strokovnjak »ve najbolje«
Predmet pozna bolje. Vendar ne pojasnjuje vedno jasno. Zelo pomembno je, da preverite besedilo nalog. Napišite jasna navodila, na primer "Izberite 1 pravilno možnost." V 90% primerov strokovnjaki pripravijo vprašanja na način, ki ga sami razumejo. In to je v redu. Preden pa test predamo tistim, ki ga bodo opravljali, je treba vse preveriti in prečesati, da bodo testiranci točno razumeli, kaj se od njih zahteva, in se ne bodo zmotili samo zato, ker bi si napačno razlagali besedilo naloge.
V izogib dvojnemu tolmačenju nalog izvajamo »kognitivne laboratorije«. Osebe iz ciljne publike prosimo, da opravijo test, pri čemer na glas povedo, kaj mislijo, in to podrobno posnamejo. V »kognitivnih laboratorijih« lahko »ujamete« nejasna vprašanja, slabo besedilo in dobite prvo povratno informacijo o testu.
Rake 5: Ignorirajte čas izvajanja testa
način sarkazma: vklopljen
Seveda je naš test najboljši, vsi sanjajo, da bi ga opravili! Da, vse 4 ure.
način sarkazma: izklopljen
Ko obstaja seznam vsega, kar je mogoče preveriti, je glavna stvar, da tega ne storite (na prvi pogled se sliši čudno, kajne?). Morate neusmiljeno rezati, identificirati ključna znanja in veščine s strokovnjakom (da, številne veščine je mogoče preizkusiti tudi v testu). Pogledamo vrsto nalog in ocenimo ciljni čas dokončanja: če je vse še vedno čez razumne meje, ga zmanjšamo!
Za zmanjšanje glasnosti lahko poskusite tudi (previdno) preizkusiti dve veščini v eni nalogi. V tem primeru je težko razumeti, zakaj je oseba naredila napako, a če je opravljeno pravilno, se lahko upoštevata obe veščini. Pomembno je zagotoviti, da ti dve veščini ustrezata istemu področju znanja.
Rake 6: Ne razmišljam o sistemu točkovanja
Pogosto pri sestavljanju ocenjevalnih testov uporabljajo klasičen sistem točkovanja, na primer 1 točka za lahke naloge in 2 točki za težke. Ni pa univerzalen. Samo seštevek točk na podlagi rezultatov testa nam ne bo povedal veliko: ne vemo, za katere naloge so bile te točke prejete in lahko le ugotovimo število pravilnih nalog. Natančno moramo razumeti, katere spretnosti izkazujejo udeleženci testov. Poleg tega jim želimo dati povratne informacije o tem, katere teme je treba izboljšati.
Konec koncev delamo test, ki bo ljudi razdelil na tiste, ki so pripravljeni in tiste, ki niso pripravljeni na dokončanje programa, nekaterim bomo svetovali, da se na tečaj pripravijo preko brezplačnega usposabljanja. Za nas je pomembno, da so v tej skupini samo tisti, ki to resnično potrebujejo in so na to pripravljeni.
Kaj naredimo v naši situaciji: znotraj delovne skupine razvijalcev testov določimo, katere skupine ljudi je treba identificirati (npr. pripravljeni na učenje, delno pripravljeni) in oblikujemo tabelo značilnosti takih skupin, v kateri navedemo, katere veščine in znanja bo relevantno za skupino pripravljenih na učenje. Tako lahko oblikujete "težavnost" nalog za takšne teste.
Rake 7: Rezultate oceni samo samodejno
Seveda mora biti ocenjevanje čim bolj objektivno, zato se nekatera učna gradiva ocenjujejo samodejno, »po ključih« - primerjava s pravilnimi odgovori. Tudi če ni posebnega sistema testiranja, obstaja veliko brezplačnih rešitev. In če razumete načela pisanja skriptov, lahko z Googlovimi obrazci in rezultati v tabelah počnete, kar želite. Če nekatere naloge preverjajo strokovnjaki, potem moramo razmišljati o dostavi odgovorov strokovnjakom, brez podatkov o testirancih. In razmislite, kako rezultate strokovnega testiranja vključiti v končno oceno.
Sprva smo želeli narediti več nalog odprtega tipa s kodo, kjer strokovnjaki ocenjujejo rešitve po vnaprej oblikovanih kriterijih, pripravili pa smo celo sistem, ki posamezne odgovore udeležencev testiranja izvozi v posebno tabelo za strokovnjake, nato pa rezultate uvozi v tabela z ocenjevalnimi izračuni. Toda po pogovoru s predstavniki ciljne publike, produktnim vodjo in izobraževalnim oblikovalcem, smo menili, da bi bilo izvajanje tehničnega intervjuja s takojšnjimi povratnimi informacijami strokovnjakov in razpravo o kodi ter posameznih vprašanjih veliko bolj učinkovito in koristno za udeležence same .
Zdaj strokovnjak preveri dokončanje testa in razjasni nekaj vprašanj. V ta namen smo pripravili vodnik z vprašanji in kriteriji ocenjevanja za tehnični razgovor. Pred tehničnim razgovorom izpraševalec prejme zemljevid odgovorov preizkušanca, ki mu pomaga pri izbiri vprašanj, ki jih želi zastaviti.
Rake 8: Ne razlagajte rezultatov testa
Zagotavljanje povratnih informacij udeležencem je ločeno vprašanje. Ne le obveščati moramo o rezultatu testa, ampak tudi zagotoviti razumevanje rezultatov testa.
Lahko je:
- Naloge, pri katerih se je udeleženec zmotil in jih pravilno opravil.
- Teme, pri katerih je udeleženec delal napake.
- Njegova uvrstitev med tistimi, ki opravljajo izpit.
- Opis ravni udeleženca, v skladu, na primer z opisom specialistične stopnje (na podlagi opisa prostih delovnih mest).
Med pilotnim zagonom našega testa smo tistim, ki so se želeli vpisati v program, skupaj z rezultati pokazali seznam tem, ki jih je bilo treba izboljšati. Toda to zagotovo ni idealno, izboljšali se bomo in zagotovili boljše povratne informacije.
Rake 9: Ne razpravljajte o testu z razvijalci
Morda najostrejša grablje, na katero je še posebej neprijetno stopiti, je pošiljanje testa, opisa in točkovalne lestvice razvijalcem »kot je«.
O čem natančno je treba razpravljati:
- Videz vprašanj, struktura, položaj grafike, kako izgleda izbira pravilnega odgovora.
- Kako se izračuna ocena (če je potrebno), ali obstajajo kakšni dodatni pogoji.
- Kako se generirajo povratne informacije, kje dobiti besedila, ali obstajajo dodatni samodejno generirani bloki.
- Katere dodatne podatke morate zbrati in kdaj (isti kontakti).
Da bi se izognili nesporazumom, prosimo naše razvijalce, da kodirajo 2 ali 3 različna vprašanja, da lahko vidijo, kako izgledajo, preden kodirajo sam test.
Rake 10: Brez testiranja, nalaganje neposredno v proizvodnjo
3x, fantje, test bi morali 3x preverjati različni ljudje ali še bolje vsak 3x. Ta resnica je bila pridobljena s krvjo, znojem in piksli vrstic kode.
Naš test preverja naslednji trio:
- Izdelek - preverja delovanje, videz, mehaniko.
- Razvijalec testov - preverja besedilo nalog, njihov vrstni red, obliko dela s testom, tipe nalog, pravilne odgovore, berljivost in normalno gledanje grafike.
- Avtor nalog (strokovnjak) preverja vernost testa s strokovne pozicije.
Primer iz prakse: šele pri tretji vožnji je avtor nalog videl, da je 1 naloga ostala v stari različici besedila. Vse prejšnje so tudi aktivno vladale. Toda ko je bil test kodiran, je bil videti drugače, kot je bilo prvotno zamišljeno. Zelo verjetno bo treba kaj popraviti. To je treba upoštevati.
Skupaj
Previdno zaobšli vse te “grablje” smo ustvarili posebno , za preverjanje znanja prijavljenih. Vsakdo ga lahko preizkusi, medtem ko pripravljamo naslednji material, v katerem vam bomo povedali, kaj se je zgodilo znotraj bota in v kaj vse se je pozneje spremenil.
Z obiskovanjem spletnih tečajev SkillFactory lahko pridobite iskan poklic iz nič ali Level Up v smislu veščin in plače:
- (12 tednov)
- (20 tednov)
- (20 tednov)
- (12 mesecev)
Več tečajev
- (12 mesecev)
- (14 tednov)
- (5 tednov)
- (18 mesecev)
- (6 mesecev)
- (12 mesecev)
- (8 mesecev)
- (9 mesecev)
- (12 mesecev)
- (18 mesecev)
- (18 mesecev)
- (12 mesecev)
- (9 mesecev)
- (7 mesecev)
Vir: www.habr.com