Prieš registruodamiesi į naująjį „Machine Learning Advanced“ kursą, testuojame būsimus studentus, kad nustatytų jų pasirengimo lygį ir suprastume, ką tiksliai jie turi pasiūlyti, kad pasiruoštų kursui. Tačiau iškyla dilema: viena vertus, turime pasitikrinti žinias duomenų moksle, kita vertus, negalime surengti visaverčio 4 valandų egzamino.
Norėdami išspręsti šią problemą, mes įdiegėme TestDev būstinę tiesiai į duomenų mokslo kursų kūrimo komandą (ir panašu, kad tai tik pradžia). Pateikiame jums 10 spąstų, su kuriais susiduriama rengiant žinių įvertinimo testus, sąrašą. Tikimės, kad po to internetinio mokymosi pasaulis bus šiek tiek geresnis.
1 grėblys: nepavyksta aiškiai apibrėžti testavimo tikslų
Norėdami teisingai apibrėžti tikslus ir sukurti testą, į kurį bus atsižvelgta, planavimo etape turime atsakyti į kelis klausimus:
- Ką mes iš tikrųjų tikriname?
- Kokioje aplinkoje bus atliekami bandymai ir kokia mechanika naudojama? Kokie yra apribojimai šioje aplinkoje? Tas pats punktas leis suprasti techninius reikalavimus įrenginiui, kuriame bus atliekamas bandymas, taip pat ir turinio (jei testas paimtas iš telefonų, nuotraukos turi būti skaitomos net mažame ekrane, galima juos padidinti ir pan.).
- Kiek laiko truks bandymas? Turite pagalvoti, kokiomis sąlygomis vartotojas atliks testą. Ar gali būti situacija, kai jam reikia nutraukti testavimo procesą ir vėl tęsti?
- Ar bus atsiliepimų? Kaip ją formuojame ir pristatome? Ką reikia gauti? Ar yra laiko tarpas tarp testo vykdymo ir grįžtamojo ryšio?
Mūsų atveju, atsakę į šiuos klausimus, nustatėme tokį testo tikslų sąrašą:
- Testas turėtų parodyti, ar būsimi studentai yra pasirengę lankyti kursą ir ar jie turi pakankamai žinių ir įgūdžių.
- Testas turi suteikti mums medžiagos atsiliepimui, nurodyti temą, kurioje mokiniai padarė klaidą, kad galėtų tobulinti savo žinias. Žemiau pasakysime, kaip jį sudaryti.
2 grėblys: nesugebėjimas parengti techninių specifikacijų, skirtų testo autoriaus ekspertui
Norint sudaryti testo elementus, labai svarbu įtraukti ekspertą tos srities, kurioje tikrinamos žinios. O ekspertui savo ruožtu reikia kompetentingos techninės specifikacijos (aprašo), kurioje būtų nurodytos testo temos, tikrinamos žinios/gūdžiai ir jų lygis.
Ekspertas tokių techninių specifikacijų sau nepadarys, nes jo darbas yra sugalvoti užduotis, o ne testo struktūrą. Be to, mažai žmonių profesionaliai rengia testus, net ir mokymo procese. To dėstoma atskiroje specialybėje – psichometrijoje.
Jei norite greitai susipažinti su psichometrija, tada Rusijoje tai yra visiems besidomintiems. Norėdami atlikti išsamesnį tyrimą, Edukologijos institutas turi ir abiturientų mokyklą.
Rengiant technines specifikacijas, ekspertui (o geriau – kartu su juo) surenkame išsamų testo aprašymą: užduočių temos, užduočių tipai, jų skaičius.
Kaip pasirinkti užduočių tipą: apsisprendę temas, nusprendžiame, kurios užduotys gali tai geriausiai patikrinti? Klasikinės parinktys: atviroji užduotis, kelių arba vieno pasirinkimo užduotis, suderinimas ir kt. (nepamirškite apie techninius testavimo aplinkos apribojimus!). Nustačius ir patikslinus užduočių tipą, ekspertui turime paruoštą techninę specifikaciją. Galite tai vadinti bandymo specifikacija.
3 grėblys: eksperto neįtraukimas į bandymų kūrimą
Panardinant ekspertą į testo kūrimą, labai svarbu ne tik nurodyti jam „darbo sritį“, bet ir įtraukti jį į pačią kūrimo procedūrą.
Kaip padaryti, kad darbas su ekspertu būtų kuo veiksmingesnis:
- Nustatykite jį iš anksto ir praleiskite šiek tiek laiko kalbėdami apie testų kūrimo ir psichometrijos mokslą.
- Sutelkite vertintojo dėmesį į tinkamo ir patikimo vertinimo įrankio kūrimą, o ne į klausimų sąrašą.
- Paaiškinkite, kad jo darbas apima parengiamąjį etapą, o ne tik pačių užduočių kūrimą.
Kai kurie ekspertai (dėl savo prigimties) tai gali suvokti kaip savo darbo išbandymą, ir mes jiems paaiškiname, kad net jei sukursime puikias užduotis, jos gali tiesiog neatitikti konkrečių testavimo tikslų.
Kad procesas vyktų greitai, kartu su ekspertu parengiame temos aprėpties (žinių ir įgūdžių) lentelę, kuri yra testo specifikacijos dalis. Būtent ši lentelė leidžia mums tiksliai išsiaiškinti klausimus ir nustatyti, ką išmatuosime. Kiekvienu konkrečiu atveju jis gali būti sudarytas šiek tiek skirtingai. Mūsų užduotis – patikrinti, kaip gerai žmogus supranta ankstesnių, bazinių kursų žinias ir įgūdžius, kad suprastų, kiek jis pasirengęs studijuoti naujame kurse.
4 grėblys: manymas, kad ekspertas „žino geriausiai“
Geriau išmano temą. Tačiau tai ne visada aiškiai paaiškina. Labai svarbu patikrinti užduočių formuluotę. Parašykite aiškias instrukcijas, pvz., „Pasirinkite 1 teisingą parinktį“. 90% atvejų ekspertai klausimus rengia taip, kad jie patys supranta. Ir tai gerai. Tačiau prieš atiduodant testą tiems, kurie jį laikys, reikia viską patikrinti ir sušukuoti, kad testuojantys žmonės tiksliai suprastų, ko iš jų reikalaujama, ir nesuklystų vien dėl to, kad gali neteisingai interpretuoti užduoties tekstą.
Kad išvengtume dvigubo užduočių interpretavimo, atliekame „pažinimo laboratorijas“. Tikslinės auditorijos žmonių prašome atlikti testą, garsiai išsakyti savo nuomonę ir detaliai tai įrašyti. „Pažinimo laboratorijose“ galite „pagauti“ neaiškius klausimus, blogas formuluotes ir gauti pirmuosius atsiliepimus apie testą.
5 grėblys: nepaisykite testo vykdymo laiko
sarkazmo režimas: įjungtas
Žinoma, mūsų testas geriausias, visi svajoja jį išlaikyti! Taip, visas 4 valandas.
sarkazmo režimas: išjungtas
Kai yra sąrašas visko, ką galima patikrinti, svarbiausia to nedaryti (iš pirmo žvilgsnio tai skamba keistai, ar ne?). Turite negailestingai pjaustyti, nustatydami pagrindines žinias ir įgūdžius su ekspertu (taip, daugybę įgūdžių taip pat galima išbandyti teste). Mes žiūrime į užduočių tipą ir įvertiname tikslinį įvykdymo laiką: jei viskas vis tiek viršija protingas ribas, sumažiname!
Norėdami sumažinti garsumą, taip pat galite pabandyti (atsargiai) išbandyti du įgūdžius atliekant vieną užduotį. Tokiu atveju sunku suprasti, kodėl žmogus padarė klaidą, tačiau teisingai pasielgus galima atsižvelgti į abu įgūdžius. Svarbu įsitikinti, kad šie 2 įgūdžiai atitinka tą pačią žinių sritį.
6 grėblys: negalvoji apie taškų sistemą
Dažnai, sudarydami vertinimo testus, jie naudoja klasikinę balų sistemą, pavyzdžiui, 1 balas už lengvas užduotis ir 2 balai už sudėtingas. Tačiau tai nėra universali. Vien balų suma pagal testo rezultatus daug nepasakys: mes nežinome, už kokias užduotis šie taškai buvo gauti ir galime nustatyti tik teisingų užduočių skaičių. Turime tiksliai suprasti, kokius įgūdžių testus demonstruoja asmenys. Be to, norime jiems pateikti atsiliepimų apie tai, kurias temas reikia tobulinti.
Juk darome testą, kuris skirstys žmones į pasiruošusius ir nepasirengusius baigti programą, kai kuriems patarsime kursui ruoštis per nemokamus mokymus. Mums svarbu, kad į šią grupę būtų įtraukti tik tie, kuriems to tikrai reikia ir kurie yra tam pasiruošę.
Ką mes darome savo situacijoje: testų rengėjų darbo grupėje nustatome, kokias žmonių grupes reikia identifikuoti (pavyzdžiui, pasiruošusius mokytis, iš dalies pasiruošusius) ir sudarome tokių grupių charakteristikų lentelę, kurioje nurodome, kokius įgūdžius ir žinias. bus aktualūs pasiruošusių mokytis grupei mokymai. Taip galite suformuluoti tokių testų užduočių „sunkumą“.
7 grėblys: rezultatus įvertinkite tik automatiškai
Žinoma, vertinimas turi būti kuo objektyvesnis, todėl dalis mokinių medžiagos vertinama automatiškai, „raktais“ – lyginant su teisingais atsakymais. Net jei nėra specialios testavimo sistemos, yra daugybė nemokamų sprendimų. O jei suprantate scenarijų rašymo principus, tuomet galite daryti ką tik norite su Google formomis ir rezultatais lentelėse. Jei kai kurias užduotis patikrina ekspertai, turime galvoti apie atsakymų pateikimą ekspertams be informacijos apie testo dalyvius. Ir pagalvokite, kaip integruoti ekspertinio testavimo rezultatus į galutinį vertinimą.
Iš pradžių norėjome padaryti keletą atvirų užduočių su kodu, kur ekspertai sprendimus vertina pagal iš anksto suformuotus kriterijus, ir net paruošėme sistemą, kuri eksportuoja individualius testo dalyvių atsakymus į specialią lentelę ekspertams, o rezultatus importuoja į lentelė su vertinimo skaičiavimais. Tačiau pasitarę su tikslinės auditorijos atstovais, produkto vadovu ir edukaciniu dizaineriu, pajutome, kad atlikti techninį pokalbį su momentiniais ekspertų atsiliepimais ir kodo aptarimu bei individualiais klausimais būtų daug efektyviau ir naudingiau patiems dalyviams. .
Dabar ekspertas patikrina testo užbaigimą, paaiškindamas kai kuriuos klausimus. Norėdami tai padaryti, parengėme techninio pokalbio klausimų ir vertinimo kriterijų vadovą. Prieš techninį pokalbį egzaminuotojas gauna testo dalyvio atsakymų žemėlapį, kad padėtų jam pasirinkti klausimus, kuriuos jis turėtų užduoti.
8 grėblys: nepaaiškinkite tyrimo rezultatų
Atsiliepimų dalyviams teikimas yra atskira problema. Turime ne tik informuoti apie testo rezultatą, bet ir suteikti supratimą apie testo rezultatus.
Tai gali būti:
- Užduotys, kuriose dalyvis suklydo ir kurias atliko teisingai.
- Temos, kuriose dalyvis padarė klaidų.
- Jo reitingas tarp laikiusiųjų egzaminą.
- Dalyvio lygio aprašymas pagal, pavyzdžiui, specialisto lygio aprašymą (remiantis laisvų darbo vietų aprašymu).
Bandomojo bandymo metu norintiems dalyvauti programoje kartu su rezultatais parodėme temų, kurias reikia tobulinti, sąrašą. Bet tai tikrai nėra idealu, mes tobulėsime ir pateiksime geresnius atsiliepimus.
9 grėblys: Neaptarinėkite testo su kūrėjais
Bene aštriausias grėblys, ant kurio ypač nemalonu užlipti, yra testo, aprašymo ir balų skalės siuntimas kūrėjams „toks, koks yra“.
Ką tiksliai reikia aptarti:
- Klausimų išvaizda, struktūra, grafikos padėtis, kaip atrodo teisingo atsakymo pasirinkimas.
- Kaip skaičiuojamas balas (jei reikia), ar yra kokių nors papildomų sąlygų.
- Kaip generuojamas grįžtamasis ryšys, kur gauti tekstus, ar yra papildomų automatiškai generuojamų blokų.
- Kokią papildomą informaciją reikia rinkti ir kada (tie patys kontaktai).
Kad išvengtume nesusipratimų, savo kūrėjų prašome užkoduoti 2 ar 3 skirtingus klausimus, kad prieš koduodami patį testą jie pamatytų, kaip jie atrodo.
10 grėblys: Nebandydami įkelkite tiesiai į gamybą
Vaikinai, testą skirtingi žmonės turėtų tikrinti 3 kartus, o dar geriau – kiekvienas po 3. Ši tiesa buvo gauta su krauju, prakaitu ir kodo eilučių pikseliais.
Mūsų bandymas patikrina šią trejetą:
- Gaminys – patikrina testą dėl veikimo, išvaizdos, mechanikos.
- Testo kūrėjas – tikrina užduočių tekstą, jų tvarką, darbo su testu formą, užduočių tipus, teisingus atsakymus, skaitomumą ir įprastą grafikos peržiūrą.
- Užduočių autorius (ekspertas) patikrina testo ištikimybę iš eksperto pozicijos.
Pavyzdys iš praktikos: tik trečią kartą užduočių autorius pamatė, kad senojoje formuluotės versijoje liko 1 užduotis. Aktyviai valdė ir visi ankstesnieji. Tačiau kai testas buvo užkoduotas, jis atrodė kitaip, nei buvo įsivaizduojama iš pradžių. Labai tikėtina, kad kažką teks taisyti. Į tai reikia atsižvelgti.
Visas
Atsargiai apeidami visus šiuos „grėblį“, sukūrėme specialų , pasitikrinti pretendentų žinias. Kiekvienas gali tai išbandyti, kol ruošiame kitą medžiagą, kurioje papasakosime, kas nutiko boto viduje ir į ką visa tai vėliau virto.
Išklausę SkillFactory internetinius kursus, galite įgyti paklausią profesiją nuo nulio arba įgyti Level Up, kalbant apie įgūdžius ir atlyginimą:
- (12 savaites)
- (20 savaites)
- (20 savaites)
- (12 mėnesiai)
Daugiau kursų
- (12 mėnesiai)
- (14 savaites)
- (5 savaites)
- (18 mėnesiai)
- (6 mėnesiai)
- (12 mėnesiai)
- (8 mėnesiai)
- (9 mėnesiai)
- (12 mėnesiai)
- (18 mėnesiai)
- (18 mėnesiai)
- (12 mėnesiai)
- (9 mėnesiai)
- (7 mėnesiai)
Šaltinis: www.habr.com