ProHoster > Blogs > Administrācija > StaigāŔana uz grābekļa: 10 kritiskas kļūdas zināŔanu pārbaudes izstrādē

StaigāŔana uz grābekļa: 10 kritiskas kļūdas zināŔanu pārbaudes izstrādē

StaigāŔana uz grābekļa: 10 kritiskas kļūdas zināŔanu pārbaudes izstrādē
Pirms reÄ£istrÄ“Å”anās jaunajā maŔīnmācÄ«Å”anās padziļinātajā kursā mēs pārbaudām topoÅ”os studentus, lai noteiktu viņu gatavÄ«bas lÄ«meni un saprastu, kas tieÅ”i viņiem jāpiedāvā, lai sagatavotos kursam. Taču rodas dilemma: no vienas puses, mums ir jāpārbauda zināŔanas datu zinātnē, no otras puses, mēs nevaram noorganizēt pilnvērtÄ«gu 4 stundu eksāmenu.

Lai atrisinātu Å”o problēmu, mēs esam izvietojuÅ”i TestDev galveno mÄ«tni tieÅ”i datu zinātnes kursa izstrādes komandā (un Ŕķiet, ka tas ir tikai sākums). Mēs piedāvājam jums sarakstu ar 10 nepilnÄ«bām, ar kurām saskaras, izstrādājot testus zināŔanu novērtÄ“Å”anai. Cerams, ka pēc tam tieÅ”saistes mācÄ«bu pasaule kļūs nedaudz labāka.

1. grābeklis: nepārprotami definēti testÄ“Å”anas mērÄ·i

Lai pareizi definētu mērÄ·us un izveidotu testu, kurā tie tiks ņemti vērā, plānoÅ”anas posmā mums ir jāatbild uz vairākiem jautājumiem:

  1. Ko mēs patiesÄ«bā pārbaudām? 
  2. Kādā vidē notiks testÄ“Å”ana un kāda mehānika tiek izmantota? Kādi ir ierobežojumi Å”ajā vidē? Å is pats punkts ļaus jums izprast tehniskās prasÄ«bas ierÄ«cei, kurai tiks veikta pārbaude, un arÄ« saturu (ja tests ir ņemts no tālruņiem, attēliem jābÅ«t salasāmiem pat uz maza ekrāna, vajadzētu ir iespējams tos palielināt utt.).
  3. Cik ilgi notiks pārbaude? Jādomā, kādos apstākļos lietotājs veiks testu. Vai var bÅ«t situācija, ka viņam ir jāpārtrauc testÄ“Å”anas process un pēc tam jāturpina vēlreiz?
  4. Vai būs atsauksmes? Kā mēs to veidojam un piegādājam? Kas jums jāsaņem? Vai pastāv laika nobīde starp testa izpildi un atgriezenisko saiti?

MÅ«su gadÄ«jumā, atbildot uz Å”iem jautājumiem, mēs definējām Ŕādu testa mērÄ·u sarakstu:

  1. Pārbaudē jāparāda, vai topoÅ”ie studenti ir gatavi apgÅ«t kursu un vai viņiem ir pietiekami daudz zināŔanu un prasmju.
  2. Pārbaudē jāsniedz materiāls atgriezeniskajai saitei, jānorāda tēma, kurā skolēni kļūdÄ«juÅ”ies, lai viņi varētu uzlabot savas zināŔanas. Tālāk mēs jums pateiksim, kā to izveidot.

2. grābeklis: eksperta testa rakstītāja tehnisko specifikāciju nesagatavoŔana

Testa priekÅ”metu sastādÄ«Å”anā ļoti svarÄ«gi ir piesaistÄ«t ekspertu jomā, kurā tiek pārbaudÄ«tas zināŔanas. Savukārt ekspertam nepiecieÅ”ama kompetenta tehniskā specifikācija (apraksts), kurā ir iekļautas pārbaudes darba tēmas, pārbaudāmās zināŔanas/prasmes un to lÄ«menis.

Eksperts sev Ŕādas tehniskās specifikācijas nedarÄ«s, jo viņa darbs ir izdomāt uzdevumus, nevis testa struktÅ«ru. Turklāt daži cilvēki profesionāli izstrādā pārbaudes darbus pat mācÄ«bu procesā. To māca atseviŔķā specialitātē ā€“ psihometrikā.

Ja vēlaties ātri iepazīties ar psihometriju, tad Krievijā tas ir vasaras skola visiem interesentiem. Padziļinātai izpētei Izglītības institūts ir maģistra grāds un augstskola.

Sagatavojot tehniskās specifikācijas, mēs ekspertam (vai labāk, kopā ar viņu) apkopojam detalizētu testa aprakstu: uzdevumu tēmas, uzdevumu veidi, to skaits.

Kā izvēlēties uzdevumu veidu: izlemjot par tēmām, mēs izlemjam, kuri uzdevumi to vislabāk var pārbaudÄ«t? Klasiskās iespējas: beztermiņa uzdevums, vairāku vai vienas izvēles uzdevumu uzdevums, saskaņoÅ”ana utt. (neaizmirstiet par testÄ“Å”anas vides tehniskajiem ierobežojumiem!). Pēc uzdevumu veida noteikÅ”anas un precizÄ“Å”anas ekspertam mums ir gatava tehniskā specifikācija. To var saukt par testa specifikāciju.

3. grābeklis: eksperta neiesaistÄ«Å”ana testa izstrādē

Iegremdējot ekspertu testa izstrādē, ir ļoti svarÄ«gi ne tikai norādÄ«t viņam ā€œdarba apjomuā€, bet arÄ« iesaistÄ«t viņu paŔā izstrādes procedÅ«rā.

Kā padarīt darbu ar ekspertu pēc iespējas efektīvāku:

  • Iestatiet to iepriekÅ” un veltiet laiku, lai runātu par testu izstrādes un psihometrijas zinātni.
  • Koncentrējiet vērtētāja uzmanÄ«bu uz derÄ«ga un uzticama novērtÄ“Å”anas instrumenta izveidi, nevis uz jautājumu sarakstu.
  • Paskaidrojiet, ka viņa darbs ietver sagatavoÅ”anās posmu, ne tikai paÅ”u uzdevumu izstrādi.

Daži eksperti (savu rakstura dēļ) to var uztvert kā sava darba pārbaudi, un mēs viņiem paskaidrojam, ka pat tad, ja mēs izveidojam izcilus uzdevumus, tie vienkārÅ”i var neatbilst konkrētajiem testÄ“Å”anas mērÄ·iem.

Lai process noritētu ātri, kopā ar ekspertu sagatavojam tabulu ar tematu (zināŔanām un prasmēm), kas ir daļa no testa specifikācijas. TieÅ”i Ŕī tabula ļauj mums precÄ«zi izstrādāt jautājumus un noteikt, ko mēs mērÄ«sim. Katrā konkrētā gadÄ«jumā to var sastādÄ«t nedaudz savādāk. MÅ«su uzdevums ir pārbaudÄ«t, cik labi cilvēks izprot iepriekŔējo, pamatkursu zināŔanas un prasmes, lai saprastu, cik gatavs ir mācÄ«ties jaunā kursā.

4. grābeklis: domāŔana, ka eksperts ā€œzina vislabākā€

Labāk pārzina priekÅ”metu. Bet tas ne vienmēr skaidri izskaidro. Ir ļoti svarÄ«gi pārbaudÄ«t uzdevumu formulējumu. Uzrakstiet skaidrus norādÄ«jumus, piemēram, ā€œIzvēlieties 1 pareizo opcijuā€. 90% gadÄ«jumu eksperti sagatavo jautājumus viņiem paÅ”iem saprotamā veidā. Un tas ir labi. Taču pirms testa nodoÅ”anas tiem, kas to kārtos, viss ir jāpārbauda un jāizÄ·emmē, lai kontroldarba veicēji saprastu, kas tieÅ”i no viņiem tiek prasÄ«ts, un nekļūdÄ«tos tikai tāpēc, ka varētu nepareizi interpretēt uzdevuma tekstu.

Lai izvairÄ«tos no dubultas uzdevumu interpretācijas, mēs veicam ā€œkognitÄ«vās laboratorijasā€. Mēs aicinām cilvēkus no mērÄ·auditorijas izpildÄ«t testu, skaļi pasakot savu viedokli un ierakstot to detalizēti. ā€œKognitÄ«vajās laboratorijāsā€ var ā€œuzÄ·ertā€ neskaidrus jautājumus, sliktu formulējumu un iegÅ«t pirmās atsauksmes par testu.

5. grābeklis: Ignorēt testa izpildes laiku

sarkasma režīms: ieslēgts
Protams, mÅ«su ieskaite ir vislabākā, visi sapņo par tā nokārtoÅ”anu! Jā, visas 4 stundas.
sarkasma režīms: izslēgts

Kad ir saraksts ar visu, ko var pārbaudÄ«t, galvenais ir to nedarÄ«t (no pirmā acu uzmetiena tas izklausās dÄ«vaini, vai ne?). Jums ir nežēlÄ«gi jāgriež, apzinot galvenās zināŔanas un prasmes ar ekspertu (jā, vairākas prasmes var pārbaudÄ«t arÄ« testā). Mēs skatāmies uz uzdevumu veidu un novērtējam mērÄ·a izpildes laiku: ja viss joprojām ir vairāk nekā saprātÄ«gi, mēs to samazinām!

Lai samazinātu skaļumu, varat arÄ« mēģināt (uzmanÄ«gi) pārbaudÄ«t divas prasmes vienā uzdevumā. Å ajā gadÄ«jumā ir grÅ«ti saprast, kāpēc cilvēks kļūdÄ«jies, taču, ja tas izdarÄ«ts pareizi, abas prasmes var ņemt vērā. Ir svarÄ«gi pārliecināties, ka Ŕīs 2 prasmes atbilst vienai un tai paÅ”ai zināŔanu jomai.

6. grābeklis: nedomāju cauri punktu skaitÄ«Å”anas sistēmai

Bieži vien, sastādot vērtējuma testus, viņi izmanto klasisko vērtÄ“Å”anas sistēmu, piemēram, 1 punkts par viegliem uzdevumiem un 2 punkti par sarežģītiem. Bet tas nav universāls. Tikai punktu summa, kas balstÄ«ta uz testa rezultātiem, neko daudz nepateiks: mēs nezinām, par kādiem uzdevumiem Å”ie punkti tika saņemti, un varam tikai noteikt pareizo uzdevumu skaitu. Mums ir precÄ«zi jāsaprot, kādas prasmes pārbauda dalÄ«bnieki. Turklāt mēs vēlamies viņiem sniegt atsauksmes par to, kuras tēmas ir jāuzlabo.

Galu galā mēs veicam testu, kas sadalÄ«s cilvēkus tajos, kuri ir gatavi un nav gatavi pabeigt programmu; dažiem mēs ieteiksim sagatavoties kursam, izmantojot bezmaksas apmācÄ«bu. Mums ir svarÄ«gi, lai Å”ajā grupā bÅ«tu tikai tie, kuriem tas patieŔām ir vajadzÄ«gs un kuri ir tam gatavi.

Ko mēs darām mÅ«su situācijā: testu izstrādātāju darba grupas ietvaros nosakām, kuras cilvēku grupas ir jāidentificē (piemēram, gatavas mācÄ«ties, daļēji gatavas) un veidojam Ŕādu grupu raksturojumu tabulu, norādot, kādas prasmes un zināŔanas bÅ«s aktuālas mācÄ«ties gatavu apmācÄ«bu grupai. Tādā veidā jÅ«s varat formulēt uzdevumu ā€œgrÅ«tÄ«basā€ Ŕādiem testiem.

7. grābeklis: Novērtējiet rezultātus tikai automātiski

Protams, vērtÄ“Å”anai jābÅ«t pēc iespējas objektÄ«vākai, tāpēc daļa skolēnu materiālu tiek vērtēti automātiski, ā€œpēc atslēgāmā€ ā€“ salÄ«dzinot ar pareizajām atbildēm. Pat ja nav Ä«paÅ”as testÄ“Å”anas sistēmas, ir daudz bezmaksas risinājumu. Un, ja jÅ«s saprotat skriptu rakstÄ«Å”anas principus, tad ar Google formām un rezultātiem tabulās varat darÄ«t visu, ko vēlaties. Ja kādu no uzdevumiem pārbauda eksperti, tad jādomā par atbilžu nogādāŔanu ekspertiem, bez informācijas par testa kārtotājiem. Un padomājiet par to, kā integrēt ekspertu testÄ“Å”anas rezultātus gala novērtējumā.

Sākotnēji gribējām izveidot vairākus atvērtus uzdevumus ar kodu, kur eksperti izvērtē risinājumus pēc iepriekÅ” izveidotiem kritērijiem, un pat sagatavojām sistēmu, kas eksportē individuālās testa dalÄ«bnieku atbildes uz speciālu tabulu ekspertiem un pēc tam importē rezultātus tabula ar novērtējuma aprēķiniem. Taču pēc pārrunām ar mērÄ·auditorijas pārstāvjiem, produktu vadÄ«tāju un izglÄ«tojoÅ”o dizaineru, uzskatÄ«jām, ka tehniskās intervijas veikÅ”ana ar tÅ«lÄ«tēju ekspertu atsauksmi un koda, kā arÄ« individuālo jautājumu apsprieÅ”anu bÅ«tu daudz efektÄ«vāka un noderÄ«gāka paÅ”iem dalÄ«bniekiem. .

Tagad eksperts pārbauda testa pabeigÅ”anu, precizējot dažus jautājumus. Lai to izdarÄ«tu, esam sagatavojuÅ”i tehniskās intervijas jautājumu un vērtÄ“Å”anas kritēriju rokasgrāmatu. Pirms tehniskās intervijas eksaminētājs saņem karti ar testa kārtotāja atbilžu karti, lai palÄ«dzētu viņam izvēlēties uzdotos jautājumus.

8. grābeklis: nepaskaidrojiet testa rezultātus

Atsauksmju sniegÅ”ana dalÄ«bniekiem ir atseviŔķs jautājums. Mums ir ne tikai jāinformē par pārbaudes rezultātu, bet arÄ« jāsniedz izpratne par testa rezultātiem.
Tie var bÅ«t: 

  • Uzdevumi, kuros dalÄ«bnieks kļūdÄ«jās un kurus izpildÄ«ja pareizi.
  • Tēmas, kurās dalÄ«bnieks kļūdÄ«jās.
  • Viņa vieta starp tiem, kas kārto eksāmenu.
  • DalÄ«bnieka lÄ«meņa apraksts atbilstoÅ”i, piemēram, speciālista lÄ«meņa aprakstam (pamatojoties uz vakanču aprakstu).

MÅ«su testa izmēģinājuma palaiÅ”anas laikā tiem, kas vēlējās reÄ£istrēties programmā, kopā ar rezultātiem mēs parādÄ«jām sarakstu ar tēmām, kuras bija jāuzlabo. Bet tas noteikti nav ideāls, mēs uzlabosim un sniegsim labākas atsauksmes.

9. grābeklis: nepārrunājiet testu ar izstrādātājiem

Iespējams, ka asākais grābeklis, uz kura ir Ä«paÅ”i nepatÄ«kami uzkāpt, ir testa, apraksta un punktu skalas nosÅ«tÄ«Å”ana izstrādātājiem ā€œkā irā€.
Kas tieŔi ir jāapspriež:

  • Jautājumu izskats, struktÅ«ra, grafikas novietojums, kā izskatās pareizās atbildes izvēle.
  • Kā tiek aprēķināts rezultāts (ja nepiecieÅ”ams), vai ir kādi papildu nosacÄ«jumi.
  • Kā tiek Ä£enerēta atgriezeniskā saite, kur iegÅ«t tekstus, vai ir papildus automātiski Ä£enerēti bloki.
  • Kāda papildu informācija ir jāievāc un kurā brÄ«dÄ« (tie paÅ”i kontakti).

Lai izvairÄ«tos no pārpratumiem, mēs lÅ«dzam mÅ«su izstrādātājus iekodēt 2 vai 3 dažādus jautājumus, lai viņi varētu redzēt, kā tie izskatās pirms paÅ”a testa kodÄ“Å”anas.

10. grābeklis: bez testÄ“Å”anas augÅ”upielādējiet tieÅ”i produkcijas versijā

3 reizes, puiÅ”i, testu vajadzētu pārbaudÄ«t 3 reizes dažādiem cilvēkiem, vai vēl labāk, 3 reizes katram.Å Ä« patiesÄ«ba tika iegÅ«ta ar asinÄ«m, sviedriem un koda rindiņu pikseļiem.

Mūsu tests pārbauda Ŕādu trio:

  1. Produkts - pārbauda testu veiktspēju, izskatu, mehāniku.
  2. Testa izstrādātājs - pārbauda uzdevumu tekstu, to secību, darba formu ar testu, uzdevumu veidus, pareizās atbildes, lasāmību un grafiku normālu apskati.
  3. Uzdevumu autors (eksperts) pārbauda testa uzticamību no eksperta pozīcijas.

Piemērs no prakses: tikai treÅ”ajā piegājienā uzdevumu autors redzēja, ka 1 uzdevums palicis vecajā redakcijas versijā. ArÄ« visi iepriekŔējie aktÄ«vi valdÄ«ja. Bet, kad tests tika kodēts, tas izskatÄ«jās savādāk, nekā sākotnēji tika iedomāties. Ä»oti iespējams, ka kaut kas bÅ«s jālabo. Tas ir jāņem vērā.

Kopsavilkums

UzmanÄ«gi apejot visus Å”os ā€œgrābekliā€, izveidojām Ä«paÅ”u bot pakalpojumā Telegram, pārbaudÄ«t reflektantu zināŔanas. Ikviens var to pārbaudÄ«t, kamēr mēs gatavojam nākamo materiālu, kurā mēs jums pastāstÄ«sim, kas notika bota iekÅ”pusē un par ko tas viss vēlāk pārvērtās.

StaigāŔana uz grābekļa: 10 kritiskas kļūdas zināŔanu pārbaudes izstrādē
Apmeklējot SkillFactory tieÅ”saistes kursus, jÅ«s varat iegÅ«t pieprasÄ«tu profesiju no nulles vai Level Up prasmju un atalgojuma ziņā:

Vairāk kursu

Avots: www.habr.com

Pievieno komentāru