Пре него што се упишемо на нови Напредни курс машинског учења, тестирамо будуће студенте да бисмо утврдили њихов ниво спремности и разумели шта тачно треба да понуде да би се припремили за курс. Али поставља се дилема: с једне стране, морамо тестирати знање у науци о подацима, с друге стране, не можемо да организујемо комплетан испит од 4 сата.
Да бисмо решили овај проблем, поставили смо седиште ТестДев-а директно у тим за развој курса Дата Сциенце (и изгледа да је ово само почетак). Представљамо вам листу од 10 замки на које се сусрећете приликом израде тестова за процену знања. Надамо се да ће свет онлајн учења након овога бити мало бољи.
Раке 1: Немогућност да се јасно дефинишу циљеви тестирања
Да бисмо исправно дефинисали циљеве и направили тест који ће их узети у обзир, у фази планирања морамо одговорити на неколико питања:
- Шта ми заправо проверавамо?
- У ком окружењу ће се одвијати тестирање и која се механика користи? Која су ограничења у овом окружењу? Ова иста тачка ће вам омогућити да разумете техничке захтеве за уређај на којем ће се вршити тестирање, као и за садржај (ако је тест преузет са телефона, слике би требало да буду читљиве чак и на малом екрану, требало би да да их је могуће увећати итд.).
- Колико ће трајати тестирање? Морате размислити о условима под којима ће корисник полагати тест. Да ли може доћи до ситуације у којој треба да прекине процес тестирања и да онда поново настави?
- Хоће ли бити повратних информација? Како га формирамо и испоручујемо? Шта треба да примите? Да ли постоји временско кашњење између извршења теста и повратних информација?
У нашем случају, након што смо одговорили на ова питања, дефинисали смо следећу листу циљева за тест:
- Тест треба да покаже да ли су будући студенти спремни да похађају курс и да ли имају довољно знања и вештина.
- Тест треба да нам пружи материјал за повратну информацију, укаже на тему у којој су ученици погрешили, како би могли да унапреде своје знање. Рећи ћемо вам како да га саставите у наставку.
Раке 2: Неуспех у изради техничких спецификација за стручног писца тестова
За састављање тестних задатака веома је важно укључити стручњака из области у којој се проверава знање. А за стручњака, заузврат, потребна вам је компетентна техничка спецификација (опис), која укључује теме теста, знања/вештине које се тестирају и њихов ниво.
Такве техничке спецификације стручњак неће радити за себе, јер је његов посао да осмишљава задатке, а не структуру теста. Штавише, мало људи професионално развија тестове, чак иу процесу наставе. Ово се предаје у посебној специјалности - психометрији.
Ако желите да се брзо упознате са психометријом, онда у Русији постоји за све заинтересоване. За детаљније проучавање Завод за образовање има и постдипломске школе.
Приликом припреме техничких спецификација, прикупљамо детаљан опис теста за стручњака (или боље, заједно са њим): теме задатака, врсте задатака, њихов број.
Како одабрати врсту задатака: након што смо се определили за теме, одлучујемо који задаци могу то најбоље тестирати? Класичне опције: задатак отвореног типа, задатак са више или једним избором, подударање, итд. (не заборавите на техничка ограничења окружења за тестирање!). Након одређивања и прецизирања врсте задатака, имамо готову техничку спецификацију за стручњака. Можете то назвати тестном спецификацијом.
Раке 3: Не укључује стручњака у развој тестова
Када експерта урањате у развој тестова, веома је важно не само да му укажете на „обим посла“, већ да га укључите у саму процедуру развоја.
Како да рад са стручњаком учините што ефикаснијим:
- Подесите га унапред и проведите неко време причајући о науци о развоју тестова и психометрији.
- Фокусирајте пажњу евалуатора на креирање валидног и поузданог алата за процену, а не на листу питања.
- Објасните да његов рад укључује припремну фазу, а не само израду самих задатака.
Неки стручњаци (због своје природе) ово могу схватити као тест сопственог рада, а ми им објашњавамо да чак и ако креирамо одличне задатке, они једноставно можда неће одговарати специфичним циљевима тестирања.
Да бисмо убрзали процес, са експертом припремамо табелу покривености тема (знања и вештина), која је део спецификације теста. Управо ова табела нам омогућава да прецизно разрадимо питања и одредимо шта ћемо мерити. У сваком конкретном случају може се саставити мало другачије. Наш задатак је да проверимо колико добро човек разуме знања и вештине претходних, основних курсева како би схватио колико је спреман да учи на новом курсу.
Раке 4: Мислите да стручњак „најбоље зна“
Боље познаје предмет. Али то не објашњава увек јасно. Веома је важно проверити формулације задатака. Напишите јасна упутства, на пример, „Изаберите 1 тачну опцију.“ У 90% случајева стручњаци припремају питања на начин који и сами разумеју. И то је у реду. Али пре него што предају тест онима који ће га полагати, све треба проверити и прочешљати како би људи који испитују тачно разумели шта се од њих тражи и не би погрешили само зато што би могли погрешно протумачити текст задатка.
Да бисмо избегли двоструко тумачење задатака, спроводимо „когнитивне лабораторије“. Молимо људе из циљне публике да ураде тест, говорећи наглас шта мисле и детаљно снимајући. У „когнитивним лабораторијама“ можете „ухватити“ нејасна питања, лоше речи и добити прву повратну информацију о тесту.
Раке 5: Занемарите време извршења теста
режим сарказма: укључен
Наравно, наш тест је најбољи, сви сањају да га положе! Да, сва 4 сата.
режим сарказма: искључен
Када постоји списак свега што се може проверити, главна ствар је да то не радите (на први поглед звучи чудно, зар не?). Морате немилосрдно да сечете, идентификујући кључна знања и вештине са стручњаком (да, одређени број вештина се такође може тестирати на тесту). Гледамо врсту задатака и процењујемо циљно време завршетка: ако је све још увек више од разумних граница, ми га скраћујемо!
Да бисте смањили јачину звука, такође можете покушати (пажљиво) да тестирате две вештине у једном задатку. У овом случају, тешко је разумети зашто је особа погрешила, али ако се уради исправно, обе вештине се могу узети у обзир. Важно је осигурати да ове 2 вештине одговарају истој области знања.
Раке 6: Не размишљам о систему бодовања
Често при састављању тестова за оцењивање користе класични систем бодовања, на пример, 1 бод за лаке задатке и 2 бода за тешке. Али то није универзално. Само збир бодова на основу резултата теста неће нам рећи много: не знамо за које задатке су ти поени добијени и можемо само да одредимо број тачних задатака. Морамо тачно да разумемо које вештине демонстрирају испитаници. Поред тога, желимо да им дамо повратне информације о томе које теме треба побољшати.
На крају крајева, радимо тест који ће поделити људе на оне који су спремни и оне који нису спремни да заврше програм, некима ћемо саветовати да се припреме за курс кроз бесплатну обуку. За нас је важно да у овој групи буду само они којима је то заиста потребно и који су за то спремни.
Шта радимо у нашој ситуацији: у оквиру радне групе програмера тестова одређујемо које групе људи треба да се идентификују (на пример, спремне за учење, делимично спремне) и формирамо табелу карактеристика таквих група, наводећи које вештине и знања биће релевантно за групу обука спремних за учење. На овај начин можете формулисати „тешкоћу“ задатака за такве тестове.
Раке 7: Процените резултате само аутоматски
Наравно, оцењивање треба да буде што објективније, па се део ученичких материјала оцењује аутоматски, „по кључевима“ – упоређујући са тачним одговорима. Чак и ако не постоји посебан систем тестирања, постоји много бесплатних решења. А ако разумете принципе писања скрипти, онда можете да радите шта год желите са Гоогле обрасцима и резултатима у табелама. Ако неки од задатака проверавају стручњаци, онда треба размишљати о достављању одговора стручњацима, без података о испитаницима. И размислите како да интегришете резултате стручног тестирања у коначну процену.
Првобитно смо желели да направимо неколико отворених задатака са кодом, где стручњаци процењују решења према унапред формираним критеријумима, а припремили смо чак и систем који извози појединачне одговоре учесника теста у посебну табелу за стручњаке, а затим увозе резултате у табела са прорачунима оцењивања. Али након разговора са представницима циљне публике, менаџером производа и дизајнером образовања, сматрали смо да би вођење техничког интервјуа са тренутним повратним информацијама стручњака и дискусијом о коду, као и појединачним питањима, било много ефикасније и корисније за саме учеснике. .
Сада стручњак потврђује завршетак теста, разјашњавајући нека питања. Да бисмо то урадили, припремили смо водич са питањима и критеријумима за оцењивање за технички интервју. Пре техничког интервјуа, испитивач добија мапу одговора испитаника која му помаже да изабере питања која ће поставити.
Раке 8: Не објашњавајте резултате теста
Пружање повратних информација учесницима је посебно питање. Морамо не само да информишемо о резултату теста, већ и да пружимо разумевање резултата теста.
То могу бити:
- Задаци у којима је учесник погрешио и које је тачно урадио.
- Теме у којима је учесник направио грешке.
- Његов ранг међу онима који полажу испит.
- Опис нивоа учесника, у складу, на пример, са описом нивоа специјалисте (на основу описа слободних места).
Током пилот покретања нашег теста, онима који су желели да се упишу у програм, заједно са резултатима, показали смо листу тема које је требало унапредити. Али ово свакако није идеално, ми ћемо се побољшати и пружити боље повратне информације.
Раке 9: Не разговарајте о тесту са програмерима
Можда је најоштрија грабуља, на коју је посебно непријатно закорачити, слање теста, описа и бодовне скале програмерима „као што јесте“.
О чему тачно треба разговарати:
- Изглед питања, структура, положај графике, како изгледа избор тачног одговора.
- Како се рачуна резултат (ако је потребно), да ли постоје додатни услови.
- Како се генерише повратна информација, где добити текстове, да ли постоје додатни аутоматски генерисани блокови.
- Које додатне информације треба да прикупите и у ком тренутку (исти контакти).
Да бисмо избегли неспоразуме, тражимо од наших програмера да кодирају 2 или 3 различита питања како би могли да виде како изгледају пре него што кодирају сам тест.
Раке 10: Без тестирања, отпремите директно у продукцију
3 пута, момци, тест треба да се проверава 3 пута од стране различитих људи, или још боље, по 3 пута.Ова истина је добијена крвљу, знојем и пикселима линија кода.
Наш тест проверава следећи трио:
- Производ - проверава тест за перформансе, изглед, механику.
- Програмер теста – проверава текст задатака, њихов редослед, форму рада са тестом, врсте задатака, тачне одговоре, читљивост и нормално гледање графике.
- Аутор задатака (експерт) проверава тест верности са стручне позиције.
Пример из праксе: тек у трећој вожњи аутор задатака је видео да је 1 задатак остао у старој верзији формулације. Сви претходни су такође активно владали. Али када је тест био кодиран, изгледао је другачије него што је првобитно замишљено. Велика је вероватноћа да ће нешто морати да се исправи. Ово треба узети у обзир.
Укупан
Пажљиво заобилазећи све ове „грабље“, направили смо специјал , за проверу знања кандидата. Свако може да га тестира док припремамо следећи материјал, у коме ћемо вам рећи шта се дешавало унутар бота, а у шта се све касније трансформисало.
Можете добити тражену професију од нуле или на виши ниво у смислу вештина и плате похађањем СкиллФацтори онлајн курсева:
- (12 недеља)
- (20 недеља)
- (20 недеља)
- (12 месеци)
Више курсева
- (12 месеци)
- (14 недеља)
- (5 недеља)
- (18 месеци)
- (6 месеци)
- (12 месеци)
- (8 месеци)
- (9 месеци)
- (12 месеци)
- (18 месеци)
- (18 месеци)
- (12 месеци)
- (9 месеци)
- (7 месеци)
Извор: ввв.хабр.цом