Перад запісам на новы курс Machine Learning Advanced мы тэсціруем будучых студэнтаў, каб вызначыць узровень іх гатоўнасці і зразумець, што менавіта ім неабходна прапанаваць для падрыхтоўкі да курса. Але ўзнікае дылема: з аднаго боку, мы павінны праверыць веды па Data Science, з іншай – мы не можам задаволіць паўнавартасны 4-х гадзінны іспыт.
Для рашэння такой задачы мы разгарнулі штаб па TestDev прама ў камандзе распрацоўкі курсаў па Data Science (і, здаецца, гэта толькі пачатак). Прадстаўляем вам спіс 10 "граблей", на якія наступаюць пры распрацоўцы тэстаў для ацэнкі ведаў. Спадзяемся, што свет анлайн-навучання стане пасля гэтага крыху лепш.
Граблі 1: Не вызначыць дакладна мэты тэсціравання
Каб правільна вызначыць мэты і скласці тэст, які будзе іх улічваць, на этапе планавання мы павінны адказаць сабе на некалькі пытанняў:
- Што мы ўласна правяраем?
- У якім асяроддзі будзе праходзіць тэсціраванне і якія механікі выкарыстоўваюцца? Якія ў гэтым асяроддзі ёсць абмежаванні. Гэты ж пункт дазволіць зразумець тэхнічныя патрабаванні да прылады, на якім будзе праходзіць тэсціраванне, а яшчэ – да зместу (калі тэст праходзяць з тэлефонаў, карцінкі павінны чытацца нават на маленькім экране, павінна быць магчымасць іх павялічыць і да т.п.).
- Колькі часу будзе праходзіць тэсціраванне? Трэба прадумаць, у якіх умовах карыстач будзе праходзіць тэст. Ці можа ўзнікнуць сітуацыя, што яму трэба будзе перапыніць працэс тэсціравання, а затым зноў прадоўжыць?
- Ці будзе зваротная сувязь? Як фармуем і дастаўляем яе? Што патрэбна для атрымання? Ці ёсць часовы зазор паміж выкананнем цеста і зваротнай сувяззю?
У нашым выпадку, адказаўшы на гэтыя пытанні, мы вызначылі для тэсту такі спіс мэт:
- Тэст павінен паказаць, ці гатовы будучыя студэнты да праходжання курса, ці хопіць ім ведаў і навыкаў.
- Тэст павінен даць нам матэрыял для зваротнай сувязі, пазначыць тэму, у якой студэнты дапусцілі памылку, каб яны змаглі падцягнуць свае веды. Як яго скласці — расказваем далей.
Граблі 2: Не скласці ТЗ для эксперта - складальніка тэсту
Для складання заданняў тэста вельмі важна прыцягваць эксперта ў той вобласці, веды ў якой правяраюцца. А для эксперта ў сваю чаргу трэба пісьменнае ТЗ (апісанне), якое ўключае ў сябе тэмы тэсту, правяраныя веды / навыкі і іх узровень.
Эксперт такое ТЗ сам для сябе рабіць не будзе, бо яго праца - прыдумаць заданні, а не структуру тэсту. Тым больш пакуль мала хто распрацоўвае тэсты прафесійна, нават у працэсе выкладання. Гэтаму вучаць на асобнай спецыяльнасці - псіхаметрыка.
Калі вам хочацца хутка пазнаёміцца з псіхаметрыкай, то ў Расіі ёсць для ўсіх, хто цікавіцца. Для больш паглыбленага вывучэння ў Інстытуце адукацыі ёсць і аспірантура.
Рыхтуючы ТЗ, мы збіраем падрабязнае апісанне тэста для эксперта (а лепш, разам з ім): тэмы заданняў, тып заданняў, іх колькасць.
Як абраць тып заданняў: вызначыўшыся з тэмамі, развязальны, якімі заданнямі гэта можна праверыць лепш за ўсё? Класічныя варыянты: заданне з адкрытым адказам, заданне з множным або адзіным выбарам, адпаведнасці, інш. (не забываемся пра тэхнічныя абмежаванні асяроддзя, у якім праводзіцца тэставанне!). Пасля вызначэння і прапісвання тыпу заданняў у нас ёсць гатовае ТЗ для эксперта. Можна назваць яго спецыфікацыяй цеста.
Граблі 3: Не далучыць эксперта ў распрацоўку тэсту
Пры апусканні эксперта ў распрацоўку тэсту, вельмі важна не проста пазначыць яму "аб'ём работ", а ўцягнуць яго ў саму працэдуру распрацоўкі.
Як зрабіць так, каб праца з экспертам была максімальна эфектыўная:
- Загадзя настроіць яго і патраціць нейкі час на аповед пра навуку распрацоўкі тэстаў, псіхаметрыку.
- Сфакусаваць увагу эксперта на стварэнні валіднай і надзейнай прылады адзнакі, а не спісу пытанняў.
- Растлумачыць, што ў яго работу ўключаецца падрыхтоўчы этап, не толькі распрацоўка саміх заданняў.
Некаторыя эксперты (у сілу свайго характару) могуць успрымаць гэта як праверку ўласнай працы, і ім мы тлумачым, што нават пры стварэнні выдатных заданняў, яны проста могуць не падысці пад канкрэтныя мэты тэсціравання.
Каб працэс прайшоў хутка, мы рыхтуем з экспертам табліцу пакрыцця тэм (ведаў і навыкаў), якая з'яўляецца часткай спецыфікацыі тэсту. Менавіта гэтая табліца дае магчымасць дакладна прапрацаваць пытанні, вызначыць, што мы будзем вымяраць. У кожным канкрэтным выпадку яна можа быць складзена крыху па-рознаму. Наша задача: праверыць, наколькі чалавек добра арыентуецца ў ведах і навыках папярэдніх, базавых курсаў, каб зразумець, наколькі ён гатовы да навучання на новым курсе.
Граблі 4: Думаць, што эксперт "ведае лепш"
Ведае прадмет лепш. Але не заўжды зразумела тлумачыць. Вельмі важна праверыць фармулёўкі заданняў. Напісаць зразумелыя інструкцыі, напрыклад, "Абярыце 1 правільны варыянт". У 90 працэнтах эксперты рыхтуюць пытанні так, як ім зразумела самім. І гэта нармальна. Але перад перадачай тэста тым, хто будзе яго праходзіць, трэба ўсё праверыць і прычасаць, каб людзі, якія праходзяць тэст, дакладна зразумелі, што ад іх патрабуецца, і не дапусцілі памылак толькі таму, што маглі няправільна вытлумачыць тэкст задання.
Каб пазбегнуць падвойнага тлумачэння заданняў, мы праводзім "кагнітыўныя лабараторыі". Мы просім людзей з ЦА прайсці тэст, прамаўляючы ўслых, што яны думаюць і падрабязна гэта фіксуем. На "кагнітыўных лабараторыях" можна "злавіць" незразумелыя пытанні, дрэнныя фармулёўкі, атрымаць першую зваротную сувязь па тэсце.
Граблі 5: Не ўлічваць час выканання тэста
sarcasm mode: on
Вядома ж, наш тэст найлепшы, усе мараць яго прайсці! Так, усе 4 гадзіны.
sarcasm mode: off
Калі ёсць спіс усяго, што можна праверыць, галоўнае - гэтага не рабіць (на першы погляд дзіўна гучыць, ці не праўда?). Трэба бязлітасна рэзаць, вылучаючы з экспертам ключавыя веды і навыкі (так, шэраг навыкаў таксама можна праверыць у цесцю). Глядзім на тып заданняў і мяркуем мэтавае час выканання: калі ўсё яшчэ больш разумных меж - рэжам!
Для скарачэння аб'ёму, можна таксама паспрабаваць (акуратна) праверыць адным заданнем два навыкі. У гэтым выпадку складана зразумець, чаму чалавек памыліўся, але пры правільным выкананні можна ўлічыць абодва навыкі. Важна пераканацца, што гэтыя 2 навыкі адпавядаюць адной вобласці ведаў.
Граблі 6: Не прадумаць сістэму выстаўлення балаў
Часта пры складанні ацэначных тэстаў выкарыстоўваюць класічную сістэму ацэньвання ў балах, напрыклад, 1 бал за лёгкія заданні і 2 балы за складаныя. Але яна не ўніверсальная. Проста сума балаў па выніках тэсціравання нам мала што скажа: мы не ведаем, за якія заданні атрыманы гэтыя балы і можам вызначыць толькі колькасць дакладных заданняў. Нам патрэбна дакладнае разуменне, якія менавіта навыкі дэманструюць удзельнікі тэсціравання. Акрамя таго, мы хочам даць ім фідбэк, якія тэмы неабходна дапрацаваць.
Бо мы робім тэст, які будзе дзяліць людзей на гатовых і негатовых да праходжання праграмы, некаторым мы будзем раіць падрыхтавацца да курса на бясплатным навучанні. Нам важна, каб у гэтую групу трапілі толькі тыя, каму гэта сапраўды патрэбна і хто да гэтага гатовы.
Што робім у нашай сітуацыі: вызначаемся ўсярэдзіне працоўнай групы распрацоўнікаў тэста, якія групы людзей трэба вылучыць (напрыклад, гатовыя да навучання, часткова гатовыя) і фармуем табліцу характарыстак такіх груп, з указаннем таго, якія навыкі і веды, будуць актуальныя для групы гатовых да навучанні. Так можна фармаваць «цяжкасць» заданняў для падобных тэстаў.
Граблі 7: Ацэньваць вынікі толькі аўтаматычна
Вядома, ацэньванне павінна быць максімальна аб'ектыўным, таму частка матэрыялаў студэнтаў ацэньваецца аўтаматычна, "па ключах" - параўноўваючы з вернымі адказамі. Нават калі няма спецыяльнай сістэмы тэсціравання, ёсць маса бясплатных рашэнняў. А калі ёсць разуменне прынцыпаў напісання скрыптоў, то з гугл-формамі і вынікамі ў табліцах можна рабіць што заўгодна. Калі частку заданняў правяраюць эксперты, то нам неабходна прадумаць дастаўку экспертам адказаў, без інфармацыі аб тых, хто здае. І падумаць, як інтэграваць вынікі праверкі экспертаў у выніковае ацэньванне.
Мы першапачаткова хацелі зрабіць некалькі адкрытых заданняў з кодам, калі эксперты ацэньваюць рашэнні па загадзя сфарміраваных крытэрыях, і нават падрыхтавалі сістэму, якая экспартуе асобныя адказы ўдзельнікаў тэсціравання ў спецыяльную табліцу для экспертаў, а потым імпартуе вынікі ў табліцу з разлікам ацэньвання. Але пасля абмеркавання з прадстаўнікамі ЦА, продакт-мэнэджарам і педагагічным дызайнерам, мы палічылі, што правесці тэхнічнае інтэрв'ю з імгненным фідбэк эксперта і абмеркаваннем кода, а таксама асобных пытанняў будзе значна больш эфектыўна і карысна для саміх удзельнікаў.
Цяпер эксперт верыфікуе праходжанне тэсту, удакладняючы некаторыя пытанні. Дзеля гэтага мы падрыхтавалі гайд пытанняў, крытэрыі ацэньвання для тэхнічнага інтэрв'ю. Перад тэхнічным інтэрв'ю эксперт атрымлівае карту адказаў удзельніка тэсціравання, каб выбраць пытанні, якія варта задаць.
Граблі 8: Не тлумачыць вынікі тэсціравання
Прадстаўленне зваротнай сувязі ўдзельнікам - асобнае пытанне. Нам неабходна не толькі праінфармаваць аб тэставым бале, але і даць разуменне вынікаў тэста.
Гэта могуць быць:
- Заданні, у якіх удзельнік памыліўся, а якія выканаў дакладна.
- Тэмы, у якіх удзельнік дапусціў памылкі.
- Яго рэйтынг сярод тых, хто здае экзамен.
- Апісанне ўзроўню ўдзельніка, у адпаведнасці, напрыклад, з апісаннем ўзроўню спецыялістаў (на аснове апісання вакансій).
Пры пілотным запуску нашага цеста, тым хто хацеў паступіць на праграму, разам з вынікамі, мы паказвалі спіс тэм, якія трэба падцягнуць. Але гэта, вядома, не ідэал, мы будзем удасканальвацца і рабіць зваротную сувязь лепш.
Граблі 9: Не абмяркоўваць тэст з распрацоўшчыкамі
Мабыць, самыя вострыя граблі, наступаць на якія асабліва непрыемна - адправіць распрацоўнікам тэст, апісанне і шкалу падліку ў стане "як ёсць".
Што менавіта мае патрэбу ў абмеркаванні:
- Вонкавы выгляд пытанняў, структура, становішча графікі, як выглядае выбар дакладнага адказу.
- Як лічыцца бал (калі патрэбен), ці няма дадатковых умоў.
- Як фарміруецца зваротная сувязь, дзе браць тэксты, ці няма дадаткова, якія фармуюцца аўтаматычна блокаў.
- Якую дадатковую інфармацыю вам неабходна збіраць і ў які момант (тыя ж кантакты).
Каб пазбегнуць непаразумення, мы просім нашых расрабаў закадзіць 2 ці 3 розныя пытанні, каб можна было зірнуць, як яны выглядаюць перад праграмаваннем самога тэсту.
Граблі 10: Не тэстуючы заліваць адразу ў прадакшн
3 разы, хлопцы, правяраць тэст павінны 3 разы розныя людзі, а лепш - кожны па 3. Гэтая ісціна здабыта крывёй, потым і пікселямі радкамі кода.
У нас тэст правярае такое трыа:
- Продакт - правярае тэст на працаздольнасць, знешні выгляд, механікі.
- Распрацоўнік тэсту - правярае тэкст заданняў, іх парадак, форму працы з тэстам, тыпы заданняў, дакладных адказаў, чытэльнасць і нармальны прагляд графікі.
- Аўтар заданняў (эксперт) - правярае тэст на вернасць з экспертнай пазіцыі.
Прыклад з практыкі: толькі на трэці раз прагону аўтар заданняў убачыў, што 1 заданне засталося ў старым варыянце фармулёўкі. Усе папярэднія таксама актыўна кіравалі. Але калі тэст закадзілі, выглядаў ён інакш, чым першапачаткова ўяўлялі. З вялікай верагоднасцю нешта давядзецца кіраваць. Гэта трэба ўлічваць.
Вынік
Акуратна абышоўшы ўсе гэтыя «граблі», мы стварылі спецыяльнага , для праверкі ведаў абітурыентаў. Любы жадаючы можа пацесціць яго, пакуль мы рыхтуем наступны матэрыял, у якім раскажам, што адбывалася ўнутры робата, і ў што гэта ўсё трансфармавалася потым.
Атрымаць запатрабаваную прафесію з нуля або Level Up па навыках і зарплаце, можна прайшоўшы анлайн-курсы SkillFactory:
- (12 тыдняў)
- (20 тыдняў)
- (20 тыдняў)
- (12 месяцаў)
Яшчэ курсы
- (12 месяцаў)
- (14 тыдняў)
- (5 тыдняў)
- (18 месяцаў)
- (6 месяцаў)
- (12 месяцаў)
- (8 месяцаў)
- (9 месяцаў)
- (12 месяцаў)
- (18 месяцаў)
- (18 месяцаў)
- (12 месяцаў)
- (9 месяцаў)
- (7 месяцаў)
Крыніца: habr.com