Жаңа Machine Learning Advanced курсына жазылмас бұрын, біз болашақ студенттерді олардың дайындық деңгейін анықтау және курсқа дайындалу үшін нақты не ұсыну керектігін түсіну үшін сынақтан өткіземіз. Бірақ дилемма туындайды: бір жағынан, біз Data Science бойынша білімді тексеруіміз керек, екінші жағынан, біз толыққанды 4 сағаттық емтихан ұйымдастыра алмаймыз.
Бұл мәселені шешу үшін біз TestDev штаб-пәтерін Data Science курсын әзірлеу тобында орналастырдық (және бұл тек бастамасы сияқты). Біз сіздерге білімді бағалауға арналған тесттерді әзірлеу кезінде кездесетін 10 қателіктің тізімін ұсынамыз. Осыдан кейін онлайн оқыту әлемі біршама жақсарады деп үміттенемін.
1-рейк: тестілеу мақсаттарын нақты анықтамау
Мақсаттарды дұрыс анықтау және оларды есепке алатын тест құру үшін жоспарлау кезеңінде біз бірнеше сұрақтарға жауап беруіміз керек:
- Біз шынымен нені тексеріп жатырмыз?
- Тестілеу қандай ортада өтеді және қандай механика қолданылады? Бұл ортада қандай шектеулер бар? Дәл осы тармақ тестілеу жүргізілетін құрылғыға, сондай-ақ мазмұнға қойылатын техникалық талаптарды түсінуге мүмкіндік береді (егер сынақ телефондардан алынса, суреттер тіпті кішкентай экранда да оқылатын болуы керек, ол қажет болуы керек. оларды үлкейту мүмкін болуы және т.б.).
- Тестілеу қанша уақытқа созылады? Пайдаланушы қандай жағдайда тест тапсыратыны туралы ойлану керек. Ол тестілеу процесін үзіп, содан кейін қайта жалғастыруы керек жағдай болуы мүмкін бе?
- Кері байланыс болады ма? Оны қалай қалыптастырамыз және жеткіземіз? Сізге не алу керек? Сынақты орындау мен кері байланыс арасында уақыт кідірісі бар ма?
Біздің жағдайда, осы сұрақтарға жауап бере отырып, біз сынақтың келесі мақсаттарының тізімін анықтадық:
- Тест болашақ студенттердің курсты өтуге дайындығын және олардың білімі мен дағдыларының жеткіліктілігін көрсетуі керек.
- Тест бізге кері байланыс үшін материал беріп, оқушылардың қай тақырыпта қате жібергенін көрсетуі керек, сонда олар өз білімдерін жетілдіре алады. Оны қалай құрастыру керектігін төменде айтамыз.
2-рейк: сарапшы-сынақшыға техникалық шарттарды жасамау
Тест тапсырмаларын құрастыру үшін білім тексерілетін саланың маманын тарту өте маңызды. Ал сарапшы үшін өз кезегінде тест тақырыптарын, тексерілетін білім/дағдыларды және олардың деңгейін қамтитын құзыретті техникалық спецификация (сипаттама) қажет.
Сарапшы өзі үшін мұндай техникалық сипаттамаларды жасамайды, өйткені оның жұмысы тест құрылымын емес, тапсырмаларды ойлап табу болып табылады. Оның үстіне тесттерді кәсіби түрде, тіпті оқыту процесінде де жасайтын адамдар аз. Бұл жеке мамандық – психометрия бойынша оқытылады.
Егер сіз психометриямен тез танысқыңыз келсе, Ресейде бар барлық қызығушылық танытқандар үшін. Тереңдетілген зерттеу үшін Білім институты бар және аспирантура.
Техникалық шарттарды дайындау кезінде біз сарапшыға (немесе жақсырақ, онымен бірге) тесттің толық сипаттамасын жинаймыз: тапсырмалардың тақырыптары, тапсырмалар түрі, олардың саны.
Тапсырмалар түрін қалай таңдауға болады: тақырыптарды шешіп, біз қай тапсырмаларды ең жақсы тексеруге болатынын шешеміз? Классикалық опциялар: ашық тапсырма, бірнеше немесе бір таңдау тапсырмасы, сәйкестік және т.б. (тестілеу ортасының техникалық шектеулері туралы ұмытпаңыз!). Тапсырмалардың түрін анықтап, көрсеткеннен кейін бізде сарапшыға дайын техникалық спецификация бар. Сіз оны сынақ сипаттамасы деп атай аласыз.
Rake 3: Тест әзірлеуге сарапшыны тартпау
Сарапшыны тестілеуге енгізу кезінде оған «жұмыс көлемін» көрсету ғана емес, оны әзірлеу процедурасының өзіне тарту өте маңызды.
Маманмен жұмысты барынша тиімді ету жолы:
- Оны алдын ала орнатыңыз және тест әзірлеу және психометрия ғылымы туралы сөйлесуге уақыт бөліңіз.
- Бағалаушының назарын сұрақтар тізімін емес, жарамды және сенімді бағалау құралын құруға аударыңыз.
- Оның жұмысы тек тапсырмаларды әзірлеуді ғана емес, дайындық кезеңін қамтитынын түсіндіріңіз.
Кейбір сарапшылар (өзінің табиғатына байланысты) мұны өз жұмысының сынағы ретінде қабылдауы мүмкін және біз оларға тамаша тапсырмаларды жасасақ та, олар жай ғана тестілеудің нақты мақсаттарына сәйкес келмеуі мүмкін екенін түсіндіреміз.
Процесті жылдам жүргізу үшін біз сарапшымен бірге тақырыпты қамту кестесін (білім мен дағдылар) дайындаймыз, ол тест спецификациясының бөлігі болып табылады. Дәл осы кесте сұрақтарды нақты өңдеуге және нені өлшейтінімізді анықтауға мүмкіндік береді. Әрбір нақты жағдайда оны сәл басқаша құрастыруға болады. Біздің міндетіміз – адамның жаңа курста оқуға қаншалықты дайын екенін түсіну үшін алдыңғы, негізгі курстардың білімі мен дағдыларын қаншалықты түсінетінін тексеру.
4-рейк: Сарапшы «ең жақсы біледі» деп ойлау
Тақырыпты жақсы біледі. Бірақ ол әрқашан анық түсіндіре бермейді. Тапсырмалардың тұжырымын тексеру өте маңызды. Нұсқауларды нақты жазыңыз, мысалы, «1 дұрыс опцияны таңдаңыз». 90% жағдайда мамандар сұрақтарды өздері түсінетіндей етіп дайындайды. Және бұл жақсы. Бірақ тест тапсыратындарға тапсырар алдында тест тапсыратын адамдар өздерінен не талап етілетінін нақты түсініп, тапсырма мәтінін дұрыс түсінбеуінен қателеспеуі үшін барлығын тексеріп, тарау керек.
Тапсырмаларды екі жақты түсіндіруді болдырмау үшін біз «танымдық зертханаларды» жүргіземіз. Біз мақсатты аудиториядағы адамдардан өз ойларын дауыстап айтып, оны егжей-тегжейлі жазып алып, тестілеуден өтуін сұраймыз. «Когнитивті зертханаларда» сіз түсініксіз сұрақтарды, нашар тұжырымдарды «ұстап» аласыз және сынақ бойынша алғашқы кері байланыс аласыз.
5-рейк: сынақты орындау уақытын елемеңіз
сарказм режимі: қосулы
Әрине, біздің сынақ ең жақсы, әркім оны тапсыруды армандайды! Иә, барлығы 4 сағат.
сарказм режимі: өшірулі
Тексеруге болатын барлық нәрселердің тізімі болған кезде, бастысы - мұны жасамау (бір қарағанда бұл біртүрлі болып көрінеді, солай емес пе?). Сізге сарапшымен негізгі білім мен дағдыларды анықтай отырып, аяусыз кесу керек (иә, бірқатар дағдыларды тестте де тексеруге болады). Біз тапсырмалардың түрін қарастырамыз және мақсатты орындау уақытын бағалаймыз: егер бәрі әлі де ақылға қонымды шектен асып кетсе, біз оны қысқартамыз!
Дыбыс деңгейін азайту үшін бір тапсырмада екі дағдыны сынап көруге де болады (мұқият). Бұл жағдайда адамның неге қателескенін түсіну қиын, бірақ дұрыс орындалса, екі дағды да ескерілуі мүмкін. Бұл екі дағдының бір білім саласына сәйкес келетініне көз жеткізу маңызды.
6-рейк: Баллдық жүйе арқылы ойланбау
Көбінесе бағалау тесттерін құрастыру кезінде олар классикалық баллдық жүйені пайдаланады, мысалы, жеңіл тапсырмаларға 1 ұпай, қиынға 2 ұпай. Бірақ бұл әмбебап емес. Тек тест нәтижелеріне негізделген ұпайлар қосындысы бізге көп нәрсе айта алмайды: біз бұл ұпайлардың қандай тапсырмалар үшін алынғанын білмейміз және тек дұрыс тапсырмалардың санын анықтай аламыз. Біз тестілеушілер қандай дағдыларды көрсетіп жатқанын түсінуіміз керек. Сонымен қатар, біз оларға қандай тақырыптарды жақсарту керектігі туралы пікір білдіргіміз келеді.
Өйткені, біз адамдарды бағдарламаны аяқтауға дайын және дайын емес деп екіге бөлетін тест жасап жатырмыз, кейбіреулеріне тегін оқу арқылы курсқа дайындалуға кеңес береміз. Біз үшін бұл топқа шынымен мұқтаж және соған дайын жандардың ғана кіруі маңызды.
Біздің жағдайымызда біз не істейміз: біз тест әзірлеушілерінің жұмыс тобының ішінде қандай адамдар тобын анықтау қажет екенін анықтаймыз (мысалы, оқуға дайын, ішінара дайын) және қандай дағдылар мен білімді көрсететін осындай топтардың сипаттамаларының кестесін қалыптастырамыз. оқытуға дайын топтар үшін өзекті болады. Осылайша сіз осындай сынақтарға арналған тапсырмалардың «қиындығын» тұжырымдай аласыз.
Rake 7: Нәтижелерді тек автоматты түрде бағалаңыз
Әрине, бағалау мүмкіндігінше объективті болуы керек, сондықтан студенттердің кейбір материалдары автоматты түрде, «кілттермен» дұрыс жауаптармен салыстырылады. Арнайы тестілеу жүйесі болмаса да, көптеген тегін шешімдер бар. Ал егер сіз сценарий жазу принциптерін түсінсеңіз, Google пішіндерімен және кестелердегі нәтижелермен қалағаныңызды жасай аласыз. Кейбір тапсырмаларды сарапшылар тексеретін болса, тест тапсырушылар туралы ақпаратсыз, мамандарға жауап беру туралы ойлануымыз керек. Ал сараптамалық тестілеудің нәтижелерін қорытынды бағалауға қалай біріктіру керектігі туралы ойланыңыз.
Біз бастапқыда коды бар бірнеше ашық тапсырмаларды жасағымыз келді, мұнда сарапшылар алдын ала жасалған критерийлер негізінде шешімдерді бағалайды, тіпті тестке қатысушылардың жеке жауаптарын сарапшыларға арналған арнайы кестеге экспорттайтын жүйені дайындадық, содан кейін нәтижелерді бағалау есептеулері бар кесте. Бірақ мақсатты аудитория өкілдерімен, өнім менеджерімен және білім беру дизайнерімен талқылағаннан кейін біз сарапшылардың жедел кері байланысымен және кодты, сондай-ақ жеке мәселелерді талқылау арқылы техникалық сұхбат жүргізу қатысушылардың өздері үшін әлдеқайда тиімді және пайдалы болатынын сездік. .
Енді сарапшы кейбір сұрақтарды нақтылай отырып, сынақтың аяқталғанын тексереді. Ол үшін біз техникалық сұхбатқа арналған сұрақтар мен бағалау критерийлерінен құралған нұсқаулық дайындадық. Техникалық әңгімелесу алдында емтихан алушы сұрақ қоюға көмектесу үшін тест тапсырушы жауаптарының картасын алады.
8-рейк: сынақ нәтижелерін түсіндірмеңіз
Қатысушыларға кері байланыс беру – бөлек мәселе. Біз тек сынақ ұпайы туралы хабарлап қана қоймай, сонымен қатар тест нәтижелері туралы түсінік беруіміз керек.
Ол:
- Қатысушы қателескен және дұрыс орындаған тапсырмалар.
- Қатысушы қате жіберген тақырыптар.
- Оның емтихан тапсыратындар арасындағы рейтингі.
- Қатысушының деңгейінің сипаттамасы, мысалы, маман деңгейінің сипаттамасына сәйкес (бос орындардың сипаттамасына негізделген).
Тестілеуді сынақтан өткізу кезінде бағдарламаға жазылғысы келетіндерге нәтижелермен бірге жақсартуды қажет ететін тақырыптардың тізімін көрсеттік. Бірақ бұл, әрине, тамаша емес, біз жақсартамыз және жақсырақ кері байланыс береміз.
Rake 9: сынақты әзірлеушілермен талқыламаңыз
Мүмкін, ең өткір рейк, әсіресе басуға жағымсыз, сынақты, сипаттаманы және бағалау шкаласын әзірлеушілерге «сол қалпында» жіберу.
Нақты нені талқылау керек:
- Сұрақтардың сыртқы түрі, құрылымы, графиканың орналасуы, дұрыс жауап таңдауы қалай көрінеді.
- Балл қалай есептеледі (қажет болса), қосымша шарттар бар ма.
- Кері байланыс қалай жасалады, мәтіндерді қайдан алуға болады, автоматты түрде жасалған қосымша блоктар бар ма.
- Сізге қандай қосымша ақпаратты жинау керек және қай жерде (бірдей контактілер).
Түсінбеушіліктерді болдырмау үшін біз әзірлеушілерімізден тесттің өзін кодтамас бұрын олардың қалай көрінетінін көру үшін 2 немесе 3 түрлі сұрақтарды кодтауды сұраймыз.
Rake 10: Тестілеусіз тікелей өндіріске жүктеңіз
3 рет, балалар, тестті әр түрлі адамдар 3 рет, жақсырақ, әрқайсысы 3 рет тексеру керек.Бұл шындық қанмен, термен және код сызықтарының пикселімен алынды.
Біздің тест келесі үштікті тексереді:
- Өнім - өнімділікке, сыртқы түріне, механикасына сынақты тексереді.
- Тест құрастырушы – тапсырмалардың мәтінін, олардың ретін, тестпен жұмыс істеу формасын, тапсырмалардың түрлерін, дұрыс жауаптарын, оқуға қабілеттілігін және графиканың қалыпты қаралуын тексереді.
- Тапсырмалардың авторы (сарапшы) сараптамалық позициядан тесттің дұрыстығын тексереді.
Тәжірибеден мысал: тек үшінші жүгіруде тапсырмалар авторы 1 тапсырманың ескі нұсқада қалғанын көрді. Бұрынғылардың бәрі де белсенді түрде билік жүргізді. Бірақ тест кодталғанда, ол бастапқыда елестеткеннен басқаша көрінді. Бір нәрсені түзетуге тура келетіні жоғары. Мұны ескеру қажет.
Нәтиже
Осы «тырмаларды» мұқият айналып өтіп, біз арнайы жасадық , талапкерлердің білімін тексеру. Кез келген адам оны біз келесі материалды дайындап жатқанда сынай алады, онда біз сізге бот ішінде не болғанын және оның барлығы кейінірек неге айналғанын айтып береміз.
SkillFactory онлайн курстарын өту арқылы сіз нөлден бастап сұранысқа ие мамандықты ала аласыз немесе дағдылар мен жалақы бойынша Level Up аласыз:
- (12 апта)
- (20 апта)
- (20 апта)
- (12 ай)
Қосымша курстар
- (12 ай)
- (14 апта)
- (5 апта)
- (18 ай)
- (6 ай)
- (12 ай)
- (8 ай)
- (9 ай)
- (12 ай)
- (18 ай)
- (18 ай)
- (12 ай)
- (9 ай)
- (7 ай)
Ақпарат көзі: www.habr.com