Жаңы Machine Learning Advanced курсуна жазылардан мурун, биз болочок студенттерди алардын даярдыгын аныктоо жана курска даярдануу үчүн эмнени сунуш кылышы керектигин түшүнүү үчүн сынайбыз. Бирок дилемма пайда болот: бир жагынан биз Data Science боюнча билимди сынап көрүшүбүз керек, экинчи жагынан биз толук кандуу 4 сааттык экзаменди уюштура албайбыз.
Бул көйгөйдү чечүү үчүн биз Data Science курсун иштеп чыгуу тобуна TestDev штабын жайгаштырдык (жана бул башталышы гана окшойт). Биз сиздерге билимди баалоо үчүн тесттерди иштеп чыгууда кездешүүчү 10 мүчүлүштүктөрдүн тизмесин сунуштайбыз. Мындан кийин онлайн окутуу дүйнөсү бир аз жакшырат деп үмүттөнөбүз.
Rake 1: Сыноо максаттарын так аныктай албаган
Максаттарды туура аныктоо жана аларды эске ала турган тестти түзүү үчүн, пландаштыруу баскычында биз бир нече суроолорго жооп беришибиз керек:
- Биз чынында эмнени текшерип жатабыз?
- Сыноо кандай чөйрөдө өтөт жана кандай механика колдонулат? Бул чөйрөдө кандай чектөөлөр бар? Ушул эле пункт тестирлөө жүргүзүлө турган аппараттын техникалык талаптарын, ошондой эле мазмунун түшүнүүгө мүмкүндүк берет (эгерде тест телефондордон алынган болсо, сүрөттөр кичинекей экранда да окулушу керек, ал керек аларды чоңойтууга мүмкүн болушу ж.б.).
- Сыноо канча убакытка созулат? Сиз колдонуучу кандай шарттарда тесттен өтөөрү жөнүндө ойлонушуңуз керек. Ал тестирлөө процессин үзгүлтүккө учуратып, кайра улантууга муктаж болгон жагдай болушу мүмкүнбү?
- Пикир болобу? Аны кантип калыптандырып, жеткиребиз? Сизге эмне керек? Сыноонун аткарылышы менен жооп кайтаруунун ортосунда убакыт аралыгы барбы?
Биздин учурда, бул суроолорго жооп берип, биз тесттин максаттарынын төмөнкү тизмесин аныктадык:
- Тестирлөө келечектеги студенттердин курстан өтүүгө даяр же даяр эместигин, алардын билими жана көндүмдөрү жетиштүүбү же жокпу көрсөтүшү керек.
- Тест бизге кайтарым байланыш үчүн материал берип, окуучулардын ката кетирген темасын көрсөтүп, алар билимин өркүндөтүшү керек. Аны кантип түзүү керектигин төмөндө айтып беребиз.
Rake 2: Эксперттик сыноочу үчүн техникалык шарттарды түзбөө
Тесттик тапшырмаларды түзүү үчүн билим текшерилип жаткан чөйрөдөгү экспертти тартуу абдан маанилүү. Ал эми эксперт үчүн, өз кезегинде, компетенттүү техникалык спецификация (сүрөттөө) керек, анда тесттин темалары, текшерилип жаткан билимдер/көнүмдөр жана алардын деңгээли камтылган.
Эксперт өзү үчүн мындай техникалык мүнөздөмөлөрдү жасабайт, анткени анын иши тесттин түзүмүн эмес, тапшырмаларды ойлоп табуу. Анын үстүнө, аз эле адамдар тесттерди профессионалдуу түрдө, атүгүл окутуу процессинде иштеп чыгышат. Бул өзүнчө адистик боюнча окутулат - психометрия.
Эгер сиз психометрика менен тезирээк таанышууну кааласаңыз, анда Россияда бар бардык кызыккандар үчүн. Тереңирээк изилдөө үчүн Билим берүү институту бар жана аспирантура.
Техникалык шарттарды даярдоодо биз экспертке (же жакшысы, аны менен бирге) тесттин толук сыпаттамасын чогултабыз: тапшырмалардын темалары, тапшырмалардын түрү, алардын саны.
Тапшырмалардын түрүн кантип тандоо керек: темалар боюнча чечим кабыл алып, кайсы тапшырмалар муну эң жакшы сынай аларын чечебиз? Классикалык варианттар: ачык тапшырма, көп же бир тандоо тапшырмасы, дал келүү ж.б. (сыноо чөйрөсүндөгү техникалык чектөөлөр жөнүндө унутпаңыз!). Тапшырмалардын түрүн аныктап, тактагандан кийин бизде эксперт үчүн даяр техникалык спецификация бар. Сиз аны сыноо спецификациясы деп атасаңыз болот.
Rake 3: Тестти иштеп чыгууда экспертти тартууга болбойт
Экспертти тестти иштеп чыгууга чөмүлдүрүп жатканда, ага "иштин көлөмүн" көрсөтүү эле эмес, аны иштеп чыгуу процедурасынын өзүнө тартуу абдан маанилүү.
Кантип эксперт менен иштөөнү мүмкүн болушунча натыйжалуу кылуу керек:
- Аны алдын ала орнотуп, тестти иштеп чыгуу жана психометрика илими жөнүндө сүйлөшүүгө бир аз убакыт бөлүңүз.
- Баалоочунун көңүлүн суроолордун тизмесин эмес, жарактуу жана ишенимдүү баалоо куралын түзүүгө буруңуз.
- Анын иши тапшырмаларды иштеп чыгууну гана эмес, даярдоо баскычын да камтыганын түшүндүрүңүз.
Кээ бир эксперттер (өз табиятынан улам) муну өз иштеринин сыналышы катары кабыл алышы мүмкүн жана биз аларга эң сонун тапшырмаларды түзсөк дагы, алар жөн гана тестирлөөнүн конкреттүү максаттарына дал келбей калышы мүмкүн экенин түшүндүрөбүз.
Процесстин тез жүрүшү үчүн, биз тесттин спецификациясынын бир бөлүгү болгон эксперт менен теманы камтуу таблицасын (билим жана көндүмдөр) даярдайбыз. Дал ушул таблица суроолорду так иштеп чыгууга жана эмнени өлчөй турганыбызды аныктоого мүмкүндүк берет. Ар бир конкреттүү учурда ал бир аз башкача түзүлүшү мүмкүн. Биздин милдет – адам жаңы курста окууга канчалык даяр экендигин түшүнүү үчүн мурунку, негизги курстардын билимин жана көндүмдөрүн канчалык деңгээлде түшүнгөндүгүн текшерүү.
Rake 4: Эксперт "эң жакшы билет" деп ойло
Теманы жакшы билет. Бирок ал дайыма эле так түшүндүрө бербейт. Бул тапшырмалардын текстин текшерүү үчүн абдан маанилүү болуп саналат. Так нускамаларды жазыңыз, мисалы, "1 туура вариантты тандаңыз." 90% учурларда эксперттер суроолорду өздөрү түшүнгөндөй даярдашат. Анан баары жакшы. Бирок тестти тапшыра тургандарга тапшыраардан мурун, тест тапшырган адамдар алардан эмне талап кылынарын так түшүнүшү жана тапшырманын текстин туура эмес чечмелеп алышы мүмкүн деп ката кетирбеши үчүн бардыгын текшерип, тараш керек.
Тапшырмаларды эки жолу чечмелөөдөн качуу үчүн биз “когнитивдик лабораторияларды” өткөрөбүз. Биз максаттуу аудиториядагы адамдардан тесттен өтүшүн суранабыз, алар эмне деп ойлошот жана аны деталдуу түрдө жаздырышат. "Когнитивдик лабораторияларда" сиз түшүнүксүз суроолорду, туура эмес сөздөрдү "кармап", тест боюнча биринчи пикирди ала аласыз.
Rake 5: Сыноону аткаруу убактысын этибарга албаңыз
сарказм режими: күйүк
Албетте, биздин сынак эң мыкты, ар бир адам андан өтүүнү кыялданат! Ооба, бардыгы 4 саат.
сарказм режими: өчүк
Текшерүүгө боло турган нерселердин бардыгынын тизмеси болгондо, эң негизгиси муну кылбоо (бир караганда кызыктай сезилет, туурабы?). Сиз аёосуз кесип, эксперт менен негизги билим жана көндүмдөрдү аныктоо керек (ооба, көндүмдөрдүн бир катар, ошондой эле тестте сыналышы мүмкүн). Биз тапшырмалардын түрүн карап, максаттуу аяктоо убактысын эсептейбиз: эгерде баары акылга сыярлык чектен ашып кетсе, биз аны кыскартабыз!
Үнүн азайтуу үчүн, сиз дагы бир тапшырмада эки жөндөмдү сынап көрүңүз (кылдат). Бул учурда, адам эмне үчүн ката кетиргенин түшүнүү кыйын, бирок туура жасалган болсо, эки жөндөм тең эске алынышы мүмкүн. Бул 2 көндүмдөрдүн бир эле билим чөйрөсүнө туура келерин текшерүү маанилүү.
Rake 6: Упай системасы аркылуу ойлонбой
Көбүнчө, баалоо тесттерин түзүүдө классикалык баллдык системаны колдонушат, мисалы, жеңил тапшырмалар үчүн 1 упай, оор тапшырмалар үчүн 2 упай. Бирок бул универсалдуу эмес. Тесттин жыйынтыгы боюнча алынган упайлардын суммасы эле бизге көп нерсе айта албайт: бул баллдар кайсы тапшырмалар үчүн алынганын билбейбиз жана туура тапшырмалардын санын гана аныктай алабыз. Сыноочулар кандай көндүмдөрдү көрсөтүп жатканын так түшүнүшүбүз керек. Мындан тышкары, биз аларга кайсы темаларды өркүндөтүү керектиги боюнча ой-пикирлерди билдиргибиз келет.
Анткени, биз адамдарды программаны бүтүрүүгө даяр жана даяр эмес деп бөлүүчү тест жүргүзүп жатабыз, кээ бирлерине бекер окуу аркылуу курска даярданууну сунуштайбыз. Бул топко чындап муктаж жана ага даяр болгондор гана кириши биз үчүн маанилүү.
Биздин кырдаалда биз эмне кылабыз: биз тестти иштеп чыгуучулардын жумушчу тобунун ичинде адамдардын кайсы топторун аныктоо керек экендигин аныктайбыз (мисалы, үйрөнүүгө даяр, жарым-жартылай даяр) жана мындай топтордун мүнөздөмөлөрүнүн таблицасын түзөбүз, анда кандай жөндөмдөр жана билимдер көрсөтүлөт. үйрөнүүгө даяр топтор үчүн актуалдуу болот. Ушундай жол менен сиз мындай тесттер үчүн тапшырмалардын "кыйынчылыгын" түзө аласыз.
Rake 7: Натыйжаларды автоматтык түрдө гана баалаңыз
Албетте, баалоо мүмкүн болушунча объективдүү болушу керек, андыктан студенттердин айрым материалдары автоматтык түрдө, "ачкычтар менен" туура жооптор менен салыштырылат. Атайын тестирлөө системасы жок болсо дагы, көптөгөн акысыз чечимдер бар. Жана эгер сиз скрипт жазуу принциптерин түшүнсөңүз, анда Google формалары жана таблицалардагы натыйжалар менен каалаганыңызды жасай аласыз. Эгерде кээ бир тапшырмалар эксперттер тарабынан текшерилсе, анда тест тапшыруучулар тууралуу маалымат жок, эксперттерге жооп берүү жөнүндө ойлонушубуз керек. Жана эксперттик тестирлөөнүн жыйынтыгын жыйынтыктоочу баалоого кантип кошуу керектиги жөнүндө ойлонуңуз.
Биз алгач код менен бир нече ачык тапшырмаларды жасагыбыз келген, мында эксперттер алдын ала түзүлгөн критерийлердин негизинде чечимдерди баалашат, атүгүл тесттин катышуучуларынын жеке жоопторун эксперттер үчүн атайын таблицага экспорттогон системаны даярдадык, андан кийин жыйынтыктарды баалоо эсептөөлөрү менен таблица. Бирок максаттуу аудиториянын өкүлдөрү, продукт менеджери жана билим берүү дизайнери менен талкуулагандан кийин, биз эксперттердин ыкчам пикири жана кодду, ошондой эле жеке маселелерди талкуулоо менен техникалык интервью өткөрүү катышуучулардын өздөрү үчүн алда канча натыйжалуу жана пайдалуу болот деп ойлодук. .
Эми эксперт айрым суроолорду тактап, тесттин аяктаганын текшерет. Бул үчүн биз техникалык интервью үчүн суроолордун жана баалоо критерийлеринин колдонмосун даярдадык. Техникалык интервью алдында экзамен берүүчү тест тапшыруучунун жоопторунун картасын алат, ага бериле турган суроолорду тандоого жардам берет.
Rake 8: Тесттин жыйынтыгын түшүндүрбөңүз
Катышуучуларга жооп кайтаруу өзүнчө маселе. Биз тесттин баллы жөнүндө гана маалымат бербестен, тесттин жыйынтыгы боюнча түшүнүк беришибиз керек.
Алар төмөнкүлөр болушу мүмкүн:
- Катышуучу ката кетирген жана туура аткарган тапшырмалар.
- Катышуучу ката кетирген темалар.
- Анын сынак тапшыргандардын арасындагы рейтинги.
- Катышуучунун деңгээлинин сүрөттөлүшү, мисалы, адистин деңгээлинин сыпаттамасы менен (вакансиялардын сыпаттамасынын негизинде).
Биздин тестти пилоттук түрдө ишке киргизүү учурунда программага кирүүнү каалагандарга жыйынтыктар менен бирге биз жакшыртылышы керек болгон темалардын тизмесин көрсөттүк. Бирок бул, албетте, идеалдуу эмес, биз жакшыртып, жакшы пикирлерди камсыз кылабыз.
Rake 9: Тестти иштеп чыгуучулар менен талкуулабаңыз
Мүмкүн эң курч тырмоо, өзгөчө басуу жагымсыз, бул тестти, сыпаттаманы жана баллдык шкаланы иштеп чыгуучуларга "кандай болсо да" жөнөтүү.
Эмнени так талкуулоо керек:
- Суроолордун сырткы көрүнүшү, түзүлүшү, графикасынын абалы, туура жоопту тандоо кандай болот.
- Упай кантип эсептелет (зарыл болсо), кошумча шарттар барбы.
- Пикир кантип түзүлөт, тексттерди кайдан алса болот, кошумча автоматтык түрдө түзүлгөн блоктор барбы.
- Кандай кошумча маалымат чогултуу керек жана кайсы учурда (ошол эле байланыштар).
Түшүнбөстүктөрдү болтурбоо үчүн, биз иштеп чыгуучуларыбыздан тесттин өзүн коддоодон мурун алардын кандай экенин көрүшү үчүн 2 же 3 түрдүү суроолорду коддоону суранабыз.
Rake 10: Сыноосуз, түздөн-түз өндүрүшкө жүктөңүз
3 жолу, балдар, тестти ар кандай адамдар 3 жолу текшериши керек, же андан да жакшысы, ар бири 3 жолудан текшерилиши керек.Бул чындык кан, тер жана код саптарынын пикселдери менен алынган.
Биздин тест төмөнкү үчилтикти текшерет:
- Продукт - өндүрүмдүүлүгү, көрүнүшү, механикасы боюнча тестти текшерет.
- Тестти иштеп чыгуучу – тапшырмалардын текстин, алардын тартибин, тест менен иштөө формасын, тапшырмалардын түрлөрүн, туура жоопторду, окулушун жана графиканын нормалдуу көрүнүшүн текшерет.
- Тесттин ишенимдүүлүгүн тапшырмалардын автору (эксперт) эксперттик позициядан текшерет.
Практикадан мисал: үчүнчү чуркоодо гана тапшырмалардын автору 1 тапшырманын эски версиясында калганын көрдү. Мурдагылардын баары да активдүү бийлик жүргүзүшкөн. Бирок тест коддолгондо, ал башында элестеткенден башкача көрүндү. Бир нерсени оңдоого туура келиши мүмкүн. Муну эске алуу зарыл.
жыйынтык
Булардын баарын кылдаттык менен айланып өтүп, биз атайын түздүк , абитуриенттердин билимин текшерүү. Биз боттун ичинде эмне болгонун жана анын баары кийинчерээк эмнеге айланганын айтып бере турган кийинки материалды даярдап жатканыбызда аны каалаган адам сынай алат.
Сиз SkillFactory онлайн курстарынан өтүү менен нөлдөн баштап же деңгээлге көтөрүлө аласыз:
- (12 жума)
- (20 жума)
- (20 жума)
- (12 ай)
Көбүрөөк курстар
- (12 ай)
- (14 жума)
- (5 жума)
- (18 ай)
- (6 ай)
- (12 ай)
- (8 ай)
- (9 ай)
- (12 ай)
- (18 ай)
- (18 ай)
- (12 ай)
- (9 ай)
- (7 ай)
Source: www.habr.com