Yangi Machine Learning Advanced kursiga yozilishdan oldin, biz bo'lajak talabalarni ularning tayyorlik darajasini aniqlash va kursga tayyorgarlik ko'rish uchun aynan nimani taklif qilishlari kerakligini tushunish uchun sinovdan o'tkazamiz. Ammo dilemma paydo bo'ladi: bir tomondan, biz Data Science bo'yicha bilimlarni sinab ko'rishimiz kerak, boshqa tomondan, biz to'liq 4 soatlik imtihonni tashkil qila olmaymiz.
Ushbu muammoni hal qilish uchun biz Data Science kurslarini ishlab chiqish guruhida TestDev shtab-kvartirasini joylashtirdik (va bu hali boshlanishi kabi ko'rinadi). Biz sizga bilimlarni baholash uchun testlarni ishlab chiqishda duch keladigan 10 ta tuzoq ro'yxatini taqdim etamiz. Umid qilamanki, bundan keyin onlayn o'rganish dunyosi biroz yaxshiroq bo'ladi.
Rake 1: Sinov maqsadlarini aniq belgilay olmaslik
Maqsadlarni to'g'ri aniqlash va ularni hisobga oladigan testni yaratish uchun rejalashtirish bosqichida biz bir nechta savollarga javob berishimiz kerak:
- Biz aslida nimani tekshirmoqdamiz?
- Sinov qanday muhitda o'tkaziladi va qanday mexanikadan foydalaniladi? Bu muhitda qanday cheklovlar bor? Xuddi shu nuqta sizga sinov o'tkaziladigan qurilmaga, shuningdek tarkibga (agar test telefonlardan olingan bo'lsa, rasmlar hatto kichik ekranda ham o'qilishi kerak) texnik talablarni tushunishga imkon beradi. ularni kattalashtirish mumkin va hokazo).
- Sinov qancha davom etadi? Siz foydalanuvchi testdan o'tish shartlari haqida o'ylashingiz kerak. U sinov jarayonini to'xtatib, keyin yana davom etishi kerak bo'lgan vaziyat bo'lishi mumkinmi?
- Fikr-mulohaza bo'ladimi? Uni qanday shakllantiramiz va yetkazib beramiz? Sizga nima kerak? Sinovni bajarish va fikr-mulohazalar o'rtasida vaqt oralig'i bormi?
Bizning holatlarimizda, ushbu savollarga javob berib, biz test uchun quyidagi maqsadlar ro'yxatini aniqladik:
- Test bo'lajak talabalar kursni o'tashga tayyormi yoki yo'qmi, ular etarli bilim va ko'nikmalarga egami yoki yo'qligini ko'rsatishi kerak.
- Test bizga fikr-mulohazalar uchun material berishi, o'quvchilar o'z bilimlarini yaxshilashlari uchun xato qilgan mavzuni ko'rsatishi kerak. Uni qanday yaratishni quyida aytib beramiz.
Rake 2: Ekspert sinov muallifi uchun texnik shartlarni tuzmaslik
Test topshiriqlarini tuzish uchun bilimlar sinovdan o'tkazilayotgan soha bo'yicha mutaxassisni jalb qilish juda muhimdir. Mutaxassis uchun esa, o'z navbatida, sizga test mavzulari, sinovdan o'tadigan bilim / ko'nikmalar va ularning darajasini o'z ichiga olgan malakali texnik shart (ta'rif) kerak.
Mutaxassis o'zi uchun bunday texnik xususiyatlarni bajarmaydi, chunki uning vazifasi testning tuzilishini emas, balki vazifalarni ishlab chiqishdir. Bundan tashqari, kam sonli odamlar testlarni professional ravishda, hatto o'qitish jarayonida ham ishlab chiqadilar. Bu alohida mutaxassislik - psixometriya bo'yicha o'qitiladi.
Agar siz psixometriya bilan tezda tanishmoqchi bo'lsangiz, unda Rossiyada mavjud barcha qiziquvchilar uchun. Chuqurroq o'rganish uchun Ta'lim instituti mavjud va aspirantura.
Texnik spetsifikatsiyalarni tayyorlashda biz ekspert uchun testning batafsil tavsifini yig'amiz (yoki yaxshiroq, u bilan birga): vazifalar mavzulari, vazifalar turi, ularning soni.
Vazifalar turini qanday tanlash mumkin: mavzular bo'yicha qaror qabul qilib, qaysi vazifalar buni yaxshiroq sinab ko'rishi mumkinligini aniqlaymiz? Klassik variantlar: ochiq topshiriq, bir nechta yoki bitta tanlov vazifasi, moslik va boshqalar (sinov muhitining texnik cheklovlari haqida unutmang!). Vazifalar turini aniqlab, aniqlagandan so'ng, bizda mutaxassis uchun tayyor texnik shart mavjud. Siz buni sinov spetsifikatsiyasi deb atashingiz mumkin.
Rake 3: Testni ishlab chiqishda mutaxassisni jalb qilmaslik
Mutaxassisni testni ishlab chiqishga jalb qilishda unga nafaqat "ish doirasi" ni ko'rsatish, balki uni ishlab chiqish jarayoniga jalb qilish juda muhimdir.
Qanday qilib mutaxassis bilan ishlashni iloji boricha samarali qilish kerak:
- Uni oldindan o'rnating va testlarni ishlab chiqish va psixometrik fanlar haqida gapirishga vaqt ajrating.
- Baholovchining e'tiborini savollar ro'yxatiga emas, balki haqiqiy va ishonchli baholash vositasini yaratishga qarating.
- Uning ishi nafaqat vazifalarni ishlab chiqishni emas, balki tayyorgarlik bosqichini o'z ichiga olganligini tushuntiring.
Ba'zi ekspertlar (o'z tabiatiga ko'ra) buni o'z ishlarining sinovi sifatida qabul qilishlari mumkin va biz ularga a'lo darajadagi topshiriqlarni yaratsak ham, ular aniq test maqsadlariga mos kelmasligi mumkinligini tushuntiramiz.
Jarayonni tezlashtirish uchun biz test spetsifikatsiyasining bir qismi bo'lgan ekspert bilan mavzuni yoritish jadvalini (bilim va ko'nikmalar) tayyorlaymiz. Aynan shu jadval bizga savollarni to'g'ri ishlab chiqish va nimani o'lchashimizni aniqlash imkonini beradi. Har bir alohida holatda u biroz boshqacha tarzda tuzilishi mumkin. Bizning vazifamiz - insonning yangi kursda o'qishga qanchalik tayyorligini tushunish uchun oldingi, asosiy kurslarning bilim va ko'nikmalarini qanchalik yaxshi tushunishini tekshirish.
Rake 4: Mutaxassis "eng yaxshi biladi" deb o'ylash
Mavzuni yaxshiroq biladi. Lekin bu har doim ham aniq tushuntirmaydi. Topshiriqlar matnini tekshirish juda muhimdir. Aniq ko'rsatmalar yozing, masalan, "1 ta to'g'ri variantni tanlang". 90% hollarda mutaxassislar savollarni o'zlari tushunadigan tarzda tayyorlaydilar. Va bu yaxshi. Ammo testni topshiradiganlarga topshirishdan oldin hamma narsani tekshirish va tarash kerak, shunda imtihon topshiruvchilar ulardan nima talab qilinishini aniq tushunishlari va faqat topshiriq matnini noto'g'ri talqin qilishlari mumkinligi sababli xatolikka yo'l qo'ymasliklari kerak.
Vazifalarni ikki tomonlama talqin qilishdan qochish uchun biz "kognitiv laboratoriyalar" o'tkazamiz. Biz maqsadli auditoriyadagi odamlardan testdan o'tishlarini so'raymiz, ular o'z fikrlarini baland ovozda aytib, uni batafsil yozib olishadi. "Kognitiv laboratoriyalar" da siz tushunarsiz savollarni, noto'g'ri so'zlarni "tutib olishingiz" va test bo'yicha birinchi fikr-mulohazalarni olishingiz mumkin.
Rake 5: Sinovni bajarish vaqtini e'tiborsiz qoldiring
kinoya rejimi: yoqilgan
Albatta, bizning imtihonimiz eng zo'r, hamma undan o'tishni orzu qiladi! Ha, hammasi 4 soat.
kinoya rejimi: o'chirilgan
Tekshirish mumkin bo'lgan barcha narsalar ro'yxati mavjud bo'lganda, asosiy narsa buni qilmaslikdir (bir qarashda g'alati tuyuladi, shunday emasmi?). Mutaxassis bilan asosiy bilim va ko'nikmalarni aniqlab, shafqatsizlarcha kesishingiz kerak (ha, testda bir qator ko'nikmalar ham tekshirilishi mumkin). Biz vazifalar turini ko'rib chiqamiz va maqsadli bajarish vaqtini taxmin qilamiz: agar hamma narsa hali ham o'rtacha chegaralardan oshib ketgan bo'lsa, biz uni qisqartiramiz!
Ovozni kamaytirish uchun siz bitta vazifada ikkita ko'nikmani sinab ko'rishingiz mumkin (ehtiyotkorlik bilan). Bunday holda, odam nima uchun xato qilganini tushunish qiyin, lekin to'g'ri bajarilgan bo'lsa, ikkala ko'nikma ham hisobga olinishi mumkin. Ushbu ikki ko'nikma bir xil bilim sohasiga mos kelishiga ishonch hosil qilish muhimdir.
Rake 6: ball tizimi orqali o'ylamaslik
Ko'pincha, baholash testlarini tuzishda ular klassik ball tizimidan foydalanadilar, masalan, oson topshiriqlar uchun 1 ball va qiyin bo'lganlar uchun 2 ball. Ammo bu universal emas. Faqat test natijalariga asoslangan ballar yig'indisi bizga ko'p narsani aytib bermaydi: biz bu ballar qaysi topshiriqlar uchun olinganini bilmaymiz va biz faqat to'g'ri topshiriqlar sonini aniqlay olamiz. Biz imtihon topshiruvchilar qanday ko'nikmalarni namoyish etayotganini aniq tushunishimiz kerak. Bundan tashqari, biz ularga qaysi mavzularni yaxshilash kerakligi haqida fikr bildirmoqchimiz.
Axir, biz odamlarni dasturni bajarishga tayyor va tayyor bo'lmaganlarga ajratadigan test o'tkazmoqdamiz; ba'zilariga bepul trening orqali kursga tayyorgarlik ko'rishni maslahat beramiz. Biz uchun bu guruhga faqat unga chinakam muhtoj va bunga tayyor bo'lganlar kirishi muhim.
Bizning vaziyatimizda biz nima qilamiz: biz test ishlab chiquvchilarning ishchi guruhida qaysi odamlar guruhlarini aniqlash kerakligini aniqlaymiz (masalan, o'rganishga tayyor, qisman tayyor) va qanday ko'nikmalar va bilimlarni ko'rsatadigan bunday guruhlarning xususiyatlari jadvalini tuzamiz. o'rganishga tayyor bo'lganlar guruhi uchun dolzarb bo'ladi. Shunday qilib, siz bunday testlar uchun vazifalarning "qiyinchilik" ni shakllantirishingiz mumkin.
Rake 7: Natijalarni faqat avtomatik ravishda baholang
Albatta, baholash imkon qadar ob'ektiv bo'lishi kerak, shuning uchun talabalarning ba'zi materiallari avtomatik ravishda, "kalitlar bilan" - to'g'ri javoblar bilan taqqoslanadi. Maxsus sinov tizimi bo'lmasa ham, juda ko'p bepul echimlar mavjud. Va agar siz skriptlarni yozish tamoyillarini tushunsangiz, Google shakllari va jadvallardagi natijalar bilan xohlagan narsani qilishingiz mumkin. Agar ba'zi topshiriqlar mutaxassislar tomonidan tekshirilsa, unda test topshiruvchilar haqida ma'lumotsiz, javoblarni mutaxassislarga etkazish haqida o'ylashimiz kerak. Va ekspert sinovlari natijalarini yakuniy baholashga qanday integratsiya qilish haqida o'ylang.
Biz dastlab kod bilan bir nechta ochiq topshiriqlarni bajarishni xohladik, bu erda mutaxassislar oldindan tuzilgan mezonlar asosida echimlarni baholaydilar va hatto test ishtirokchilarining individual javoblarini ekspertlar uchun maxsus jadvalga eksport qiladigan tizimni tayyorladik va keyin natijalarni import qiladi. baholash hisob-kitoblari bilan jadval. Ammo maqsadli auditoriya vakillari, mahsulot menejeri va o'quv dizayneri bilan muhokama qilganimizdan so'ng, biz tezkor ekspert fikr-mulohazalari va kodni, shuningdek individual masalalarni muhokama qilish bilan texnik intervyu o'tkazish ishtirokchilarning o'zlari uchun ancha samarali va foydali bo'lishini his qildik. .
Endi ekspert ba'zi savollarga aniqlik kiritib, testning yakunlanganligini tekshiradi. Buning uchun biz texnik suhbat uchun savollar va baholash mezonlari qo'llanmasini tayyorladik. Texnik intervyu oldidan imtihon oluvchi imtihon topshiruvchining javoblari xaritasini oladi va unga savollarni tanlashda yordam beradi.
Rake 8: Sinov natijalarini tushuntirmang
Ishtirokchilarga fikr bildirish alohida masala. Biz nafaqat test balli haqida ma'lumot berishimiz, balki test natijalari haqida ham tushuncha berishimiz kerak.
Bu shunday bo'lishi mumkin:
- Ishtirokchi xato qilgan va u to'g'ri bajargan vazifalar.
- Ishtirokchi xato qilgan mavzular.
- Uning imtihon topshiruvchilar orasidagi reytingi.
- Ishtirokchi darajasining tavsifi, masalan, mutaxassis darajasining tavsifiga muvofiq (bo'sh ish o'rinlari tavsifi asosida).
Sinovimiz sinovdan o'tkazilayotganda dasturga yozilish istagida bo'lganlarga natijalar bilan bir qatorda takomillashtirilishi kerak bo'lgan mavzular ro'yxatini ham ko'rsatdik. Lekin bu, albatta, ideal emas, biz yaxshilaymiz va yaxshi fikr bildiramiz.
Rake 9: Testni ishlab chiquvchilar bilan muhokama qilmang
Ehtimol, qadam qo'yish ayniqsa yoqimsiz bo'lgan eng o'tkir rake test, tavsif va ball o'lchovini ishlab chiquvchilarga "xuddi shunday" yuborishdir.
Aynan nimani muhokama qilish kerak:
- Savollarning ko'rinishi, tuzilishi, grafiklarning joylashuvi, to'g'ri javobni tanlash qanday ko'rinishga ega.
- Bal qanday hisoblanadi (agar kerak bo'lsa), qo'shimcha shartlar mavjudmi.
- Fikr-mulohaza qanday yaratiladi, matnlarni qaerdan olish mumkin, qo'shimcha avtomatik ravishda yaratilgan bloklar mavjudmi?
- Qanday qo'shimcha ma'lumotlarni to'plashingiz kerak va qaysi nuqtada (xuddi shu kontaktlar).
Tushunmovchiliklarga yo'l qo'ymaslik uchun biz ishlab chiquvchilarimizdan testning o'zini kodlashdan oldin ularning qanday ko'rinishini ko'rishlari uchun 2 yoki 3 xil savollarni kodlashni so'raymiz.
Rake 10: Sinovsiz, to'g'ridan-to'g'ri ishlab chiqarishga yuklang
3 marta, bolalar, testni har xil odamlar tomonidan 3 marta yoki yaxshiroq, har birida 3 marta tekshirish kerak.Bu haqiqat qon, ter va kod satrlarining piksellari bilan olingan.
Bizning testimiz quyidagi uchlikni tekshiradi:
- Mahsulot - ishlash, tashqi ko'rinish, mexanika uchun testni tekshiradi.
- Test ishlab chiqaruvchi - topshiriqlar matnini, ularning tartibini, test bilan ishlash shaklini, topshiriq turlarini, to'g'ri javoblarni, o'qilishi va grafiklarning normal ko'rinishini tekshiradi.
- Vazifalar muallifi (mutaxassis) ekspert pozitsiyasidan testning ishonchliligini tekshiradi.
Amaliyotdan misol: faqat uchinchi yugurishda, topshiriqlar muallifi 1 ta vazifa eski versiyada qolganligini ko'rdi. Oldingilarning hammasi ham faol hukmronlik qilishgan. Ammo test kodlanganida, u dastlab tasavvur qilinganidan boshqacha ko'rinardi. Biror narsani tuzatish kerak bo'lishi ehtimoli katta. Buni hisobga olish kerak.
Xulosa
Ehtiyotkorlik bilan bu "rake" ni chetlab o'tib, biz maxsus yaratdik , abituriyentlarning bilimini tekshirish. Biz keyingi materialni tayyorlayotganimizda har kim uni sinab ko'rishi mumkin, unda biz sizga bot ichida nima bo'lganini va keyinroq nimaga aylanganini aytib beramiz.
Siz SkillFactory onlayn kurslarida qatnashib, noldan yoki ko'nikma va ish haqi bo'yicha Level Up orqali izlanayotgan kasbga ega bo'lishingiz mumkin:
- (12 hafta)
- (20 hafta)
- (20 hafta)
- (12 oy)
Ko'proq kurslar
- (12 oy)
- (14 hafta)
- (5 hafta)
- (18 oy)
- (6 oy)
- (12 oy)
- (8 oy)
- (9 oy)
- (12 oy)
- (18 oy)
- (18 oy)
- (12 oy)
- (9 oy)
- (7 oy)
Manba: www.habr.com