Машины сургалтын шинэ ахисан түвшний сургалтанд элсэхээсээ өмнө бид ирээдүйн оюутнуудаас тэдний бэлэн байдлын түвшинг тодорхойлж, сургалтанд бэлтгэхийн тулд яг юу санал болгох ёстойг ойлгохын тулд тест хийдэг. Гэвч нэг талдаа бид мэдээллийн шинжлэх ухааны мэдлэгийг шалгах ёстой, нөгөө талаас бид 4 цагийн бүрэн шалгалтыг зохион байгуулж чадахгүй.
Энэ асуудлыг шийдэхийн тулд бид Data Science курсын хөгжүүлэлтийн багт TestDev-ийн төв байрыг байршуулсан (мөн энэ нь дөнгөж эхлэл юм шиг байна). Мэдлэгийг үнэлэх тест боловсруулахад тулгардаг 10 алдааны жагсаалтыг бид танд толилуулж байна. Үүний дараа онлайн сургалтын ертөнц бага зэрэг сайжирна гэж найдаж байна.
Тармуур 1: Туршилтын зорилгыг тодорхой тодорхойлж чадаагүй
Зорилгоо зөв тодорхойлж, тэдгээрийг харгалзан үзэх тестийг бий болгохын тулд төлөвлөлтийн үе шатанд бид хэд хэдэн асуултанд хариулах ёстой.
- Бид яг юуг шалгаж байна вэ?
- Туршилт ямар орчинд явагдах вэ, ямар механик ашигладаг вэ? Энэ орчинд ямар хязгаарлалтууд байдаг вэ? Үүнтэй ижил зүйл нь туршилт хийх төхөөрөмжид тавигдах техникийн шаардлага, мөн агуулгын талаар (хэрэв туршилтыг утаснаас авсан бол зургийг жижиг дэлгэц дээр ч унших боломжтой байх ёстой) ойлгох боломжийг танд олгоно. томруулах боломжтой байх гэх мэт).
- Туршилт хэр удаан үргэлжлэх вэ? Хэрэглэгч ямар нөхцөлд шалгалт өгөх талаар бодох хэрэгтэй. Тэр шалгалтын үйл явцыг тасалдуулж, дараа нь дахин үргэлжлүүлэх шаардлагатай нөхцөл байдал байж болох уу?
- Санал хүсэлт ирэх болов уу? Бид үүнийг хэрхэн бүрдүүлж, хүргэх вэ? Та юу хүлээж авах хэрэгтэй вэ? Туршилтын гүйцэтгэл болон санал хүсэлтийн хооронд цаг хугацааны хоцрогдол бий юу?
Бидний хувьд эдгээр асуултад хариулсны дараа бид тестийн дараах зорилгын жагсаалтыг тодорхойлсон.
- Шалгалтаар ирээдүйн оюутнууд тухайн хичээлд хамрагдахад бэлэн эсэх, хангалттай мэдлэг, ур чадвар эзэмшсэн эсэхийг харуулах ёстой.
- Тест нь бидэнд санал хүсэлт өгөх материалыг өгч, оюутнуудын алдаа гаргасан сэдвийг зааж өгөх ёстой бөгөөд ингэснээр тэд мэдлэгээ дээшлүүлэх боломжтой болно. Үүнийг хэрхэн зохиохыг бид доор хэлэх болно.
Тармуур 2: Туршилтын шинжээчийн техникийн тодорхойлолтыг гаргаж чадаагүй
Туршилтын даалгавруудыг бүрдүүлэхийн тулд тухайн мэдлэгийг шалгаж байгаа салбарын мэргэжилтэнг татан оролцуулах нь маш чухал юм. Мөн шинжээчийн хувьд танд шалгалтын сэдвүүд, шалгаж буй мэдлэг / ур чадвар, тэдгээрийн түвшинг багтаасан чадварлаг техникийн тодорхойлолт (тайлбар) хэрэгтэй.
Мэргэжилтэн ийм техникийн тодорхойлолтыг өөртөө хийхгүй, учир нь түүний ажил бол тестийн бүтэц биш харин даалгавар гаргах явдал юм. Түүгээр ч барахгүй цөөхөн хүн заах явцад ч мэргэжлийн түвшинд тест боловсруулдаг. Үүнийг тусдаа мэргэжлээр заадаг - психометрик.
Хэрэв та психометриктэй хурдан танилцахыг хүсч байвал Орост байдаг сонирхсон бүх хүмүүст зориулав. Илүү гүнзгийрүүлэн судлахын тулд Боловсролын хүрээлэнд байна болон төгсөлтийн сургууль.
Техникийн тодорхойлолтыг бэлтгэхдээ бид шинжээчд (эсвэл түүнтэй хамт илүү сайн) тестийн нарийвчилсан тайлбарыг цуглуулдаг: даалгаврын сэдэв, даалгаврын төрөл, тэдгээрийн тоо.
Даалгаврын төрлийг хэрхэн сонгох вэ: сэдвүүдийг шийдсэний дараа бид аль даалгавруудыг хамгийн сайн туршиж болохыг шийднэ үү? Сонгодог сонголтууд: нээлттэй даалгавар, олон эсвэл нэг сонголттой даалгавар, тохирох гэх мэт (туршилтын орчны техникийн хязгаарлалтын талаар бүү март!). Даалгаврын төрлийг тодорхойлж, тодорхойлсны дараа бид мэргэжилтэнд зориулсан бэлэн техникийн тодорхойлолттой болно. Та үүнийг туршилтын тодорхойлолт гэж нэрлэж болно.
Тармуур 3: Туршилт боловсруулахад мэргэжилтэн оролцуулахгүй байх
Шинжээчийг туршилтын боловсруулалтанд оруулахдаа түүнд "ажлын цар хүрээ" -ийг зааж өгөхөөс гадна түүнийг боловсруулах журамд өөрөө оролцуулах нь маш чухал юм.
Мэргэжилтэнтэй ажиллах ажлыг хэрхэн үр дүнтэй болгох вэ:
- Урьдчилан тохируулж, тест боловсруулах шинжлэх ухаан, психометрикийн талаар ярилцаж хэсэг хугацаа зарцуулаарай.
- Үнэлгээчийн анхаарлыг асуултын жагсаалт биш харин хүчин төгөлдөр, найдвартай үнэлгээний хэрэгсэл бий болгоход төвлөрүүл.
- Түүний ажил нь зөвхөн даалгаврыг өөрөө боловсруулахаас гадна бэлтгэл үе шатыг агуулдаг гэдгийг тайлбарла.
Зарим шинжээчид (тэдний мөн чанараас шалтгаалж) үүнийг өөрсдийнхөө ажлын сорилт гэж ойлгож болох бөгөөд бид маш сайн даалгавруудыг бий болгосон ч тэдгээр нь туршилтын тодорхой зорилгод тохирохгүй байж магадгүй гэдгийг бид тэдэнд тайлбарладаг.
Үйл явцыг хурдан явуулахын тулд бид шалгалтын тодорхойлолтод багтсан шинжээчийн хамт сэдвийн хамрах хүрээний хүснэгтийг (мэдлэг, ур чадвар) бэлтгэдэг. Энэ хүснэгт нь асуултуудыг үнэн зөв боловсруулж, юу хэмжихээ тодорхойлох боломжийг олгодог. Тодорхой тохиолдол бүрт үүнийг арай өөрөөр эмхэтгэж болно. Бидний даалгавар бол тухайн хүн шинэ курст суралцахад хэр бэлэн байгааг ойлгохын тулд өмнөх үндсэн хичээлүүдийн мэдлэг, ур чадварыг хэр сайн ойлгож байгааг шалгах явдал юм.
Тармуур 4: Мэргэжилтэн "хамгийн сайн мэддэг" гэж бодох
Сэдвээ илүү сайн мэддэг. Гэхдээ энэ нь үргэлж тодорхой тайлбарладаггүй. Даалгаврын үг хэллэгийг шалгах нь маш чухал юм. "1 зөв сонголтыг сонгоно уу" гэх мэт тодорхой зааварчилгаа бичнэ үү. Тохиолдлын 90% -д шинжээчид өөрсдийн ойлгосон байдлаар асуулт бэлтгэдэг. Тэгээд ч яахав. Харин шалгалт өгөх хүмүүст өгөхөөс өмнө шалгалт өгч буй хүмүүс өөрөөсөө яг юу шаардаж байгааг ойлгож, даалгаврын бичвэрийг буруу тайлбарлаж алдаа гаргахгүйн тулд бүх зүйлийг шалгаж, самнах хэрэгтэй.
Даалгаврыг давхар тайлбарлахаас зайлсхийхийн тулд бид "танин мэдэхүйн лаборатори" явуулдаг. Зорилтот үзэгчдийнхээ санал бодлыг чанга дуугаар хэлж, нэг бүрчлэн бичлэг хийж, шалгалт өгөхийг бид хүсч байна. "Танин мэдэхүйн лаборатори" дээр та ойлгомжгүй асуулт, муу үг хэллэгийг "барьж", тестийн талаархи анхны санал хүсэлтийг авах боломжтой.
Тармуур 5: Туршилтын гүйцэтгэлийн хугацааг үл тоомсорло
ёжлолын горим: асаалттай
Мэдээжийн хэрэг, бидний шалгалт бол хамгийн шилдэг нь, хүн бүр үүнийг давахыг мөрөөддөг! Тийм ээ, бүх 4 цаг.
ёжлолын горим: унтраалттай
Шалгаж болох бүх зүйлийн жагсаалт байгаа бол гол зүйл бол үүнийг хийхгүй байх явдал юм (эхэндээ хачирхалтай санагдаж байна, тийм үү?). Мэргэжилтэнтэй хамт гол мэдлэг, ур чадвараа тодорхойлж, хэрцгий таслах хэрэгтэй (тиймээ, хэд хэдэн ур чадварыг мөн тестээр шалгаж болно). Бид даалгаврын төрлийг харж, зорилтот гүйцэтгэлийн хугацааг тооцоолдог: хэрэв бүх зүйл боломжийн хязгаараас давсан хэвээр байвал бид үүнийг хасна!
Дууны дууг багасгахын тулд та нэг даалгаварт хоёр ур чадварыг шалгахыг (болгоомжтой) оролдож болно. Энэ тохиолдолд тухайн хүн яагаад алдаа гаргасныг ойлгоход хэцүү байдаг ч зөв хийсэн тохиолдолд хоёр чадварыг хоёуланг нь харгалзан үзэж болно. Эдгээр 2 ур чадвар нь ижил мэдлэгтэй нийцэж байгаа эсэхийг шалгах нь чухал юм.
Тармуур 6: Онооны системийг бодохгүй байна
Ихэнхдээ үнэлгээний тестийг бүрдүүлэхдээ сонгодог онооны системийг ашигладаг, жишээлбэл, хялбар даалгавар бол 1 оноо, хэцүү даалгавар бол 2 оноо. Гэхдээ энэ нь бүх нийтийнх биш юм. Туршилтын үр дүнд үндэслэсэн онооны нийлбэр нь бидэнд тийм ч их зүйлийг хэлэхгүй: эдгээр оноог аль даалгаварт хүлээн авсныг бид мэдэхгүй бөгөөд бид зөвхөн зөв даалгаврын тоог тодорхойлох боломжтой. Шалгагчид яг ямар ур чадвар үзүүлж байгааг бид ойлгох хэрэгтэй. Үүнээс гадна ямар сэдвийг сайжруулах шаардлагатай байгаа талаар санал хүсэлтээ өгөхийг хүсч байна.
Эцсийн эцэст бид хүмүүсийг хөтөлбөрт хамрагдахад бэлэн, бэлэн биш гэж хуваах тест хийж байгаа бөгөөд зарим хүмүүст үнэ төлбөргүй сургалтанд хамрагдахыг зөвлөж байна. Энэ бүлэгт үнэхээр хэрэгтэй, үүнд бэлэн байгаа хүмүүс л багтах нь бидний хувьд чухал юм.
Бидний нөхцөл байдалд бид юу хийдэг вэ: бид тест боловсруулагчдын ажлын хэсгийн хүрээнд ямар бүлгийг тодорхойлох шаардлагатай байгааг (жишээлбэл, сурахад бэлэн, хэсэгчлэн бэлэн) тодорхойлж, ямар ур чадвар, мэдлэгтэй болохыг харуулсан эдгээр бүлгүүдийн шинж чанарын хүснэгтийг бүрдүүлдэг. сурахад бэлэн бүлэгт хамааралтай байх болно. Ингэснээр та ийм тестийн даалгаврын "хүнд"-ийг томъёолж чадна.
Тармуур 7: Үр дүнг зөвхөн автоматаар үнэл
Мэдээжийн хэрэг үнэлгээ нь аль болох бодитой байх ёстой тул оюутны зарим материалыг автоматаар "түлхүүрээр" - зөв хариулттай харьцуулан үнэлдэг. Туршилтын тусгай систем байхгүй ч гэсэн маш олон үнэгүй шийдлүүд байдаг. Хэрэв та скрипт бичих зарчмуудыг ойлгодог бол Google-ийн маягт, үр дүнг хүснэгтэд ашиглан хүссэн зүйлээ хийж болно. Хэрэв зарим даалгаврыг мэргэжилтнүүд шалгаж байгаа бол шалгалтанд хамрагдсан хүмүүсийн талаар мэдээлэлгүйгээр мэргэжилтнүүдэд хариулт өгөх талаар бодох хэрэгтэй. Мөн шинжээчийн шинжилгээний үр дүнг эцсийн үнэлгээнд хэрхэн нэгтгэх талаар бодож үзээрэй.
Бид эхлээд кодтой хэд хэдэн нээлттэй даалгавар хийхийг хүссэн бөгөөд үүнд шинжээчид урьдчилан боловсруулсан шалгуурын дагуу шийдлүүдийг үнэлдэг, тэр ч байтугай бид туршилтанд оролцогчдын хариултыг шинжээчдэд зориулсан тусгай хүснэгтэд экспортлох системийг бэлтгэж, үр дүнг импортолдог. үнэлгээний тооцоо бүхий хүснэгт. Гэхдээ зорилтот үзэгчдийн төлөөлөл, бүтээгдэхүүний менежер, боловсролын дизайнертай ярилцсаны дараа бид техникийн ярилцлага хийх нь мэргэжилтнүүдийн санал хүсэлт, код болон хувь хүний асуудлыг хэлэлцэх нь оролцогчдод илүү үр дүнтэй бөгөөд ашигтай байх болно гэж бид үзсэн. .
Одоо шинжээч шалгалтын гүйцэтгэлийг шалгаж, зарим асуултыг тодруулж байна. Үүний тулд бид техникийн ярилцлагын асуулт, үнэлгээний шалгууруудын гарын авлагыг бэлтгэсэн. Техникийн ярилцлагын өмнө шалгуулагч шалгалт өгөх асуултыг сонгоход нь туслахын тулд түүний хариултын газрын зургийг хүлээн авдаг.
Тармуур 8: Туршилтын үр дүнг тайлбарлаж болохгүй
Оролцогчдод санал хүсэлт өгөх нь тусдаа асуудал юм. Бид зөвхөн шалгалтын онооны талаар мэдээлэхээс гадна шалгалтын үр дүнгийн талаар ойлголт өгөх хэрэгтэй.
Эдгээр нь:
- Оролцогч алдаа гаргасан, зөв гүйцэтгэсэн даалгавар.
- Оролцогч алдаа гаргасан сэдвүүд.
- Шалгалт өгч буй хүмүүсийн дунд түүний чансаа.
- Оролцогчийн түвшний тодорхойлолт, жишээлбэл, мэргэжилтний түвшний тодорхойлолтын дагуу (сул ажлын байрны тодорхойлолт дээр үндэслэн).
Туршилтын туршилтын үеэр хөтөлбөрт хамрагдахыг хүссэн хүмүүст бид үр дүнгийн хамт сайжруулах шаардлагатай сэдвүүдийн жагсаалтыг харуулсан. Гэхдээ энэ нь тийм ч тохиромжтой биш, бид сайжруулж, илүү сайн санал хүсэлт өгөх болно.
Тармуур 9: Туршилтын талаар хөгжүүлэгчидтэй ярилцаж болохгүй
Магадгүй хамгийн хурц тармуур, ялангуяа гишгэх нь тааламжгүй зүйл бол туршилт, тодорхойлолт, онооны хуваарийг хөгжүүлэгчдэд "байгаагаар нь" илгээх явдал юм.
Яг юуг хэлэлцэх шаардлагатай вэ:
- Асуултуудын харагдах байдал, бүтэц, графикийн байрлал, зөв хариултын сонголт ямар харагдаж байна.
- Оноо хэрхэн тооцдог вэ (шаардлагатай бол), нэмэлт нөхцөл байгаа эсэх.
- Санал хүсэлт хэрхэн үүсдэг, текстийг хаанаас авах вэ, автоматаар үүсгэсэн нэмэлт блокууд байдаг уу.
- Та ямар нэмэлт мэдээлэл цуглуулах шаардлагатай вэ, ямар үед (ижил харилцагчид).
Үл ойлголцол гарахаас зайлсхийхийн тулд бид хөгжүүлэгчиддээ 2 эсвэл 3 өөр асуултыг кодлохыг хүсдэг бөгөөд ингэснээр тестийг өөрөө кодлохын өмнө ямар харагдахыг нь харах боломжтой.
Тармуур 10: Туршилтгүйгээр шууд үйлдвэрлэлд байршуулна
3 удаа, залуусаа, тестийг өөр өөр хүмүүс 3 удаа, эсвэл бүр 3 удаа шалгах хэрэгтэй. Энэ үнэнийг цус, хөлс, кодын пикселийн шугамаар олж авсан.
Манай туршилт дараах гурвыг шалгана.
- Бүтээгдэхүүн - гүйцэтгэл, гадаад төрх, механикийн туршилтыг шалгадаг.
- Тест хөгжүүлэгч - даалгаврын текст, тэдгээрийн дараалал, тесттэй ажиллах хэлбэр, даалгаврын төрөл, зөв хариулт, унших чадвар, графикийн хэвийн харагдах байдлыг шалгадаг.
- Даалгаврын зохиогч (шинжээч) нь шинжээчийн байр сууринаас шалгалтыг үнэнч эсэхийг шалгадаг.
Практикаас авсан жишээ: зөвхөн гурав дахь гүйлтээр даалгаврын зохиогч 1 даалгавар үгийн хуучин хувилбарт үлдсэнийг олж харав. Өмнөх бүх хүмүүс ч идэвхтэй захирч байсан. Гэвч тестийг кодлоход энэ нь анх төсөөлж байснаас өөр харагдаж байв. Ямар нэг зүйлийг засах шаардлагатай байх магадлал өндөр байна. Үүнийг анхаарч үзэх хэрэгтэй.
Үр дүн
Эдгээр бүх "тармуур" -ыг болгоомжтой тойрч, бид тусгайлан бүтээсэн , өргөдөл гаргагчдын мэдлэгийг шалгах. Бот дотор юу болсон, дараа нь юу болж хувирсныг бид танд хэлэх дараагийн материалыг бэлдэж байх үед хэн ч үүнийг туршиж үзэх боломжтой.
Та SkillFactory онлайн сургалтанд хамрагдсанаар ур чадвар, цалингийн хувьд эхнээсээ эрэлттэй мэргэжлийг авах боломжтой.
- (12 долоо хоног)
- (20 долоо хоног)
- (20 долоо хоног)
- (12 сар)
Илүү олон курс
- (12 сар)
- (14 долоо хоног)
- (5 долоо хоног)
- (18 сар)
- (6 сар)
- (12 сар)
- (8 сар)
- (9 сар)
- (12 сар)
- (18 сар)
- (18 сар)
- (12 сар)
- (9 сар)
- (7 сар)
Эх сурвалж: www.habr.com