Para të regjistroheni në kursin e ri Machine Learning Advanced, ne testojmë studentët e ardhshëm për të përcaktuar nivelin e tyre të gatishmërisë dhe për të kuptuar se çfarë saktësisht duhet t'u ofrojmë për t'u përgatitur për kursin. Por lind një dilemë: në njërën anë, ne duhet të verifikojmë njohuritë në Data Science, ndërsa në anën tjetër — nuk mund të organizojmë një provim të plotë prej 4 orësh.
Për të zgjidhur një problem të tillë, ne kemi zhvilluar një qendër TestDev direkt në ekipin e zhvillimit të kurseve në Data Science (dhe, duket, kjo është vetëm fillimi). Ju paraqesim një listë me 10 «grackat» në të cilat bien zhvilluesit e testeve për të vlerësuar njohuritë. Shpresojmë se bota e mësimit online do të bëhet pak më mirë pas kësaj.
Gracka 1: Të mos përcaktohen qartë objektivat e testimit
Për të përcaktuar në mënyrë të arsyeshme qëllimet dhe për të përgatitur një test që do t'i marrë parasysh ato, gjatë fazës së planifikimit duhet të përgjigjemi në disa pyetje:
- Çfarë po kontrollojmë në të vërtetë?
- Në cilën ambient do të zhvillohet testimi dhe cilat mekanika do të përdoren? Cilat janë kufizimet në këtë ambient? Ky pikë do të lejojë gjithashtu të kuptojmë kërkesat teknike për pajisjen në të cilën do të zhvillohet testimi, si dhe për përmbajtjen (nëse testet zhvillohen nga telefona, imazhet duhet të lexohen edhe në ekranet e vogla, duhet të ketë mundësi për t'i zgjeruar, etj.).
- Sa kohë do të zgjasë testimi? Duhet të mendohet në cilat kushte përdoruesi do të zhvillojë testin. A mund të ndodhë situata që ai të duhet të ndërpresë procesin e testimit dhe më pas të vazhdojë?
- A do të ketë reagim? Si e formojmë dhe e dorëzojmë atë? Çfarë nevojitet për ta marrë atë? A ka një diferencë kohore midis përfundimit të testit dhe reagimit?
Në rastin tonë, pasi u përgjigjëm në këto pyetje, ne përcaktuam një listë objektivash për testin:
- Testi duhet të tregojë nëse studentët e ardhshëm janë të gatshëm për të kaluar kursin, nëse kanë njohuritë dhe aftësitë e nevojshme.
- Testi duhet të na japë material për reagim, të tregojë temën ku studentët kanë bërë gabime, në mënyrë që ata të kenë mundësinë të forcojnë njohuritë e tyre. Si ta përgatitim atë — do t'ju tregojmë më poshtë.
Gracka 2: Të mos përgatitet një kërkesë për ekspertin - krijuesin e testit
Për të hartuar detyrat e testit, është shumë e rëndësishme të përfshijmë një ekspert në fushën ku po testohet njohuria. Ndërsa për ekspertin, është e nevojshme një përshkrim i qartë (BRIEF), që përfshin temat e testit, njohuritë/ato që duhet testuar dhe nivelin e tyre.
Ekspertët nuk do ta përgatisin vetë një përshkrim të tillë, pasi puna e tyre është të krijojnë detyra, jo të strukturojnë testin. Sidomos, pasi pak njerëz po zhvillojnë teste profesionalisht, madje edhe gjatë mësimdhënies. Kjo mësohet në një specializim të veçantë — psikometrinë.
Nëse dëshironi të njiheni shpejt me psikometrinë, në Rusi ekziston për të gjithë të interesuarit. Për një studim më të thelluar, në Institutin e Edukimit ofrohen dhe doktoratura.
Dhe duke përgatitur përshkrimin e detyrave, ne mbledhim një përshkrim të detajuar të testit për ekspertin (më mirë akoma, së bashku me të): temat e detyrave, tipi i detyrave, numri i tyre.
Si të zgjidhni tipin e detyrave: pas përcaktimit të temave, vendosim se me cilat lloje detyrash mund të kontrollojmë më mirë ato? Opcionet klasike: detyrat me përgjigje të hapur, detyrat me zgjedhje të shumëfishta ose të vetme, përputhje, etj. (mos harroni kufizimet teknike të mjedisit ku zhvillohet testimi!). Pas përcaktimit dhe përshkrimit të tipit të detyrave, ne kemi një përshkrim të gatshëm për ekspertin. Mund ta quajmë specifikimin e testit.
Gafa 3: Të mos përfshijmë ekspertin në zhvillimin e testit
Kur përfshijmë ekspertin në zhvillimin e testit, është shumë e rëndësishme të mos i tregojmë thjesht "vijën e punës", por ta përfshijmë atë në vetë procedurën e zhvillimit.
Si të sigurohet që puna me ekspertin të jetë sa më efikase:
- Të vendosim paraprakisht dhe të shpenzojmë njëfarë kohe për të treguar mbi shkencën e zhvillimit të testeve, psikometrinë.
- Të fokusohemi në krijimin e një instrumenti vlerësimi të vlefshëm dhe të besueshëm, dhe jo në një listë pyetjesh.
- Të shpjegojmë se puna e tij përfshin një fazë përgatitore, jo vetëm zhvillimin e vetë detyrave.
Disa ekspertë (për shkak të karakterit të tyre) mund ta perceptojnë këtë si një kontroll të punës së tyre, dhe atyre u shpjegojmë se edhe kur krijojnë detyra të shkëlqyera, ato mund të mos përshtaten për qëllimet specifike të testimit.
Për të bërë procesin më të shpejtë, ne përgatitim me një ekspert një tabelë mbulimi temash (njohurish dhe aftësish), e cila është pjesë e specifikimit të provimit. Kjo tabelë lejon të përpunojmë saktësisht pyetjet dhe të përcaktojmë se çfarë do të masim. Në çdo rast konkret, ajo mund të përbëhet pak ndryshe. Detyra jonë është të verifikojmë se sa mirë orienton një person në njohuritë dhe aftësitë e kurseve të mëparshme, për të kuptuar se sa i përgatitur është ai për mësimin e një kursi të ri.
Gabimi 4: Të mendosh se eksperti «di më mirë»
E njoh mirë temën. Por nuk e shpjegon gjithmonë qartë. Është shumë e rëndësishme të kontrollojmë formulimet e detyrave. Të shkruajmë udhëzime të qarta, siç është «Zgjidhni 1 variant të saktë». Në 90% të rasteve, ekspertët përgatisin pyetje ashtu siç i kuptojnë ata vetë. Dhe kjo është normale. Por para se ta dorëzojmë provimin atyre që do ta kalojnë, duhet të kontrollojmë gjithçka dhe të rregullojmë, në mënyrë që njerëzit që e kalojnë provimin të kuptojnë saktësisht se çfarë pritet nga ata dhe të mos bëjnë gabime vetëm për shkak se mund të keqinterpretojnë tekstin e detyrës.
Për të shmangur dykuptimësinë e detyrave, ne mbajmë «laboratore kognitive». Ne i kërkojmë njerëzve nga audienca që ta kalojnë provimin, duke shprehur me zë lart se çfarë mendojnë dhe regjistrojmë gjithçka në detaje. Në «laboratorët kognitivë» mund të kapim pyetje të paqarta, formulime të këqija dhe të marrim feedback të parë mbi provimin.
Gabimi 5: Të mos merret parasysh koha e zhvillimit të provimit
modaliteti i ironisë: aktiv
Sigurisht, provimi ynë është më i miri, të gjithë ëndërrojnë ta kalojnë atë! Po, për 4 orë.
modaliteti i ironisë: pasiv
Kur ka një listë të gjithçkaje që mund të kontrollohet, e rëndësishmja është të mos e bësh këtë (në dukje tingëllon çuditshëm, apo jo?). Duhet të presim pa mëshirë, duke identifikuar me ekspertin njohuritë dhe aftësitë kyçe (po, disa aftësi gjithashtu mund të kontrollohen në provim). Shikojmë tipin e detyrave dhe kalkulojmë kohën e synuar të realizimit: nëse ende kalon kufijtë e arsyeshëm, e presim!
Për të reduktuar vëllimin, mund të provojnë gjithashtu (me kujdes) të kontrollojnë dy aftësi me një detyrë. Në këtë rast është e vështirë të kuptohet pse një person gaboi, por në rastin e realizimit të saktë mund të merret parasysh të dyja aftësitë. Është e rëndësishme të sigurohemi që këto 2 aftësi t'i përkasin një fushe njohurish.
Gabimi 6: Të mos mendohet sistemi i vlerësimit të pikëve
Shpeshherë, kur krijojmë teste vlerësimi, përdorim sistemin klasik të vlerësimit me pikë, për shembull, 1 pikë për detyrat e lehta dhe 2 pika për ato të vështira. Por ky sistem nuk është universal. Thjesht, shuma e pikëve në fund të testimit nuk na thotë shumë: nuk e dimë për cilat detyra janë fituar këto pikë dhe mund të përcaktojmë vetëm numrin e detyrave të sakta. Na nevojitet një kuptim i saktë se cilat aftësi tregojnë pjesëmarrësit e testimit. Për më tepër, duam t'u japim atyre një feedback mbi temat që duhet të përmirësohen.
Në fund të fundit, ne po krijojmë një test që do të ndajë njerëzit në ata të gatshëm dhe ata të pa gatshëm për të kaluar programin, disa prej tyre do t'i rekomandojmë të përgatiten për kursin në trajnim falas. Na rëndësishme është që në këtë grup të përfshihen vetëm ata që të vërtetë kanë nevojë për këtë dhe janë të gatshëm për të.
Çfarë bëjmë në situatën tonë: vendosim brenda grupit të punës që zhvillon testin, cilat grupe njerëzish duhet të veçohen (për shembull, ata të gatshëm për të mësuar, ata pjesërisht të gatshëm) dhe formulojmë një tabelë karakteristikash për këto grupe, me caktimin e aftësive dhe njohurive që do të jenë aktuale për grupin e atyre të gatshëm për mësim. Kështu mund të formulojmë "vështirësinë" e detyrave për teste të tilla.
Grapi 7: Vlerësojmë rezultatet vetëm automatikisht
Sigurisht, vlerësimi duhet të jetë sa më objektiv që të jetë e mundur, prandaj një pjesë e materialeve të studentëve vlerësohet automatikisht, "sipë dhe çelësa" - duke krahasuar me përgjigjet e sakta. Edhe nëse nuk ka një sistem të veçantë për testim, ka shumë zgjidhje falas. Dhe nëse ka një kuptim të principeve të shkruarjes së skripteve, atëherë me formularët e Google dhe rezultatet në tabela mund të bësh çdo gjë. Nëse një pjesë e detyrave kontrollohen nga ekspertët, atëherë na nevojitet të mendojmë për dërgimin e përgjigjeve tek ekspertët, pa informacion mbi ata që po testohen. Dhe të mendojmë se si të integrojmë rezultatet e verifikimit të ekspertëve në vlerësimin përfundimtar.
Fillimish kishim të krijojmë disa detyra të hapura me kod, kur ekspertët vlerësojnë zgjidhjet sipas kritereve të formuluara paraprakisht, dhe madje përgatitëm një sistem që eksporton përgjigjet e veçanta të pjesëmarrësve në një tabelë të veçantë për ekspertët, dhe pastaj importon rezultatet në një tabelë me llogaritje të vlerësimit. Por pas diskutimeve me përfaqësuesit e Tregut të Synuar, menaxherin e produktit dhe dizajnerin pedagogjik, e konsideruam që të zhvillojmë një intervistë teknike me feedback të menjëhershëm nga eksperti dhe diskutime mbi kodin, si dhe pyetje të veçanta do të ishte shumë më efektive dhe e dobishme për vetë pjesëmarrësit.
Tani eksperti verifikon kalimin e testit, duke sqaruar disa pyetje. Për këtë, ne përgatitëm një udhëzues pyetjesh, kriteret për vlerësimin gjatë intervistës teknike. Para intervistës teknike, eksperti merr një hartë të përgjigjeve të pjesëmarrësit në test për të zgjedhur pyetjet që vlen të bëhen.
Gabimi 8: Të mos shpjegosh rezultatet e testimit
Prezantimi i feedback-ut për pjesëmarrësit është një çështje e veçantë. Ne kemi nevojë të informojmë jo vetëm për rezultatin e testit, por gjithashtu të ofrojmë një kuptim të rezultateve të testit.
Këto mund të jenë:
- Detyrat, në të cilat pjesëmarrësi ka gabuar, por që i ka përfunduar saktë.
- Temat, në të cilat pjesëmarrësi ka bërë gabime.
- Ratingu i tij midis atyre që po japin provimin.
- Përshkrimi i nivelit të pjesëmarrësit, në përputhje, për shembull, me përshkrimin e nivelit të specialistëve (bazuar në përshkrimin e vendeve të punës).
Gjatë nisjes pilot të testit tonë, për ata që dëshironin të aplikonin përprogramin, së bashku me rezultatet, ne u tregonim një listë temash që duhej forcuar. Por kjo natyrisht nuk është ideale, ne do të përmirësohemi dhe do ta bëjmë feedback-un më të mirë.
Gabimi 9: Të mos diskutosh testin me zhvilluesit
Mund të themi se është një nga gabimet më të ashpra, në të cilat është veçanërisht e pakëndshme të shkelësh — dërgimi i testit, përshkrimit dhe shkallës së llogaritjes zhvilluesve në gjendjen "siç është".
Çfarë saktësisht ka nevojë të diskutohet:
- Pamja e pyetjeve, struktura, pozita e grafikave, si duket zgjedhja e përgjigjes së saktë.
- Si llogaritet pikët (nëse nevojitet), nuk ka ndonjë kushte shtesë.
- Si formohet feedback-u, ku mund të marrësh tekstet, nuk ka ndonjë bllok të formuar automatikisht.
- Çfarë informacioni të mëtejshëm keni nevojë të mblidhni dhe në cilin moment (ato të njëjtat kontakte).
Për të shmangur keqkuptimet, ne kërkojmë nga zhvilluesit tanë që të kodojnë 2 ose 3 pyetje të ndryshme, në mënyrë që të mund të shohim si duken para programimit të testit të vetë.
Gabimi 10: Të ngarkosh direkte në prodhim pa testuar.
Tre herë, djem, testi duhet të kontrollohet nga 3 njerëz të ndryshëm, ose më mirë — secili nga ata 3 herë. Kjo e vërtetë është fituar me gjak, djersë dhe piksel të linjave të kodit.
Testi ynë kontrollon një trio të tillë:
- Produktet - kontrollojnë testin për funksionalitet, pamje dhe mekanikë.
- Zhvilluesi i testit - kontrollon tekstin e detyrave, rendin e tyre, mënyrën e punës me testin, llojet e detyrave, përgjigjet e sakta, lexueshmërinë dhe pamjen e duhur të grafikës.
- Autori i detyrave (eksperti) - kontrollon testin për saktësi nga një perspektivë eksperti.
Një shembull nga praktika: vetëm në herën e tretë të ekzekutimit, autori i detyrave pa që një detyrë ishte lënë në versionin e vjetër të formulimit. Të gjitha të mëparshmet gjithashtu u rregulluan aktivisht. Por kur testi u kodua, ai dukej ndryshe nga ato që fillimisht imagjinonin. Me një probabilitet të lartë, diçka do të duhet rregulluar. Kjo duhet të merret parasysh.
Përfundimi
Duke kaluar me kujdes këto "gabime", krijuam një , për të testuar njohuritë e kandidatëve. Çdokush që do, mund ta provojë atë, ndërsa ne përgatisim materialin tjetër, në të cilin do të flasim për atë që ndodhi brenda robotit dhe se çfarë u transformua më pas.
Të fitosh një profesion të kërkuar nga zero ose të rritesh në aftësi dhe pagë, mund të kalosh kurset online të SkillFactory:
- (12 javë)
- (20 javë)
- (20 javë)
- (12 muaj)
Kurse të tjera
- (12 muaj)
- (14 javë)
- (5 javë)
- (18 muaj)
- (6 muaj)
- (12 muaj)
- (8 muaj)
- (9 muaj)
- (12 muaj)
- (18 muaj)
- (18 muaj)
- (12 muaj)
- (9 muaj)
- (7 muaj)
Burimi: habr.com
