Përpara se të regjistrohemi në kursin e ri të avancuar të Mësimit të Makinerisë, ne testojmë studentët e ardhshëm për të përcaktuar nivelin e tyre të gatishmërisë dhe për të kuptuar se çfarë saktësisht duhet të ofrojnë për t'u përgatitur për kursin. Por lind një dilemë: nga njëra anë, ne duhet të testojmë njohuritë në Data Science, nga ana tjetër, nuk mund të organizojmë një provim të plotë 4-orësh.
Për të zgjidhur këtë problem, ne kemi vendosur një seli të TestDev pikërisht në ekipin e zhvillimit të kursit të Shkencës së të Dhënave (dhe duket se ky është vetëm fillimi). Ne ju paraqesim një listë me 10 grackat që hasen gjatë zhvillimit të testeve për vlerësimin e njohurive. Shpresojmë se bota e të mësuarit në internet do të jetë pak më e mirë pas kësaj.
Rake 1: Dështimi për të përcaktuar qartë qëllimet e testimit
Për të përcaktuar saktë qëllimet dhe për të krijuar një test që do t'i marrë parasysh ato, në fazën e planifikimit duhet t'u përgjigjemi disa pyetjeve:
- Çfarë po kontrollojmë në të vërtetë?
- Në çfarë mjedisi do të bëhet testimi dhe çfarë mekanike përdoret? Cilat janë kufizimet në këtë mjedis? E njëjta pikë do t'ju lejojë të kuptoni kërkesat teknike për pajisjen në të cilën do të kryhet testimi, si dhe për përmbajtjen (nëse testi është marrë nga telefonat, fotografitë duhet të lexohen edhe në një ekran të vogël, duhet të të jetë e mundur për t'i zmadhuar, etj.).
- Sa kohë do të zgjasë testimi? Ju duhet të mendoni për kushtet në të cilat përdoruesi do të bëjë testin. A mund të ketë një situatë ku ai duhet të ndërpresë procesin e testimit dhe më pas të vazhdojë përsëri?
- A do të ketë reagime? Si e formojmë dhe e dorëzojmë atë? Çfarë ju duhet për të marrë? A ka një vonesë kohore midis ekzekutimit të testit dhe reagimit?
Në rastin tonë, pasi iu përgjigjëm këtyre pyetjeve, ne përcaktuam listën e mëposhtme të qëllimeve për testin:
- Testi duhet të tregojë nëse studentët e ardhshëm janë gati për të ndjekur kursin dhe nëse kanë njohuri dhe aftësi të mjaftueshme.
- Testi duhet të na japë material për reagime, të tregojë temën në të cilën nxënësit kanë gabuar, në mënyrë që ata të përmirësojnë njohuritë e tyre. Ne do t'ju tregojmë se si ta kompozoni atë më poshtë.
Rake 2: Dështimi për të hartuar specifikimet teknike për autorin ekspert të testit
Për të hartuar artikujt e testimit, është shumë e rëndësishme të përfshihet një ekspert në fushën në të cilën po testohet njohuria. Dhe për një ekspert, nga ana tjetër, ju duhet një specifikim teknik kompetent (përshkrim), i cili përfshin temat e testit, njohuritë/aftësitë që testohen dhe nivelin e tyre.
Një ekspert nuk do të bëjë për vete specifikime të tilla teknike, sepse detyra e tij është të dalë me detyra, jo strukturën e testit. Për më tepër, pak njerëz i zhvillojnë testet në mënyrë profesionale, edhe në procesin e mësimdhënies. Kjo mësohet në një specialitet të veçantë - psikometrika.
Nëse doni të njiheni shpejt me psikometrikën, atëherë në Rusi ka per te gjithe te interesuarit. Për studim më të thelluar, Instituti i Edukimit ka dhe shkollën pasuniversitare.
Gjatë përgatitjes së specifikimeve teknike, ne mbledhim një përshkrim të hollësishëm të testit për ekspertin (ose më mirë, së bashku me të): temat e detyrave, llojin e detyrave, numrin e tyre.
Si të zgjidhni llojin e detyrave: pasi të kemi vendosur për temat, ne vendosim se cilat detyra mund ta testojnë më mirë këtë? Opsionet klasike: detyrë e hapur, detyrë me zgjedhje të shumëfishta ose të vetme, përputhje, etj. (mos harroni për kufizimet teknike të mjedisit të testimit!). Pas përcaktimit dhe specifikimit të llojit të detyrave, kemi një specifikim teknik të gatshëm për ekspertin. Mund ta quani një specifikim testi.
Rake 3: Nuk përfshin një ekspert në zhvillimin e testit
Kur zhytni një ekspert në zhvillimin e testit, është shumë e rëndësishme jo vetëm t'i tregoni atij "fushën e punës", por ta përfshini atë në vetë procedurën e zhvillimit.
Si ta bëni sa më efektive punën me një ekspert:
- Vendoseni paraprakisht dhe kaloni pak kohë duke folur për shkencën e zhvillimit të testit dhe psikometrikën.
- Përqendroni vëmendjen e vlerësuesit në krijimin e një mjeti vlerësimi të vlefshëm dhe të besueshëm, jo një listë pyetjesh.
- Shpjegoni se puna e tij përfshin një fazë përgatitore, jo vetëm zhvillimin e vetë detyrave.
Disa ekspertë (për shkak të natyrës së tyre) mund ta perceptojnë këtë si një provë të punës së tyre, dhe ne u shpjegojmë atyre se edhe nëse krijojmë detyra të shkëlqyera, ato thjesht mund të mos i përshtaten qëllimeve specifike të testimit.
Për ta bërë procesin të shkojë shpejt, ne përgatisim një tabelë të mbulimit të temës (njohurive dhe aftësive) me ekspertin, e cila është pjesë e specifikimit të testit. Është kjo tabelë që na lejon të përpunojmë me saktësi pyetjet dhe të përcaktojmë se çfarë do të masim. Në secilin rast specifik mund të përpilohet paksa ndryshe. Detyra jonë është të kontrollojmë se sa mirë një person i kupton njohuritë dhe aftësitë e kurseve të mëparshme, bazë, në mënyrë që të kuptojmë se sa i gatshëm është ai për të studiuar në një kurs të ri.
Rake 4: Duke menduar se eksperti "e di më së miri"
E njeh më mirë temën. Por jo gjithmonë shpjegon qartë. Është shumë e rëndësishme të kontrolloni formulimin e detyrave. Shkruani udhëzime të qarta, për shembull, "Zgjidh 1 opsion të saktë". Në 90% të rasteve, ekspertët i përgatisin pyetjet në një mënyrë që ata vetë i kuptojnë. Dhe kjo është në rregull. Por përpara se t'ua dorëzoni testin atyre që do ta bëjnë atë, gjithçka duhet të kontrollohet dhe krehet në mënyrë që personat që bëjnë testin të kuptojnë saktësisht se çfarë kërkohet prej tyre dhe të mos gabojnë vetëm sepse mund të keqinterpretojnë tekstin e detyrës.
Për të shmangur interpretimin e dyfishtë të detyrave, ne kryejmë "laboratorë njohës". Ne kërkojmë nga njerëzit nga audienca e synuar të bëjnë testin, duke thënë me zë të lartë atë që mendojnë dhe duke e regjistruar atë në detaje. Në "laboratorë njohës" ju mund të "kapni" pyetje të paqarta, formulime të këqija dhe të merrni reagimet e para për testin.
Rake 5: Injoroni kohën e ekzekutimit të testit
modaliteti i sarkazmës: aktiv
Sigurisht, testi ynë është më i miri, të gjithë ëndërrojnë ta kalojnë atë! Po, të gjitha 4 orët.
modaliteti i sarkazmës: joaktiv
Kur ekziston një listë e gjithçkaje që mund të kontrollohet, gjëja kryesore është të mos e bëni atë (në shikim të parë tingëllon e çuditshme, apo jo?). Ju duhet të shkurtoni në mënyrë të pamëshirshme, duke identifikuar njohuritë dhe aftësitë kryesore me një ekspert (po, një numër aftësish gjithashtu mund të testohen në test). Ne shikojmë llojin e detyrave dhe vlerësojmë kohën e përmbushjes së synuar: nëse gjithçka është akoma më shumë se kufijtë e arsyeshëm, ne e shkurtojmë atë!
Për të zvogëluar volumin, mund të provoni gjithashtu (me kujdes) të testoni dy aftësi në një detyrë. Në këtë rast, është e vështirë të kuptosh pse personi ka bërë një gabim, por nëse bëhet siç duhet, të dyja aftësitë mund të merren parasysh. Është e rëndësishme të siguroheni që këto 2 aftësi të korrespondojnë me të njëjtën fushë të njohurive.
Rake 6: Duke mos menduar për sistemin e pikëve
Shpesh, gjatë përpilimit të testeve të vlerësimit, ata përdorin sistemin klasik të pikëzimit, për shembull, 1 pikë për detyra të lehta dhe 2 pikë për ato të vështira. Por nuk është universale. Vetëm shuma e pikëve bazuar në rezultatet e testit nuk do të na tregojë shumë: ne nuk e dimë se për cilat detyra janë marrë këto pikë dhe ne mund të përcaktojmë vetëm numrin e detyrave të sakta. Ne duhet të kuptojmë saktësisht se çfarë aftësish po demonstrojnë testuesit. Përveç kësaj, ne duam t'u japim atyre komente se cilat tema duhet të përmirësohen.
Në fund të fundit, ne po bëjmë një test që do t'i ndajë njerëzit në ata që janë të gatshëm dhe ata që nuk janë gati për të përfunduar programin; ne do t'i këshillojmë disa që të përgatiten për kursin përmes trajnimit falas. Për ne është e rëndësishme që ky grup të përfshijë vetëm ata që kanë vërtet nevojë dhe që janë të gatshëm për të.
Çfarë bëjmë në situatën tonë: ne përcaktojmë brenda grupit të punës së zhvilluesve të testit se cilat grupe njerëzish duhet të identifikohen (për shembull, të gatshëm për të mësuar, pjesërisht të gatshëm) dhe formojmë një tabelë të karakteristikave të grupeve të tilla, duke treguar se çfarë aftësish dhe njohurish do të jetë relevant për grupin e trajnimeve të gatshme për të mësuar. Në këtë mënyrë ju mund të formuloni "vështirësinë" e detyrave për teste të tilla.
Rake 7: Vlerësoni rezultatet vetëm automatikisht
Sigurisht, vlerësimi duhet të jetë sa më objektiv që të jetë e mundur, kështu që disa nga materialet e studentëve vlerësohen automatikisht, “me çelësa” – krahasuar me përgjigjet e sakta. Edhe nëse nuk ka një sistem të veçantë testimi, ka shumë zgjidhje falas. Dhe nëse i kuptoni parimet e shkrimit të skripteve, atëherë mund të bëni çfarë të doni me format dhe rezultatet e Google në tabela. Nëse disa nga detyrat kontrollohen nga ekspertë, atëherë duhet të mendojmë për dhënien e përgjigjeve tek ekspertët, pa informacion për testuesit. Dhe mendoni se si të integroni rezultatet e testimit të ekspertëve në vlerësimin përfundimtar.
Fillimisht donim të bënim disa detyra të hapura me kod, ku ekspertët vlerësojnë zgjidhjet bazuar në kriteret e para-formuara, madje përgatitëm një sistem që eksporton përgjigjet individuale nga pjesëmarrësit e testit në një tabelë të veçantë për ekspertët, dhe më pas importon rezultatet në një tabelë me llogaritjet e vlerësimit. Por pasi diskutuam me përfaqësuesit e audiencës së synuar, menaxherin e produktit dhe projektuesin arsimor, menduam se kryerja e një interviste teknike me komente të menjëhershme të ekspertëve dhe diskutimi i kodit, si dhe çështjet individuale, do të ishte shumë më efektive dhe e dobishme për vetë pjesëmarrësit. .
Tashmë eksperti verifikon përfundimin e testit, duke sqaruar disa pyetje. Për ta bërë këtë, ne kemi përgatitur një udhëzues pyetjesh dhe kriteresh vlerësimi për një intervistë teknike. Përpara intervistës teknike, ekzaminuesi merr një hartë të përgjigjeve të testuesit për ta ndihmuar atë të zgjedhë pyetjet për të bërë.
Rake 8: Mos i shpjegoni rezultatet e testit
Ofrimi i komenteve për pjesëmarrësit është një çështje më vete. Ne duhet jo vetëm të informojmë për rezultatin e testit, por gjithashtu të ofrojmë një kuptim të rezultateve të testit.
Këto mund të jenë:
- Detyrat në të cilat pjesëmarrësi ka bërë një gabim dhe të cilat i ka përfunduar saktë.
- Temat në të cilat pjesëmarrësi bëri gabime.
- Renditja e tij në mesin e atyre që marrin provimin.
- Përshkrimi i nivelit të pjesëmarrësit, në përputhje, për shembull, me përshkrimin e nivelit të specialistit (bazuar në përshkrimin e vendeve vakante).
Gjatë nisjes pilot të testit tonë, atyre që donin të regjistroheshin në program, së bashku me rezultatet, u treguam një listë me tema që duheshin përmirësuar. Por kjo sigurisht nuk është ideale, ne do të përmirësohemi dhe do të ofrojmë reagime më të mira.
Rake 9: Mos e diskutoni testin me zhvilluesit
Ndoshta grabuja më e mprehtë, e cila është veçanërisht e pakëndshme për t'u shkelur, është dërgimi i testit, përshkrimit dhe shkallës së pikëve te zhvilluesit "siç është".
Çfarë saktësisht duhet të diskutohet:
- Pamja e pyetjeve, struktura, pozicioni i grafikës, si duket zgjedhja e përgjigjes së saktë.
- Si llogaritet rezultati (nëse nevojitet), a ka kushte shtesë.
- Si gjenerohen reagimet, ku mund të merrni tekste, a ka blloqe shtesë të gjeneruara automatikisht.
- Çfarë informacioni shtesë duhet të mblidhni dhe në çfarë pike (të njëjtat kontakte).
Për të shmangur keqkuptimet, ne u kërkojmë zhvilluesve tanë të kodojnë 2 ose 3 pyetje të ndryshme në mënyrë që të shohin se si duken përpara se të kodojnë vetë testin.
Rake 10: Pa testim, ngarkoni direkt në prodhim
3 here o djema testi duhet te kontrollohet 3 here nga njerez te ndryshem ose me mire 3 here secili.Kjo e vertete eshte marre me gjak, djerse dhe piksele rreshtash kodi.
Testi ynë kontrollon treshen e mëposhtme:
- Produkt - kontrollon testin për performancën, pamjen, mekanikën.
- Zhvilluesi i testit - kontrollon tekstin e detyrave, renditjen e tyre, formën e punës me testin, llojet e detyrave, përgjigjet e sakta, lexueshmërinë dhe shikimin normal të grafikëve.
- Autori i detyrave (eksperti) kontrollon testin për besnikëri nga një pozicion eksperti.
Një shembull nga praktika: vetëm në drejtimin e tretë, autori i detyrave pa që 1 detyrë mbeti në versionin e vjetër të formulimit. Të gjithë të mëparshmet gjithashtu sunduan në mënyrë aktive. Por kur testi u kodua, dukej ndryshe nga sa ishte imagjinuar fillimisht. Ka shumë të ngjarë që diçka do të duhet të korrigjohet. Kjo duhet të merret parasysh.
Total
Duke anashkaluar me kujdes të gjitha këto "rake", ne krijuam një të veçantë , për të testuar njohuritë e aplikantëve. Kushdo mund ta testojë atë ndërkohë që ne jemi duke përgatitur materialin e radhës, në të cilin do t'ju tregojmë se çfarë ndodhi brenda robotit dhe në çfarë u shndërrua më vonë.
Ju mund të merrni një profesion të kërkuar nga e para ose Level Up për sa i përket aftësive dhe pagës duke ndjekur kurse online të SkillFactory:
- (12 javë)
- (20 javë)
- (20 javë)
- (12 muaj)
Më shumë kurse
- (12 muaj)
- (14 javë)
- (5 javë)
- (18 muaj)
- (6 muaj)
- (12 muaj)
- (8 muaj)
- (9 muaj)
- (12 muaj)
- (18 muaj)
- (18 muaj)
- (12 muaj)
- (9 muaj)
- (7 muaj)
Burimi: www.habr.com