Para regjistrimin e një kursi të ri në Machine Learning Advanced, ne testojmë studentët e ardhshëm për të përcaktuar nivelin e përgatitjes së tyre dhe për të kuptuar se çfarë duhet t'u ofrojmë për t'u përgatitur për kursin. Por ndodh një dilemë: nga njëra anë, ne duhet të kontrollojmë njohuritë për Data Science, nga ana tjetër — nuk mund të organizojmë një provim të plotë prej 4 orësh.
Për të zgjidhur këtë problem, ne kemi ngritur një qendër dedikuar TestDev direkt në ekipin e zhvillimit të kurseve për Data Science (dhe duket se kjo është vetëm fillimi). Ju prezantojmë listën e 10 «grykave» që ndodhin gjatë zhvillimit të testeve për vlerësimin e njohurive. Shpresojmë që bota e mësimit online të bëhet pak më mirë pas kësaj.
Gryka 1: Të mos përcaktohet qartë qëllimi i testimit
Për të përcaktuar saktësisht qëllimet dhe për të ndërtuar një test që do t'i marrë parasysh ato, në fazën e planifikimit, ne duhet të përgjigjemi për disa pyetje:
- Çfarë saktësisht po kontrollojmë?
- Në cilat kushte do të zhvillohet testimi dhe cilat mekanika do të përdoren? Cilat janë kufizimet në këtë mjedis? Ky pikë do të ndihmojë gjithashtu të kuptojmë kërkesat teknike për pajisjen ku do të zhvillohet testimi, si dhe për përmbajtjen (nëse testet zhvillohen me telefona, imazhet duhet të duken mirë edhe në ekran të vogël, duhet të ketë mundësi për t'i zgjeruar etj.).
- Sa kohë do të zgjasë testimi? Duhet të mendojmë për kushtet në të cilat përdoruesi do të kalojë testin. A mund të ndodhë situata që ai të duhet të ndërpresë procesin e testimit dhe më pas ta vazhdojë përsëri?
- A do të ketë feed-back? Si formohet dhe dërgohet ai? Çfarë është e nevojshme për ta marrë atë? A ka një periudhë kohe ndërmjet përfundimit të testit dhe feed-back-ut?
Në rastin tonë, duke iu përgjigjur këtyre pyetjeve, kemi përcaktuar një listë qëllimesh për testin:
- Testi duhet të tregojë nëse studentët e ardhshëm janë të gatshëm për të ndjekur kursin, a mjaftojnë njohuritë dhe aftësitë e tyre.
- Testi duhet të na japë materiale për feedback, të tregojë temën ku studentët kanë bërë gabime, në mënyrë që ata të mund t'i forcojnë njohuritë e tyre. Si ta përgatisim atë — do ta shpjegojmë më poshtë.
Gabimi 2: Të mos përgatisësh një TëZ për ekspertin — përgatitësin e testit
Përgatitja e detyrave të testit është shumë e rëndësishme të përfshijmë një ekspert në fushën që po kontrollohet, njohuritë e të cilit vlerësohen. Ndërsa për ekspertin, është e nevojshme një TëZ e saktë (përshkrimi) që përmban temat e testit, njohuritë/aatë dhe nivelin e tyre.
Eksperti nuk do ta përgatisë një TëZ për veten e tij, pasi puna e tij është të krijojë detyra, jo struktura të testit. Për më tepër, ende pak njerëz e zhvillojnë profesionin e përgatitjes së testeve, madje edhe gjatë mësimdhënies. Kësaj i mësohet në një specialitet të veçantë — psikometria.
Nëse dëshiron të njohesh shpejt me psikometrinë, në Rusi ka për të gjithë ata që janë të interesuar. Për studim më të thellë, në Institutin e Edukimit ka dhe doktoraturë.
Duke përgatitur TëZ, ne mbledhim një përshkrim të detajuar të testit për ekspertin (më mirë, së bashku me të): temat e detyrave, lloji i detyrave, numri i tyre.
Si si do ta zgjidhni llojin e detyrave: pasi të vendosni temat, ne vendosim se cilat detyra do të verifikohen më mirë? Opsionet klasike: detyra me përgjigje të hapur, detyra me zgjedhje të shumta ose njëzëshme, përputhshmëri, etj. (mos harroni kufizimet teknike të mjedisit në të cilin kryhet testimi!). Pas përcaktimit dhe përshkrimit të llojit të detyrave, ne kemi një PBB të gatshëm për ekspertin. Mund ta quajmë atë specifikimin e testit.
Kurthe 3: Të mos angazhoni ekspertin në zhvillimin e testit
Kur përfshiheni ekspertin në zhvillimin e testit, është shumë e rëndësishme të mos e shenjoni thjesht "vëllimin e punës", por ta përfshini atë në procedurën e vetë zhvillimit.
Si të bëni që puna me ekspertin të jetë sa më efikase:
- Disa kohë më parë, përgatitoni atë dhe kaloni pak kohë duke i treguar shkencën e zhvillimit të testeve, psikometrinë.
- Pëqendroni vëmendjen e ekspertit në krijimin e një instrumenti vlerësimi të vlefshëm dhe të besueshëm, jo në një listë pyetjesh.
- Shpjegoni se puna e tij përfshin një fazë përgatitore, jo vetëm zhvillimin e vetë detyrave.
Disa ekspertë (për shkak të natyrës së tyre) mund ta perceptojnë këtë si një testim të punës së tyre, dhe atyre ne u shpjegojmë se, edhe kur krijojmë detyra të shkëlqyera, ato mund të mos përshtaten plotësisht me qëllimet specifike të testimit.
Për të kaluar procesin shpejt, ne përgatitim së bashku me ekspertin një tabelë mbulimi të temave (dijeve dhe aftësive), e cila është pjesë e specifikimit të testit. Kjo tabelë na lejon të punojmë saktësisht mbi pyetjet, të përcaktojmë se çfarë do të masim. Në çdo rast konkret, ajo mund të përgatitet pak ndryshe. Detyra jonë është të testojmë se sa mirë e njeh një person njohuritë dhe aftësitë e kurseve të kaluarave, për të kuptuar se sa i përgatitur është për të mësuar një kurs të ri.
Gabimi 4: Të mendosh se eksperti "dijon më mirë"
E di temën më mirë. Por nuk gjithmonë shpjegon qartë. Është shumë e rëndësishme të kontrollohen formulimet e detyrave. Të shkruhen udhëzime të qarta, siç është "Zgjidhni 1 variant të saktë". Në 90% të rasteve, ekspertët përgatisin pyetje siç është e qartë për ta. Dhe kjo është e zakonshme. Por para se t'ua japin testin atyre që do ta kryejnë, duhet të kontrollohet gjithçka dhe të rregullohet që njerëzit që e kryejnë testin të kuptojnë saktësisht se çfarë pritet nga ata dhe të mos gabohen vetëm sepse mund të keqkuptonin tekstin e detyrës.
Për të shmangur interpretimin e dyfishtë të detyrave, ne realizojmë "laboratorë kognitivë". Kërkojmë nga njerëzit nga grupi ynë të synuar të kalojnë testin, duke e thënë me zë të lartë atë që mendonin dhe e regjistrojmë këtë në detaje. Në "laboratorët kognitivë" mund të "kapim" pyetje të paqarta, formulime të këqija, të marrim feedback të parë mbi testin.
Gafa 5: Të mos merret parasysh koha e kryerjes së testit
sarcasm mode: on
Sigurisht, testi ynë është më i miri, të gjithë ëndërrojnë ta kalojnë! Po, për të gjithë 4 orët.
sarcasm mode: off
Kur ka një listë të gjithçkaje që mund të kontrolloni, gjëja më e rëndësishme është të mos e bëni atë (në pamje të parë, duket e çuditshme, apo jo?). Duhet të prisni pa mëshirë, duke nxjerrë në pah njohuritë dhe aftësitë kyçe në bashkëpunim me një ekspert (po, disa aftësi gjithashtu mund të kontrollohen në test). Shikoni llojin e detyrave dhe parashikoni kohën e synuar për përfundim: nëse ende kalon kufijtë e arsyeshëm — prisni!
Për të reduktuar volumin, mund të provoni gjithashtu (me kujdes) të kontrolloni dy aftësi me një detyrë. Në këtë rast, është e vështirë të kuptohet pse dikush gaboi, por nëse kryhet siç duhet, mund të llogariten të dyja aftësitë. Është e rëndësishme të siguroheni që këto 2 aftësi të përkasin në një fushë njohurish.
Grabi 6: Të mos mendohet një sistem pikëzimi
Shpesh, kur krijohen testet e vlerësimit, përdoret një sistem klasik vlerësimi me pikë, për shembull, 1 pikë për detyrat e lehta dhe 2 pikë për ato të vështira. Por, ai nuk është universal. Thjesht shuma e pikëve pas përfundimit të testimit nuk na thotë shumë: ne nuk dimë për cilat detyra janë marrë këto pikë dhe mund të përcaktojmë vetëm numrin e detyrave të sakta. Na nevojitet një kuptim i saktë se cilat aftësi po demonstrojnë pjesëmarrësit e testimit. Për më tepër, ne duam t'u japim atyre feedback, se cilat tema duhet të përmirësohen.
Në fund të fundit, ne po krijojmë një test që do të ndajnë njerëzit në ata të gatshëm dhe ata jo të gatshëm për të kaluar programin, disa do t'i këshillojmë të përgatiten për kursin e trajnimit falas. Na rëndësishme është që në këtë grup të përfshihen vetëm ata që vërtet kanë nevojë për këtë dhe që janë të gatshëm.
Çfarë bëjmë në situatën tonë: përcaktohemi brenda grupit të punës së zhvilluesve të testit, cilat grupe njerëzish duhet të nxirren (për shembull, të gatshëm për të mësuar, pjesërisht të gatshëm) dhe formojmë një tabelë karakteristikash për këto grupe, duke shqyrtuar se cilat aftësi dhe njohuri do të jenë të rëndësishme për grupin e gatshëm për të mësuar. Kështu mund të formohet "vështirësia" e detyrave për teste të tilla.
Grabi 7: Të vlerësosh rezultatet vetëm automatikisht
Sigurisht, vlerësimi duhet të jetë sa më objektiv që të jetë e mundur, prandaj një pjesë e materiale studentore vlerësohet automatikisht, "sipër çelësave" — duke e krahasuar me përgjigjet e sakta. Edhe nëse nuk ka një sistem të veçantë testimi, ka shumë zgjidhje falas. Dhe nëse ka një kuptim të parimeve të shkrimit të skenarëve, atëherë me formularët Google dhe rezultatet në tabela mund të bësh çfarëdo. Nëse një pjesë e detyrave kontrollohet nga ekspertë, atëherë duhet të mendojmë për dorëzimin e përgjigjeve ekspertëve, pa informacion në lidhje me ata që i japin. Dhe të mendojmë se si të integrojmë rezultatet e kontrollit të ekspertëve në vlerësimin përfundimtar.
Ne fillim, ne doja të krijonim disa detyra të hapura me kod, kur ekspertët vlerësonin zgjidhjet sipas kritereve të paracaktuara, dhe madje përgatitëm një sistem që eksporton përgjigjet e veçanta të pjesëmarrësve në një tabelë të veçantë për ekspertët, e më pas importon rezultatet në një tabelë me llogaritjen e vlerësimit. Por pas bisedës me përfaqësuesit e grupeve të interesit, menaxherin e produktit dhe dizajnerin pedagogjik, ne menduam se realizimi i një intervistë teknike me feedback të menjëhershëm nga ekspertët dhe diskutimi i kodit, si dhe çështjeve të veçanta do ishte shumë më efikase dhe e dobishme për vetë pjesëmarrësit.
Tani eksperti verifikon kalimin e testit, duke saktësuar disa pyetje. Për këtë, ne kemi përgatitur një udhëzim pyetjesh dhe kriteret e vlerësimit për intervistën teknike. Para intervistës teknike, eksperti merr një hartë të përgjigjeve të pjesëmarrësit, për të zgjedhur pyetjet që ia vlen të bëjë.
Gramat 8: Të mos shpjegosh rezultatet e testimit
Paraqitja e feedback-ut për pjesëmarrësit është një çështje e veçantë. Ne kemi nevojë jo vetëm të informojmë për pikët testuese, por gjithashtu të japim një kuptim të rezultateve të testit.
Këto mund të jenë:
- Detyrat ku pjesëmarrësi gaboi, por të cilat i zgjodhi si të sakta.
- Temat ku pjesëmarrësi bëri gabime.
- Rangu i tij ndër ata që kanë dhënë provimin.
- Përshkrimi i nivelit të pjesëmarrësit, për shembull, në përputhje me përshkrimin e profesionistëve (qartësisht në bazë të përshkrimeve të pozitave).
Gjatë pilotimit të testit tonë, atyre që donin të merrnin pjesë në program, së bashku me rezultatet, ne u tregonim një listë temash që duhej të forcoheshin. Por kjo sigurisht që nuk është ideali, ne do të përmirësohemi dhe do ta bëjmë feedback-un më të mirë.
Grapli 9: Një diskutim i testit me zhvilluesit
Mundësisht, grapelet më të mprehta, për të cilat është veçanërisht e pakëndshme të kontaktosh — dërgimin e testit, përshkrimin dhe shkallën e llogaritjes në gjendjen 'siç është'.
Çfarë saktësisht kërkon diskutim:
- Pamja e pyetjeve, struktura, pozita e grafikëve, si duket zgjedhja e përgjigjes së saktë.
- Si llogaritet pika (nëse është e nevojshme), nuk ka kushte të tjera.
- Si si krijon feedback, ku mund të marrësh tekstet, a ka ndonjë bllok që formohet automatikisht.
- Cilat informacione shtesë duhet të mbledhni dhe në cilin moment (të njëjtët kontakte).
Për të shmangur keqkuptimet, ne kërkojmë nga zhvilluesit tanë të programojnë 2 ose 3 pyetje të ndryshme, për të parë si duken para programimit të vetë testit.
Gabimi 10: Nuk duhet të ngarkohet direkt në prodhim pa testim.
3 herë, njerëz, testi duhet të kontrollohet 3 herë nga persona të ndryshëm, e preferueshme — secili nga 3. Kjo e vërtetë është arritur me mund, djersë dhe piksel të kodit.
Testi ynë kontrollon këtë trio:
- Prodhuese — kontrollon testin për funksionalitet, pamje, mekanika.
- Zhvilluesi i testit — kontrollon tekstet e detyrave, rendin e tyre, mënyrën e punës me testin, llojet e detyrave, përgjigjet e sakta, lexueshmërinë dhe shikimin normal të grafikës.
- Autori i detyrave (eksperti) — kontrollon testin për saktësinë nga pozita e ekspertit.
Një shembull nga praktika: vetëm në rundin e tretë të kontrollit, autori i detyrave pa se një detyrë kishte mbetur me formulimin e vjetër. Të gjitha të mëparshmet gjithashtu ishin rregulluar aktivisht. Por kur testi u kodifikua, ai dukej ndryshe nga ajo siç ishte përfytyruar fillimisht. Me një probabilitet të madh, ndoshta do të ketë nevojë për disa korrigjime. Kjo duhet marrë parasysh.
Përfundimi
Në mënyrë të kujdesshme duke shmangur këto "grila", ne krijuam një , për të kontrolluar njohuritë e kandidatëve. Kushdo mund ta testohet atë, ndërsa ne përgatisim materialin tjetër, në të cilin do të tregojmë se çfarë ndodhi brenda robotit dhe si u transformua gjithçka më pas.
Të fitosh një profesion të kërkuar nga zero ose të përmirësosh aftësitë dhe pagën, mund të bëhet duke ndjekur kursin online në SkillFactory:
- (12 javë)
- (20 javë)
- (20 javë)
- (12 muaj)
E tjera kurse
- (12 muaj)
- (14 javë)
- (5 javë)
- (18 muaj)
- (6 muaj)
- (12 muaj)
- (8 muaj)
- (9 muaj)
- (12 muaj)
- (18 muaj)
- (18 muaj)
- (12 muaj)
- (9 muaj)
- (7 muaj)
Burimi: habr.com
