Qabel ma nirreġistraw fil-kors Avvanzat tat-Tagħlim tal-Machine l-ġdid, aħna nittestjaw studenti prospettivi biex niddeterminaw il-livell ta’ tħejjija tagħhom u nifhmu x’jeħtieġ li joffru eżattament biex jippreparaw għall-kors. Iżda tqum dilemma: minn naħa, irridu nittestjaw l-għarfien fix-Xjenza tad-Data, min-naħa l-oħra, ma nistgħux nirranġaw eżami sħiħ ta '4 sigħat.
Biex insolvu din il-problema, skjerajna kwartieri ġenerali TestDev eżatt fit-tim tal-iżvilupp tal-kors tax-Xjenza tad-Data (u jidher li dan huwa biss il-bidu). Aħna nippreżentawlek lista ta '10 nases li jiltaqgħu magħhom meta jiġu żviluppati testijiet biex jiġi evalwat l-għarfien. Nisperaw li d-dinja tat-tagħlim onlajn tkun ftit aħjar wara dan.
Rake 1: Nuqqas li tiddefinixxi b'mod ċar l-għanijiet tal-ittestjar
Sabiex niddefinixxu b'mod korrett l-għanijiet u noħolqu test li jqishom, fl-istadju tal-ippjanar irridu nwieġbu diversi mistoqsijiet:
- X'qed niċċekkjaw fil-fatt?
- F'liema ambjent se jsir l-ittestjar u liema mekkaniżmi jintużaw? X'inhuma l-limitazzjonijiet f'dan l-ambjent? Dan l-istess punt jippermettilek tifhem ir-rekwiżiti tekniċi għall-apparat li fuqu se jsir l-ittestjar, u wkoll għall-kontenut (jekk it-test jittieħed mit-telefowns, l-istampi għandhom jinqraw anke fuq skrin żgħir, għandu ikun possibbli li tkabbarhom, eċċ.).
- Kemm se jdum l-ittestjar? Trid taħseb dwar il-kundizzjonijiet li taħthom l-utent se jagħmel it-test. Jista' jkun hemm sitwazzjoni fejn jeħtieġ li jinterrompi l-proċess tal-ittestjar u mbagħad jerġa' jkompli?
- Se jkun hemm feedback? Kif niffurmawha u nwassluha? X'għandek bżonn tirċievi? Hemm dewmien bejn l-eżekuzzjoni tat-test u r-rispons?
Fil-każ tagħna, wara li wieġeb dawn il-mistoqsijiet, iddefinijna l-lista ta 'għanijiet li ġejja għat-test:
- It-test għandu juri jekk l-istudenti futuri humiex lesti li jieħdu l-kors u jekk għandhomx biżżejjed għarfien u ħiliet.
- It-test għandu jagħtina materjal għal feedback, jindika s-suġġett li fih l-istudenti għamlu żball, sabiex ikunu jistgħu jtejbu l-għarfien tagħhom. Aħna ngħidulek kif tikkomponiha hawn taħt.
Rake 2: Nuqqas li jitfasslu speċifikazzjonijiet tekniċi għall-kittieb espert tat-test
Biex tikkomponi oġġetti tat-test, huwa importanti ħafna li tinvolvi espert fil-qasam li fih qed jiġi ttestjat l-għarfien. U għal espert, imbagħad, għandek bżonn speċifikazzjoni teknika kompetenti (deskrizzjoni), li tinkludi s-suġġetti tat-test, l-għarfien/ħiliet li qed jiġu ttestjati u l-livell tagħhom.
Espert mhux se jagħmel speċifikazzjonijiet tekniċi bħal dawn għalih innifsu, għax ix-xogħol tiegħu huwa li joħroġ b'kompiti, mhux l-istruttura tat-test. Barra minn hekk, ftit nies jiżviluppaw testijiet professjonalment, anke fil-proċess tat-tagħlim. Dan huwa mgħallem fi speċjalità separata - psikometrika.
Jekk trid tiffamiljarizza malajr mal-psikometrika, allura fir-Russja hemm għal dawk kollha interessati. Għal studju aktar fil-fond, l-Istitut tal-Edukazzjoni għandu u skola gradwata.
Meta nippreparaw l-ispeċifikazzjonijiet tekniċi, niġbru deskrizzjoni dettaljata tat-test għall-espert (jew aħjar, flimkien miegħu): suġġetti ta 'kompiti, tip ta' kompiti, in-numru tagħhom.
Kif nagħżlu t-tip ta 'kompiti: wara li ddeċidejna dwar is-suġġetti, aħna niddeċiedu liema kompiti jistgħu jittestjaw dan l-aħjar? Għażliet klassiċi: kompitu miftuħ, kompitu b'għażla multipla jew waħda, tqabbil, eċċ. (tinsiex dwar il-limitazzjonijiet tekniċi tal-ambjent tal-ittestjar!). Wara li tiddetermina u nispeċifika t-tip ta 'kompiti, għandna speċifikazzjoni teknika lesta għall-espert. Tista 'sejħa hija speċifikazzjoni tat-test.
Rake 3: Ma jinvolvix espert fl-iżvilupp tat-test
Meta tgħaddas espert fl-iżvilupp tat-test, huwa importanti ħafna mhux biss li tindika lilu "l-ambitu tax-xogħol", iżda li tinvolvih fil-proċedura ta 'żvilupp innifsu.
Kif tagħmel ix-xogħol ma' espert kemm jista' jkun effettiv:
- Waħħalha bil-quddiem u qattgħu ftit ħin titkellem dwar ix-xjenza tal-iżvilupp tat-test u l-psikometrika.
- Iffoka l-attenzjoni tal-evalwatur fuq il-ħolqien ta’ għodda ta’ valutazzjoni valida u affidabbli, mhux lista ta’ mistoqsijiet.
- Spjega li x-xogħol tiegħu jinkludi stadju preparatorju, mhux biss l-iżvilupp tal-kompiti nfushom.
Xi esperti (minħabba n-natura tagħhom) jistgħu jipperċepixxu dan bħala test tax-xogħol tagħhom stess, u aħna nispjegawlhom li anki jekk noħolqu ħidmiet eċċellenti, huma sempliċiment jistgħu ma jaqblux mal-għanijiet speċifiċi tal-ittestjar.
Biex il-proċess imur malajr, aħna nippreparaw tabella ta 'kopertura tas-suġġett (għarfien u ħiliet) mal-espert, li hija parti mill-ispeċifikazzjoni tat-test. Hija din it-tabella li tippermettilna naħdmu b'mod preċiż il-mistoqsijiet u niddeterminaw x'se nkejlu. F'kull każ speċifiku jista 'jinġabar kemmxejn differenti. Il-kompitu tagħna huwa li niċċekkjaw kemm persuna tifhem sew l-għarfien u l-ħiliet ta 'korsijiet bażiċi preċedenti sabiex tifhem kemm hi lesta biex tistudja f'kors ġdid.
Rake 4: Taħseb li l-espert "jaf l-aħjar"
Jaf is-suġġett aħjar. Iżda mhux dejjem jispjega b'mod ċar. Huwa importanti ħafna li tiċċekkja l-kliem tal-inkarigi. Ikteb istruzzjonijiet ċari, pereżempju, "Agħżel għażla korretta waħda." F'1% tal-każijiet, l-esperti jippreparaw mistoqsijiet b'mod li jifhmu huma stess. U dak huwa okay. Iżda qabel ma jgħaddi t-test lil dawk li se jeħduh, jeħtieġ li kollox jiġi ċċekkjat u mimxut sabiex in-nies li jagħmlu t-test jifhmu eżattament dak li hu meħtieġ minnhom u ma jiżbaljawx sempliċement għax jistgħu jinterpretaw ħażin it-test tal-kompitu.
Biex nevitaw interpretazzjoni doppja tal-kompiti, aħna nwettqu "laboratorji konjittivi." Nitolbu lin-nies mill-udjenza fil-mira biex jagħmlu t-test, jgħidu b'leħen għoli dak li jaħsbu u jirreġistrawh fid-dettall. Fil-"laboratorji konjittivi" tista '"taqbad" mistoqsijiet mhux ċari, kliem ħażin, u tikseb l-ewwel feedback dwar it-test.
Rake 5: Injora l-ħin tal-eżekuzzjoni tat-test
mod sarkasm: mixgħul
Naturalment, it-test tagħna huwa l-aħjar, kulħadd joħlom li jgħaddih! Iva, l-4 sigħat kollha.
mod sarkasm: mitfi
Meta jkun hemm lista ta 'dak kollu li jista' jiġi ċċekkjat, il-ħaġa prinċipali hija li ma tagħmilx dan (mal-ewwel daqqa t'għajn tinstema' stramba, hux?). Għandek bżonn taqta' bla ħniena, tidentifika l-għarfien u l-ħiliet ewlenin ma 'espert (iva, numru ta' ħiliet jistgħu wkoll jiġu ttestjati fit-test). Aħna nħarsu lejn it-tip ta 'kompiti u nistmaw il-ħin tat-tlestija fil-mira: jekk kollox għadu aktar minn limiti raġonevoli, naqtgħuh!
Biex tnaqqas il-volum, tista 'wkoll tipprova (b'attenzjoni) tittestja żewġ ħiliet f'kompitu wieħed. F'dan il-każ, huwa diffiċli li wieħed jifhem għaliex il-persuna għamlet żball, iżda jekk isir b'mod korrett, iż-żewġ ħiliet jistgħu jitqiesu. Huwa importanti li jiġi żgurat li dawn iż-żewġ ħiliet jikkorrispondu għall-istess qasam ta 'għarfien.
Rake 6: Mhux ħsieb permezz tas-sistema ta 'skor
Ħafna drabi, meta jiġbru testijiet ta 'valutazzjoni, huma jużaw is-sistema ta' punteġġ klassika, pereżempju, punt 1 għal kompiti faċli u punti 2 għal dawk diffiċli. Iżda mhuwiex universali. Is-somma tal-punti biss ibbażata fuq ir-riżultati tat-test mhux se tgħidilna ħafna: ma nafux għal liema kompiti ġew irċevuti dawn il-punti u nistgħu niddeterminaw biss in-numru ta 'kompiti korretti. Irridu nifhmu eżattament liema ħiliet qed juru dawk li jieħdu t-test. Barra minn hekk, irridu nagħtuhom feedback dwar liema suġġetti jridu jittejbu.
Wara kollox, qed nagħmlu test li se jaqsam lin-nies f’dawk li huma lesti u dawk li mhumiex lesti biex ilestu l-programm; se nagħtu parir lil xi wħud biex jippreparaw għall-kors permezz ta’ taħriġ b’xejn. Huwa importanti għalina li dan il-grupp jinkludi biss lil dawk li verament għandhom bżonnu u li huma lesti għalih.
Dak li nagħmlu fis-sitwazzjoni tagħna: niddeterminaw fi ħdan il-grupp ta 'ħidma ta' żviluppaturi tat-test liema gruppi ta 'nies jeħtieġ li jiġu identifikati (per eżempju, lesti biex jitgħallmu, parzjalment lesti) u niffurmaw tabella ta' karatteristiċi ta 'gruppi bħal dawn, li tindika liema ħiliet u għarfien se jkun rilevanti għall-grupp ta’ taħriġ lest biex jitgħallem. Dan il-mod tista 'tifformula d-"diffikultà" tal-kompiti għal testijiet bħal dawn.
Rake 7: Evalwa r-riżultati awtomatikament biss
Naturalment, il-valutazzjoni għandha tkun oġġettiva kemm jista 'jkun, għalhekk xi wħud mill-materjali tal-istudenti jiġu vvalutati awtomatikament, "b'ċwievet" - meta mqabbla mat-tweġibiet korretti. Anke jekk m'hemm l-ebda sistema ta 'ttestjar speċjali, hemm ħafna soluzzjonijiet b'xejn. U jekk tifhem il-prinċipji tal-kitba ta 'skripts, allura tista' tagħmel dak kollu li trid bil-formoli u r-riżultati ta 'Google f'tabelli. Jekk xi wħud mill-kompiti jiġu ċċekkjati minn esperti, allura għandna bżonn naħsbu biex inwasslu tweġibiet lill-esperti, mingħajr informazzjoni dwar dawk li jieħdu t-test. U aħseb dwar kif tintegra r-riżultati tal-ittestjar tal-esperti fil-valutazzjoni finali.
Inizjalment ridna nagħmlu diversi kompiti miftuħa bil-kodiċi, fejn l-esperti jevalwaw soluzzjonijiet ibbażati fuq kriterji ffurmati minn qabel, u anke ħejjejna sistema li tesporta tweġibiet individwali minn parteċipanti tat-test għal tabella speċjali għall-esperti, u mbagħad timporta r-riżultati f' tabella bil-kalkoli tal-valutazzjoni. Iżda wara li ddiskutejna ma 'rappreżentanti tal-udjenza fil-mira, maniġer tal-prodott u disinjatur edukattiv, ħassejna li t-twettiq ta' intervista teknika b'rispons immedjat ta 'esperti u diskussjoni tal-kodiċi, kif ukoll kwistjonijiet individwali, ikun ħafna aktar effettiv u utli għall-parteċipanti nfushom. .
Issa l-espert jivverifika t-tlestija tat-test, u jiċċara xi mistoqsijiet. Biex nagħmlu dan, ħejjejna gwida ta’ mistoqsijiet u kriterji ta’ valutazzjoni għal intervista teknika. Qabel l-intervista teknika, l-eżaminatur jirċievi mappa tat-tweġibiet ta’ min jieħu t-test biex jgħinu jagħżel il-mistoqsijiet li jistaqsi.
Rake 8: Tispjegax ir-riżultati tat-test
L-għoti ta' feedback lill-parteċipanti hija kwistjoni separata. Għandna bżonn mhux biss ninfurmaw dwar il-punteġġ tat-test, iżda wkoll nipprovdu fehim tar-riżultati tat-test.
Jista 'jkun:
- Kompiti li fihom il-parteċipant għamel żball u li lesta b'mod korrett.
- Suġġetti li fihom il-parteċipant għamel żbalji.
- Il-klassifika tiegħu fost dawk li qed jagħmlu l-eżami.
- Deskrizzjoni tal-livell tal-parteċipant, skont, pereżempju, id-deskrizzjoni tal-livell speċjalizzat (ibbażat fuq id-deskrizzjoni tal-postijiet vakanti).
Waqt it-tnedija pilota tat-test tagħna, lil dawk li riedu jinkitbu fil-programm, flimkien mar-riżultati, urejna lista ta’ suġġetti li kellhom bżonn jitjiebu. Iżda dan żgur mhux ideali, aħna se ntejbu u nipprovdu feedback aħjar.
Rake 9: Tiddiskutix it-test mal-iżviluppaturi
Forsi l-iktar rake qawwi, li huwa speċjalment spjaċevoli li wieħed imur fuqu, huwa li tibgħat it-test, id-deskrizzjoni u l-iskala tal-punteġġ lill-iżviluppaturi "kif inhu".
X'hemm bżonn li jiġi diskuss eżatt:
- Id-dehra tal-mistoqsijiet, l-istruttura, il-pożizzjoni tal-grafika, kif tidher l-għażla tat-tweġiba t-tajba.
- Kif jiġi kkalkulat il-punteġġ (jekk meħtieġ), hemm xi kundizzjonijiet addizzjonali.
- Kif jiġi ġġenerat ir-rispons, fejn tikseb it-testi, hemm blokki addizzjonali ġġenerati awtomatikament.
- X'informazzjoni addizzjonali għandek bżonn tiġbor u f'liema punt (l-istess kuntatti).
Biex nevitaw nuqqas ta 'ftehim, nitolbu lill-iżviluppaturi tagħna biex jikkodifikaw 2 jew 3 mistoqsijiet differenti sabiex ikunu jistgħu jaraw kif jidhru qabel jikkodifikaw it-test innifsu.
Rake 10: Mingħajr ittestjar, ittella direttament fil-produzzjoni
3 darbiet, guys, it-test għandu jiġi kkontrollat 3 darbiet minn nies differenti, jew aħjar, 3 darbiet kull wieħed.Din il-verità nkisbet bid-demm, għaraq u pixels ta 'linji ta' kodiċi.
It-test tagħna jiċċekkja t-trio li ġej:
- Prodott - jiċċekkja t-test għall-prestazzjoni, id-dehra, il-mekkanika.
- Żviluppatur tat-test - jiċċekkja t-test tal-kompiti, l-ordni tagħhom, il-forma ta 'ħidma mat-test, it-tipi ta' kompiti, tweġibiet korretti, il-qari u l-wiri normali tal-grafika.
- L-awtur tal-kompiti (espert) jiċċekkja t-test għall-fedeltà minn pożizzjoni esperta.
Eżempju mill-prattika: fit-tielet ġirja biss, l-awtur tal-kompiti ra li kompitu 1 baqa 'fil-verżjoni l-antika tal-kliem. Dawk kollha ta 'qabel ukoll iddeċidew b'mod attiv. Iżda meta t-test ġie kkodifikat, deher differenti minn dak li kien immaġina oriġinarjament. Huwa probabbli ħafna li xi ħaġa se jkollha tiġi kkoreġuta. Dan jeħtieġ li jitqies.
Total
B'attenzjoni bypassing dawn kollha "rake", ħloqna speċjali , biex tittestja l-għarfien tal-applikanti. Kulħadd jista’ jittestjah waqt li nkunu qed inħejju l-materjal li jmiss, li fih ngħidulek x’ġara ġewwa l-bot, u fiex ittrasforma kollox aktar tard.
Tista' tikseb professjoni mfittxija mill-bidu jew Level Up f'termini ta' ħiliet u salarju billi tieħu korsijiet onlajn ta' SkillFactory:
- (12 ġimgħat)
- (20 ġimgħat)
- (20 ġimgħat)
- (12 xhur)
Aktar korsijiet
- (12 xhur)
- (14 ġimgħat)
- (5 ġimgħat)
- (18 xhur)
- (6 xhur)
- (12 xhur)
- (8 xhur)
- (9 xhur)
- (12 xhur)
- (18 xhur)
- (18 xhur)
- (12 xhur)
- (9 xhur)
- (7 xhur)
Sors: www.habr.com