Enne uuele Machine Learning Advanced kursusele registreerumist testime tulevasi üliõpilasi, et määrata nende valmisoleku tase ja mõista, mida neile kursusele ettevalmistamiseks pakkuda. Kuid tekkib dilemma: ühelt poolt peame hindama andmete teaduse teadmisi, teiselt poolt ei saa me korraldada täisaja 4-tunnist eksamit.
Sellise ülesande lahendamiseks lõime TestDev keskuse otse Data Science kursuste arendusmeeskonda (ja näib, et see on alles algus). Tutvustame teile nimekirja 10 „lõksust“, kuhu astutakse testide koostamisel teadmiste hindamiseks. Loodame, et pärast seda muutub online-õppe maailm natuke paremaks.
Lõks 1: Testimise eesmärkide selge määratlemine
Eesmärkide õige määratlemise ja testi koostamise nimel, mis neid arvesse võtab, peame planeerimise etapis vastama mitmele küsimusele:
- Mida me tegelikult kontrollime?
- Millises keskkonnas testimine toimub ja milliseid mehhanisme kasutatakse? Millised on selles keskkonnas piirangud? See punkt aitab mõista tehnilisi nõudeid seadmele, millel testimine toimub, samuti sisu osas (kui testitakse telefonidelt, peavad pildid olema loetavad isegi väikese ekraani puhul, neid peab saama suurendada jne).
- Kui kaua testimine kestab? Tuleb läbi mõelda, millistes tingimustes kasutaja testi läbib. Kas võib tekkida olukord, kus tal tuleb testimist katkestada ja hiljem uuesti alustada?
- Kas tagasiside on olemas? Kuidas me selle vormime ja edastame? Mida on selleks vaja? Kas on vahemaa testi sooritamise ja tagasiside vahel?
Meie puhul, vastates nendele küsimustele, määratlesime testi eesmärkide nimekirja:
- Test peaks näitama, kas tulevased üliõpilased on valmis kursust läbima, kas neil on piisavad teadmised ja oskused.
- Test peaks andma meile tagasiside koostamiseks materjali, näitama teemat, milles õpilased eksisid, et nad saaksid oma teadmisi täiendada. Kuidas seda koostada — räägime edasi.
Lõks 2: Testi koostajale spetsialisti Tööülesande puudumine
Testi ülesannete koostamiseks on oluline kaasata ekspert valdkonnas, mille teadmisi testitakse. Samuti on eksperdile vajalik selge tööülesanne (kirjeldus), mis sisaldab testi teemasid, kontrollitavaid teadmisi/oskus ja nende taset.
Ekspert ei tee sellist tööülesannet iseendale, sest tema töö on ülesannete väljamõtlemine, mitte testi struktuuri loomine. Eriti kuna praegu ei arenda peaaegu keegi teste professionaalselt, isegi õpetamise käigus. Sellega õpetatakse eraldi erialal - psühhomeetria.
Kui soovite kiiresti tutvuda psühhomeetriaga, siis Venemaal on kõigile huvilistele. Sügavamateks teadmisteks on haridusteaduste instituudis ja doktorikraad.
Tööülesande koostamisel kogume eksperdile detailsed testi kirjelduse (ja parem koos temaga): ülesannete teemad, ülesannete tüübid, nende arv.
Kuidas valida ülesannete tüüpe: teemade määramisel otsustame, millised ülesanded seda kõige paremini kontrollida saavad? Klassikalised variandid: avatud vastusega ülesanne, mitme- või ühekordne valik, vastavused jms. (ärge unustage arvestada testi läbiviimise keskkonna tehnilisi piiranguid!). Pärast ülesannete tüüpide määratlemist ja määratlemist on meil ekspertide jaoks valmis tööülesanne. Seda võib nimetada testi spetsifikatsiooniks.
Kasutusviga 3: Eksperdi mitte kaasamine testi koostamisse.
Eksperdi kaasamisel testi koostamisse on väga oluline mitte lihtsalt määrata talle "töömaht", vaid kaasata ta kogu arendusprotsessi.
Kuidas saavutada, et töö ekspertidega oleks maksimaalselt efektiivne:
- Seadke teda ette ja kulutage mõni aeg testi koostamise teaduse, psühhomeetria tutvustamiseks.
- Keskenduge eksperdi tähelepanu valide ja usaldusväärse hindamisvahendi loomisele, mitte küsimuste loetlemisele.
- Selgitage, et tema töösse kuulub ettevalmistav etapp, mitte ainult ülesannete koostamine.
Mõned eksperdid (oma iseloomu tõttu) võivad seda tajuda kui oma töö kontrollimist ja me selgitame neile, et isegi suurepäraste ülesannete loomisel ei pruugi need konkreetsetele testimise eesmärkidele sobida.
Kuna protsess toimuks kiiresti, koostame koos eksperdiga katse katmiseks vajalike teadmiste ja oskuste tabeli, mis on testispeksifikatsiooni osa. Just see tabel võimaldab täpselt välja töötada küsimused ja määratleda, mida me mõõdame. Igas konkreetses juhtumis võib seda tabelit koostada veidi erinevalt. Meie ülesanne on kontrollida, kui hästi inimene orienteerub eelnevate, põhikursuste teadmistes ja oskustes, et mõista, kui valmis ta on uue kursuse õppimiseks.
Ahnus 4: Arvata, et ekspert "teab paremini"
Ta tunneb teemat paremini. Kuid mitte alati selgelt selgitab. On väga oluline kontrollida ülesannete sõnastusi. Kirjutage selged juhised, näiteks "Valige 1 õige variant". 90% juhtudest koostavad eksperdid küsimusi nii, nagu neile endile on arusaadav. Ja see on normaalne. Kuid enne, kui test antakse neile, kes seda läbivad, tuleb kõik üle vaadata ja viimistleda, et inimesed, kes testi läbivad, mõistaksid selgelt, mida neilt oodatakse, ja ei teeks vigu lihtsalt seetõttu, et nad võiksid ülesande teksti valesti tõlgendada.
Kaksiklaste tõlgenduste vältimiseks korraldame "kognitiivseid laboratooriume". Palume sihtrühmalt inimestel test läbi viia, rääkides valjusti, mida nad mõtlevad, ja fikseerime selle üksikasjalikult. "Kognitiivsetes laboratooriumides" saab "püüda" arusaamatuid küsimusi, halbu sõnastusi ja saada esmast tagasisidet testi kohta.
Ahnus 5: Mitte arvestada testi sooritamiseks kuluvat aega
iroonia režiim: sisse
Loomulikult on meie test parim, kõik unistavad selle läbi tegemisest! Jah, kõik 4 tundi.
iroonia režiim: välja
Kui on nimekiri kõigest, mida kontrollida saab, on peamine - seda mitte teha (esmapilgul kõlab see kummaliselt, eks?). Tuleb julmalt kärpida, eraldades koos eksperdiga võtmeteadmised ja oskused (jah, teatud oskusi saab samuti testis kontrollida). Vaatame ülesannete tüüpi ja mõõdame sihtaja sooritamiseks: kui kõik on endiselt enam kui mõistlikud piirid - kärpige!
Mahtude vähendamiseks võib samuti proovida (ettevaatlikult) ühe ülesandega kontrollida kaht oskust. Sellisel juhul on keeruline mõista, miks inimene eksis, kuid õige täitmise korral saab arvesse võtta mõlemat oskust. Oluline on veenduda, et need kaks oskust kuuluvad ühte ja sama teadmiste valdkonda.
Ahnus 6: Mitte välja töötada punktide hindamise süsteemi
Tihti testide koostamisel kasutatakse klassikalist hindamissüsteemi punktide kaupa, näiteks 1 punkt lihtsate ülesannete eest ja 2 punkti keerukate eest. Kuid see ei ole universaalne. Lihtsalt punktide summa testimise lõppedes ei ütle meile palju: me ei tea, milliste ülesannete eest need punktid on saadud ja saame määrata vaid õigeid ülesandeid. Me vajame täpset arusaama, milliseid oskusi testimise osalejad näitavad. Lisaks soovime anda neile tagasisidet, milliseid teemasid tuleks edasi arendada.
Kuna me koostame testi, mis jagab inimesed valmisolekuga ja mitte-valmisolekuga programmiks, soovitame mõnedele valmistuda tasuta koolitusele. Meie jaoks on oluline, et sellesse rühma kuuluks ainult need, kellele see tõeliselt vajalik on ja kes selleks valmis on.
Mida teeme meie olukorras: määratleme testide arendamise töörühmas, millised inimrühmad on vajalikud (näiteks õppimiseks valmis, osaliselt valmis) ja koostame selliste rühmade omaduste tabeli, märkides, millised oskused ja teadmised on asjakohased õppimiseks valmis rühma jaoks. Nii saab määrata selliste testide „keerukuse“.
Maleve 7: Hindamine ainult automaatselt
Loomulikult peaks hindamine olema võimalikult objektiivne, seega hinnatakse osa õpilaste materjalidest automaatselt, „võtmete“ järgi — võrreldes õigeid vastuseid. Isegi kui pole spetsiaalset testimissüsteemi, on palju tasuta lahendusi. Ja kui on arusaam skriptide kirjutamise printsiipidest, siis gugins formaate ja tulemusi tabelites saab teha kõike. Kui osa ülesandeid kontrollivad eksperdid, peame välja töötama vastuste edastamise eksperdile, ilma teabeta sooritajatest. Ja mõtlema, kuidas integreerida ekspertide kontrollimise tulemused lõpphindamisse.
Me olime algselt kavandatud teha mitu avatud ülesannet koos koodiga, kus eksperdid hindavad lahendusi ette antud kriteeriumide alusel, ja isegi valmistasime süsteemi, mis ekspordib testimise osalejate individuaalsed vastused spetsiaalsesse tabelisse ekspertide jaoks, ning seejärel impordib tulemused hindamisaruandesse. Kuid pärast arutelu sihtrühmade esindajate, tootejuhi ja haridusdisaineriga, leidsime, et tehnilise intervjuu läbiviimine koos eksperdi kohese tagasisidega ja koodi arutamisega ning eraldi küsimustega on palju efektiivsem ja kasulikum osalejatele endile.
Nüüd valideerib ekspert testi läbimist, täpsustades mõningaid küsimusi. Selleks oleme valmistanud küsimuste juhendi ja hindamiskriteeriumid tehniliseks intervjuuks. Enne tehnilist intervjuud saab ekspert testimise osaleja vastuste kaardi, et valida küsimused, mida tasub küsida.
Viga 8: Testimistulemuste mitte selgitamine
Tagasiside andmine osalejatele on eraldi teema. Me peame mitte ainult informeerima testi tulemusest, vaid ka selgitama testi tulemusi.
Need võivad olla:
- Ülesanded, milles osaleja eksis, ja need, mis ta õigesti täitis.
- Teemad, kus osaleja jättis vea.
- Tema reiting eksamineerijate seas.
- Osaleja taseme kirjeldus vastavalt näiteks spetsialistide taseme kirjeldustele (põhineb töökuulutustel).
Pilootprojekti käivitamisel, neile, kes soovisid programmi sisse astuda, näitasime koos tulemustega nimekirja teemadest, mida tuleb täiendada. Kuid see pole muidugi ideaalne, me kavatseme paraneda ja tagasisidet paremaks muuta.
Viga 9: Testi mitte arutama arendajatega
Tõenäoliselt kõige kriitilisemad vead, millele astuda on eriti ebameeldiv, on saata test arendajatele, kirjeldus ja hindamisaste seisundis „nagu on”.
Mis täpselt vajab arutamist:
- Küsimuste välimus, struktuur, graafika positsioon, kuidas näeb välja õige vastuse valik.
- Kuidas arvestatakse punktid (kui on vajalik), kas ei ole täiendavaid tingimusi.
- Kuidas formiseeritakse tagasiside, kust leida tekstid, kas pole automaatselt genereeritavaid plokke.
- Millist täiendavat teavet peate koguma ja millal (sarnased kontaktid).
Kuna arusaamatuste vältimiseks palume meie arendajatel kodeerida 2 või 3 erinevat küsimust, et saaks vaadata, kuidas need enne testimise programmi välja näevad.
Kühvlid 10: Ilma testimata kohe tootmisse viimine
3 korda, sõbrad, test peab kontrollima 3 erinevat inimest, või veel parem — igalühel 3 korda. See tõde on saavutatud vere, higi ja koodiridade kaudu.
Meie test kontrollib sellist kolmikut:
- Tootja — kontrollib testi töökindlust, välimust ja mehhanisme.
- Testi arendaja — kontrollib ülesannete sisu, nende järjekorda, testi töö vormi, ülesannete tüüpe, õigeid vastuseid, loetavust ja graafika normaalset kuvamist.
- Ülesannete autor (ekspert) — kontrollib testi õigsust ekspertide seisukohalt.
Praktiline näide: ainult kolmandal korral läbivaatamisel nägi ülesannete autor, et 1 ülesanne jäi vanas sõnastuses. Kõiki varasemaid muudeti aktiivselt. Kuid kui test kodeeriti, nägi see välja teisiti, kui algselt kujutati. Suure tõenäosusega tuleb midagi muuta. Seda tuleb arvesse võtta.
Kokkuvõte
Hoolikalt mööda neid „kühvleid“, lõime spetsiaalse , et kontrollida üliõpilaste teadmisi. Igaüks, kes soovib, võib seda testida, kuni valmistame ette järgmist materiaali, kus räägime, mis botis toimus ja milleks see kõik hiljem muutus.
Saada nõutud elukutse nullist või Level Up oskustes ja palgas, saab läbides SkillFactory online-kursused:
- (12 nädalat)
- (20 nädalat)
- (20 nädalat)
- (12 kuud)
Veel kursuseid
- (12 kuud)
- (14 nädalat)
- (5 nädalat)
- (18 kuud)
- (6 kuud)
- (12 kuud)
- (8 kuud)
- (9 kuud)
- (12 kuud)
- (18 kuud)
- (18 kuud)
- (12 kuud)
- (9 kuud)
- (7 kuud)
Allikas: habr.com
