Áður en við skráum okkur í nýja vélanámsnámskeiðið prófum við væntanlega nemendur til að ákvarða hversu reiðubúnir þeir eru og skilja hvað nákvæmlega þeir þurfa að bjóða til að undirbúa sig fyrir námskeiðið. En vandamál koma upp: annars vegar verðum við að prófa þekkingu í Data Science, hins vegar getum við ekki skipulagt fullgild 4 tíma próf.
Til að leysa þetta vandamál höfum við sent TestDev höfuðstöðvar beint í þróunarteymið Data Science námskeiðsins (og það lítur út fyrir að þetta sé bara byrjunin). Við kynnum þér lista yfir 10 gildrur sem koma upp þegar þú þróar próf til að meta þekkingu. Vonandi verður heimur netnámsins aðeins betri eftir þetta.
Rake 1: Mistök að skilgreina prófunarmarkmið með skýrum hætti
Til þess að skilgreina markmið rétt og búa til próf sem tekur tillit til þeirra, verðum við á skipulagsstigi að svara nokkrum spurningum:
- Hvað erum við eiginlega að athuga?
- Í hvaða umhverfi mun prófunin fara fram og hvaða vélfræði er notuð? Hverjar eru takmarkanirnar í þessu umhverfi? Þessi sami punktur gerir þér kleift að skilja tæknilegar kröfur fyrir tækið sem prófunin verður gerð á, og einnig fyrir innihaldið (ef prófið er tekið úr símum ættu myndirnar að vera læsilegar jafnvel á litlum skjá, það ætti að hægt að stækka þær o.s.frv.).
- Hversu langan tíma mun prófið taka? Þú þarft að hugsa um skilyrðin sem notandinn mun taka prófið við. Gæti verið staða þar sem hann þarf að rjúfa prófunarferlið og halda svo áfram aftur?
- Verður endurgjöf? Hvernig myndum við og afhendum það? Hvað þarftu að fá? Er tími á milli prófunarframkvæmda og endurgjöf?
Í okkar tilviki, eftir að hafa svarað þessum spurningum, skilgreindum við eftirfarandi lista yfir markmið fyrir prófið:
- Prófið ætti að sýna hvort verðandi nemendur séu tilbúnir til að taka námskeiðið og hvort þeir hafi næga þekkingu og færni.
- Prófið ætti að gefa okkur efni til endurgjöf, tilgreina viðfangsefnið sem nemendur gerðu mistök í, svo þeir geti bætt þekkingu sína. Við munum segja þér hvernig á að semja það hér að neðan.
Rake 2: Misbrestur á að semja tækniforskriftir fyrir sérfræðing prófunarritara
Til að semja prófatriði er mjög mikilvægt að hafa með sér sérfræðing á því sviði sem þekking er prófuð á. Og fyrir sérfræðing þarftu aftur á móti hæfa tækniforskrift (lýsing), sem inniheldur viðfangsefni prófsins, þekkingu/færni sem verið er að prófa og stig þeirra.
Sérfræðingur mun ekki gera slíkar tækniforskriftir fyrir sjálfan sig, vegna þess að starf hans er að koma með verkefni, ekki uppbygging prófsins. Þar að auki þróa fáir próf faglega, jafnvel í kennsluferlinu. Þetta er kennt í sérgrein - sálfræði.
Ef þú vilt fljótt kynnast sálfræði, þá er það í Rússlandi fyrir alla áhugasama. Fyrir ítarlegri rannsókn hefur Menntamálastofnun og framhaldsnám.
Þegar við útbúum tækniforskriftirnar söfnum við ítarlegri lýsingu á prófinu fyrir sérfræðinginn (eða betra, ásamt honum): viðfangsefni verkefna, tegund verkefna, fjölda þeirra.
Hvernig á að velja tegund verkefna: Eftir að hafa ákveðið viðfangsefnin ákveðum við hvaða verkefni geta best prófað þetta? Klassískir valkostir: opið verkefni, fjöl- eða einvalsverkefni, samsvörun osfrv. (ekki gleyma tæknilegum takmörkunum prófunarumhverfisins!). Eftir að hafa ákvarðað og tilgreint tegund verkefna höfum við tilbúna tækniforskrift fyrir sérfræðinginn. Þú getur kallað það prófunarforskrift.
Rake 3: Enginn sérfræðingur í prófunarþróun
Þegar sérfræðingi er dýft í prófunarþróun er mjög mikilvægt að gefa honum ekki bara til kynna „umfang vinnunnar“ heldur að taka hann með í þróunarferlinu sjálfu.
Hvernig á að gera samstarf við sérfræðing eins árangursríkt og mögulegt er:
- Settu það upp fyrirfram og eyddu smá tíma í að tala um vísindin um prófþróun og sálfræði.
- Beindu athygli matsmannsins að því að búa til gilt og áreiðanlegt matstæki, ekki spurningalista.
- Útskýrðu að starf hans felur í sér undirbúningsstig, ekki aðeins þróun verkefnanna sjálfra.
Sumir sérfræðingar (eðli síns vegna) gætu litið á þetta sem prófstein á eigin vinnu og við útskýrum fyrir þeim að jafnvel þótt við búum til frábær verkefni, gætu þau einfaldlega ekki hentað sérstökum prófunarmarkmiðum.
Til að láta ferlið ganga hratt fyrir sig útbúum við töflu yfir umfjöllunarefni (þekkingu og færni) með sérfræðingnum, sem er hluti af prófunarforskriftinni. Það er þessi tafla sem gerir okkur kleift að vinna úr spurningunum nákvæmlega og ákveða hvað við munum mæla. Í hverju sérstöku tilviki er hægt að setja það saman aðeins öðruvísi. Verkefni okkar er að athuga hversu vel einstaklingur skilur þekkingu og færni fyrri grunnnámskeiða til að átta sig á því hversu tilbúinn hann er til að stunda nám í nýjum áfanga.
Rake 4: Að halda að sérfræðingurinn „veit best“
Þekki efnið betur. En það er ekki alltaf skýrt. Mjög mikilvægt er að athuga orðalag verkefna. Skrifaðu skýrar leiðbeiningar, til dæmis, "Veldu 1 réttan kost." Í 90% tilvika undirbúa sérfræðingar spurningar á þann hátt að þeir sjálfir skilji. Og það er allt í lagi. En áður en prófið er afhent þeim sem taka það þarf að athuga og greiða allt svo að þeir sem taka prófið skilji nákvæmlega hvers er krafist af þeim og geri ekki mistök bara vegna þess að þeir gætu rangtúlkað texta verkefnisins.
Til að forðast tvöfalda túlkun verkefna, gerum við „vitrænar rannsóknarstofur“. Við biðjum fólk úr markhópnum að taka prófið, segja upphátt hvað þeim finnst og skrá það í smáatriðum. Á „vitrænum rannsóknarstofum“ geturðu „fangað“ óljósar spurningar, slæmt orðalag og fengið fyrstu viðbrögð við prófinu.
Rake 5: Hunsa framkvæmd prófunartíma
kaldhæðni háttur: á
Auðvitað er prófið okkar best, alla dreymir um að standast það! Já, alla 4 tímana.
kaldhæðni háttur: slökkt
Þegar það er listi yfir allt sem hægt er að athuga er aðalatriðið að gera það ekki (við fyrstu sýn hljómar það undarlega, er það ekki?). Þú þarft að skera miskunnarlaust, greina lykilþekkingu og færni með sérfræðingi (já, einnig er hægt að prófa ýmsa færni í prófinu). Við skoðum tegund verkefna og áætlum þann tíma sem markmiðið er að ljúka: Ef allt er enn meira en skynsamleg mörk, skerum við það!
Til að minnka hljóðstyrkinn geturðu líka prófað (varlega) að prófa tvær færni í einu verkefni. Í þessu tilviki er erfitt að skilja hvers vegna viðkomandi gerði mistök, en ef rétt er gert er hægt að taka tillit til beggja hæfileika. Það er mikilvægt að ganga úr skugga um að þessar 2 færni samsvari sama þekkingarsviði.
Rake 6: Hugsar ekki í gegnum stigakerfið
Oft við gerð matsprófa nota þeir klassíska stigakerfið, til dæmis 1 stig fyrir auðveld verkefni og 2 stig fyrir erfið verkefni. En það er ekki algilt. Bara summan af stigum sem byggjast á niðurstöðum prófsins mun ekki segja okkur mikið: við vitum ekki fyrir hvaða verkefni þessi stig fengust og við getum aðeins ákvarðað fjölda réttra verkefna. Við þurfum að skilja nákvæmlega hvaða færniprófamenn eru að sýna. Auk þess viljum við gefa þeim endurgjöf um hvaða efni þarf að bæta.
Þegar öllu er á botninn hvolft erum við að gera próf sem mun skipta fólki í þá sem eru tilbúnir og þá sem eru ekki tilbúnir til að klára námið, við ráðleggjum sumum að undirbúa sig fyrir námskeiðið með ókeypis þjálfun. Það er mikilvægt fyrir okkur að í þessum hópi séu einungis þeir sem virkilega þurfa á því að halda og eru tilbúnir í það.
Það sem við gerum í okkar aðstæðum: Við ákveðum innan vinnuhóps prófunaraðila hvaða hópa fólks þarf að bera kennsl á (td tilbúnir til að læra, að hluta til tilbúnir) og myndum töflu yfir einkenni slíkra hópa, sem gefur til kynna hvaða færni og þekkingu mun skipta máli fyrir hópinn sem er tilbúinn til að læra þjálfun. Þannig geturðu mótað „erfiðleika“ verkefna fyrir slík próf.
Rake 7: Metið niðurstöður aðeins sjálfkrafa
Auðvitað á námsmat að vera eins hlutlægt og hægt er, þannig að sumt af námsefni nemenda er metið sjálfkrafa, „með lyklum“ - borið saman við rétt svör. Jafnvel þótt það sé ekkert sérstakt prófunarkerfi, þá eru fullt af ókeypis lausnum. Og ef þú skilur meginreglurnar um að skrifa forskriftir, þá geturðu gert hvað sem þú vilt með Google eyðublöðum og niðurstöðum í töflum. Ef sum verkefnin eru skoðuð af sérfræðingum, þá þurfum við að huga að því að skila svörum til sérfræðinganna, án upplýsinga um próftakendur. Og hugsaðu um hvernig á að samþætta niðurstöður sérfræðingaprófa inn í lokamatið.
Okkur langaði upphaflega að búa til nokkur opin verkefni með kóða þar sem sérfræðingar meta lausnir eftir fyrirfram mótuðum forsendum og við útbjuggum meira að segja kerfi sem flytur út einstök svör frá prófþátttakendum í sérstaka töflu fyrir sérfræðinga og flytur svo niðurstöðurnar inn í tafla með matsútreikningum. En eftir að hafa rætt við fulltrúa markhópsins, vörustjóra og fræðsluhönnuð, töldum við að taka tæknilegt viðtal með tafarlausri umsögn sérfræðinga og umfjöllun um kóðann, sem og einstök atriði, væri mun árangursríkara og gagnlegra fyrir þátttakendurna sjálfa. .
Nú staðfestir sérfræðingurinn að prófinu sé lokið og skýrir nokkrar spurningar. Til þess höfum við útbúið leiðbeiningar um spurningar og matsviðmið fyrir tæknilegt viðtal. Fyrir tækniviðtalið fær prófdómari kort af svörum próftakanda til að hjálpa honum að velja spurningar til að spyrja.
Rake 8: Ekki útskýra prófunarniðurstöður
Að veita þátttakendum endurgjöf er sérstakt mál. Við þurfum ekki aðeins að upplýsa um prófstigið heldur einnig að veita skilning á niðurstöðum prófsins.
Þetta getur verið:
- Verkefni sem þátttakandi gerði mistök í og sem hann kláraði rétt.
- Efni þar sem þátttakandi gerði mistök.
- Staða hans meðal þeirra sem taka prófið.
- Lýsing á stigi þátttakanda, td í samræmi við lýsingu á sérfræðistigi (miðað við lýsingu á lausum störfum).
Í tilraunaskyni fyrir prófið okkar sýndum við þeim sem vildu skrá sig í námið, ásamt niðurstöðum, lista yfir efni sem þurfti að bæta. En þetta er svo sannarlega ekki tilvalið, við munum bæta okkur og gefa betri endurgjöf.
Rake 9: Ekki ræða prófið við forritara
Kannski er skarpasta hrífan, sem er sérstaklega óþægilegt að stíga á, að senda prófið, lýsinguna og stigakvarðann til þróunaraðilanna „eins og er“.
Hvað nákvæmlega þarf að ræða:
- Útlit spurninga, uppbygging, staðsetning grafík, hvernig val á réttu svari lítur út.
- Hvernig er stigið reiknað (ef þörf krefur), eru einhver viðbótarskilyrði.
- Hvernig myndast endurgjöf, hvar á að fá texta, eru fleiri sjálfkrafa búnar blokkir.
- Hvaða viðbótarupplýsingum þarftu að safna og á hvaða tímapunkti (sömu tengiliðir).
Til að forðast misskilning biðjum við hönnuði okkar að kóða 2 eða 3 mismunandi spurningar svo þeir geti séð hvernig þær líta út áður en prófið sjálft er kóðað.
Rake 10: Án þess að prófa, hlaðið beint inn í framleiðslu
3 sinnum, krakkar, prófið ætti að vera athugað 3 sinnum af mismunandi fólki, eða enn betra, 3 sinnum hvert. Þessi sannleikur var fengin með blóði, svita og pixlum af kóðalínum.
Prófið okkar athugar eftirfarandi tríó:
- Vara - athugar prófið fyrir frammistöðu, útlit, vélfræði.
- Prófahönnuður - athugar texta verkefna, röð þeirra, vinnuform við prófið, tegundir verkefna, rétt svör, læsileika og eðlilegt áhorf á grafík.
- Höfundur verkefna (sérfræðingur) athugar tryggðarprófið frá sérfræðistöðu.
Dæmi úr æfingu: aðeins í þriðju umferð sá höfundur verkefna að 1 verkefni var eftir í gömlu útgáfunni af orðalagi. Allir hinir fyrri réðu líka virkan. En þegar prófið var kóðað leit það öðruvísi út en upphaflega var ímyndað sér. Það er mjög líklegt að eitthvað þurfi að laga. Þetta þarf að taka tillit til.
Samtals
Farið varlega framhjá öllum þessum „hrífu“, við bjuggum til sérstakt , til að prófa þekkingu umsækjenda. Hver sem er getur prófað það á meðan við erum að undirbúa næsta efni, þar sem við munum segja þér hvað gerðist inni í botninum og hvað það allt breyttist í síðar.
Þú getur fengið eftirsótta starfsgrein frá grunni eða Level Up hvað varðar færni og laun með því að taka SkillFactory netnámskeið:
- (12 vikur)
- (20 vikur)
- (20 vikur)
- (12 mánuðir)
Fleiri námskeið
- (12 mánuðir)
- (14 vikur)
- (5 vikur)
- (18 mánuðir)
- (6 mánuðir)
- (12 mánuðir)
- (8 mánuðir)
- (9 mánuðir)
- (12 mánuðir)
- (18 mánuðir)
- (18 mánuðir)
- (12 mánuðir)
- (9 mánuðir)
- (7 mánuðir)
Heimild: www.habr.com