Antaŭ ol enskribiĝi en la nova Maŝinlernado Altnivela kurso, ni testas eventualajn studentojn por determini ilian nivelon de preteco kaj kompreni kion ĝuste ili devas proponi por prepari la kurson. Sed ekestas dilemo: unuflanke, ni devas testi scion en Data Science, aliflanke, ni ne povas aranĝi plentaŭgan 4-horan ekzamenon.
Por solvi ĉi tiun problemon, ni deplojis ĉefsidejon de TestDev ĝuste en la disvolva teamo de Data Science (kaj ŝajnas, ke ĉi tio estas nur la komenco). Ni prezentas al vi liston de 10 malfacilaĵoj, kiujn oni renkontas dum disvolvado de testoj por taksi scion. Espereble la mondo de interreta lernado estos iom pli bona post ĉi tio.
Rake 1: Malsukceso klare difini testajn celojn
Por ĝuste difini celojn kaj krei teston, kiu konsideros ilin, en la planado ni devas respondi plurajn demandojn:
- Kion ni efektive kontrolas?
- En kiu medio okazos la testado kaj kiaj mekanikoj estas uzataj? Kio estas la limoj en ĉi tiu medio? Ĉi tiu sama punkto permesos al vi kompreni la teknikajn postulojn por la aparato sur kiu la testado estos farita, kaj ankaŭ por la enhavo (se la testo estas prenita de telefonoj, la bildoj devus esti legeblaj eĉ sur malgranda ekrano, ĝi devus eblos pligrandigi ilin ktp.).
- Kiom longe daŭros la provoj? Vi devas pensi pri la kondiĉoj sub kiuj la uzanto faros la teston. Ĉu povus esti situacio kie li devas interrompi la testan procezon kaj poste daŭrigi denove?
- Ĉu estos sugestoj? Kiel ni formas kaj liveras ĝin? Kion vi bezonas ricevi? Ĉu estas tempo-malfruo inter testa ekzekuto kaj retrosciigo?
En nia kazo, respondinte ĉi tiujn demandojn, ni difinis la jenan liston de celoj por la testo:
- La testo devus montri ĉu estontaj studentoj estas pretaj preni la kurson kaj ĉu ili havas sufiĉe da scio kaj kapabloj.
- La testo devus doni al ni materialon por retrosciigo, indiki la temon en kiu studentoj faris eraron, por ke ili povu plibonigi siajn sciojn. Ni diros al vi kiel komponi ĝin sube.
Rake 2: Malsukceso ellabori teknikajn specifojn por la sperta testverkisto
Por verki testajn erojn, estas tre grave impliki fakulon en la kampo en kiu scio estas testata. Kaj por fakulo, siavice, vi bezonas kompetentan teknikan specifon (priskribon), kiu inkluzivas la temojn de la testo, la scion/kapablojn testatajn kaj ilian nivelon.
Fakulo ne faros por si tiajn teknikajn specifojn, ĉar lia tasko estas elpensi taskojn, ne la strukturon de la testo. Krome, malmultaj homoj disvolvas testojn profesie, eĉ en la procezo de instruado. Ĉi tio estas instruata en aparta fako - psikometrio.
Se vi volas rapide konatiĝi kun psikometrio, tiam en Rusio ekzistas por ĉiuj interesitoj. Por pli profunda studo, la Instituto de Edukado havas kaj diplomiĝa lernejo.
Preparante la teknikajn specifojn, ni kolektas detalan priskribon de la testo por la fakulo (aŭ pli bone, kune kun li): temoj de taskoj, speco de taskoj, ilia nombro.
Kiel elekti la tipon de taskoj: decidinte pri la temoj, ni decidas, kiuj taskoj povas plej bone testi tion? Klasikaj opcioj: nelimigita tasko, multobla aŭ unuelekta tasko, kongruo ktp. (ne forgesu pri la teknikaj limigoj de la testa medio!). Post determini kaj specifi la tipon de taskoj, ni havas pretan teknikan specifon por la fakulo. Vi povas nomi ĝin testa specifo.
Raspilo 3: Ne implikante fakulon en testa evoluo
Dum mergo de spertulo en testa evoluo, estas tre grave ne nur indiki al li la "labor-amplekson", sed impliki lin en la evoluprocedo mem.
Kiel fari labori kun spertulo kiel eble plej efika:
- Agordu ĝin anticipe kaj pasigu iom da tempo parolante pri la scienco pri testa evoluo kaj psikometrio.
- Foku la atenton de la taksisto pri kreado de valida kaj fidinda taksa ilo, ne listo de demandoj.
- Klarigu, ke lia laboro inkluzivas preparan etapon, ne nur la evoluon de la taskoj mem.
Iuj spertuloj (pro sia naturo) eble perceptas tion kiel provon de sia propra laboro, kaj ni klarigas al ili, ke eĉ se ni kreas bonegajn taskojn, ili simple eble ne konvenas al la specifaj testaj celoj.
Por ke la procezo iru rapide, ni preparas tabelon de temo priraportado (scio kaj kapabloj) kun la spertulo, kiu estas parto de la testa specifo. Estas ĉi tiu tabelo, kiu permesas al ni precize ellabori la demandojn kaj determini, kion ni mezuros. En ĉiu specifa kazo ĝi povas esti kompilita iomete alimaniere. Nia tasko estas kontroli kiom bone homo komprenas la sciojn kaj kapablojn de antaŭaj, bazaj kursoj por kompreni kiom preta li estas studi en nova kurso.
Raspilo 4: Pensante, ke la fakulo "scias plej bone"
Pli bone konas la temon. Sed ĝi ne ĉiam klare klarigas. Estas tre grave kontroli la vortumon de la taskoj. Skribu klarajn instrukciojn, ekzemple, "Elektu 1 ĝustan opcion." En 90% de kazoj, spertuloj preparas demandojn en maniero kiel ili mem komprenas. Kaj tio estas en ordo. Sed antaŭ ol transdoni la teston al tiuj, kiuj faros ĝin, ĉio devas esti kontrolita kaj kombita, por ke la homoj, kiuj ekzamenas, komprenu ĝuste tion, kio estas postulata de ili kaj ne faru erarojn nur ĉar ili eble misinterpretos la tekston de la tasko.
Por eviti duoblan interpreton de taskoj, ni faras "kognajn laboratoriojn". Ni petas homojn el la celgrupo fari la teston, dirante laŭte kion ili pensas kaj registrante ĝin detale. Ĉe "kognaj laboratorioj" vi povas "kapti" neklarajn demandojn, malbonan vortumon, kaj ricevi la unuan retrosciigon pri la testo.
Rake 5: Ignoru testan ekzekuttempon
sarkasmo modo: on
Kompreneble, nia testo estas la plej bona, ĉiuj revas pasi ĝin! Jes, ĉiuj 4 horoj.
sarkasmo modo: malŝaltita
Kiam estas listo de ĉio, kio povas esti kontrolita, la ĉefa afero estas ne fari ĝin (unuavide ĝi sonas strange, ĉu ne?). Vi devas senkompate tranĉi, identigante ŝlosilajn sciojn kaj kapablojn kun spertulo (jes, kelkaj kapabloj ankaŭ povas esti provitaj en la testo). Ni rigardas la tipon de taskoj kaj taksas la celan fintempon: se ĉio ankoraŭ estas pli ol raciaj limoj, ni tranĉas ĝin!
Por redukti la volumon, vi ankaŭ povas provi (zorge) provi du kapablojn en unu tasko. En ĉi tiu kazo, estas malfacile kompreni kial la persono faris eraron, sed se farite ĝuste, ambaŭ kapabloj povas esti konsiderataj. Gravas certigi, ke ĉi tiuj 2 kapabloj respondas al la sama areo de scio.
Raspilo 6: Ne pensante tra la poentsistemo
Ofte, kiam ili kompilas taksajn testojn, ili uzas la klasikan poentsistemon, ekzemple, 1 poento por facilaj taskoj kaj 2 poentoj por malfacilaj. Sed ĝi ne estas universala. Nur la sumo de poentoj bazita sur la testrezultoj ne multe diros al ni: ni ne scias por kiuj taskoj tiuj poentoj estis ricevitaj kaj ni povas nur determini la nombron da ĝustaj taskoj. Ni devas kompreni precize kiajn kapablojn pruvas testantoj. Krome, ni volas doni al ili sugestojn pri kiuj temoj devas esti plibonigitaj.
Post ĉio, ni faras teston, kiu dividos homojn en tiujn, kiuj estas pretaj kaj tiujn, kiuj ne estas pretaj kompletigi la programon; ni konsilos al iuj prepari por la kurso per senpaga trejnado. Gravas por ni, ke ĉi tiu grupo inkluzivas nur tiujn, kiuj vere bezonas ĝin kaj kiuj estas pretaj por ĝi.
Kion ni faras en nia situacio: ni determinas ene de la laborgrupo de testprogramistoj kiuj grupoj de homoj devas esti identigitaj (ekzemple, pretaj lerni, parte pretaj) kaj formas tabelon de karakterizaĵoj de tiaj grupoj, indikante kiajn kapablojn kaj sciojn. estos grava por la grupo de pretaj lerni trejnadon. Tiel vi povas formuli la "malfacilon" de taskoj por tiaj provoj.
Raspilo 7: Taksi rezultojn nur aŭtomate
Kompreneble, taksado estu kiel eble plej objektiva, do iuj el la studentaj materialoj estas taksataj aŭtomate, "per klavoj" - komparante kun la ĝustaj respondoj. Eĉ se ne ekzistas speciala testa sistemo, ekzistas multaj senpagaj solvoj. Kaj se vi komprenas la principojn de skribado de skriptoj, tiam vi povas fari kion ajn vi volas per Guglo-formularoj kaj rezultoj en tabeloj. Se iuj el la taskoj estas kontrolitaj de spertuloj, tiam ni devas pensi pri liverado de respondoj al la spertuloj, sen informoj pri la testantoj. Kaj pensu pri kiel integri la rezultojn de spertaj provoj en la finan taksadon.
Ni komence volis fari plurajn nefermitajn taskojn per kodo, kie fakuloj taksas solvojn surbaze de antaŭformitaj kriterioj, kaj ni eĉ preparis sistemon, kiu eksportas individuajn respondojn de testpartoprenantoj al speciala tabelo por spertuloj, kaj poste importas la rezultojn enen. tabelo kun taksaj kalkuloj. Sed post diskutado kun reprezentantoj de la celgrupo, produktmanaĝero kaj eduka dezajnisto, ni sentis, ke fari teknikan intervjuon kun tujaj spertaj sugestoj kaj diskuto pri la kodo, same kiel individuaj aferoj, estus multe pli efika kaj utila por la partoprenantoj mem. .
Nun la fakulo kontrolas la kompletigon de la testo, klarigante kelkajn demandojn. Por fari tion, ni preparis gvidilon de demandoj kaj taksaj kriterioj por teknika intervjuo. Antaŭ la teknika intervjuo, la ekzamenanto ricevas mapon de la respondoj de la ekzamenanto por helpi lin elekti demandojn por demandi.
Raspilo 8: Ne klarigu testrezultojn
Liveri komentojn al partoprenantoj estas aparta afero. Ni devas ne nur informi pri la testpoentaro, sed ankaŭ doni komprenon de la testrezultoj.
Ĝi povas esti:
- Taskoj en kiuj la partoprenanto faris eraron kaj kiujn li plenumis ĝuste.
- Temoj en kiuj la partoprenanto faris erarojn.
- Lia rango inter tiuj, kiuj ekzamenas.
- Priskribo de la nivelo de la partoprenanto, konforme, ekzemple, al la priskribo de la faka nivelo (surbaze de la priskribo de vakantaĵoj).
Dum la pilota lanĉo de nia testo, al tiuj, kiuj volis enskribiĝi en la programo, kune kun la rezultoj, ni montris liston de temoj plibonigendaj. Sed ĉi tio certe ne estas ideala, ni plibonigos kaj donos pli bonajn rimarkojn.
Rake 9: Ne diskutu la teston kun programistoj
Eble la plej akra rastilo, kiu estas speciale malagrabla por paŝi, estas sendi la teston, priskribon kaj poentskalon al la programistoj "kiel estas".
Pri kio precize oni devas diskuti:
- La aspekto de la demandoj, la strukturo, la pozicio de la grafikaĵoj, kiel aspektas la elekto de la ĝusta respondo.
- Kiel estas la poentaro kalkulita (se necesas), ĉu ekzistas aldonaj kondiĉoj.
- Kiel estas generita retrosciigo, kie akiri tekstojn, ĉu ekzistas pliaj aŭtomate generitaj blokoj.
- Kiajn pliajn informojn vi bezonas kolekti kaj je kiu punkto (samaj kontaktoj).
Por eviti miskomprenojn, ni petas niajn programistojn kodi 2 aŭ 3 malsamajn demandojn por ke ili povu vidi kiel ili aspektas antaŭ kodi la teston mem.
Rake 10: Sen testado, alŝutu rekte al produktado
3 fojojn, infanoj, la testo devus esti kontrolita 3 fojojn de malsamaj homoj, aŭ pli bone, 3 fojojn ĉiu. Ĉi tiu vero estis akirita kun sango, ŝvito kaj pikseloj de linioj de kodo.
Nia testo kontrolas la jenan triopon:
- Produkto - kontrolas la teston pri rendimento, aspekto, mekaniko.
- Testprogramisto - kontrolas la tekston de la taskoj, ilian ordon, formon de laboro kun la testo, specojn de taskoj, ĝustajn respondojn, legeblecon kaj normalan spektadon de grafikaĵoj.
- La aŭtoro de la taskoj (eksperto) kontrolas la teston pri fideleco de sperta pozicio.
Ekzemplo el praktiko: nur en la tria kuro, la aŭtoro de la taskoj vidis, ke 1 tasko restas en la malnova versio de la vortumo. Ankaŭ ĉiuj antaŭaj aktive regis. Sed kiam la testo estis kodita, ĝi aspektis malsama ol origine imagita. Estas tre verŝajne, ke io devos esti korektita. Ĉi tio devas esti konsiderata.
La rezulto
Zorge preterpasante ĉiujn ĉi tiujn "raketojn", ni kreis specialan , por testi la scion de kandidatoj. Ĉiu povas testi ĝin dum ni preparas la sekvan materialon, en kiu ni rakontos al vi, kio okazis ene de la bot, kaj en kio ĉio transformiĝis poste.
Vi povas akiri serĉatan profesion de nulo aŭ Level Up laŭ kapabloj kaj salajro prenante interretajn kursojn de SkillFactory:
- (12 semajnoj)
- (20 semajnoj)
- (20 semajnoj)
- (12 monatoj)
Pli da kursoj
- (12 monatoj)
- (14 semajnoj)
- (5 semajnoj)
- (18 monatoj)
- (6 monatoj)
- (12 monatoj)
- (8 monatoj)
- (9 monatoj)
- (12 monatoj)
- (18 monatoj)
- (18 monatoj)
- (12 monatoj)
- (9 monatoj)
- (7 monatoj)
fonto: www.habr.com