Pred prihlásením sa do nového kurzu Machine Learning Advanced otestujeme potenciálnych študentov, aby sme určili ich úroveň pripravenosti a pochopili, čo presne musia ponúknuť, aby sa pripravili na kurz. Nastáva však dilema: na jednej strane musíme otestovať znalosti v Data Science, na druhej strane nevieme zabezpečiť plnohodnotnú 4-hodinovú skúšku.
Aby sme tento problém vyriešili, nasadili sme centrálu TestDev priamo do vývojového tímu kurzu Data Science (a vyzerá to tak, že toto je len začiatok). Predstavujeme vám zoznam 10 úskalí, s ktorými sa stretávate pri vývoji testov na hodnotenie vedomostí. Dúfajme, že svet online vzdelávania bude po tomto o niečo lepší.
Rake 1: Neschopnosť jasne definovať ciele testovania
Aby sme správne definovali ciele a vytvorili test, ktorý ich bude brať do úvahy, musíme vo fáze plánovania zodpovedať niekoľko otázok:
- Čo vlastne kontrolujeme?
- V akom prostredí bude testovanie prebiehať a aké mechaniky sa používajú? Aké sú obmedzenia v tomto prostredí? Rovnaký bod vám umožní pochopiť technické požiadavky na zariadenie, na ktorom sa bude testovanie vykonávať, a tiež na obsah (ak je test prevzatý z telefónov, obrázky by mali byť čitateľné aj na malej obrazovke, mali by je možné ich zväčšiť atď.).
- Ako dlho bude testovanie trvať? Treba si premyslieť, za akých podmienok používateľ test vykoná. Môže nastať situácia, že by potreboval prerušiť proces testovania a potom znova pokračovať?
- Bude spätná väzba? Ako ho sformujeme a doručíme? Čo potrebujete dostať? Existuje časový posun medzi vykonaním testu a spätnou väzbou?
V našom prípade sme po zodpovedaní týchto otázok definovali nasledujúci zoznam cieľov testu:
- Test by mal ukázať, či sú budúci študenti pripravení absolvovať kurz a či majú dostatok vedomostí a zručností.
- Test by nám mal poskytnúť materiál na spätnú väzbu, uviesť tému, v ktorej žiaci urobili chybu, aby si mohli zlepšiť svoje vedomosti. Nižšie vám povieme, ako ho zložiť.
Rake 2: Neschopnosť zostaviť technické špecifikácie pre odborníka na autor testu
Na zostavenie testových položiek je veľmi dôležité zapojiť odborníka z oblasti, v ktorej sa znalosti testujú. A pre odborníka zasa potrebujete kompetentnú technickú špecifikáciu (popis), ktorá obsahuje témy testu, testované vedomosti/zručnosti a ich úroveň.
Takéto technické špecifikácie pre seba odborník neurobí, pretože jeho úlohou je vymýšľať úlohy, nie štruktúru testu. Navyše, len málo ľudí robí testy profesionálne, dokonca aj v procese výučby. Toto sa vyučuje v samostatnej špecializácii - psychometrike.
Ak sa chcete rýchlo zoznámiť s psychometriou, potom v Rusku existuje pre všetkých záujemcov. Pre hlbšie štúdium má Inštitút vzdelávania a postgraduálnu školu.
Pri príprave technických špecifikácií zhromažďujeme pre odborníka (alebo lepšie spolu s ním) podrobný popis testu: témy úloh, typ úloh, ich počet.
Ako si vybrať typ úloh: po rozhodnutí o témach sa rozhodneme, ktoré úlohy to najlepšie otestujú? Klasické možnosti: úloha s otvoreným koncom, úloha s viacerými alebo jedným výberom, párovanie atď. (nezabudnite na technické obmedzenia testovacieho prostredia!). Po určení a upresnení typu úloh máme pre odborníka hotovú technickú špecifikáciu. Môžete to nazvať špecifikácia testu.
Rake 3: Nezapojenie experta do vývoja testov
Pri ponorení odborníka do vývoja testov je veľmi dôležité nielen naznačiť mu „rozsah práce“, ale zapojiť ho do samotného postupu vývoja.
Ako čo najefektívnejšie spolupracovať s odborníkom:
- Nastavte si to vopred a strávte nejaký čas rozprávaním o vede o vývoji testov a psychometrii.
- Zamerajte pozornosť hodnotiteľa na vytvorenie platného a spoľahlivého hodnotiaceho nástroja, nie na zoznam otázok.
- Vysvetlite, že jeho práca zahŕňa aj prípravnú fázu, nielen vypracovanie samotných úloh.
Niektorí odborníci to (vzhľadom na svoju povahu) môžu vnímať ako test vlastnej práce a my im vysvetľujeme, že aj keď vytvoríme výborné úlohy, jednoducho nemusia vyhovovať konkrétnym cieľom testovania.
Aby proces prebehol rýchlo, pripravíme s odborníkom tabuľku pokrytia témy (vedomosti a zručnosti), ktorá je súčasťou špecifikácie testu. Práve táto tabuľka nám umožňuje presne vypracovať otázky a určiť, čo budeme merať. V každom konkrétnom prípade môže byť zostavený trochu inak. Našou úlohou je skontrolovať, ako dobre človek rozumie vedomostiam a zručnostiam z predchádzajúcich, základných kurzov, aby pochopil, ako je pripravený na štúdium v novom kurze.
Rake 4: Myslieť si, že odborník „vie najlepšie“
Lepšie pozná tému. Ale nie vždy to jasne vysvetľuje. Je veľmi dôležité kontrolovať znenie zadaní. Napíšte jasné pokyny, napríklad „Vyberte 1 správnu možnosť“. V 90 % prípadov odborníci pripravujú otázky tak, aby im sami rozumeli. A to je v poriadku. Pred odovzdaním testu tým, ktorí ho budú robiť, je však potrebné všetko skontrolovať a očesať, aby testujúci presne pochopili, čo sa od nich vyžaduje a nerobili chyby len preto, že by si mohli nesprávne vyložiť text úlohy.
Aby sme sa vyhli dvojitej interpretácii úloh, vedieme „kognitívne laboratóriá“. Žiadame ľudí z cieľového publika, aby test absolvovali, povedali nahlas, čo si myslia, a podrobne si to zaznamenali. V „kognitívnych laboratóriách“ môžete „chytiť“ nejasné otázky, zlé formulácie a získať prvú spätnú väzbu na test.
Rake 5: Ignorovať čas vykonania testu
režim sarkazmu: zapnutý
Samozrejme, náš test je najlepší, každý sníva o tom, že ho zvládne! Áno, celé 4 hodiny.
režim sarkazmu: vypnutý
Keď existuje zoznam všetkého, čo je možné skontrolovať, hlavnou vecou je nerobiť to (na prvý pohľad to znie zvláštne, však?). Treba nemilosrdne striehnuť, identifikovať kľúčové vedomosti a zručnosti s odborníkom (áno, množstvo zručností sa dá otestovať aj v teste). Pozeráme sa na typ úloh a odhadujeme cieľový čas dokončenia: ak je všetko stále nad rozumnými hranicami, škrtáme!
Ak chcete znížiť hlasitosť, môžete tiež vyskúšať (opatrne) otestovať dve zručnosti v jednej úlohe. V tomto prípade je ťažké pochopiť, prečo osoba urobila chybu, ale ak sa to urobí správne, obe zručnosti možno vziať do úvahy. Je dôležité uistiť sa, že tieto 2 zručnosti zodpovedajú rovnakej oblasti vedomostí.
Rake 6: Nepremýšľať cez bodovací systém
Často pri zostavovaní hodnotiacich testov používajú klasický bodovací systém, napríklad 1 bod za ľahké úlohy a 2 body za ťažké. Ale nie je to univerzálne. Len súčet bodov na základe výsledkov testov nám veľa nepovie: nevieme, za aké úlohy tieto body získali a vieme len určiť počet správnych úloh. Musíme presne pochopiť, aké zručnosti testujú účastníci testu. Okrem toho im chceme poskytnúť spätnú väzbu, ktoré témy je potrebné zlepšiť.
Robíme predsa test, ktorý rozdelí ľudí na pripravených a nepripravených program absolvovať, niektorým poradíme, aby sa na kurz pripravili cez bezplatné školenie. Pre nás je dôležité, aby do tejto skupiny patrili len tí, ktorí to naozaj potrebujú a sú na to pripravení.
Čo robíme v našej situácii: v rámci pracovnej skupiny vývojárov testov určujeme, ktoré skupiny ľudí je potrebné identifikovať (napríklad pripravení učiť sa, čiastočne pripravení) a vytvoríme tabuľku charakteristík takýchto skupín s uvedením toho, aké zručnosti a znalosti budú relevantné pre skupinu školení pripravených učiť sa. Týmto spôsobom môžete formulovať „náročnosť“ úloh pre takéto testy.
Rake 7: Vyhodnocujte výsledky iba automaticky
Samozrejme, hodnotenie by malo byť čo najobjektívnejšie, preto sa niektoré študentské materiály hodnotia automaticky, „kľúčovo“ – porovnávaním so správnymi odpoveďami. Aj keď neexistuje žiadny špeciálny testovací systém, existuje veľa bezplatných riešení. A ak rozumiete princípom písania skriptov, môžete si s formulármi Google a výsledkami v tabuľkách robiť, čo chcete. Ak niektoré z úloh kontrolujú odborníci, potom musíme uvažovať o poskytovaní odpovedí odborníkom bez informácií o účastníkoch testu. A premýšľajte o tom, ako integrovať výsledky expertného testovania do konečného hodnotenia.
Pôvodne sme chceli urobiť niekoľko otvorených úloh s kódom, kde experti hodnotia riešenia na základe vopred vytvorených kritérií a dokonca sme pripravili systém, ktorý exportuje jednotlivé odpovede účastníkov testu do špeciálnej tabuľky pre expertov a následne importuje výsledky do tabuľku s výpočtami hodnotenia. Ale po diskusii so zástupcami cieľového publika, produktovým manažérom a vzdelávacím dizajnérom sme mali pocit, že uskutočnenie technického rozhovoru s okamžitou spätnou väzbou odborníkov a diskusia o kódexe, ako aj o jednotlivých problémoch, by bolo oveľa efektívnejšie a užitočnejšie pre samotných účastníkov. .
Teraz odborník overuje dokončenie testu a objasňuje niektoré otázky. Na tento účel sme pripravili príručku otázok a hodnotiacich kritérií pre technický pohovor. Pred technickým pohovorom skúšajúci dostane mapu odpovedí testujúceho, ktorá mu pomôže vybrať otázky, ktoré sa má opýtať.
Hrable 8: Nevysvetľujte výsledky testov
Poskytovanie spätnej väzby účastníkom je samostatný problém. Musíme nielen informovať o skóre testu, ale tiež poskytnúť pochopenie výsledkov testu.
Môže to byť:
- Úlohy, v ktorých sa účastník pomýlil a ktoré splnil správne.
- Témy, v ktorých účastník urobil chyby.
- Jeho poradie medzi tými, ktorí robia skúšku.
- Opis úrovne účastníka, napríklad v súlade s opisom špecializovanej úrovne (na základe opisu voľných pracovných miest).
Počas pilotného spustenia nášho testu sme tým, ktorí sa chceli do programu prihlásiť, spolu s výsledkami ukázali aj zoznam tém, ktoré bolo potrebné zlepšiť. Ale určite to nie je ideálne, budeme sa zlepšovať a poskytovať lepšiu spätnú väzbu.
Hrable 9: Nediskutujte o teste s vývojármi
Azda najostrejším hrabaním, na ktoré je obzvlášť nepríjemné šliapať, je poslať test, popis a bodovaciu stupnicu vývojárom „tak, ako sú“.
O čom konkrétne treba diskutovať:
- Vzhľad otázok, štruktúra, umiestnenie grafiky, ako vyzerá výber správnej odpovede.
- Ako sa vypočítava skóre (ak je to potrebné), existujú nejaké ďalšie podmienky.
- Ako sa generuje spätná väzba, kde získať texty, existujú ďalšie automaticky generované bloky.
- Aké ďalšie informácie potrebujete zbierať a kedy (rovnaké kontakty).
Aby sme predišli nedorozumeniam, žiadame našich vývojárov, aby nakódovali 2 alebo 3 rôzne otázky, aby pred nakódovaním samotného testu videli, ako vyzerajú.
Hrable 10: Bez testovania nahrajte priamo do výroby
Chlapci, 3-krát, test by mali skontrolovať 3-krát rôzni ľudia, alebo ešte lepšie, každý 3-krát. Táto pravda bola získaná krvou, potom a pixelmi riadkov kódu.
Náš test preveruje nasledujúcu trojicu:
- Produkt - skontroluje test na výkon, vzhľad, mechaniku.
- Vývojár testu - kontroluje text úloh, ich poradie, formu práce s testom, typy úloh, správne odpovede, čitateľnosť a bežné prezeranie grafiky.
- Autor úloh (expert) kontroluje test vernosti z pozície odborníka.
Príklad z praxe: až pri treťom spustení autor úloh videl, že 1 úloha zostala v starej verzii znenia. Aktívne vládli aj všetky predchádzajúce. Ale keď bol test zakódovaný, vyzeral inak, ako si pôvodne predstavovali. Je vysoko pravdepodobné, že bude potrebné niečo opraviť. Toto je potrebné vziať do úvahy.
Celkový
Opatrne sme obišli všetky tieto „hrable“ a vytvorili sme špeciál , na preverenie vedomostí uchádzačov. Ktokoľvek si to môže otestovať, kým budeme pripravovať ďalší materiál, v ktorom vám povieme, čo sa vo vnútri robota stalo a na čo sa to všetko neskôr premenilo.
Môžete získať vyhľadávanú profesiu od nuly alebo Level Up z hľadiska zručností a platu absolvovaním online kurzov SkillFactory:
- (12 týždňov)
- (20 týždňov)
- (20 týždňov)
- (12 mesiacov)
Viac kurzov
- (12 mesiacov)
- (14 týždňov)
- (5 týždňov)
- (18 mesiacov)
- (6 mesiacov)
- (12 mesiacov)
- (8 mesiacov)
- (9 mesiacov)
- (12 mesiacov)
- (18 mesiacov)
- (18 mesiacov)
- (12 mesiacov)
- (9 mesiacov)
- (7 mesiacov)
Zdroj: hab.com