Mielőtt beiratkozna egy új Machine Learning Advanced kurzusra, teszteljük a leendő hallgatókat, hogy meghatározzuk felkészültségüket, és megértsük, mit kell kínálniuk a tanfolyamra való felkészüléshez. De felmerül egy dilemma: egyrészt adattudományi tudásunkat kell próbára tenni, másrészt nem tudunk teljes értékű 4 órás vizsgát rendezni.
A probléma megoldása érdekében telepítettünk egy TestDev központot közvetlenül az adattudományi kurzus fejlesztőcsapatában (és úgy tűnik, ez még csak a kezdet). Mutatunk egy listát 10 „gereblyéről”, amelyekre a tudásfelmérő tesztek kidolgozásakor lépnek. Reméljük, hogy ezek után egy kicsit jobb lesz az online tanulás világa.
1. gereblye: Ne határozza meg egyértelműen a tesztelés céljait
Annak érdekében, hogy helyesen határozzuk meg a célokat, és írjunk egy tesztet, amely figyelembe veszi azokat, a tervezési szakaszban meg kell válaszolnunk magunknak néhány kérdést:
- Mit is ellenőrizünk valójában?
- Milyen környezetben zajlik majd a tesztelés, és milyen mechanikát alkalmaznak? Mik a korlátok ebben a környezetben? Ugyanez az elem lehetővé teszi, hogy megértse a műszaki követelményeket annak az eszköznek, amelyen a teszt zajlik majd, és a tartalomra vonatkozóan is (ha a tesztet telefonról készítik, akkor a képek kis képernyőn is olvashatóak legyenek, nagyításuk stb.).
- Mennyi ideig tart a tesztelés? Át kell gondolnia, hogy a felhasználó milyen feltételek mellett teszi le a tesztet. Lehetséges, hogy meg kell szakítania a tesztelési folyamatot, majd újra kell folytatnia?
- Lesz visszajelzés? Hogyan alakítjuk ki és szállítjuk? Mit kell beszerezned? Van időbeli eltérés a teszt végrehajtása és a visszajelzés között?
Esetünkben ezekre a kérdésekre válaszolva a következő céllistát határoztuk meg a teszthez:
- A tesztnek meg kell mutatnia, hogy a leendő hallgatók készek-e a tanfolyam elvégzésére, rendelkeznek-e elegendő tudással és készségekkel.
- A teszt adjon nekünk anyagot a visszajelzéshez, jelölje meg azt a témát, amelyben a tanulók hibáztak, hogy fejleszthessék tudásukat. Hogyan készítsük el - tovább fogjuk mondani.
2. gereblye: Ne készítsen TOR-t szakértőnek - a teszt összeállítójának
A tesztelemek összeállításához nagyon fontos, hogy a tudás tesztelésének területéhez tartozó szakértőt vonjunk be. Szakértőnek pedig kell egy hozzáértő TK (leírás), ami tartalmazza a teszt témáit, a tesztelt ismereteket/készségeket és azok szintjét.
Egy szakértő nem csinál ilyen TK-t magának, mert az ő dolga a feladatok kitalálása, nem a teszt felépítése. Sőt, míg a teszteket kevesen dolgozzák ki szakmailag, még a tanítás során is. Ezt egy külön szakon tanítják - a pszichometriát.
Ha gyorsan szeretne megismerkedni a pszichometriával, akkor Oroszországban vannak ilyenek minden érdeklődő számára. Az alaposabb tanulmányozáshoz az Oktatási Intézet rendelkezik és végzős iskola.
A TOR elkészítésekor a szakértő (jobb esetben vele együtt) részletes tesztleírást gyűjtünk össze: a feladatok témái, a feladatok típusa, száma.
Hogyan válasszuk ki a feladatok típusát: a témakörök eldöntése után eldöntjük, hogy mely feladatok tudják ezt a legjobban ellenőrizni? Klasszikus lehetőségek: nyílt válaszos feladat, feleletválasztós vagy egyszeres választásos feladat, párosítás stb. (ne feledkezzünk meg a tesztelés környezetének technikai korlátairól sem!). A feladatok típusának meghatározása és előírása után kész TOR áll rendelkezésünkre a szakértő számára. Nevezhetjük tesztspecifikációnak.
3. gereblye: Ne vonjon be szakértőt a tesztfejlesztésbe
Amikor egy szakértőt belemerítünk egy teszt kidolgozásába, nagyon fontos, hogy ne csak a „munka hatókörét” jelezzük neki, hanem magába a fejlesztési folyamatba is be kell vonni.
Hogyan lehet a szakértővel való együttműködést a lehető leghatékonyabbá tenni:
- Állítsa be előre, és töltsön el egy kis időt a tesztfejlesztés tudományáról, a pszichometriáról.
- Összpontosítsa az értékelőt egy érvényes és megbízható értékelési eszköz létrehozására a kérdéslista helyett.
- Magyarázza el, hogy munkája egy előkészítő szakaszt is tartalmaz, nem csak maguknak a feladatoknak a kidolgozását.
Egyes szakértők (természetéből adódóan) ezt saját munkájuk próbájaként fogják fel, és elmagyarázzuk nekik, hogy még a kiváló feladatok elkészítésekor is előfordulhat, hogy egyszerűen nem illeszkednek a tesztelés konkrét céljaihoz.
A folyamat gyors lebonyolítása érdekében szakértővel készítünk egy táblázatot a lefedett témákról (tudás és készségek), amely a tesztspecifikáció részét képezi. Ez a táblázat teszi lehetővé a kérdések pontos kidolgozását, annak meghatározását, hogy mit fogunk mérni. Minden esetben egy kicsit másképp is összeállítható. Feladatunk: annak ellenőrzése, hogy egy személy mennyire tájékozódik az előző, alapszakok ismereteiben, készségeiben, hogy megértse, mennyire készen áll az új kurzus tanulására.
4. gereblye: Azt gondolja, hogy a szakértő „tudja a legjobban”
Jobban ismeri a témát. De ennek nem mindig van értelme. Nagyon fontos ellenőrizni a feladatok megfogalmazását. Írjon egyértelmű utasításokat, például: „Válasszon 1 helyes lehetőséget”. 90%-ban a szakértők úgy készítik el a kérdéseket, hogy azt maguk is megértsék. És ez így van rendjén. Ám mielőtt átadnánk a vizsgát azoknak, akik vállalják, mindent ellenőrizni és át kell fésülni, hogy a vizsgázók pontosan megértsék, mit várnak el tőle, és ne hibázzanak csak azért, mert félreértelmezhetik a feladat szövegét.
A feladatok kettős értelmezésének elkerülése érdekében "kognitív laboratóriumokat" végzünk. Arra kérünk közép-ázsiai embereket, hogy töltsék ki a tesztet, mondják ki hangosan véleményüket, és javítsák ki részletesen. A "kognitív laboratóriumokban" érthetetlen kérdéseket, rossz megfogalmazásokat lehet "fogni", megkapni az első visszajelzést a tesztről.
Rake 5: Figyelmen kívül hagyja a teszt végrehajtási idejét
szarkazmus mód: be
Természetesen a mi tesztünk a legjobb, mindenki arról álmodik, hogy sikerüljön! Igen, mind a 4 órában.
szarkazmus mód: ki
Ha van egy lista mindenről, ami ellenőrizhető, a lényeg, hogy ezt ne tegyük (első pillantásra furcsán hangzik, nem igaz?). Kíméletlenül kell vágnia, szakértővel kiemelve a kulcsfontosságú ismereteket és készségeket (igen, számos készség tesztelhető is a tesztben). Megnézzük a feladatok típusát, és megbecsüljük a célvégrehajtási időt: ha még mindig több az ésszerű határ, akkor levágjuk!
A hangerő csökkentése érdekében megpróbálhatja (tisztán) tesztelni két képességet egy feladatban. Ebben az esetben nehéz megérteni, hogy az illető miért hibázott, de ha jól csinálják, akkor mindkét készség figyelembe vehető. Fontos megbizonyosodni arról, hogy ez a 2 készség ugyanannak a szakterületnek felel meg.
6. gereblye: Ne gondolkozz a pontozási rendszeren
Az értékelő tesztek összeállításakor gyakran a klasszikus pontozási rendszert alkalmazzák, például a könnyű feladatokért 1, a nehéz feladatokért 2 pont. De nem univerzális. Csak a teszteredmények összege keveset árul el: nem tudjuk, mely feladatokért kaptuk ezeket a pontokat, és csak a helyes feladatok számát tudjuk meghatározni. Pontosan meg kell értenünk, hogy a teszt résztvevői pontosan milyen képességeket mutatnak be. Ezen kívül szeretnénk visszajelzést adni nekik arról, hogy milyen témákban kell javítani.
Végül is egy tesztet készítünk, amely felosztja az embereket azokra, akik készek és nem hajlandók részt venni a programban, néhányuknak azt tanácsoljuk, hogy készüljenek fel az ingyenes oktatásra. Számunkra fontos, hogy ebbe a csoportba csak azok kerüljenek, akiknek valóban szükségük van rá, és akik készen állnak rá.
Amit a mi helyzetünkben teszünk: a tesztfejlesztők munkacsoportján belül meghatározzuk, hogy mely embercsoportokat kell megkülönböztetni (például tanulásra készen, részben készen), és táblázatot készítünk az ilyen csoportok jellemzőiről, jelezve, hogy milyen képességek, a tudás releváns lesz a tanulásra kész emberek csoportja számára. Így kialakíthatja a feladatok "nehézségét" az ilyen tesztekhez.
7. gereblye: Az eredményeket csak automatikusan értékeli
Természetesen az értékelésnek a lehető legobjektívebbnek kell lennie, így a tanulói anyagok egy része automatikusan, „kulcsok szerint” – a helyes válaszokkal összevetve – kerül kiértékelésre. Még ha nincs is speciális tesztelési rendszer, rengeteg ingyenes megoldás létezik. És ha ismeri a szkriptek írásának alapelveit, akkor bármit megtehet a Google űrlapjaival és táblázatos eredményeivel. Ha a feladatok egy részét szakértők ellenőrzik, akkor át kell gondolnunk a válaszok eljuttatását a szakértőkhöz, a kereskedők információi nélkül. És gondolja át, hogyan építse be a szakértői ellenőrzés eredményeit a végső értékelésbe.
Kezdetben több nyitott feladatot szerettünk volna készíteni kóddal, amikor a szakértők előre kialakított kritériumok alapján értékelik a megoldásokat, sőt olyan rendszert is készítettünk, amely a teszt résztvevőinek egyedi válaszait egy speciális szakértői táblázatba exportálja, majd az eredményeket táblázatba importálja. osztályozási számítással. A célközönség képviselőivel, a termékmenedzserrel és a pedagógiai tervezővel folytatott megbeszélést követően azonban úgy döntöttünk, hogy sokkal hatékonyabb és hasznosabb lenne a résztvevők számára egy technikai interjú elkészítése azonnali szakértői visszajelzéssel és a kód megbeszélésével. egyéni kérdésekként.
Most a szakértő ellenőrzi a teszt sikerességét, néhány kérdést tisztázva. Ehhez elkészítettük a kérdések útmutatóját, a technikai interjú értékelési szempontjait. A technikai interjú előtt a vizsgáztató kap egy válaszkártyát, amelyben kiválasztja a kérdéseket.
8. gereblye: Ne magyarázza el a teszteredményeket
A résztvevők visszajelzése külön kérdés. Nemcsak a teszteredményekről kell tájékoztatnunk, hanem a teszteredményekről is értesülnünk kell.
Ezek lehetnek:
- Olyan feladatok, amelyekben a résztvevő hibázott, és amelyeket helyesen teljesített.
- Témák, amelyekben a résztvevő hibázott.
- Helyezése a vizsgázók között.
- A résztvevő szintjének leírása, összhangban például a szakemberi szint leírásával (a betöltetlen állások leírása alapján).
Tesztünk kísérleti indításakor azoknak, akik be akartak nevezni a programba, az eredményekkel együtt mutattunk egy listát azokról a témákról, amelyeket fel kell húzni. De ez biztosan nem ideális, javítani fogunk és javítani fogunk a visszajelzéseken.
9. gereblye: Ne beszélje meg a tesztet a fejlesztőkkel
Talán a legélesebb rake, amelyre különösen kellemetlen rálépni, ha a tesztet, leírást és pontozási skálát „ahogy van” állapotban küldjük el a fejlesztőknek.
Amit meg kell beszélni:
- A kérdések megjelenése, felépítése, a grafika elhelyezkedése, hogyan néz ki a helyes válasz kiválasztása.
- Hogyan történik a pontszám kiszámítása (ha szükséges), vannak-e további feltételek.
- Hogyan jön létre a visszajelzés, hol lehet szöveget kapni, vannak-e további, automatikusan generált blokkok.
- Milyen további információkat kell gyűjtenie és mikor (ugyanazok az elérhetőségek).
A félreértések elkerülése végett megkérjük fejlesztőinket, hogy kódoljanak 2 vagy 3 különböző kérdést, hogy a teszt programozása előtt lássuk, hogyan néznek ki.
Rake 10: Tesztelés nélkül, azonnal töltse fel a termelésbe
3-szor, srácok, különböző emberek ellenőrizzék a tesztet 3-szor, és jobb esetben - mindegyik 3-szor Ezt az igazságot a vér, a verejték és a pixelek kódsorok segítségével nyerik meg.
Tesztünk a következő triót ellenőrzi:
- Termék - ellenőrzi a teszt teljesítményét, megjelenését, mechanikáját.
- Tesztfejlesztő - ellenőrzi a feladatok szövegét, sorrendjét, a teszttel való munkavégzés formáját, a feladattípusokat, a helyes válaszokat, a grafikák olvashatóságát és normál megtekintését.
- A feladatok készítője (szakértő) - szakértői pozícióból ellenőrzi a teszt hűségét.
Példa a gyakorlatból: csak a harmadik nekifutásra látta a feladatok készítője, hogy 1 feladat maradt a szöveg régi változatában. Az összes előző is aktívan uralkodott. Ám amikor a tesztet kódolták, másképp nézett ki, mint ahogy eredetileg elképzelték. Valószínűleg valamit javítani kell. Ezt figyelembe kell venni.
Teljes
Mindezeket a "gereblyéket" óvatosan megkerülve létrehoztunk egy különlegeset , a jelentkezők tudásának tesztelésére. Bárki kipróbálhatja, amíg a következő anyagot készítjük, amelyben elmeséljük, mi történt a botban, és mivé alakult át később.
A SkillFactory online tanfolyamok elvégzésével keresett szakmát szerezhet a nulláról, vagy szinttel feljebb léphet a készségek és a fizetés tekintetében:
- (12 hét)
- (20 hét)
- (20 hét)
- (12 hónap)
További tanfolyamok
- (12 hónap)
- (14 hét)
- (5 hét)
- (18 hónap)
- (6 hónap)
- (12 hónap)
- (8 hónap)
- (9 hónap)
- (12 hónap)
- (18 hónap)
- (18 hónap)
- (12 hónap)
- (9 hónap)
- (7 hónap)
Forrás: will.com