Ennen ilmoittautumista uudelle Machine Learning Advanced -kurssille testaamme mahdollisia opiskelijoita selvittääksemme heidän valmiustasonsa ja ymmärtääksemme, mitä heidän on tarjottava valmistautuakseen kurssille. Mutta dilemma syntyy: toisaalta meidän on testattava tietotekniikkaa, toisaalta emme voi järjestää täysimittaista 4 tunnin tenttiä.
Tämän ongelman ratkaisemiseksi olemme ottaneet käyttöön TestDevin päämajan suoraan Data Science -kurssin kehitystiimiin (ja näyttää siltä, että tämä on vasta alkua). Esittelemme sinulle luettelon 10 sudenkuopasta, jotka kohtaavat, kun kehitetään testejä tiedon arvioimiseksi. Toivottavasti verkko-oppimisen maailma on hieman parempi tämän jälkeen.
Rake 1: Testaustavoitteiden selkeä määrittely epäonnistuminen
Määritelläksemme tavoitteet oikein ja luodaksemme ne huomioon ottavan testin, meidän on suunnitteluvaiheessa vastattava useisiin kysymyksiin:
- Mitä me oikeastaan tarkistamme?
- Missä ympäristössä testaus tapahtuu ja mitä mekaniikkaa käytetään? Mitä rajoituksia tässä ympäristössä on? Tämän saman kohdan avulla voit ymmärtää tekniset vaatimukset laitteelle, jolla testaus suoritetaan, ja myös sisällölle (jos testi on otettu puhelimista, kuvien tulee olla luettavissa myös pienellä näytöllä, niitä voi suurentaa jne.).
- Kauanko testaus kestää? Sinun on mietittävä olosuhteita, joissa käyttäjä suorittaa testin. Voisiko olla tilanne, jossa hänen on keskeytettävä testausprosessi ja jatkettava sitten uudelleen?
- Tuleeko palautetta? Kuinka muodostamme ja toimitamme sen? Mitä sinun tarvitsee vastaanottaa? Onko testin suorittamisen ja palautteen välillä aikaviivettä?
Meidän tapauksessamme, kun olemme vastanneet näihin kysymyksiin, määritimme seuraavan luettelon testin tavoitteista:
- Testin tulee osoittaa, ovatko tulevat opiskelijat valmiita kurssille ja onko heillä tarpeeksi tietoa ja taitoa.
- Testin tulee antaa meille palautemateriaalia, osoittaa aihe, jossa opiskelijat ovat tehneet virheen, jotta he voivat parantaa tietojaan. Kerromme sinulle, kuinka se laaditaan alla.
Rake 2: Teknisten eritelmien laatimatta jättäminen asiantuntijatestin kirjoittajalle
Testikohteiden kokoamiseen on erittäin tärkeää ottaa mukaan asiantuntija alalta, jonka tietoa testataan. Ja asiantuntijalle puolestaan tarvitaan pätevä tekninen eritelmä (kuvaus), joka sisältää kokeen aiheet, testattavat tiedot/taidot ja niiden tason.
Asiantuntija ei tee tällaisia teknisiä määrityksiä itselleen, koska hänen tehtävänsä on keksiä tehtäviä, ei testin rakennetta. Lisäksi harvat kehittävät kokeita ammattimaisesti, jopa opetusprosessissa. Tätä opetetaan erillisellä erikoisalalla - psykometriikassa.
Jos haluat nopeasti tutustua psykometriikkaan, niin Venäjällä on kaikille kiinnostuneille. Syvällisempää tutkimusta varten Kasvatusinstituutti on ja tutkijakoulu.
Teknisiä eritelmiä laadittaessa keräämme asiantuntijalle (tai paremminkin yhdessä hänen kanssaan) yksityiskohtaisen kuvauksen testistä: tehtävien aiheet, tehtävien tyypit, niiden lukumäärä.
Kuinka valita tehtävätyyppi: päätettyämme aiheet päätämme mitkä tehtävät voivat parhaiten testata tätä? Klassiset vaihtoehdot: avoin tehtävä, moni- tai yksivalintatehtävä, sovitus jne. (älä unohda testausympäristön teknisiä rajoituksia!). Tehtävän tyypin määrittämisen ja täsmentämisen jälkeen meillä on asiantuntijalle valmis tekninen eritelmä. Voit kutsua sitä testispesifikaatioksi.
Rake 3: Ei mukana asiantuntijaa testin kehittämiseen
Kun asiantuntija upotetaan testikehitykseen, on erittäin tärkeää, että ei vain ilmoiteta hänelle "työn laajuutta", vaan ottaa hänet mukaan itse kehitysprosessiin.
Kuinka tehdä asiantuntijan kanssa työskentelystä mahdollisimman tehokasta:
- Määritä se etukäteen ja käytä aikaa puhumalla testikehityksen tieteestä ja psykometriikasta.
- Keskitä arvioijan huomio oikean ja luotettavan arviointityökalun luomiseen kysymysluettelon sijaan.
- Selitä, että hänen työhönsä sisältyy valmisteluvaihe, ei vain itse tehtävien kehittäminen.
Jotkut asiantuntijat (luonneensa vuoksi) saattavat kokea tämän oman työnsä kokeeksi, ja selitämme heille, että vaikka luomme erinomaisia tehtäviä, ne eivät yksinkertaisesti välttämättä sovi tiettyihin testaustavoitteisiin.
Jotta prosessi sujuisi nopeasti, teemme asiantuntijan kanssa aiheen kattavuuden (tiedot ja taidot) taulukon, joka on osa testispesifikaatiota. Juuri tämän taulukon avulla voimme selvittää kysymykset tarkasti ja määrittää, mitä mittaamme. Kussakin erityistapauksessa se voidaan koota hieman eri tavalla. Tehtävämme on tarkistaa, kuinka hyvin henkilö ymmärtää aiempien peruskurssien tiedot ja taidot ymmärtääkseen, kuinka valmis hän on opiskelemaan uudella kurssilla.
Rake 4: Ajattelee, että asiantuntija "tietää parhaiten"
Tietää aiheen paremmin. Mutta se ei aina selitä selvästi. On erittäin tärkeää tarkistaa tehtävien sanamuoto. Kirjoita selkeät ohjeet, esimerkiksi "Valitse 1 oikea vaihtoehto". Asiantuntijat laativat kysymykset 90 prosentissa tapauksista tavalla, jonka he itse ymmärtävät. Ja se on okei. Mutta ennen kokeen luovuttamista sen suorittaville, kaikki on tarkistettava ja kammattava, jotta kokeen suorittaneet ymmärtävät tarkalleen, mitä heiltä vaaditaan, eivätkä tee virheitä vain siksi, että he saattavat tulkita tehtävän tekstin väärin.
Tehtävien kaksinkertaisen tulkinnan välttämiseksi teemme "kognitiivisia laboratorioita". Pyydämme kohdeyleisön ihmisiä suorittamaan testin sanomalla ääneen mielipiteensä ja tallentamalla sen yksityiskohtaisesti. "Kognitiivisissa laboratorioissa" voi "tarttua" epäselviä kysymyksiä, huonoja sanamuotoja ja saada ensipalautetta testistä.
Rake 5: Ohita testin suoritusaika
sarkasmitila: päällä
Kokeemme on tietysti paras, kaikki haaveilevat sen läpäisemisestä! Kyllä, kaikki 4 tuntia.
sarkasmitila: pois päältä
Kun on luettelo kaikesta, mitä voidaan tarkistaa, tärkeintä on olla tekemättä sitä (ensi silmäyksellä kuulostaa oudolta, eikö niin?). Sinun on leikattava armottomasti, tunnistamalla keskeiset tiedot ja taidot asiantuntijan kanssa (kyllä, useita taitoja voidaan myös testata testissä). Katsomme tehtävien tyyppejä ja arvioimme tavoitteen valmistumisajan: jos kaikki on vielä enemmän kuin kohtuulliset rajat, leikataan sitä!
Äänenvoimakkuuden vähentämiseksi voit myös kokeilla (varovasti) testata kahta taitoa yhdessä tehtävässä. Tässä tapauksessa on vaikea ymmärtää, miksi henkilö teki virheen, mutta oikein tehtynä molemmat taidot voidaan ottaa huomioon. On tärkeää varmistaa, että nämä kaksi taitoa vastaavat samaa tietoaluetta.
Rake 6: En ajattele pisteytysjärjestelmää
Usein arviointitestejä laadittaessa käytetään klassista pisteytysjärjestelmää, esimerkiksi helpoista tehtävistä 1 piste ja vaikeista 2 pistettä. Mutta se ei ole universaali. Pelkästään testituloksiin perustuva pisteiden summa ei kerro paljon: emme tiedä mistä tehtävistä nämä pisteet on saatu ja voimme vain määrittää oikeiden tehtävien määrän. Meidän on ymmärrettävä tarkalleen, mitä taitotestin suorittajat osoittavat. Lisäksi haluamme antaa heille palautetta siitä, missä aiheissa on parannettavaa.
Olemmehan tekemässä testin, joka jakaa ihmiset valmiisiin ja niihin, jotka eivät ole valmiita suorittamaan ohjelmaa; neuvomme joitain valmistautumaan kurssille ilmaisen koulutuksen kautta. Meille on tärkeää, että tähän ryhmään kuuluvat vain ne, jotka sitä todella tarvitsevat ja ovat siihen valmiita.
Mitä teemme tilanteessamme: määritämme testikehittäjien työryhmässä, mitkä ihmisryhmät on tunnistettava (esim. oppimisvalmiit, osittain valmiit) ja muodostamme tällaisten ryhmien ominaispiirteistä taulukon, josta käy ilmi mitkä taidot ja tiedot on olennaista oppimaan valmiiden ryhmille. Näin voit muotoilla tehtävien "vaikeuden" tällaisia testejä varten.
Rake 7: Arvioi tulokset vain automaattisesti
Tietysti arvioinnin tulee olla mahdollisimman objektiivista, joten osa opiskelumateriaalista arvioidaan automaattisesti, "avainten mukaan" - oikeisiin vastauksiin verrattuna. Vaikka erityistä testausjärjestelmää ei olisikaan, ilmaisia ratkaisuja on runsaasti. Ja jos ymmärrät skriptien kirjoittamisen periaatteet, voit tehdä mitä haluat Google-lomakkeilla ja -tuloksilla taulukoissa. Jos jotkin tehtävät ovat asiantuntijoiden tarkastamia, meidän on harkittava vastausten toimittamista asiantuntijoille ilman tietoa testin ottajista. Ja mieti, kuinka integroida asiantuntijatestien tulokset lopulliseen arviointiin.
Alun perin halusimme tehdä useita avoimia tehtäviä koodilla, joissa asiantuntijat arvioivat ratkaisuja ennalta muodostettujen kriteerien perusteella, ja teimme jopa järjestelmän, joka vie testien osallistujien yksittäiset vastaukset erityiseen asiantuntijoiden taulukkoon ja tuo sitten tulokset taulukko, jossa on arviointilaskelmat. Mutta keskusteltuamme kohdeyleisön edustajien, tuotepäällikön ja koulutussuunnittelijan kanssa, koimme, että teknisen haastattelun tekeminen välittömällä asiantuntijapalautteella ja keskustelu koodista sekä yksittäisistä asioista olisi paljon tehokkaampaa ja hyödyllisempää osallistujille itselleen. .
Nyt asiantuntija tarkistaa testin valmistumisen ja selventää joitain kysymyksiä. Tätä varten olemme laatineet teknisen haastattelun kysymysoppaan ja arviointikriteerit. Ennen teknistä haastattelua kokeen vastaanottaja saa kartan kokeen vastaanottajan vastauksista, mikä auttaa häntä valitsemaan esitettävät kysymykset.
Rake 8: Älä selitä testituloksia
Palautteen antaminen osallistujille on erillinen asia. Meidän on paitsi tiedotettava testituloksesta, myös annettava käsitys testituloksista.
Nämä voivat olla:
- Tehtävät, joissa osallistuja teki virheen ja jotka hän suoritti oikein.
- Aiheet, joissa osallistuja teki virheitä.
- Hänen sijoituksensa kokeen suorittaneiden joukossa.
- Osallistujan tason kuvaus esimerkiksi asiantuntijatason kuvauksen mukaisesti (avoimien työpaikkojen kuvauksen perusteella).
Testimme pilottikäynnistyksen aikana näytimme niille, jotka halusivat ilmoittautua ohjelmaan, tulosten ohella listan aiheista, joita oli parannettava. Mutta tämä ei todellakaan ole ihanteellinen, parannamme ja annamme parempaa palautetta.
Rake 9: Älä keskustele testistä kehittäjien kanssa
Ehkä terävin harava, johon on erityisen epämiellyttävää astua, on lähettää testi, kuvaus ja pisteytysasteikko kehittäjille "sellaisenaan".
Mistä tarkalleen ottaen pitää keskustella:
- Kysymysten ulkoasu, rakenne, grafiikan sijainti, miltä oikean vastauksen valinta näyttää.
- Miten pisteet lasketaan (tarvittaessa), onko muita ehtoja.
- Miten palautetta luodaan, mistä saa tekstit, onko muita automaattisesti luotuja lohkoja.
- Mitä lisätietoja sinun on kerättävä ja missä vaiheessa (samat yhteystiedot).
Väärinkäsitysten välttämiseksi pyydämme kehittäjiämme koodaamaan 2 tai 3 eri kysymystä, jotta he voivat nähdä, miltä ne näyttävät ennen itse testin koodaamista.
Rake 10: Lataa suoraan tuotantoon ilman testausta
3 kertaa, pojat, testi pitäisi tarkistaa 3 kertaa eri ihmisten toimesta, tai vielä parempi, 3 kertaa kukin. Tämä totuus saatiin verellä, hiellä ja pikseleillä koodirivejä.
Testimme tarkistaa seuraavan kolmikon:
- Tuote - tarkistaa testin suorituskyvyn, ulkonäön ja mekaniikka.
- Testin kehittäjä - tarkistaa tehtävien tekstin, niiden järjestyksen, testin kanssa työskentelymuodon, tehtävätyypit, oikeat vastaukset, luettavuuden ja grafiikan normaalin katselun.
- Tehtävien tekijä (asiantuntija) tarkastaa testin uskollisuuden asiantuntijan asemasta.
Esimerkki käytännössä: vasta kolmannella ajolla tehtävien tekijä näki, että 1 tehtävä jäi sanamuodon vanhaan versioon. Kaikki aiemmat hallitsivat myös aktiivisesti. Mutta kun testi koodattiin, se näytti erilaiselta kuin alun perin kuviteltiin. On erittäin todennäköistä, että jotain on korjattava. Tämä on otettava huomioon.
Koko
Varovasti ohittamalla kaikki nämä "haravat", loimme erityisen , testaamaan hakijoiden tietoja. Kuka tahansa voi testata sitä, kun valmistelemme seuraavaa materiaalia, jossa kerromme, mitä botin sisällä tapahtui ja mihin se kaikki myöhemmin muuttui.
Voit saada halutun ammatin tyhjästä tai Level Up -tason osaamisen ja palkan suhteen suorittamalla SkillFactory-verkkokursseja:
- (12 viikkoa)
- (20 viikkoa)
- (20 viikkoa)
- (12 kuukautta)
Lisää kursseja
- (12 kuukautta)
- (14 viikkoa)
- (5 viikkoa)
- (18 kuukautta)
- (6 kuukautta)
- (12 kuukautta)
- (8 kuukautta)
- (9 kuukautta)
- (12 kuukautta)
- (18 kuukautta)
- (18 kuukautta)
- (12 kuukautta)
- (9 kuukautta)
- (7 kuukautta)
Lähde: will.com