ProHoster > Π‘Π»ΠΎΠ³ > Administrasi > Walking on a Rake: 10 Kesalahan Kritis ing Pangembangan Tes Pengetahuan

Walking on a Rake: 10 Kesalahan Kritis ing Pangembangan Tes Pengetahuan

Walking on a Rake: 10 Kesalahan Kritis ing Pangembangan Tes Pengetahuan
Sadurunge ndhaptar kursus Machine Learning Advanced anyar, kita nyoba calon siswa kanggo nemtokake tingkat kesiapan lan ngerti apa sing kudu ditawakake kanggo nyiapake kursus kasebut. Nanging ana dilema: ing tangan siji, kita kudu nguji kawruh ing Ilmu Data, ing sisih liya, kita ora bisa ngatur ujian 4 jam kanthi lengkap.

Kanggo ngatasi masalah iki, kita wis masang markas TestDev ing tim pangembangan kursus Ilmu Data (lan kayane iki mung wiwitan). We saiki kanggo sampeyan dhaptar 10 pitfalls sing ditemoni nalika ngembangaken tes kanggo netepke kawruh. Muga-muga jagad sinau online bakal luwih apik sawise iki.

Rake 1: Gagal nemtokake kanthi jelas tujuan tes

Kanggo nemtokake tujuan kanthi bener lan nggawe tes sing bakal ditindakake, ing tahap perencanaan, kita kudu mangsuli sawetara pitakon:

  1. Apa kita bener mriksa? 
  2. Lingkungan apa sing bakal ditindakake tes lan mekanika apa sing digunakake? Apa watesan ing lingkungan iki? Titik sing padha iki bakal ngidini sampeyan ngerti syarat teknis kanggo piranti sing bakal ditindakake tes, lan uga kanggo konten (yen tes dijupuk saka telpon, gambar kudu bisa diwaca sanajan ing layar cilik, mesthine kudu bisa nggedhekake, lsp).
  3. Suwene tes bakal ditindakake? Sampeyan kudu mikir babagan kahanan sing bakal ditindakake pangguna. Apa ana kahanan sing kudu ngganggu proses tes banjur terus maneh?
  4. Bakal ana umpan balik? Kepiye carane kita mbentuk lan ngirim? Apa sampeyan kudu nampa? Apa ana selang wektu antarane eksekusi tes lan umpan balik?

Ing kasus kita, sawise mangsuli pitakon kasebut, kita nemtokake dhaptar gol ing ngisor iki kanggo tes:

  1. Tes kasebut kudu nuduhake manawa siswa mbesuk wis siyap kanggo njupuk kursus kasebut lan manawa dheweke duwe kawruh lan katrampilan sing cukup.
  2. Tes kudu menehi materi kanggo umpan balik, nuduhake topik sing ditindakake siswa, supaya bisa nambah kawruh. Kita bakal pitutur marang kowe carane nyipta ing ngisor iki.

Rake 2: Gagal nggambar spesifikasi teknis kanggo panulis tes ahli

Kanggo nyipta item tes, penting banget kanggo ndherek ahli ing bidang sing diuji. Lan kanggo pakar, sampeyan butuh spesifikasi teknis sing kompeten (deskripsi), sing kalebu topik tes, kawruh / katrampilan sing diuji lan levele.

Pakar ora bakal nindakake spesifikasi teknis kasebut kanggo awake dhewe, amarga tugase yaiku nggawe tugas, dudu struktur tes. Kajaba iku, sawetara wong ngembangake tes kanthi profesional, sanajan ing proses ngajar. Iki diwulang ing spesialisasi sing kapisah - psikometri.

Yen sampeyan pengin cepet kenalan karo psychometrics, banjur ing Rusia ana sekolah panas kanggo kabeh sing kasengsem. Kanggo sinau luwih jero, Institut Pendidikan wis gelar master lan sekolah lulusan.

Nalika nyiapake spesifikasi teknis, kita ngumpulake katrangan rinci babagan tes kanggo pakar (utawa luwih apik, bebarengan karo dheweke): topik tugas, jinis tugas, nomer.

Cara milih jinis tugas: wis mutusake babagan topik, kita mutusake tugas sing paling apik kanggo nyoba iki? Opsi klasik: tugas mbukak, tugas pilihan kaping utawa siji, cocog, lan liya-liyane (aja lali babagan watesan teknis lingkungan uji coba!). Sawise nemtokake lan nemtokake jinis tugas, kita duwe spesifikasi teknis sing siap kanggo pakar kasebut. Sampeyan bisa nyebataken spesifikasi tes.

Rake 3: Ora nglibatake pakar ing pangembangan tes

Nalika nyemplungake pakar ing pangembangan tes, penting banget ora mung kanggo nunjukake "ruang lingkup kerja" marang dheweke, nanging uga melu ing prosedur pangembangan kasebut.

Cara nggawe kerja karo pakar kanthi efektif:

  • Setel luwih dhisik lan gunakake sawetara wektu ngomong babagan ilmu pangembangan tes lan psikometri.
  • Fokusake perhatian evaluator kanggo nggawe alat penilaian sing valid lan dipercaya, dudu dhaptar pitakonan.
  • Nerangake yen karyane kalebu tahap persiapan, ora mung pangembangan tugas dhewe.

Sawetara ahli (amarga sifate) bisa uga nganggep iki minangka tes kanggo karyane dhewe, lan kita nerangake yen sanajan kita nggawe tugas sing apik, bisa uga ora cocog karo tujuan tes tartamtu.

Kanggo nggawe proses cepet, kita nyiapake tabel jangkoan topik (kawruh lan katrampilan) karo pakar, yaiku bagean saka spesifikasi tes. Tabel iki sing ngidini kita bisa ngrampungake pitakonan kanthi akurat lan nemtokake apa sing bakal diukur. Ing saben kasus tartamtu bisa disusun rada beda. Tugas kita yaiku mriksa kepiye wong ngerti kawruh lan katrampilan kursus-kursus dhasar sadurunge kanggo ngerti kepiye siap sinau ing kursus anyar.

Rake 4: Mikir yen pakar "ngerti paling apik"

Luwih ngerti subyek. Nanging ora tansah nerangake cetha. Penting banget kanggo mriksa tembung saka tugas. Tulis instruksi sing jelas, contone, "Pilih 1 pilihan sing bener." Ing 90% kasus, para ahli nyiapake pitakonan kanthi cara sing dingerteni dhewe. Lan ora apa-apa. Nanging sadurunge nyerahake tes marang sing bakal njupuk, kabeh kudu dipriksa lan disisir supaya wong sing njupuk tes ngerti persis apa sing dibutuhake lan ora nggawe kesalahan mung amarga bisa salah napsirake teks tugas kasebut.

Kanggo ngindhari interpretasi kaping pindho babagan tugas, kita nindakake "laboratorium kognitif." We takon wong saka target pamirsa kanggo njupuk test, ngandika banter apa padha mikir lan ngrekam ing rinci. Ing "laboratorium kognitif" sampeyan bisa "nyekel" pitakonan sing ora jelas, tembung sing ala, lan entuk umpan balik pisanan babagan tes kasebut.

Rake 5: Nglirwakake wektu eksekusi test

modus sarkasme: on
Mesthi, tes kita sing paling apik, kabeh wong ngimpi bisa lolos! Ya, kabeh 4 jam.
mode sarkasme: mati

Nalika ana dhaptar kabeh sing bisa dipriksa, sing utama ora kudu ditindakake (sapisan katon aneh, ora?). Sampeyan kudu kejam ngethok, ngenali kawruh lan katrampilan utama karo pakar (ya, sawetara katrampilan uga bisa diuji ing tes). Kita ndeleng jinis tugas lan ngira wektu target target: yen kabeh isih luwih saka watesan sing cukup, kita dipotong!

Kanggo nyuda volume, sampeyan uga bisa nyoba (kanthi ati-ati) nguji rong katrampilan ing siji tugas. Ing kasus iki, angel ngerti sebabe wong kasebut nggawe kesalahan, nanging yen ditindakake kanthi bener, katrampilan kasebut bisa dianggep. Penting kanggo mesthekake yen 2 katrampilan kasebut cocog karo area kawruh sing padha.

Rake 6: Ora mikir liwat sistem skor

Asring, nalika ngumpulake tes penilaian, padha nggunakake sistem skor klasik, contone, 1 TCTerms kanggo tugas gampang lan 2 TCTerms kanggo angel. Nanging ora universal. Mung jumlah poin adhedhasar asil tes ora bakal menehi pitutur marang kita: kita ora ngerti tugas sing ditampa lan mung bisa nemtokake jumlah tugas sing bener. Kita kudu ngerti persis apa sing ditunjukake para peserta tes. Kajaba iku, kita pengin menehi umpan balik babagan topik sing kudu ditambahake.

Sawise kabeh, kita nindakake tes sing bakal mbagi wong dadi wong sing wis siyap lan sing durung siap kanggo ngrampungake program kasebut; kita bakal menehi saran sawetara supaya nyiapake kursus kasebut liwat latihan gratis. Penting kanggo kita yen klompok iki mung kalebu wong sing pancene butuh lan sing wis siyap.

Apa sing kita lakoni ing kahanan kita: kita nemtokake ing klompok kerja pangembang tes endi klompok wong sing kudu diidentifikasi (contone, siap sinau, sebagian siap) lan nggawe tabel karakteristik klompok kasebut, nuduhake katrampilan lan kawruh apa bakal cocog kanggo klompok siap sinau latihan. Kanthi cara iki, sampeyan bisa ngrumusake "kasulitan" tugas kanggo tes kasebut.

Rake 7: Evaluasi asil mung kanthi otomatis

Mesthine, pambiji kudu dadi obyektif, saengga sawetara materi siswa ditaksir kanthi otomatis, "kanthi kunci" - mbandhingake karo jawaban sing bener. Sanajan ora ana sistem tes khusus, ana akeh solusi gratis. Lan yen sampeyan ngerti prinsip nulis skrip, sampeyan bisa nindakake apa wae sing dikarepake karo formulir Google lan ngasilake tabel. Yen sawetara tugas dipriksa dening para ahli, mula kita kudu mikir babagan ngirim jawaban menyang para ahli, tanpa informasi babagan peserta tes. Lan mikir babagan carane nggabungake asil tes pakar menyang penilaian pungkasan.

Kaping pisanan, kita pengin nggawe sawetara tugas mbukak kanthi kode, ing ngendi para ahli ngevaluasi solusi adhedhasar kritΓ©ria sing wis dibentuk, lan malah nyiapake sistem sing ngekspor jawaban individu saka peserta tes menyang tabel khusus kanggo para ahli, banjur ngimpor asil kasebut menyang tabel karo petungan taksiran. Nanging sawise rembugan karo wakil saka target pamirsa, manajer produk lan desainer pendidikan, kita rumangsa yen nindakake wawancara teknis kanthi umpan balik pakar cepet lan diskusi babagan kode, uga masalah individu, bakal luwih efektif lan migunani kanggo para peserta dhewe. .

Saiki ahli verifikasi rampung tes, njlentrehake sawetara pitakonan. Kanggo nindakake iki, kita wis nyiapake pandhuan pitakonan lan kritΓ©ria penilaian kanggo wawancara teknis. Sadurunge wawancara teknis, pemeriksa nampa peta jawaban peserta tes kanggo mbantu dheweke milih pitakonan sing arep ditakoni.

Rake 8: Aja nerangake asil tes

Nyedhiyakake umpan balik kanggo peserta minangka masalah sing kapisah. Kita ora mung kudu ngandhani babagan skor tes, nanging uga menehi pangerten babagan asil tes.
Iki bisa: 

  • Tugas sing peserta nggawe kesalahan lan rampung kanthi bener.
  • Topik sing peserta nggawe kesalahan.
  • Peringkat dheweke ing antarane sing njupuk ujian.
  • Katrangan tingkat peserta, sesuai, contone, karo katrangan tingkat spesialis (adhedhasar katrangan lowongan).

Sajrone peluncuran pilot test kita, kanggo wong-wong sing pengin ndhaftar ing program, bebarengan karo asil, kita nuduhake dhaptar topik sing perlu kanggo nambah. Nanging iki mesthi ora becik, kita bakal nambah lan menehi saran sing luwih apik.

Rake 9: Aja ngrembug test karo pangembang

Mbok rake sharpest, kang utamanΓ© karu kanggo langkah ing, ngirim test, gambaran lan ukuran skor kanggo pangembang "kaya".
Apa persis sing kudu dibahas:

  • Tampilan pitakonan, struktur, posisi grafis, apa pilihan jawaban sing bener.
  • Carane skor diwilang (yen perlu), apa ana kahanan tambahan.
  • Kepiye umpan balik digawe, ing ngendi entuk teks, apa ana blok tambahan sing digawe kanthi otomatis.
  • Informasi tambahan apa sampeyan kudu ngumpulake lan ing titik apa (kontak sing padha).

Kanggo ngindhari salah pangerten, kita njaluk pangembang kanggo menehi kode 2 utawa 3 pitakonan sing beda-beda supaya bisa ndeleng kaya apa sadurunge ngodhe tes kasebut.

Rake 10: Tanpa testing, upload langsung menyang produksi

3 kaping, wong lanang, tes kudu dipriksa kaping 3 dening wong sing beda-beda, utawa luwih apik, saben kaping 3. Bebener iki dijupuk kanthi getih, kringet lan piksel garis kode.

Tes kita mriksa trio ing ngisor iki:

  1. Produk - mriksa tes kanggo kinerja, penampilan, mekanika.
  2. Pangembang tes - mriksa teks tugas, urutane, wangun nggarap tes, jinis tugas, jawaban sing bener, keterbacaan lan tampilan grafis normal.
  3. Penulis tugas (ahli) mriksa tes kanggo kasetyan saka posisi ahli.

Conto saka praktik: mung ing wektu katelu, penulis tugas weruh yen 1 tugas tetep ing versi lawas saka tembung kasebut. Kabeh sing sadurunge uga aktif mrentah. Nanging nalika tes kasebut dikode, katon beda tinimbang sing dibayangake. Mesthi wae ana sing kudu didandani. Iki kudu dijupuk menyang akun.

Asile

Kasebut kanthi teliti, bypassing kabeh iki "rake", kita digawe khusus bot ing Telegram, kanggo nguji kawruh para pelamar. Sapa wae bisa nyoba nalika lagi nyiapake materi sabanjure, sing bakal dakcritakake apa sing kedadeyan ing jero bot, lan apa sing diowahi dadi mengko.

Walking on a Rake: 10 Kesalahan Kritis ing Pangembangan Tes Pengetahuan
Sampeyan bisa entuk profesi sing dikarepake saka awal utawa Level Up babagan katrampilan lan gaji kanthi njupuk kursus online SkillFactory:

Kursus liyane

Source: www.habr.com

Add a comment