Sebelum mendaftar kursus Machine Learning Advanced yang baru, kami menguji calon siswa untuk menentukan tingkat kesiapan mereka dan memahami apa sebenarnya yang perlu mereka tawarkan untuk mempersiapkan kursus tersebut. Namun muncul dilema: di satu sisi, kita harus menguji pengetahuan di bidang Ilmu Data, di sisi lain, kita tidak bisa mengatur ujian 4 jam penuh.
Untuk mengatasi masalah ini, kami telah mengerahkan kantor pusat TestDev tepat di tim pengembangan kursus Ilmu Data (dan sepertinya ini hanyalah permulaan). Kami menyajikan kepada Anda daftar 10 kendala yang ditemui saat mengembangkan tes untuk menilai pengetahuan. Semoga dunia pembelajaran daring menjadi sedikit lebih baik setelah ini.
Rake 1: Gagal mendefinisikan dengan jelas tujuan pengujian
Untuk menentukan tujuan dengan benar dan membuat tes yang memperhitungkannya, pada tahap perencanaan kita harus menjawab beberapa pertanyaan:
- Apa yang sebenarnya kita periksa?
- Di lingkungan apa pengujian akan dilakukan dan mekanisme apa yang digunakan? Apa batasan dalam lingkungan ini? Poin yang sama ini akan memungkinkan Anda memahami persyaratan teknis untuk perangkat tempat pengujian akan dilakukan, dan juga untuk kontennya (jika tes diambil dari ponsel, gambar harus dapat dibaca bahkan di layar kecil, seharusnya dimungkinkan untuk memperbesarnya, dll.).
- Berapa lama pengujiannya? Anda perlu memikirkan kondisi di mana pengguna akan mengikuti tes. Mungkinkah ada situasi di mana dia perlu menghentikan proses pengujian dan melanjutkan lagi?
- Akankah ada umpan balik? Bagaimana kita membentuk dan menyampaikannya? Apa yang perlu Anda terima? Apakah ada jeda waktu antara pelaksanaan tes dan umpan balik?
Dalam kasus kami, setelah menjawab pertanyaan-pertanyaan ini, kami menetapkan daftar tujuan tes berikut:
- Tes tersebut harus menunjukkan apakah calon siswa siap untuk mengikuti kursus dan apakah mereka memiliki pengetahuan dan keterampilan yang cukup.
- Tes harus memberi kita bahan umpan balik, menunjukkan topik kesalahan siswa, sehingga mereka dapat meningkatkan pengetahuannya. Kami akan memberi tahu Anda cara menyusunnya di bawah ini.
Rake 2: Kegagalan menyusun spesifikasi teknis untuk penulis tes ahli
Untuk menyusun soal tes, sangat penting untuk melibatkan seorang ahli di bidang yang diujikan pengetahuannya. Dan bagi seorang ahli, pada gilirannya diperlukan spesifikasi teknis (deskripsi) yang kompeten, yang meliputi topik tes, pengetahuan/keterampilan yang diuji, dan levelnya.
Seorang ahli tidak akan mengerjakan spesifikasi teknis tersebut untuk dirinya sendiri, karena tugasnya adalah membuat tugas, bukan struktur tes. Selain itu, hanya sedikit orang yang mengembangkan tes secara profesional, bahkan dalam proses mengajar. Ini diajarkan dalam spesialisasi terpisah - psikometri.
Jika Anda ingin cepat mengenal psikometri, maka di Rusia ada untuk semua yang berminat. Untuk kajian lebih mendalam, Lembaga Pendidikan telah dan sekolah pascasarjana.
Saat menyiapkan spesifikasi teknis, kami mengumpulkan penjelasan rinci tentang tes untuk ahli (atau lebih baik, bersama dia): topik tugas, jenis tugas, jumlahnya.
Bagaimana cara memilih jenis tugas: setelah memutuskan topiknya, kami memutuskan tugas mana yang paling dapat mengujinya? Opsi klasik: tugas terbuka, tugas pilihan ganda atau tunggal, mencocokkan, dll. (jangan lupa tentang keterbatasan teknis lingkungan pengujian!). Setelah menentukan dan menentukan jenis tugas, kami memiliki spesifikasi teknis siap pakai untuk ahlinya. Anda dapat menyebutnya sebagai spesifikasi pengujian.
Rake 3: Tidak melibatkan ahli dalam pengembangan tes
Ketika membenamkan seorang ahli dalam pengembangan tes, sangat penting untuk tidak hanya menunjukkan kepadanya “ruang lingkup pekerjaan”, tetapi juga melibatkan dia dalam prosedur pengembangan itu sendiri.
Cara membuat bekerja dengan seorang ahli menjadi seefektif mungkin:
- Siapkan terlebih dahulu dan luangkan waktu untuk membicarakan ilmu pengembangan tes dan psikometri.
- Fokuskan perhatian evaluator pada pembuatan alat penilaian yang valid dan reliabel, bukan pada daftar pertanyaan.
- Jelaskan bahwa pekerjaannya mencakup tahap persiapan, tidak hanya pengembangan tugas itu sendiri.
Beberapa ahli (karena sifatnya) mungkin menganggap ini sebagai ujian atas pekerjaan mereka sendiri, dan kami menjelaskan kepada mereka bahwa meskipun kami membuat tugas yang sangat baik, tugas tersebut mungkin tidak sesuai dengan tujuan pengujian tertentu.
Agar prosesnya cepat, kami menyiapkan tabel cakupan topik (pengetahuan dan keterampilan) dengan ahlinya, yang merupakan bagian dari spesifikasi tes. Tabel inilah yang memungkinkan kita mengerjakan pertanyaan secara akurat dan menentukan apa yang akan kita ukur. Dalam setiap kasus tertentu, ini dapat dikompilasi sedikit berbeda. Tugas kita adalah memeriksa seberapa baik seseorang memahami pengetahuan dan keterampilan mata kuliah dasar sebelumnya untuk memahami seberapa siap dia untuk belajar di mata kuliah baru.
Rake 4: Berpikir bahwa sang ahli “tahu yang terbaik”
Mengetahui subjeknya dengan lebih baik. Namun hal itu tidak selalu menjelaskan dengan jelas. Sangat penting untuk memeriksa kata-kata dalam tugas. Tulis instruksi yang jelas, misalnya, “Pilih 1 pilihan yang benar.” Dalam 90% kasus, para ahli menyiapkan pertanyaan dengan cara yang mereka sendiri pahami. Dan tidak apa-apa. Namun sebelum menyerahkan tes kepada yang akan mengambilnya, segala sesuatunya perlu diperiksa dan disisir agar peserta tes memahami dengan tepat apa yang dituntut darinya dan tidak melakukan kesalahan hanya karena bisa salah menafsirkan teks tugas.
Untuk menghindari penafsiran ganda terhadap tugas, kami mengadakan “laboratorium kognitif.” Kami meminta orang-orang dari target audiens untuk mengikuti tes, mengatakan dengan lantang apa yang mereka pikirkan dan mencatatnya secara detail. Di “laboratorium kognitif” Anda dapat “menangkap” pertanyaan yang tidak jelas, kata-kata yang buruk, dan mendapatkan masukan pertama dalam ujian.
Rake 5: Abaikan waktu pelaksanaan tes
mode sarkasme: aktif
Tentu saja, ujian kami adalah yang terbaik, semua orang bermimpi untuk lulus! Ya, semua 4 jam.
mode sarkasme: mati
Kalau sudah ada daftar semua yang bisa dicek, yang penting jangan dilakukan (sekilas kedengarannya aneh ya?). Anda harus memotong dengan kejam, mengidentifikasi pengetahuan dan keterampilan utama dengan seorang ahli (ya, sejumlah keterampilan juga dapat diuji dalam tes). Kami melihat jenis tugas dan memperkirakan target waktu penyelesaiannya: jika semuanya masih melebihi batas wajar, kami potong!
Untuk mengurangi volumenya, Anda juga dapat mencoba (dengan hati-hati) menguji dua keterampilan dalam satu tugas. Dalam hal ini, sulit untuk memahami mengapa orang tersebut melakukan kesalahan, tetapi jika dilakukan dengan benar, kedua keterampilan tersebut dapat diperhitungkan. Penting untuk memastikan bahwa 2 keterampilan ini sesuai dengan bidang pengetahuan yang sama.
Rake 6: Tidak memikirkan sistem penilaian
Seringkali dalam menyusun tes penilaian, mereka menggunakan sistem penilaian klasik, misalnya 1 poin untuk tugas mudah dan 2 poin untuk tugas sulit. Tapi ini tidak universal. Jumlah poin berdasarkan hasil tes saja tidak akan memberi tahu kita banyak: kita tidak tahu untuk tugas apa poin ini diterima dan kita hanya dapat menentukan jumlah tugas yang benar. Kita perlu memahami dengan tepat apa yang ditunjukkan oleh peserta tes keterampilan. Selain itu, kami ingin memberikan masukan kepada mereka tentang topik mana yang perlu ditingkatkan.
Bagaimanapun, kami sedang melakukan tes yang akan membagi orang menjadi mereka yang siap dan tidak siap untuk menyelesaikan program, kami akan menyarankan beberapa orang untuk mempersiapkan kursus melalui pelatihan gratis. Penting bagi kami bahwa kelompok ini hanya mencakup mereka yang benar-benar membutuhkan dan siap menerimanya.
Apa yang kami lakukan dalam situasi kami: kami menentukan dalam kelompok kerja pengembang tes kelompok orang mana yang perlu diidentifikasi (misalnya, siap belajar, siap sebagian) dan membentuk tabel karakteristik kelompok tersebut, yang menunjukkan keterampilan dan pengetahuan apa akan relevan untuk kelompok pelatihan siap belajar. Dengan cara ini Anda dapat merumuskan “kesulitan” tugas untuk tes tersebut.
Rake 7: Evaluasi hasil hanya secara otomatis
Tentu saja penilaian harus seobjektif mungkin, sehingga beberapa materi siswa dinilai secara otomatis, “berdasarkan kunci” - membandingkan dengan jawaban yang benar. Meskipun tidak ada sistem pengujian khusus, ada banyak solusi gratis. Dan jika Anda memahami prinsip penulisan skrip, maka Anda dapat melakukan apapun yang Anda inginkan dengan Google form dan hasil dalam tabel. Jika sebagian tugas diperiksa oleh ahlinya, maka kita perlu memikirkan untuk memberikan jawaban kepada ahlinya, tanpa informasi tentang peserta tes. Dan pikirkan bagaimana mengintegrasikan hasil pengujian ahli ke dalam penilaian akhir.
Kami awalnya ingin membuat beberapa tugas terbuka dengan kode, di mana para ahli mengevaluasi solusi berdasarkan kriteria yang telah ditentukan sebelumnya, dan kami bahkan menyiapkan sistem yang mengekspor jawaban individu dari peserta tes ke tabel khusus untuk para ahli, dan kemudian mengimpor hasilnya ke dalam tabel dengan perhitungan penilaian. Namun setelah berdiskusi dengan perwakilan audiens target, manajer produk, dan perancang pendidikan, kami merasa bahwa melakukan wawancara teknis dengan masukan langsung dari pakar dan diskusi tentang kode, serta isu-isu individual, akan jauh lebih efektif dan berguna bagi para peserta itu sendiri. .
Sekarang ahli memverifikasi penyelesaian tes, mengklarifikasi beberapa pertanyaan. Untuk itu, kami telah menyiapkan panduan pertanyaan dan kriteria penilaian teknis wawancara. Sebelum wawancara teknis, penguji menerima peta jawaban peserta tes untuk membantunya memilih pertanyaan yang akan diajukan.
Rake 8: Jangan menjelaskan hasil tes
Memberikan umpan balik kepada peserta merupakan masalah tersendiri. Kita tidak hanya perlu menginformasikan nilai tes saja, namun juga memberikan pemahaman terhadap hasil tes.
Ini bisa berupa:
- Tugas di mana peserta melakukan kesalahan dan diselesaikan dengan benar.
- Topik di mana peserta melakukan kesalahan.
- Peringkatnya di antara mereka yang mengikuti ujian.
- Uraian jenjang peserta, misalnya sesuai dengan uraian jenjang spesialis (berdasarkan uraian lowongan).
Selama peluncuran uji coba pengujian kami, kepada mereka yang ingin mendaftar dalam program ini, beserta hasilnya, kami menunjukkan daftar topik yang perlu ditingkatkan. Namun hal ini tentu belum ideal, kami akan memperbaiki dan memberikan masukan yang lebih baik.
Rake 9: Jangan mendiskusikan pengujian dengan pengembang
Mungkin dampak paling tajam, yang sangat tidak menyenangkan untuk diinjak, adalah mengirimkan tes, deskripsi, dan skala penilaian kepada pengembang “sebagaimana adanya”.
Apa sebenarnya yang perlu dibicarakan:
- Tampilan soal, struktur, posisi grafik, seperti apa pilihan jawaban yang benar.
- Bagaimana cara menghitung skornya (jika diperlukan), apakah ada syarat tambahan.
- Bagaimana umpan balik dihasilkan, di mana mendapatkan SMS, apakah ada blok tambahan yang dibuat secara otomatis.
- Informasi tambahan apa yang perlu Anda kumpulkan dan pada titik mana (kontak yang sama).
Untuk menghindari kesalahpahaman, kami meminta pengembang kami untuk mengkodekan 2 atau 3 pertanyaan berbeda sehingga mereka dapat melihat tampilannya sebelum mengkodekan tes itu sendiri.
Rake 10: Tanpa pengujian, unggah langsung ke produksi
3 kali guys, tesnya harusnya dicek 3 kali oleh orang yang berbeda, atau lebih baik lagi masing-masing 3 kali.Kebenaran ini didapat dengan darah, keringat dan piksel baris kode.
Pengujian kami memeriksa trio berikut:
- Produk - memeriksa tes untuk kinerja, penampilan, mekanik.
- Pengembang tes - memeriksa teks tugas, urutannya, bentuk pengerjaan tes, jenis tugas, jawaban yang benar, keterbacaan, dan tampilan grafik normal.
- Penulis tugas (ahli) memeriksa tes kesetiaan dari posisi ahli.
Contoh dari latihan: hanya pada putaran ketiga, penulis tugas melihat bahwa 1 tugas tetap dalam versi kata-kata yang lama. Semua yang sebelumnya juga aktif memerintah. Namun ketika tes tersebut diberi kode, hasilnya terlihat berbeda dari yang dibayangkan sebelumnya. Kemungkinan besar ada sesuatu yang harus diperbaiki. Hal ini perlu diperhitungkan.
Total
Dengan hati-hati melewati semua "penggaruk" ini, kami membuat yang spesial , untuk menguji pengetahuan pelamar. Siapa pun dapat mengujinya selagi kami menyiapkan materi berikutnya, di mana kami akan memberi tahu Anda apa yang terjadi di dalam bot, dan apa yang kemudian diubah.
Anda bisa mendapatkan profesi yang dicari dari awal atau Naik Level dalam hal keterampilan dan gaji dengan mengikuti kursus online SkillFactory:
- (12 minggu)
- (20 minggu)
- (20 minggu)
- (12 bulan)
Lebih banyak kursus
- (12 bulan)
- (14 minggu)
- (5 minggu)
- (18 bulan)
- (6 bulan)
- (12 bulan)
- (8 bulan)
- (9 bulan)
- (12 bulan)
- (18 bulan)
- (18 bulan)
- (12 bulan)
- (9 bulan)
- (7 bulan)
Sumber: www.habr.com