Sebelum mendaftar dalam kursus Lanjutan Pembelajaran Mesin baharu, kami menguji bakal pelajar untuk menentukan tahap kesediaan mereka dan memahami perkara yang perlu mereka tawarkan untuk menyediakan kursus tersebut. Tetapi dilema timbul: di satu pihak, kita mesti menguji pengetahuan dalam Sains Data, di sisi lain, kita tidak boleh mengatur peperiksaan 4 jam penuh.
Untuk menyelesaikan masalah ini, kami telah menggunakan ibu pejabat TestDev terus dalam pasukan pembangunan kursus Sains Data (dan nampaknya ini hanya permulaan). Kami membentangkan kepada anda senarai 10 perangkap yang dihadapi semasa membangunkan ujian untuk menilai pengetahuan. Semoga dunia pembelajaran dalam talian akan bertambah baik sedikit selepas ini.
Rake 1: Gagal mentakrifkan matlamat ujian dengan jelas
Untuk menentukan matlamat dengan betul dan membuat ujian yang akan mengambil kiranya, pada peringkat perancangan kita mesti menjawab beberapa soalan:
- Apa yang kita periksa sebenarnya?
- Dalam persekitaran apakah ujian akan berlaku dan mekanik apa yang digunakan? Apakah batasan dalam persekitaran ini? Perkara yang sama ini akan membolehkan anda memahami keperluan teknikal untuk peranti yang mana ujian akan dijalankan, dan juga untuk kandungan (jika ujian diambil dari telefon, gambar harus boleh dibaca walaupun pada skrin kecil, ia harus mungkin untuk membesarkannya, dsb.).
- Berapa lama ujian akan diambil? Anda perlu memikirkan keadaan di mana pengguna akan mengambil ujian. Mungkinkah terdapat situasi di mana dia perlu mengganggu proses ujian dan kemudian meneruskan lagi?
- Adakah terdapat maklum balas? Bagaimana kita membentuk dan menyampaikannya? Apa yang anda perlu terima? Adakah terdapat selang masa antara pelaksanaan ujian dan maklum balas?
Dalam kes kami, setelah menjawab soalan-soalan ini, kami menentukan senarai matlamat berikut untuk ujian:
- Ujian harus menunjukkan sama ada pelajar akan datang bersedia untuk mengambil kursus dan sama ada mereka mempunyai pengetahuan dan kemahiran yang mencukupi.
- Ujian harus memberi kami bahan untuk maklum balas, menunjukkan topik di mana pelajar membuat kesilapan, supaya mereka dapat meningkatkan pengetahuan mereka. Kami akan memberitahu anda cara mengarangnya di bawah.
Rake 2: Kegagalan merangka spesifikasi teknikal untuk penulis ujian pakar
Untuk menyusun item ujian, adalah sangat penting untuk melibatkan pakar dalam bidang di mana pengetahuan diuji. Dan bagi seorang pakar pula, anda memerlukan spesifikasi teknikal yang cekap (huraian), yang merangkumi topik ujian, pengetahuan/kemahiran yang diuji dan tahapnya.
Seorang pakar tidak akan melakukan spesifikasi teknikal sedemikian untuk dirinya sendiri, kerana tugasnya adalah untuk menghasilkan tugas, bukan struktur ujian. Selain itu, beberapa orang membangunkan ujian secara profesional, walaupun dalam proses pengajaran. Ini diajar dalam kepakaran yang berasingan - psikometrik.
Jika anda ingin cepat berkenalan dengan psikometrik, maka di Rusia ada untuk semua yang berminat. Untuk kajian yang lebih mendalam, Institut Pendidikan telah dan sekolah siswazah.
Apabila menyediakan spesifikasi teknikal, kami mengumpul penerangan terperinci tentang ujian untuk pakar (atau lebih baik, bersama-sama dengannya): topik tugas, jenis tugas, bilangan mereka.
Bagaimana untuk memilih jenis tugasan: setelah memutuskan topik, kami memutuskan tugas mana yang terbaik untuk menguji ini? Pilihan klasik: tugasan terbuka, tugasan berbilang atau pilihan tunggal, padanan, dsb. (jangan lupa tentang had teknikal persekitaran ujian!). Selepas menentukan dan menentukan jenis tugas, kami mempunyai spesifikasi teknikal siap sedia untuk pakar. Anda boleh memanggilnya spesifikasi ujian.
Rake 3: Tidak melibatkan pakar dalam pembangunan ujian
Apabila membenamkan pakar dalam pembangunan ujian, sangat penting bukan hanya untuk menunjukkan kepadanya "skop kerja", tetapi untuk melibatkannya dalam prosedur pembangunan itu sendiri.
Cara membuat bekerja dengan pakar seefektif mungkin:
- Sediakannya lebih awal dan luangkan sedikit masa bercakap tentang sains pembangunan ujian dan psikometrik.
- Tumpukan perhatian penilai untuk mencipta alat penilaian yang sah dan boleh dipercayai, bukan senarai soalan.
- Jelaskan bahawa kerjanya termasuk peringkat persediaan, bukan sahaja pembangunan tugas itu sendiri.
Sesetengah pakar (disebabkan sifat mereka) mungkin menganggap ini sebagai ujian terhadap kerja mereka sendiri, dan kami menerangkan kepada mereka bahawa walaupun kami mencipta tugasan yang sangat baik, mereka mungkin tidak sesuai dengan matlamat ujian tertentu.
Untuk mempercepatkan proses, kami menyediakan jadual liputan topik (pengetahuan dan kemahiran) dengan pakar, yang merupakan sebahagian daripada spesifikasi ujian. Jadual inilah yang membolehkan kami menyelesaikan soalan dengan tepat dan menentukan perkara yang akan kami ukur. Dalam setiap kes tertentu ia boleh disusun sedikit berbeza. Tugas kami adalah untuk menyemak sejauh mana seseorang memahami pengetahuan dan kemahiran kursus asas yang terdahulu untuk memahami sejauh mana dia bersedia untuk belajar dalam kursus baru.
Rake 4: Berfikir bahawa pakar "tahu yang terbaik"
Lebih tahu subjek. Tetapi ia tidak selalu menerangkan dengan jelas. Adalah sangat penting untuk menyemak kata-kata tugasan. Tulis arahan yang jelas, contohnya, "Pilih 1 pilihan yang betul." Dalam 90% kes, pakar menyediakan soalan dengan cara yang mereka sendiri fahami. Dan tidak mengapa. Tetapi sebelum menyerahkan ujian kepada mereka yang akan mengambilnya, segala-galanya perlu disemak dan disikat supaya orang yang mengambil ujian itu memahami betul-betul apa yang diperlukan daripada mereka dan tidak melakukan kesilapan hanya kerana mereka mungkin tersalah tafsir teks tugasan.
Untuk mengelakkan tafsiran berganda tugas, kami menjalankan "makmal kognitif." Kami meminta orang daripada khalayak sasaran untuk mengambil ujian, menyatakan dengan lantang apa yang mereka fikirkan dan merekodkannya secara terperinci. Di "makmal kognitif" anda boleh "menangkap" soalan yang tidak jelas, perkataan yang buruk dan mendapatkan maklum balas pertama mengenai ujian.
Rake 5: Abaikan masa pelaksanaan ujian
mod sindiran: hidup
Sudah tentu, ujian kami adalah yang terbaik, semua orang mengimpikan untuk lulus! Ya, semua 4 jam.
mod sindiran: padam
Apabila terdapat senarai semua yang boleh disemak, perkara utama adalah untuk tidak melakukannya (pada pandangan pertama ia kedengaran pelik, bukan?). Anda perlu memotong, mengenal pasti pengetahuan dan kemahiran utama dengan pakar (ya, beberapa kemahiran juga boleh diuji dalam ujian). Kami melihat jenis tugasan dan menganggarkan masa penyiapan sasaran: jika semuanya masih melebihi had yang munasabah, kami memotongnya!
Untuk mengurangkan kelantangan, anda juga boleh mencuba (berhati-hati) menguji dua kemahiran dalam satu tugas. Dalam kes ini, sukar untuk memahami mengapa orang itu melakukan kesilapan, tetapi jika dilakukan dengan betul, kedua-dua kemahiran boleh diambil kira. Adalah penting untuk memastikan bahawa 2 kemahiran ini sepadan dengan bidang pengetahuan yang sama.
Rake 6: Tidak berfikir melalui sistem pemarkahan
Selalunya, apabila menyusun ujian penilaian, mereka menggunakan sistem pemarkahan klasik, contohnya, 1 mata untuk tugasan yang mudah dan 2 mata untuk yang sukar. Tetapi ia tidak universal. Hanya jumlah mata berdasarkan keputusan ujian akan memberitahu kami sedikit: kami tidak tahu untuk tugas mana mata ini diterima dan kami hanya boleh menentukan bilangan tugas yang betul. Kami memerlukan pemahaman yang tepat tentang perkara yang ditunjukkan oleh pengambil ujian kemahiran. Di samping itu, kami ingin memberi mereka maklum balas tentang topik yang perlu diperbaiki.
Lagipun, kami sedang melakukan ujian yang akan membahagikan orang kepada mereka yang bersedia dan mereka yang tidak bersedia untuk melengkapkan program; kami akan menasihati beberapa orang untuk membuat persediaan untuk kursus melalui latihan percuma. Adalah penting bagi kami bahawa kumpulan ini hanya merangkumi mereka yang benar-benar memerlukannya dan yang bersedia untuknya.
Perkara yang kami lakukan dalam situasi kami: kami menentukan dalam kumpulan kerja pembangun ujian kumpulan orang mana yang perlu dikenal pasti (contohnya, sedia untuk belajar, separa bersedia) dan membentuk jadual ciri kumpulan sedemikian, menunjukkan kemahiran dan pengetahuan apa akan relevan untuk kumpulan latihan sedia untuk belajar. Dengan cara ini anda boleh merumuskan "kesukaran" tugasan untuk ujian tersebut.
Rake 7: Nilai hasil hanya secara automatik
Sudah tentu, penilaian haruslah seobjektif mungkin, jadi beberapa bahan pelajar dinilai secara automatik, "dengan kunci" - membandingkan dengan jawapan yang betul. Walaupun tiada sistem ujian khas, terdapat banyak penyelesaian percuma. Dan jika anda memahami prinsip menulis skrip, maka anda boleh melakukan apa sahaja yang anda mahu dengan borang Google dan hasil dalam jadual. Jika beberapa tugasan diperiksa oleh pakar, maka kita perlu memikirkan tentang menyampaikan jawapan kepada pakar, tanpa maklumat tentang peserta ujian. Dan fikirkan tentang cara mengintegrasikan hasil ujian pakar ke dalam penilaian akhir.
Kami pada mulanya ingin membuat beberapa tugasan terbuka dengan kod, di mana pakar menilai penyelesaian berdasarkan kriteria yang telah dibentuk, malah kami menyediakan sistem yang mengeksport jawapan individu daripada peserta ujian ke jadual khas untuk pakar, dan kemudian mengimport hasilnya ke dalam jadual dengan pengiraan penilaian. Tetapi selepas berbincang dengan wakil khalayak sasaran, pengurus produk dan pereka bentuk pendidikan, kami merasakan bahawa menjalankan temu bual teknikal dengan maklum balas pakar segera dan perbincangan tentang kod, serta isu individu, akan menjadi lebih berkesan dan berguna untuk peserta itu sendiri. .
Kini pakar mengesahkan penyiapan ujian, menjelaskan beberapa soalan. Untuk melakukan ini, kami telah menyediakan panduan soalan dan kriteria penilaian untuk temu duga teknikal. Sebelum temu duga teknikal, pemeriksa menerima peta jawapan pengambil ujian untuk membantunya memilih soalan untuk ditanya.
Rake 8: Jangan terangkan keputusan ujian
Memberi maklum balas kepada peserta adalah isu yang berasingan. Kita bukan sahaja perlu memaklumkan tentang markah ujian, tetapi juga memberikan pemahaman tentang keputusan ujian.
Ini boleh:
- Tugasan di mana peserta membuat kesilapan dan yang dia selesaikan dengan betul.
- Topik di mana peserta membuat kesilapan.
- Kedudukannya antara mereka yang mengambil peperiksaan.
- Penerangan tahap peserta, selaras, sebagai contoh, dengan penerangan tahap pakar (berdasarkan keterangan kekosongan).
Semasa pelancaran perintis ujian kami, kepada mereka yang ingin mendaftar dalam program, bersama dengan keputusan, kami menunjukkan senarai topik yang perlu diperbaiki. Tetapi ini sememangnya tidak sesuai, kami akan menambah baik dan memberikan maklum balas yang lebih baik.
Rake 9: Jangan bincangkan ujian dengan pembangun
Mungkin rake paling tajam, yang sangat tidak menyenangkan untuk dipijak, adalah untuk menghantar ujian, penerangan dan skala pemarkahan kepada pemaju "sebagaimana adanya".
Apa sebenarnya yang perlu dibincangkan:
- Kemunculan soalan, struktur, kedudukan grafik, bagaimana pilihan jawapan yang betul.
- Bagaimanakah markah dikira (jika perlu), adakah terdapat sebarang syarat tambahan.
- Bagaimanakah maklum balas dijana, tempat untuk mendapatkan teks, adakah terdapat blok tambahan yang dijana secara automatik.
- Apakah maklumat tambahan yang anda perlukan untuk kumpulkan dan pada titik mana (kenalan yang sama).
Untuk mengelakkan salah faham, kami meminta pembangun kami mengekodkan 2 atau 3 soalan berbeza supaya mereka dapat melihat rupa mereka sebelum mengekodkan ujian itu sendiri.
Rake 10: Tanpa ujian, muat naik terus ke pengeluaran
3 kali, kawan-kawan, ujian itu harus diperiksa 3 kali oleh orang yang berbeza, atau lebih baik lagi, 3 kali setiap satu. Kebenaran ini diperoleh dengan darah, peluh dan piksel baris kod.
Ujian kami menyemak trio berikut:
- Produk - menyemak ujian untuk prestasi, penampilan, mekanik.
- Pembangun ujian - menyemak teks tugasan, susunannya, bentuk kerja dengan ujian, jenis tugasan, jawapan yang betul, kebolehbacaan dan paparan grafik biasa.
- Pengarang tugas (pakar) menyemak ujian untuk kesetiaan daripada kedudukan pakar.
Contoh daripada latihan: hanya pada larian ketiga, pengarang tugasan melihat bahawa 1 tugasan kekal dalam versi lama perkataan. Semua yang sebelumnya juga aktif memerintah. Tetapi apabila ujian dikodkan, ia kelihatan berbeza daripada yang dibayangkan pada asalnya. Kemungkinan besar ada sesuatu yang perlu diperbetulkan. Ini perlu diambil kira.
Jumlah
Berhati-hati memintas semua "rake" ini, kami mencipta yang istimewa , untuk menguji pengetahuan pemohon. Sesiapa sahaja boleh mengujinya semasa kami menyediakan bahan seterusnya, yang mana kami akan memberitahu anda apa yang berlaku di dalam bot, dan apa yang semuanya berubah menjadi kemudian.
Anda boleh mendapatkan profesion yang dicari dari awal atau Naik Tahap dari segi kemahiran dan gaji dengan mengikuti kursus dalam talian SkillFactory:
- (12 minggu)
- (20 minggu)
- (20 minggu)
- (12 bulan)
Lebih banyak kursus
- (12 bulan)
- (14 minggu)
- (5 minggu)
- (18 bulan)
- (6 bulan)
- (12 bulan)
- (8 bulan)
- (9 bulan)
- (12 bulan)
- (18 bulan)
- (18 bulan)
- (12 bulan)
- (9 bulan)
- (7 bulan)
Sumber: www.habr.com