Sateuacan enrolling dina kursus Machine Learning Advanced anyar, urang nguji calon siswa pikeun nangtukeun tingkat kesiapan maranéhanana sarta ngarti naon kahayang maranéhna kudu nawiskeun pikeun nyiapkeun kursus. Tapi kantun timbul: di hiji sisi, urang kedah nguji pangaweruh dina Élmu Data, di sisi séjén, urang teu bisa ngatur ujian 4-jam full-fledged.
Pikeun ngajawab masalah ieu, kami geus deployed markas TestDev katuhu dina tim ngembangkeun kursus Élmu Data (jeung sigana ieu ngan mimiti). Urang nampilkeun ka anjeun daptar 10 pitfalls anu encountered nalika ngamekarkeun tés pikeun assess pangaweruh. Muga-muga dunya diajar online bakal langkung saé saatos ieu.
Rake 1: Gagal netepkeun tujuan tés sacara jelas
Pikeun nangtukeun tujuan anu leres sareng ngadamel tés anu bakal dipertimbangkeun, dina tahap perencanaan urang kedah ngajawab sababaraha patarosan:
- Naon sabenerna urang pariksa?
- Lingkungan naon anu bakal dilaksanakeun tés sareng mékanika naon anu dianggo? Naon watesan dina lingkungan ieu? Titik anu sami ieu bakal ngamungkinkeun anjeun ngartos syarat téknis pikeun alat anu bakal dilaksanakeun tés, sareng ogé pikeun eusina (upami tés dicandak tina telepon, gambar kedah dibaca sanajan dina layar leutik, éta kedah tiasa ngagedean aranjeunna, jsb).
- Sabaraha lami tés bakal nyandak? Anjeun kedah mikir ngeunaan kaayaan dimana pangguna bakal nyandak tés. Naha aya kaayaan dimana anjeunna kedah ngaganggu prosés tés teras neraskeun deui?
- Bakal aya eupan balik? Kumaha urang ngabentuk sareng nganteurkeunana? Naon anu anjeun kedah nampi? Naha aya selang waktu antara palaksanaan tés sareng eupan balik?
Dina kasus urang, sanggeus ngajawab patarosan ieu, urang nangtukeun daptar di handap ieu tujuan pikeun ujian:
- Tés kedah nunjukkeun naha murid anu bakal datang parantos siap nyandak kursus sareng naha aranjeunna gaduh pangaweruh sareng kaahlian anu cekap.
- Tés kudu méré urang bahan pikeun eupan balik, nunjukkeun topik nu siswa nyieun kasalahan, ambéh maranéhanana bisa ngaronjatkeun pangaweruh maranéhanana. Kami bakal nyarioskeun ka anjeun kumaha cara nyusunna di handap.
Rake 2: Gagal nyieun spésifikasi téknis pikeun panulis tés ahli
Pikeun nyusun item tés, penting pisan ngalibetkeun ahli dina widang anu diuji pangaweruh. Sareng pikeun ahli, anjeun peryogi spésifikasi téknis anu kompeten (deskripsi), anu kalebet topik tés, pangaweruh / kaahlian anu diuji sareng tingkatna.
Ahli henteu bakal ngalakukeun spésifikasi téknis sapertos kitu pikeun dirina, sabab tugasna nyaéta ngadamel tugas, sanés struktur tés. Sumawona, sababaraha urang ngembangkeun tés sacara profésional, bahkan dina prosés ngajar. Ieu diajarkeun dina husus husus - psychometrics.
Lamun hayang gancang meunang acquainted jeung psychometrics, teras di Rusia aya kanggo sadayana anu minat. Pikeun ulikan leuwih jero, Institute of Education boga jeung sakola pascasarjana.
Nalika Nyiapkeun spésifikasi téknis, urang kumpulkeun pedaran detil tés pikeun ahli (atawa hadé, babarengan jeung anjeunna): jejer tugas, jenis tugas, jumlah maranéhanana.
Kumaha carana milih jinis tugas: sanggeus mutuskeun dina jejer, urang mutuskeun tugas nu pangalusna bisa nguji ieu? Pilihan klasik: tugas kabuka, tugas pilihan ganda atanapi tunggal, cocog, sareng sajabana (ulah hilap ngeunaan watesan téknis lingkungan tés!). Saatos nangtukeun sareng netepkeun jinis tugas, kami ngagaduhan spésifikasi téknis anu siap-siap pikeun ahli. Anjeun tiasa nyauran éta spésifikasi tés.
rake 3: Teu ngalibetkeun ahli dina ngembangkeun test
Nalika neuleumkeun ahli dina pamekaran tés, penting pisan henteu ngan ukur nunjukkeun ka anjeunna "wengkuan padamelan", tapi ngalibetkeun anjeunna dina prosedur pangwangunan éta sorangan.
Kumaha carana sangkan gawé bareng hiji ahli saefektif mungkin:
- Nyetél sateuacanna sareng nyéépkeun waktos ngobrol ngeunaan élmu pangembangan tés sareng psikométri.
- Fokuskeun perhatian evaluator kana nyiptakeun alat penilaian anu valid sareng dipercaya, sanés daptar patarosan.
- Ngajelaskeun yén karyana ngawengku tahap persiapan, teu ukur ngembangkeun tugas sorangan.
Sababaraha ahli (kusabab sipatna) tiasa nganggap ieu salaku tés pikeun karyana sorangan, sareng kami ngajelaskeun ka aranjeunna yén sanaos urang nyiptakeun tugas anu saé, aranjeunna tiasa waé henteu cocog sareng tujuan tés khusus.
Pikeun ngajantenkeun prosésna gancang, urang nyiapkeun méja cakupan topik (pangaweruh sareng kaahlian) sareng ahli, anu mangrupikeun bagian tina spésifikasi tés. Ieu tabel anu ngamungkinkeun urang pikeun akurat ngerjakeun patarosan sareng nangtukeun naon anu bakal urang ukur. Dina unggal kasus husus bisa disusun rada béda. Tugas urang nyaéta pikeun mariksa kumaha ogé jalma ngartos pangaweruh sareng kaahlian kursus-kursus dasar sateuacana pikeun ngartos kumaha siap anjeunna diajar dina kursus anyar.
Rake 4: Mikir yén ahli "paling terang"
Langkung terang subjekna. Tapi teu salawasna ngajelaskeun jelas. Hal ieu kacida penting pikeun pariksa wording tina assignments. Tulis paréntah anu jelas, contona, "Pilih 1 pilihan anu leres." Dina 90% kasus, para ahli nyiapkeun patarosan dina cara anu aranjeunna ngartos sorangan. Sareng éta henteu kunanaon. Tapi saencan nyerahkeun tés ka anu bakal nyandak éta, sadayana kedah dipariksa sareng disisir supados jalma-jalma anu nyandak ujian ngartos persis naon anu dibutuhkeun ku aranjeunna sareng henteu ngalakukeun kasalahan ngan kusabab aranjeunna tiasa salah ngartikeun téks tugas.
Pikeun ngahindarkeun interpretasi ganda tina tugas, urang ngalaksanakeun "laboratorium kognitif." Kami naroskeun ka jalma-jalma ti pamiarsa targét pikeun nyandak tés, nyarios nyaring naon anu aranjeunna pikirkeun sareng ngarékam sacara rinci. Di "laboratorium kognitif" anjeun tiasa "nyekel" patarosan anu teu jelas, kecap-kecap anu goréng, sareng kéngingkeun tanggapan anu munggaran dina tés.
rake 5: Malire waktu palaksanaan test
modus sarkasme: on
Tangtosna, tés kami anu pangsaéna, sadayana impian pikeun lulus! Leres, sadayana 4 jam.
modus sarcasm: pareum
Lamun aya daptar sagalana nu bisa dipariksa, hal utama teu ngalakukeun eta (dina glance kahiji disada aneh, teu eta?). Anjeun kudu ruthlessly motong, identifying pangaweruh konci jeung kaahlian jeung ahli (enya, sababaraha kaahlian ogé bisa diuji dina test). Kami ningali jinis tugas sareng estimasi waktos parantosan target: upami sadayana masih langkung ti wates anu wajar, kami motong éta!
Pikeun ngirangan polumeu, anjeun ogé tiasa nyobian (sacara ati-ati) nguji dua kaahlian dina hiji tugas. Dina hal ieu, hese ngarti naha jalma nu nyieun kasalahan, tapi lamun dipigawé leres, duanana kaahlian bisa dicokot kana rekening. Penting pikeun mastikeun yén 2 kaahlian ieu cocog sareng daérah pangaweruh anu sami.
rake 6: Teu mikir ngaliwatan sistem skor
Seringna, nalika nyusun tés penilaian, aranjeunna nganggo sistem skor klasik, contona, 1 poin pikeun tugas anu gampang sareng 2 poin pikeun anu sesah. Tapi teu universal. Ngan jumlah poin dumasar kana hasil tés moal nyarioskeun ka urang: urang henteu terang tugas mana anu ditampi sareng urang ngan ukur tiasa nangtukeun jumlah tugas anu leres. Urang kedah ngartos persis naon anu ditunjukkeun ku panaliti tés. Salaku tambahan, kami hoyong masihan aranjeunna eupan balik ngeunaan topik anu kedah dironjatkeun.
Barina ogé, kami ngalakukeun tés anu bakal ngabagi jalma kana anu siap sareng anu henteu siap pikeun ngarengsekeun program; kami bakal mamatahan sababaraha pikeun nyiapkeun kursus ngaliwatan pelatihan gratis. Penting pikeun urang yén grup ieu ngan ukur kalebet anu leres-leres peryogi sareng anu siap pikeun éta.
Naon anu urang laksanakeun dina kaayaan urang: urang nangtukeun dina grup kerja pamekar tés mana kelompok jalma anu kedah diidentifikasi (contona, siap diajar, sawaréh siap) sareng ngabentuk tabel karakteristik grup sapertos kitu, nunjukkeun naon kaahlian sareng pangaweruh. bakal relevan pikeun grup latihan siap diajar. Ku cara ieu anjeun tiasa ngarumuskeun "kasusah" tugas pikeun tés sapertos kitu.
rake 7: Evaluate hasil ukur otomatis
Tangtosna, penilaian kedah janten obyektif sabisa, ku kituna sababaraha bahan murid ditaksir sacara otomatis, "ku konci" - ngabandingkeun sareng jawaban anu leres. Sanaos teu aya sistem uji khusus, aya seueur solusi gratis. Sareng upami anjeun ngartos prinsip nyerat naskah, maka anjeun tiasa ngalakukeun naon waé anu anjeun pikahoyong sareng bentuk Google sareng hasil dina tabél. Upami sababaraha pancén dipariksa ku para ahli, maka urang kedah mikir ngeunaan nganteurkeun jawaban ka para ahli, tanpa inpormasi ngeunaan anu nyandak tés. Sareng pikirkeun kumaha ngahijikeun hasil tés ahli kana penilaian ahir.
Urang mimitina hayang nyieun sababaraha tugas kabuka-réngsé jeung kode, dimana para ahli evaluate solusi dumasar kana kriteria pre-kabentuk, sarta kami malah nyiapkeun sistem nu ékspor waleran individu ti pamilon test ka méja husus pikeun ahli, lajeng impor hasilna kana. tabél kalawan itungan assessment. Tapi sanggeus nyawalakeun jeung wawakil panongton target, manajer produk jeung desainer atikan, urang ngarasa yén ngalakonan wawancara teknis jeung eupan balik ahli instan jeung diskusi ngeunaan kode, kitu ogé masalah individu, bakal leuwih éféktif jeung mangpaat pikeun pamilon sorangan. .
Ayeuna ahli marios parantosan tés, ngajelaskeun sababaraha patarosan. Pikeun ngalakukeun ieu, kami parantos nyiapkeun pituduh patarosan sareng kriteria penilaian pikeun wawancara téknis. Sateuacan wawancara téknis, pamariksaan nampi kartu jawaban panampi tés pikeun milih patarosan anu badé ditaroskeun.
rake 8: Ulah ngajelaskeun hasil tés
Nyadiakeun eupan balik ka pamilon mangrupakeun masalah misah. Urang kedah henteu ngan ukur nginpokeun ngeunaan skor tés, tapi ogé masihan pamahaman hasil tés.
Ieu tiasa:
- Tugas dimana pamilon ngalakukeun kasalahan sareng anu anjeunna réngsé leres.
- Topik dimana pamilon nyieun kasalahan.
- Rengkingna diantara anu nyandak ujian.
- Katerangan tingkat pamilon, saluyu, contona, kalayan katerangan tingkat spesialis (dumasar kana katerangan lowongan).
Salila peluncuran pilot test kami, ka jalma anu hayang enroll dina program, babarengan jeung hasil, urang némbongkeun daptar jejer nu perlu ningkat. Tapi ieu pasti henteu idéal, kami bakal ningkatkeun sareng masihan eupan balik anu langkung saé.
rake 9: Ulah ngabahas test jeung pamekar
Bisa oge rake sharpest, nu utamana pikaresepeun pikeun step on, ngirim tés, déskripsi jeung skala skor ka pamekar "sakumaha".
Naon kahayang perlu dibahas:
- Penampilan patarosan, struktur, posisi grafik, kumaha pilihan jawaban anu leres.
- Kumaha skor diitung (upami diperlukeun), aya kaayaan tambahan.
- Kumaha eupan balik dihasilkeun, dimana meunang téks, aya tambahan blok otomatis dihasilkeun.
- Inpormasi tambahan naon anu anjeun kedah kumpulkeun sareng iraha waé (kontak anu sami).
Pikeun ngahindarkeun salah paham, kami naroskeun ka pamekar kami pikeun naroskeun 2 atanapi 3 patarosan anu béda-béda supados aranjeunna tiasa ningali kumaha rupana sateuacan ngodekeun tés éta sorangan.
Rake 10: Tanpa nguji, unggah langsung ka produksi
3 kali, guys, tes kudu dipariksa 3 kali ku jalma béda, atawa hadé acan, 3 kali unggal. Kabeneran ieu dicandak ku getih, kesang jeung piksel tina garis kode.
Tés kami pariksa trio ieu:
- Produk - pariksa tés pikeun pagelaran, penampilan, mékanika.
- Pangembang tés - mariksa téks tugas, urutanna, bentuk damel sareng tés, jinis tugas, jawaban anu leres, kabacaan sareng tampilan grafik anu normal.
- Panulis tugas (ahli) mariksa tés pikeun kasatiaan tina posisi ahli.
Conto tina prakték: ngan dina ngajalankeun katilu, panulis tugas nempo yén 1 tugas tetep dina versi heubeul tina wording nu. Kabéh saméméhna ogé aktip maréntah. Tapi nalika tés disandi, éta katingali béda ti anu dibayangkeun. Éta kamungkinan pisan yén aya anu kedah dilereskeun. Ieu perlu dicokot kana rekening.
hasil
Taliti bypassing sadayana ieu "rake", urang dijieun husus , pikeun nguji pangaweruh pelamar. Saha waé tiasa nguji éta nalika urang nyiapkeun bahan anu salajengna, dimana kami bakal nyarioskeun ka anjeun naon anu kajantenan di jero bot, sareng naon anu dirobih janten engké.
Anjeun tiasa kéngingkeun profési anu dipilarian ti mimiti atanapi Level Up dina hal kaahlian sareng gaji ku nyandak kursus online SkillFactory:
- (12 minggu)
- (20 minggu)
- (20 minggu)
- (12 bulan)
Langkung kursus
- (12 bulan)
- (14 minggu)
- (5 minggu)
- (18 bulan)
- (6 bulan)
- (12 bulan)
- (8 bulan)
- (9 bulan)
- (12 bulan)
- (18 bulan)
- (18 bulan)
- (12 bulan)
- (9 bulan)
- (7 bulan)
sumber: www.habr.com