โปรโฮสต์ > บล็อก > การบริหาร > การเดินบนคราด: 10 ข้อผิดพลาดที่สำคัญในการพัฒนาการทดสอบความรู้

การเดินบนคราด: 10 ข้อผิดพลาดที่สำคัญในการพัฒนาการทดสอบความรู้

การเดินบนคราด: 10 ข้อผิดพลาดที่สำคัญในการพัฒนาการทดสอบความรู้
ก่อนที่จะลงทะเบียนในหลักสูตร Machine Learning Advanced ใหม่ เราจะทดสอบผู้สนใจศึกษาเพื่อกำหนดระดับความพร้อมและทำความเข้าใจสิ่งที่พวกเขาต้องเสนอเพื่อเตรียมตัวสำหรับหลักสูตรนี้ แต่เกิดภาวะที่กลืนไม่เข้าคายไม่ออก ในด้านหนึ่งเราต้องทดสอบความรู้ด้าน Data Science อีกด้านหนึ่งเราไม่สามารถจัดให้มีการสอบ 4 ชั่วโมงเต็มได้

เพื่อแก้ไขปัญหานี้ เราได้ปรับใช้สำนักงานใหญ่ TestDev ในทีมพัฒนาหลักสูตร Data Science (และดูเหมือนว่านี่เป็นเพียงจุดเริ่มต้น) เรานำเสนอรายการข้อผิดพลาด 10 ประการที่คุณพบเมื่อพัฒนาแบบทดสอบเพื่อประเมินความรู้ หวังว่าโลกของการเรียนรู้ออนไลน์จะดีขึ้นเล็กน้อยหลังจากนี้

คราด 1: ไม่สามารถกำหนดเป้าหมายการทดสอบได้อย่างชัดเจน

เพื่อที่จะกำหนดเป้าหมายได้อย่างถูกต้องและสร้างการทดสอบที่จะนำมาพิจารณา ในขั้นตอนการวางแผน เราต้องตอบคำถามหลายข้อ:

  1. จริงๆแล้วเรากำลังตรวจสอบอะไรอยู่? 
  2. การทดสอบจะเกิดขึ้นในสภาพแวดล้อมใด และใช้กลไกใดบ้าง ข้อจำกัดในสภาพแวดล้อมนี้มีอะไรบ้าง? จุดเดียวกันนี้จะช่วยให้คุณเข้าใจข้อกำหนดทางเทคนิคสำหรับอุปกรณ์ที่จะทำการทดสอบและสำหรับเนื้อหาด้วย (หากทำการทดสอบจากโทรศัพท์ ควรอ่านรูปภาพได้แม้บนหน้าจอขนาดเล็กก็ตาม สามารถขยายขนาดได้ ฯลฯ)
  3. การทดสอบจะใช้เวลานานเท่าใด? คุณต้องคิดถึงเงื่อนไขที่ผู้ใช้จะทำการทดสอบ มีสถานการณ์ที่เขาจำเป็นต้องขัดขวางกระบวนการทดสอบแล้วดำเนินการต่ออีกครั้งหรือไม่?
  4. จะมีการตอบรับหรือไม่? เราจะสร้างและส่งมอบได้อย่างไร? คุณต้องการรับอะไร? มีเวลาหน่วงระหว่างการดำเนินการทดสอบและคำติชมหรือไม่

ในกรณีของเรา หลังจากที่ตอบคำถามเหล่านี้แล้ว เราได้กำหนดรายการเป้าหมายสำหรับการทดสอบต่อไปนี้:

  1. การทดสอบควรแสดงให้เห็นว่านักเรียนในอนาคตพร้อมที่จะเรียนหลักสูตรนี้หรือไม่ และมีความรู้และทักษะเพียงพอหรือไม่
  2. การทดสอบควรให้ข้อมูลย้อนกลับ ระบุหัวข้อที่นักเรียนทำผิดพลาด เพื่อพัฒนาความรู้ของตนเอง เราจะบอกวิธีเขียนด้านล่างนี้

คราด 2: ความล้มเหลวในการกำหนดข้อกำหนดทางเทคนิคสำหรับผู้เขียนการทดสอบที่เชี่ยวชาญ

ในการเขียนรายการทดสอบ เป็นสิ่งสำคัญมากที่จะต้องให้ผู้เชี่ยวชาญในสาขาที่กำลังทดสอบความรู้มีส่วนร่วม และสำหรับผู้เชี่ยวชาญ คุณจะต้องมีข้อกำหนดทางเทคนิคที่มีความสามารถ (คำอธิบาย) ซึ่งรวมถึงหัวข้อการทดสอบ ความรู้/ทักษะที่กำลังทดสอบ และระดับของการทดสอบ

ผู้เชี่ยวชาญจะไม่ทำข้อกำหนดทางเทคนิคดังกล่าวเพื่อตนเอง เพราะงานของเขาคือคิดงาน ไม่ใช่โครงสร้างของการทดสอบ ยิ่งไปกว่านั้น มีเพียงไม่กี่คนที่พัฒนาแบบทดสอบอย่างมืออาชีพ แม้แต่ในกระบวนการสอนก็ตาม สิ่งนี้สอนในสาขาวิชาพิเศษเฉพาะ - ไซโครเมทริก

หากคุณต้องการทำความคุ้นเคยกับไซโครเมทริกอย่างรวดเร็วแสดงว่ามีในรัสเซีย โรงเรียนภาคฤดูร้อน แก่ผู้สนใจทุกท่าน หากต้องการศึกษาเชิงลึกมากขึ้น สถาบันการศึกษาฯ ได้ ระดับปริญญาโท และบัณฑิตวิทยาลัย

เมื่อเตรียมข้อกำหนดทางเทคนิค เราจะรวบรวมคำอธิบายโดยละเอียดของการทดสอบสำหรับผู้เชี่ยวชาญ (หรือดีกว่านั้นร่วมกับเขา): หัวข้อของงาน ประเภทงาน จำนวนงาน

วิธีเลือกประเภทของงาน: เมื่อตัดสินใจเลือกหัวข้อแล้ว เราตัดสินใจว่างานใดที่สามารถทดสอบสิ่งนี้ได้ดีที่สุด? ตัวเลือกแบบคลาสสิก: งานปลายเปิด งานหลายตัวเลือกหรือหลายตัวเลือก การจับคู่ ฯลฯ (อย่าลืมเกี่ยวกับข้อจำกัดทางเทคนิคของสภาพแวดล้อมการทดสอบ!) หลังจากกำหนดและระบุประเภทของงานแล้ว เราก็มีข้อกำหนดทางเทคนิคสำเร็จรูปสำหรับผู้เชี่ยวชาญ คุณสามารถเรียกมันว่าข้อกำหนดการทดสอบได้

คราด 3: ไม่เกี่ยวข้องกับผู้เชี่ยวชาญในการพัฒนาการทดสอบ

เมื่อรับสมัครผู้เชี่ยวชาญในการพัฒนาการทดสอบ สิ่งสำคัญมากคือไม่เพียงแต่จะต้องระบุ "ขอบเขตของงาน" ให้เขาทราบเท่านั้น แต่ยังต้องให้เขามีส่วนร่วมในขั้นตอนการพัฒนาด้วย

วิธีทำให้การทำงานกับผู้เชี่ยวชาญมีประสิทธิผลมากที่สุด:

  • จัดเตรียมไว้ล่วงหน้าและใช้เวลาพูดคุยเกี่ยวกับวิทยาศาสตร์ของการพัฒนาแบบทดสอบและไซโครเมทริก
  • มุ่งความสนใจของผู้ประเมินไปที่การสร้างเครื่องมือการประเมินที่ถูกต้องและเชื่อถือได้ ไม่ใช่รายการคำถาม
  • อธิบายว่างานของเขาครอบคลุมถึงขั้นเตรียมการ ไม่ใช่แค่การพัฒนางานเท่านั้น

ผู้เชี่ยวชาญบางคน (เนื่องจากธรรมชาติของพวกเขา) อาจมองว่านี่เป็นการทดสอบงานของตนเอง และเราอธิบายให้พวกเขาฟังว่าแม้ว่าเราจะสร้างงานที่ยอดเยี่ยม พวกเขาก็อาจไม่เหมาะกับเป้าหมายการทดสอบเฉพาะเจาะจง

เพื่อให้กระบวนการดำเนินไปอย่างรวดเร็ว เราได้เตรียมตารางครอบคลุมหัวข้อ (ความรู้และทักษะ) กับผู้เชี่ยวชาญ ซึ่งเป็นส่วนหนึ่งของข้อกำหนดการทดสอบ เป็นตารางนี้ที่ช่วยให้เราสามารถตอบคำถามได้อย่างถูกต้องและกำหนดสิ่งที่เราจะวัด ในแต่ละกรณีสามารถรวบรวมได้แตกต่างกันเล็กน้อย งานของเราคือการตรวจสอบว่าบุคคลเข้าใจความรู้และทักษะของหลักสูตรพื้นฐานก่อนหน้าได้ดีเพียงใดเพื่อทำความเข้าใจว่าเขาพร้อมแค่ไหนที่จะเรียนในหลักสูตรใหม่

คราด 4: คิดว่าผู้เชี่ยวชาญ “รู้ดีที่สุด”

รู้หัวข้อดีขึ้น แต่ไม่ได้อธิบายให้ชัดเจนเสมอไป การตรวจสอบถ้อยคำของงานเป็นสิ่งสำคัญมาก เขียนคำแนะนำที่ชัดเจน เช่น “เลือก 1 ตัวเลือกที่ถูกต้อง” ใน 90% ของกรณี ผู้เชี่ยวชาญเตรียมคำถามในแบบที่พวกเขาเข้าใจด้วยตนเอง และก็ไม่เป็นไร แต่ก่อนที่จะส่งมอบแบบทดสอบให้กับผู้ที่จะเข้าสอบ ทุกอย่างจะต้องได้รับการตรวจสอบและหวีเพื่อให้ผู้เข้าสอบเข้าใจอย่างชัดเจนถึงสิ่งที่จำเป็น และไม่ทำผิดพลาดเพียงเพราะพวกเขาอาจตีความเนื้อหาของงานผิด

เพื่อหลีกเลี่ยงการตีความงานซ้ำซ้อน เราจึงดำเนินการ "ห้องปฏิบัติการทางปัญญา" เราขอให้ผู้คนจากกลุ่มเป้าหมายทำแบบทดสอบโดยพูดออกมาดัง ๆ ว่าพวกเขาคิดอย่างไรและบันทึกไว้อย่างละเอียด ที่ "ห้องปฏิบัติการทางปัญญา" คุณสามารถ "จับ" คำถามที่ไม่ชัดเจน การใช้ถ้อยคำที่ไม่เหมาะสม และรับผลตอบรับในการทดสอบครั้งแรก

คราด 5: ละเว้นเวลาดำเนินการทดสอบ

โหมดเสียดสี: เปิด
แน่นอนว่าการทดสอบของเราดีที่สุด ทุกคนใฝ่ฝันที่จะผ่านมันไป! ใช่ ทั้งหมด 4 ชั่วโมง
โหมดเสียดสี: ปิด

เมื่อมีรายการทุกอย่างที่ตรวจสอบได้ สิ่งสำคัญคือ ไม่ต้องทำ (มองแวบแรกฟังดูแปลกๆ ใช่ไหม?) คุณต้องตัดอย่างไร้ความปราณีโดยระบุความรู้และทักษะหลักกับผู้เชี่ยวชาญ (ใช่ คุณสามารถทดสอบทักษะจำนวนหนึ่งได้ในการทดสอบ) เราดูประเภทของงานและประมาณเวลาที่จะสำเร็จตามเป้าหมาย: หากทุกอย่างยังเกินขีดจำกัดที่สมเหตุสมผล เราก็จะตัดมันทิ้ง!

หากต้องการลดระดับเสียง คุณสามารถลองทดสอบสองทักษะ (อย่างระมัดระวัง) ในงานเดียวได้ ในกรณีนี้ เป็นการยากที่จะเข้าใจว่าเหตุใดบุคคลนั้นจึงทำผิดพลาด แต่ถ้าทำอย่างถูกต้อง ทักษะทั้งสองก็สามารถนำมาพิจารณาได้ สิ่งสำคัญคือต้องแน่ใจว่าทักษะ 2 นี้สอดคล้องกับความรู้เดียวกัน

เรค 6: ไม่คิดผ่านระบบการให้คะแนน

บ่อยครั้งเมื่อรวบรวมแบบทดสอบประเมินจะใช้ระบบการให้คะแนนแบบคลาสสิก เช่น 1 คะแนนสำหรับงานที่ง่าย และ 2 คะแนนสำหรับงานที่ยาก แต่มันไม่ใช่สากล ผลรวมของคะแนนจากผลการทดสอบไม่ได้บอกอะไรเรามากนัก เราไม่รู้ว่าคะแนนเหล่านี้ได้รับจากงานใด และเราสามารถระบุได้เพียงจำนวนงานที่ถูกต้องเท่านั้น เราต้องเข้าใจว่าผู้สอบกำลังแสดงทักษะใดบ้าง นอกจากนี้ เราต้องการแสดงความคิดเห็นเกี่ยวกับหัวข้อที่ต้องปรับปรุง

ท้ายที่สุดแล้ว เรากำลังทำแบบทดสอบโดยแบ่งคนออกเป็นคนที่พร้อมและไม่พร้อมจะจบหลักสูตร เราจะแนะนำให้บางคนเตรียมตัวสำหรับหลักสูตรผ่านการฝึกอบรมฟรี เป็นสิ่งสำคัญสำหรับเราที่กลุ่มนี้รวมเฉพาะผู้ที่ต้องการมันจริงๆ และผู้ที่พร้อมสำหรับมันเท่านั้น

สิ่งที่เราทำในสถานการณ์ของเรา: เรากำหนดภายในคณะทำงานของนักพัฒนาทดสอบว่ากลุ่มคนใดที่ต้องระบุ (เช่น พร้อมที่จะเรียนรู้ พร้อมบางส่วน) และสร้างตารางลักษณะของกลุ่มดังกล่าว ระบุว่าทักษะและความรู้ใด จะเกี่ยวข้องกับกลุ่มฝึกอบรมพร้อมเรียนรู้ วิธีนี้ทำให้คุณสามารถกำหนด "ความยาก" ของงานสำหรับการทดสอบดังกล่าวได้

คราด 7: ประเมินผลลัพธ์โดยอัตโนมัติเท่านั้น

แน่นอนว่า การประเมินควรเป็นไปตามวัตถุประสงค์ที่สุดเท่าที่จะเป็นไปได้ ดังนั้นสื่อการสอนของนักเรียนบางส่วนจะได้รับการประเมินโดยอัตโนมัติ "ตามคีย์" - เปรียบเทียบกับคำตอบที่ถูกต้อง แม้ว่าจะไม่มีระบบการทดสอบพิเศษ แต่ก็มีวิธีแก้ปัญหาฟรีมากมาย และถ้าคุณเข้าใจหลักการเขียนสคริปต์ คุณก็สามารถทำอะไรก็ได้ที่ต้องการด้วยแบบฟอร์มของ Google และผลลัพธ์ในตาราง หากงานบางอย่างได้รับการตรวจสอบโดยผู้เชี่ยวชาญ เราต้องคิดถึงการส่งคำตอบให้กับผู้เชี่ยวชาญ โดยไม่มีข้อมูลเกี่ยวกับผู้สอบ และคิดหาวิธีบูรณาการผลการทดสอบของผู้เชี่ยวชาญเข้ากับการประเมินขั้นสุดท้าย

ในตอนแรก เราต้องการสร้างงานปลายเปิดหลายๆ งานด้วยโค้ด โดยที่ผู้เชี่ยวชาญประเมินวิธีแก้ปัญหาตามเกณฑ์ที่กำหนดไว้ล่วงหน้า และเรายังเตรียมระบบที่ส่งออกคำตอบแต่ละรายการจากผู้เข้าร่วมการทดสอบไปยังตารางพิเศษสำหรับผู้เชี่ยวชาญ จากนั้นจึงนำเข้าผลลัพธ์ไปที่ ตารางการคำนวณการประเมิน แต่หลังจากหารือกับตัวแทนของกลุ่มเป้าหมาย ผู้จัดการผลิตภัณฑ์ และนักออกแบบด้านการศึกษาแล้ว เรารู้สึกว่าการดำเนินการสัมภาษณ์ทางเทคนิคพร้อมคำติชมจากผู้เชี่ยวชาญทันทีและการอภิปรายเกี่ยวกับโค้ด รวมถึงปัญหาส่วนบุคคล จะมีประสิทธิภาพและเป็นประโยชน์มากขึ้นสำหรับผู้เข้าร่วมเอง .

ตอนนี้ผู้เชี่ยวชาญตรวจสอบความสมบูรณ์ของการทดสอบ พร้อมชี้แจงคำถามบางข้อ เพื่อดำเนินการนี้ เราได้เตรียมคำแนะนำสำหรับคำถามและเกณฑ์การประเมินสำหรับการสัมภาษณ์ทางเทคนิค ก่อนการสัมภาษณ์ทางเทคนิค ผู้สอบจะได้รับแผนที่คำตอบของผู้สอบเพื่อช่วยเลือกคำถามที่จะถาม

คราด 8: ไม่ต้องอธิบายผลการทดสอบ

การให้ข้อเสนอแนะแก่ผู้เข้าร่วมเป็นประเด็นแยกต่างหาก เราไม่เพียงต้องแจ้งคะแนนสอบเท่านั้น แต่ยังต้องทำความเข้าใจผลการทดสอบด้วย
เหล่านี้สามารถ: 

  • งานที่ผู้เข้าร่วมทำผิดและทำถูกต้อง
  • หัวข้อที่ผู้เข้าร่วมทำผิดพลาด
  • อันดับของเขาในหมู่ผู้เข้าสอบ
  • คำอธิบายระดับของผู้เข้าร่วมตาม เช่น คำอธิบายระดับผู้เชี่ยวชาญ (ขึ้นอยู่กับคำอธิบายตำแหน่งงานว่าง)

ในระหว่างการเปิดตัวการทดสอบนำร่องของเรา เราได้แสดงรายการหัวข้อที่ต้องปรับปรุงสำหรับผู้ที่ต้องการลงทะเบียนในโปรแกรมพร้อมกับผลลัพธ์ แต่นี่ไม่เหมาะอย่างแน่นอน เราจะปรับปรุงและให้ข้อเสนอแนะที่ดีขึ้น

คราด 9: อย่าหารือเกี่ยวกับการทดสอบกับนักพัฒนา

บางทีคราดที่คมที่สุดซึ่งไม่น่าพึงใจอย่างยิ่งในการเหยียบก็คือการส่งการทดสอบคำอธิบายและระดับการให้คะแนนให้กับนักพัฒนา "ตามที่เป็นอยู่"
สิ่งที่จำเป็นต้องพูดคุยกัน:

  • ลักษณะคำถาม โครงสร้าง ตำแหน่งของภาพ ตัวเลือกคำตอบที่ถูกต้องจะเป็นอย่างไร
  • คะแนนคำนวณอย่างไร (หากจำเป็น) มีเงื่อนไขเพิ่มเติมหรือไม่
  • ข้อเสนอแนะถูกสร้างขึ้นอย่างไร, จะรับข้อความได้ที่ไหน, มีบล็อกที่สร้างขึ้นโดยอัตโนมัติเพิ่มเติมหรือไม่
  • คุณต้องรวบรวมข้อมูลเพิ่มเติมอะไรบ้างและ ณ จุดใด (ผู้ติดต่อเดียวกัน)

เพื่อหลีกเลี่ยงความเข้าใจผิด เราขอให้นักพัฒนาเขียนโค้ดคำถามที่แตกต่างกัน 2 หรือ 3 ข้อเพื่อให้พวกเขาเห็นว่ามีลักษณะอย่างไรก่อนที่จะเขียนโค้ดการทดสอบ

Rake 10: อัปโหลดโดยตรงไปยังการใช้งานจริงโดยไม่ต้องทดสอบ

3 ครั้งนะทุกคน การทดสอบควรได้รับการตรวจสอบ 3 ครั้งโดยคนละคน หรือดีกว่านั้น คนละ 3 ครั้ง ความจริงนี้ได้มาด้วยเลือด หยาดเหงื่อ และโค้ดหลายบรรทัด

การทดสอบของเราตรวจสอบสามสิ่งต่อไปนี้:

  1. ผลิตภัณฑ์ - ตรวจสอบการทดสอบประสิทธิภาพ ลักษณะ กลไก
  2. ผู้พัฒนาการทดสอบ - ตรวจสอบข้อความของงาน ลำดับ รูปแบบการทำงานกับแบบทดสอบ ประเภทของงาน คำตอบที่ถูกต้อง ความสามารถในการอ่านและการดูกราฟิกตามปกติ
  3. ผู้เขียนงาน (ผู้เชี่ยวชาญ) ตรวจสอบการทดสอบความเที่ยงตรงจากตำแหน่งผู้เชี่ยวชาญ

ตัวอย่างจากการปฏิบัติ: เฉพาะในการรันครั้งที่สามเท่านั้นที่ผู้เขียนงานเห็นว่ามี 1 งานยังคงอยู่ในถ้อยคำเวอร์ชันเก่า ก่อนหน้านี้ทั้งหมดก็ปกครองอย่างแข็งขันเช่นกัน แต่เมื่อการทดสอบถูกเขียนโค้ด มันดูแตกต่างไปจากที่คิดไว้ในตอนแรก มีความเป็นไปได้สูงที่บางสิ่งจะต้องได้รับการแก้ไข สิ่งนี้จะต้องนำมาพิจารณา

ทั้งหมด

เราได้สร้างสิ่งพิเศษขึ้นมาโดยหลีกเลี่ยง "คราด" เหล่านี้ทั้งหมดอย่างระมัดระวัง บอทในโทรเลขเพื่อทดสอบความรู้ของผู้สมัคร ใครๆ ก็สามารถทดสอบได้ในขณะที่เรากำลังเตรียมเนื้อหาถัดไป ซึ่งเราจะบอกคุณว่าเกิดอะไรขึ้นภายในบอท และสิ่งที่เปลี่ยนแปลงไปในภายหลัง

การเดินบนคราด: 10 ข้อผิดพลาดที่สำคัญในการพัฒนาการทดสอบความรู้
คุณสามารถรับอาชีพที่เป็นที่ต้องการตั้งแต่เริ่มต้นหรือเพิ่มระดับในแง่ของทักษะและเงินเดือนโดยการเรียนหลักสูตรออนไลน์ SkillFactory:

หลักสูตรเพิ่มเติม

ที่มา: will.com

เพิ่มความคิดเห็น