Trước khi đăng ký khóa học Machine Learning Advanced mới, chúng tôi kiểm tra các học viên tương lai để xác định mức độ sẵn sàng của họ và hiểu chính xác những gì họ cần cung cấp để chuẩn bị cho khóa học. Nhưng một vấn đề nan giải nảy sinh: một mặt, chúng ta phải kiểm tra kiến thức về Khoa học dữ liệu, mặt khác, chúng ta không thể sắp xếp một kỳ thi chính thức kéo dài 4 giờ.
Để giải quyết vấn đề này, chúng tôi đã triển khai trụ sở TestDev ngay trong nhóm phát triển khóa học Khoa học dữ liệu (và có vẻ như đây mới chỉ là bước khởi đầu). Chúng tôi xin giới thiệu với các bạn danh sách 10 cạm bẫy thường gặp khi xây dựng các bài kiểm tra đánh giá kiến thức. Hy vọng sau này thế giới học trực tuyến sẽ tốt hơn một chút.
Rake 1: Không xác định rõ mục tiêu thử nghiệm
Để xác định chính xác các mục tiêu và tạo một bài kiểm tra có tính đến chúng, ở giai đoạn lập kế hoạch, chúng ta phải trả lời một số câu hỏi:
- Chúng ta thực sự đang kiểm tra cái gì?
- Thử nghiệm sẽ diễn ra trong môi trường nào và sử dụng cơ chế nào? Những hạn chế trong môi trường này là gì? Điểm tương tự này sẽ cho phép bạn hiểu các yêu cầu kỹ thuật đối với thiết bị mà thử nghiệm sẽ được thực hiện cũng như đối với nội dung (nếu thử nghiệm được thực hiện từ điện thoại, hình ảnh phải có thể đọc được ngay cả trên màn hình nhỏ). có thể phóng to chúng, v.v.).
- Quá trình thử nghiệm sẽ kéo dài bao lâu? Bạn cần suy nghĩ về các điều kiện mà người dùng sẽ làm bài kiểm tra. Có thể xảy ra trường hợp anh ta cần phải tạm dừng quá trình thử nghiệm và sau đó tiếp tục lại không?
- Sẽ có phản hồi? Làm thế nào để chúng tôi hình thành và cung cấp nó? Bạn cần nhận được gì? Có độ trễ về thời gian giữa việc thực hiện kiểm thử và phản hồi không?
Trong trường hợp của chúng tôi, sau khi trả lời những câu hỏi này, chúng tôi đã xác định danh sách các mục tiêu sau cho bài kiểm tra:
- Bài kiểm tra sẽ cho thấy liệu sinh viên tương lai có sẵn sàng tham gia khóa học hay không và liệu họ có đủ kiến thức và kỹ năng hay không.
- Bài kiểm tra phải cung cấp cho chúng ta tài liệu để phản hồi, chỉ ra chủ đề mà học sinh mắc lỗi để các em có thể nâng cao kiến thức. Chúng tôi sẽ cho bạn biết cách soạn nó dưới đây.
Cào 2: Không đưa ra được thông số kỹ thuật cho người viết bài kiểm tra chuyên môn
Để soạn các câu hỏi kiểm tra, điều quan trọng là phải có sự tham gia của chuyên gia trong lĩnh vực kiến thức đang được kiểm tra. Và đối với một chuyên gia, bạn cần có một bản mô tả (mô tả) kỹ thuật phù hợp, bao gồm các chủ đề của bài kiểm tra, kiến thức/kỹ năng đang được kiểm tra và trình độ của chúng.
Một chuyên gia sẽ không tự mình thực hiện các thông số kỹ thuật như vậy vì công việc của anh ta là đưa ra các nhiệm vụ chứ không phải cấu trúc của bài kiểm tra. Hơn nữa, rất ít người phát triển các bài kiểm tra một cách chuyên nghiệp, ngay cả trong quá trình giảng dạy. Điều này được dạy trong một chuyên ngành riêng biệt - tâm lý học.
Nếu bạn muốn nhanh chóng làm quen với tâm lý học thì ở Nga có cho tất cả những ai quan tâm. Để nghiên cứu sâu hơn, Viện Giáo dục đã và cao học.
Khi chuẩn bị các thông số kỹ thuật, chúng tôi thu thập mô tả chi tiết về bài kiểm tra cho chuyên gia (hoặc tốt hơn là cùng với anh ta): chủ đề của nhiệm vụ, loại nhiệm vụ, số lượng của chúng.
Cách chọn loại nhiệm vụ: sau khi quyết định chủ đề, chúng tôi quyết định nhiệm vụ nào có thể kiểm tra điều này tốt nhất? Các tùy chọn cổ điển: nhiệm vụ mở, nhiệm vụ nhiều hoặc một lựa chọn, so khớp, v.v. (đừng quên những hạn chế kỹ thuật của môi trường thử nghiệm!). Sau khi xác định và chỉ định loại nhiệm vụ, chúng tôi có sẵn thông số kỹ thuật dành cho chuyên gia. Bạn có thể gọi nó là một đặc tả thử nghiệm.
Rake 3: Không có chuyên gia phát triển thử nghiệm
Khi mời một chuyên gia vào lĩnh vực phát triển thử nghiệm, điều rất quan trọng không chỉ là chỉ cho anh ta “phạm vi công việc” mà còn thu hút anh ta tham gia vào chính quy trình phát triển.
Làm thế nào để làm việc với chuyên gia hiệu quả nhất có thể:
- Hãy thiết lập trước và dành chút thời gian để nói về khoa học phát triển bài kiểm tra và tâm lý học.
- Tập trung sự chú ý của người đánh giá vào việc tạo ra một công cụ đánh giá hợp lệ và đáng tin cậy chứ không phải một danh sách các câu hỏi.
- Giải thích rằng công việc của anh ấy bao gồm giai đoạn chuẩn bị chứ không chỉ phát triển bản thân các nhiệm vụ.
Một số chuyên gia (do bản chất của họ) có thể coi đây là một cuộc thử nghiệm công việc của chính họ và chúng tôi giải thích với họ rằng ngay cả khi chúng tôi tạo ra những nhiệm vụ xuất sắc, đơn giản là chúng có thể không phù hợp với các mục tiêu thử nghiệm cụ thể.
Để quá trình diễn ra nhanh chóng, chúng tôi chuẩn bị một bảng bao gồm chủ đề (kiến thức và kỹ năng) với chuyên gia, đây là một phần của đặc tả bài kiểm tra. Chính bảng này cho phép chúng tôi giải quyết chính xác các câu hỏi và xác định những gì chúng tôi sẽ đo lường. Trong mỗi trường hợp cụ thể, nó có thể được biên dịch hơi khác nhau. Nhiệm vụ của chúng tôi là kiểm tra xem một người hiểu kiến thức và kỹ năng của các khóa học cơ bản trước đó đến mức nào để biết người đó sẵn sàng học một khóa học mới như thế nào.
Rake 4: Nghĩ rằng chuyên gia “biết rõ nhất”
Biết chủ đề tốt hơn. Nhưng nó không phải lúc nào cũng giải thích rõ ràng. Việc kiểm tra từ ngữ của bài tập là rất quan trọng. Viết hướng dẫn rõ ràng, ví dụ: “Chọn 1 phương án đúng”. Trong 90% trường hợp, các chuyên gia chuẩn bị câu hỏi theo cách mà chính họ hiểu. Và điều đó không sao cả. Nhưng trước khi giao bài cho người làm bài, mọi thứ cần phải được kiểm tra, sàng lọc kỹ càng để người làm bài hiểu chính xác yêu cầu của mình và không mắc sai lầm chỉ vì có thể hiểu sai nội dung bài làm.
Để tránh việc giải thích hai lần các nhiệm vụ, chúng tôi tiến hành “phòng thí nghiệm nhận thức”. Chúng tôi yêu cầu những người thuộc đối tượng mục tiêu làm bài kiểm tra, nói to những gì họ nghĩ và ghi lại chi tiết. Tại “phòng thí nghiệm nhận thức”, bạn có thể “bắt” những câu hỏi không rõ ràng, cách diễn đạt tệ và nhận được phản hồi đầu tiên về bài kiểm tra.
Rake 5: Bỏ qua thời gian thực hiện kiểm thử
chế độ mỉa mai: bật
Tất nhiên, bài kiểm tra của chúng tôi là tốt nhất, mọi người đều mơ ước vượt qua nó! Vâng, tất cả 4 giờ.
chế độ mỉa mai: tắt
Khi có một danh sách tất cả những gì có thể kiểm tra được, điều chính yếu là không nên làm điều đó (thoạt nhìn thì có vẻ lạ phải không?). Bạn cần phải cắt giảm một cách tàn nhẫn, xác định những kiến thức và kỹ năng chính với một chuyên gia (vâng, một số kỹ năng cũng có thể được kiểm tra trong bài kiểm tra). Chúng tôi xem xét loại nhiệm vụ và ước tính thời gian hoàn thành mục tiêu: nếu mọi thứ vẫn vượt quá giới hạn hợp lý, chúng tôi sẽ cắt giảm!
Để giảm âm lượng, bạn cũng có thể thử (cẩn thận) kiểm tra hai kỹ năng trong một nhiệm vụ. Trong trường hợp này, thật khó hiểu tại sao người đó lại mắc lỗi, nhưng nếu thực hiện đúng thì có thể tính đến cả hai kỹ năng. Điều quan trọng là phải đảm bảo rằng 2 kỹ năng này tương ứng với cùng một lĩnh vực kiến thức.
Cào 6: Không suy nghĩ kỹ về hệ thống tính điểm
Thông thường, khi biên soạn các bài kiểm tra đánh giá, họ sử dụng hệ thống tính điểm cổ điển, chẳng hạn như 1 điểm cho những bài dễ và 2 điểm cho những bài khó. Nhưng nó không phải là phổ quát. Chỉ tổng số điểm dựa trên kết quả kiểm tra sẽ không cho chúng ta biết nhiều điều: chúng tôi không biết những điểm này được nhận cho nhiệm vụ nào và chúng tôi chỉ có thể xác định số lượng nhiệm vụ chính xác. Chúng ta cần hiểu chính xác những kỹ năng mà thí sinh đang thể hiện. Ngoài ra, chúng tôi muốn cung cấp cho họ phản hồi về những chủ đề cần được cải thiện.
Suy cho cùng, chúng tôi đang thực hiện một bài kiểm tra nhằm chia mọi người thành những người sẵn sàng và những người chưa sẵn sàng hoàn thành chương trình, chúng tôi sẽ khuyên một số người chuẩn bị cho khóa học thông qua đào tạo miễn phí. Điều quan trọng đối với chúng tôi là nhóm này chỉ bao gồm những người thực sự cần và sẵn sàng cho nó.
Những gì chúng tôi làm trong tình huống của mình: chúng tôi xác định trong nhóm làm việc của các nhà phát triển thử nghiệm những nhóm người nào cần được xác định (ví dụ: sẵn sàng học hỏi, sẵn sàng một phần) và lập một bảng đặc điểm của các nhóm đó, chỉ ra những kỹ năng và kiến thức nào sẽ phù hợp với nhóm sẵn sàng học tập. Bằng cách này, bạn có thể hình thành “độ khó” của các nhiệm vụ đối với những bài kiểm tra như vậy.
Rake 7: Chỉ đánh giá kết quả một cách tự động
Tất nhiên, việc đánh giá phải càng khách quan càng tốt để một số tài liệu của học sinh được đánh giá tự động, “bằng chìa khóa” - so sánh với các câu trả lời đúng. Ngay cả khi không có hệ thống thử nghiệm đặc biệt, vẫn có rất nhiều giải pháp miễn phí. Và nếu bạn hiểu các nguyên tắc viết kịch bản thì bạn có thể làm bất cứ điều gì bạn muốn với các biểu mẫu và kết quả trong bảng của Google. Nếu một số nhiệm vụ được kiểm tra bởi các chuyên gia, thì chúng ta cần nghĩ đến việc đưa ra câu trả lời cho các chuyên gia mà không có thông tin về người làm bài kiểm tra. Và hãy nghĩ cách tích hợp kết quả kiểm tra của chuyên gia vào đánh giá cuối cùng.
Ban đầu, chúng tôi muốn thực hiện một số nhiệm vụ mở bằng mã, trong đó các chuyên gia đánh giá các giải pháp dựa trên các tiêu chí được hình thành trước và thậm chí chúng tôi còn chuẩn bị một hệ thống xuất các câu trả lời riêng lẻ từ những người tham gia thử nghiệm sang một bảng đặc biệt dành cho các chuyên gia, sau đó nhập kết quả vào một bảng với các tính toán đánh giá. Nhưng sau khi thảo luận với đại diện của đối tượng mục tiêu, người quản lý sản phẩm và nhà thiết kế giáo dục, chúng tôi cảm thấy rằng việc thực hiện một cuộc phỏng vấn kỹ thuật với phản hồi tức thì của chuyên gia và thảo luận về mã cũng như các vấn đề riêng lẻ sẽ hiệu quả và hữu ích hơn nhiều cho chính những người tham gia .
Bây giờ chuyên gia xác minh việc hoàn thành bài kiểm tra, làm rõ một số câu hỏi. Để làm được điều này, chúng tôi đã chuẩn bị hướng dẫn các câu hỏi và tiêu chí đánh giá cho một cuộc phỏng vấn kỹ thuật. Trước cuộc phỏng vấn kỹ thuật, giám khảo sẽ nhận được bản đồ các câu trả lời của người làm bài kiểm tra để giúp anh ta chọn câu hỏi để hỏi.
Cào 8: Không giải thích kết quả kiểm tra
Cung cấp phản hồi cho người tham gia là một vấn đề riêng biệt. Chúng tôi không chỉ cần thông báo về điểm kiểm tra mà còn cung cấp sự hiểu biết về kết quả kiểm tra.
Đây có thể là:
- Nhiệm vụ mà người tham gia đã mắc lỗi và đã hoàn thành đúng.
- Các chủ đề mà người tham gia mắc lỗi.
- Thứ hạng của anh ấy trong số những người tham gia kỳ thi.
- Mô tả cấp độ của người tham gia, ví dụ, phù hợp với mô tả cấp độ chuyên gia (dựa trên mô tả vị trí tuyển dụng).
Trong buổi ra mắt thử nghiệm thử nghiệm của chúng tôi, đối với những người muốn đăng ký tham gia chương trình, cùng với kết quả, chúng tôi đã đưa ra danh sách các chủ đề cần được cải thiện. Nhưng điều này chắc chắn không lý tưởng, chúng tôi sẽ cải thiện và đưa ra phản hồi tốt hơn.
Rake 9: Không thảo luận về thử nghiệm với nhà phát triển
Có lẽ cách cào sắc nét nhất, đặc biệt khó chịu khi bước lên, là gửi bài kiểm tra, mô tả và thang điểm cho các nhà phát triển “nguyên trạng”.
Chính xác những gì cần được thảo luận:
- Hình thức của câu hỏi, cấu trúc, vị trí của đồ họa, việc lựa chọn câu trả lời đúng sẽ như thế nào.
- Cách tính điểm như thế nào (nếu cần), có thêm điều kiện gì không.
- Phản hồi được tạo ra như thế nào, nhận văn bản ở đâu, có các khối được tạo tự động bổ sung không.
- Bạn cần thu thập thêm thông tin gì và vào thời điểm nào (cùng địa chỉ liên hệ).
Để tránh hiểu lầm, chúng tôi yêu cầu các nhà phát triển của mình viết mã 2 hoặc 3 câu hỏi khác nhau để họ có thể xem chúng trông như thế nào trước khi viết mã bài kiểm tra.
Rake 10: Không cần kiểm tra, tải trực tiếp lên sản xuất
3 lần nhé các bạn, bài kiểm tra phải được kiểm tra 3 lần bởi những người khác nhau, hoặc tốt hơn là mỗi người 3 lần. Sự thật này có được bằng máu, mồ hôi và pixel của các dòng mã.
Thử nghiệm của chúng tôi kiểm tra bộ ba sau:
- Sản phẩm - kiểm tra hiệu suất, hình thức, cơ học.
- Nhà phát triển thử nghiệm - kiểm tra văn bản của các nhiệm vụ, thứ tự của chúng, hình thức làm việc với bài kiểm tra, loại nhiệm vụ, câu trả lời đúng, khả năng đọc và xem đồ họa bình thường.
- Tác giả của nhiệm vụ (chuyên gia) kiểm tra bài kiểm tra độ trung thực từ vị trí chuyên gia.
Một ví dụ từ thực tế: chỉ đến lần chạy thứ ba, tác giả của nhiệm vụ mới thấy rằng 1 nhiệm vụ vẫn còn ở phiên bản cũ của cách diễn đạt. Tất cả những người trước đó cũng tích cực cai trị. Nhưng khi bài kiểm tra được mã hóa, nó trông khác so với tưởng tượng ban đầu. Rất có khả năng sẽ phải sửa chữa điều gì đó. Điều này cần phải được tính đến.
Tổng
Cẩn thận bỏ qua tất cả những cái cào này, chúng tôi đã tạo ra một đặc biệt , để kiểm tra kiến thức của ứng viên. Bất kỳ ai cũng có thể kiểm tra nó trong khi chúng tôi đang chuẩn bị tài liệu tiếp theo, trong đó chúng tôi sẽ cho bạn biết điều gì đã xảy ra bên trong bot và tất cả những gì nó chuyển đổi thành sau này.
Bạn có thể có được một nghề được săn đón ngay từ đầu hoặc Tăng cấp về kỹ năng và mức lương bằng cách tham gia các khóa học trực tuyến SkillFactory:
- (12 tuần)
- (20 tuần)
- (20 tuần)
- (12 tháng)
Các khóa học khác
- (12 tháng)
- (14 tuần)
- (5 tuần)
- (18 tháng)
- (6 tháng)
- (12 tháng)
- (8 tháng)
- (9 tháng)
- (12 tháng)
- (18 tháng)
- (18 tháng)
- (12 tháng)
- (9 tháng)
- (7 tháng)
Nguồn: www.habr.com