갈퀴 위를 걷기: 지식 테스트 개발의 10가지 중대한 실수

새로운 기계 학습 고급 과정에 등록하기 전에 우리는 예비 학생들의 준비 수준을 확인하고 과정을 준비하기 위해 정확히 무엇을 제공해야 하는지 이해하기 위해 테스트합니다. 그러나 딜레마가 발생합니다. 한편으로는 데이터 과학에 대한 지식을 테스트해야 하고, 다른 한편으로는 본격적인 4시간 시험을 준비할 수 없습니다.

이 문제를 해결하기 위해 우리는 데이터 과학 과정 개발 팀에 TestDev 본사를 배치했습니다(이것은 시작에 불과한 것으로 보입니다). 우리는 지식을 평가하기 위한 테스트를 개발할 때 직면하게 되는 10가지 함정 목록을 제시합니다. 이 이후에는 온라인 학습의 세계가 조금 더 좋아지기를 바랍니다.

Rake 1: 테스트 목표를 명확하게 정의하지 못함

목표를 올바르게 정의하고 이를 고려하는 테스트를 만들려면 계획 단계에서 몇 가지 질문에 답해야 합니다.

1. 우리는 실제로 무엇을 확인하고 있습니까? 
2. 테스트는 어떤 환경에서 진행되며 어떤 메커니즘이 사용됩니까? 이 환경의 제한 사항은 무엇입니까? 동일한 점을 통해 테스트를 수행할 장치와 콘텐츠에 대한 기술적 요구 사항을 이해할 수 있습니다(휴대폰에서 테스트를 수행하는 경우 작은 화면에서도 사진을 읽을 수 있어야 하며, 확대 등이 가능합니다.)
3. 테스트 시간은 얼마나 걸리나요? 사용자가 테스트를 치르는 조건에 대해 생각해야 합니다. 테스트 프로세스를 중단했다가 다시 계속해야 하는 상황이 발생할 수 있나요?
4. 피드백이 있을까요? 어떻게 구성하고 전달합니까? 무엇을 받아야 합니까? 테스트 실행과 피드백 사이에 시간차가 있나요?

우리의 경우 이러한 질문에 답한 후 다음과 같은 테스트 목표 목록을 정의했습니다.

1. 시험은 미래의 학생들이 해당 과정을 수강할 준비가 되었는지, 그리고 충분한 지식과 기술을 갖추고 있는지를 보여주어야 합니다.
2. 시험은 피드백을 위한 자료를 제공하고 학생들이 실수한 주제를 표시하여 지식을 향상시킬 수 있도록 해야 합니다. 아래에서 구성하는 방법을 알려드리겠습니다.

Rake 2: 전문 테스트 작성자를 위한 기술 사양 작성 실패

테스트 항목을 구성하려면 지식을 테스트하는 분야의 전문가를 참여시키는 것이 매우 중요합니다. 그리고 전문가의 경우 테스트 주제, 테스트 대상 지식/기술 및 수준을 포함하는 유능한 기술 사양(설명)이 필요합니다.

전문가는 스스로 그러한 기술 사양을 작성하지 않습니다. 왜냐하면 그의 임무는 테스트 구조가 아니라 작업을 생각해내는 것이기 때문입니다. 더욱이 가르치는 과정에서도 전문적으로 테스트를 개발하는 사람은 거의 없습니다. 이것은 별도의 전문 분야인 심리 측정학에서 가르칩니다.

심리 측정학에 대해 빨리 알고 싶다면 러시아에는 다음이 있습니다. 여름 학교 관심있는 모든 분들을 위해. 보다 심층적인 연구를 위해 교육연구소에서는 석사 학위 그리고 대학원.

기술 사양을 준비할 때 전문가(또는 전문가와 함께라면 더 좋음)를 위한 테스트에 대한 자세한 설명(작업 주제, 작업 유형, 개수)을 수집합니다.

작업 유형을 선택하는 방법: 주제를 결정한 후 이를 가장 잘 테스트할 수 있는 작업을 결정합니다. 클래식 옵션: 개방형 작업, 객관식 또는 단일 선택 작업, 매칭 등(테스트 환경의 기술적 한계를 잊지 마세요!) 작업 유형을 결정하고 지정한 후 전문가를 위한 기성 기술 사양이 제공됩니다. 이를 테스트 사양이라고 부를 수 있습니다.

Rake 3: 테스트 개발에 전문가가 참여하지 않음

전문가를 테스트 개발에 몰입시킬 때 전문가에게 "작업 범위"를 알려주는 것뿐만 아니라 그를 개발 절차 자체에 참여시키는 것이 매우 중요합니다.

전문가와 최대한 효과적으로 협력하는 방법:

• 미리 설정하고 테스트 개발 과학과 심리측정학에 대해 이야기하는 시간을 가져보세요.
• 질문 목록이 아닌 타당하고 신뢰할 수 있는 평가 도구를 만드는 데 평가자의 관심을 집중시키십시오.
• 그의 작업에는 작업 자체의 개발뿐만 아니라 준비 단계도 포함되어 있음을 설명합니다.

일부 전문가(특성상)는 이를 자신의 작업에 대한 테스트로 인식할 수 있으며, 우리는 우수한 작업을 생성하더라도 특정 테스트 목표에 적합하지 않을 수 있다고 설명합니다.

프로세스를 빠르게 진행하기 위해 테스트 사양의 일부인 전문가와 함께 주제 범위(지식 및 기술) 표를 준비합니다. 질문을 정확하게 해결하고 무엇을 측정할지 결정할 수 있는 것이 바로 이 표입니다. 각각의 특정 경우에는 약간 다르게 컴파일될 수 있습니다. 우리의 임무는 사람이 새로운 과정에서 공부할 준비가 얼마나 되었는지 이해하기 위해 이전 기본 과정의 지식과 기술을 얼마나 잘 이해하고 있는지 확인하는 것입니다.

갈퀴 4: 전문가가 “가장 잘 안다”고 생각

주제를 더 잘 알고 있습니다. 그러나 항상 명확하게 설명되는 것은 아닙니다. 과제의 문구를 확인하는 것이 매우 중요합니다. 예를 들어 "올바른 옵션 1개를 선택하세요."와 같이 명확한 지침을 작성하세요. 90%의 경우 전문가는 자신이 이해할 수 있는 방식으로 질문을 준비합니다. 그리고 괜찮습니다. 그러나 시험을 치르는 사람들에게 시험을 넘기기 전에 시험을 치르는 사람들이 자신에게 필요한 것이 무엇인지 정확히 이해하고 과제의 텍스트를 잘못 해석할 수 있다는 이유로 실수를 저지르지 않도록 모든 것을 확인하고 정리해야 합니다.

과제의 이중 해석을 피하기 위해 '인지 실험실'을 운영합니다. 우리는 대상 청중에게 테스트를 요청하여 자신의 생각을 큰 소리로 말하고 자세하게 기록합니다. “인지 실험실”에서는 불분명한 질문, 잘못된 표현을 “잡을” 수 있고, 테스트에 대한 첫 번째 피드백을 얻을 수 있습니다.

Rake 5: 테스트 실행 시간 무시

풍자 모드 : 켜짐
물론, 우리의 시험은 최고입니다. 모두가 합격을 꿈꿉니다! 네, 모두 4시간입니다.
풍자 모드 : 꺼짐

확인할 수 있는 모든 항목의 목록이 있을 때 가장 중요한 것은 확인하지 않는 것입니다(언뜻 보면 이상하게 들리지 않습니까?). 전문가와 함께 핵심 지식과 기술을 파악하고 무자비하게 잘라내야 합니다(예, 여러 기술도 테스트에서 테스트할 수 있습니다). 우리는 작업 유형을 살펴보고 목표 완료 시간을 추정합니다. 모든 것이 여전히 합리적인 한도를 초과하면 잘라냅니다!

볼륨을 줄이려면 하나의 작업에서 두 ​​가지 기술을 (신중하게) 테스트해 볼 수도 있습니다. 이 경우 왜 실수를 했는지 이해하기 어렵지만 올바르게 수행하면 두 가지 기술을 모두 고려할 수 있습니다. 이 두 가지 기술이 동일한 지식 영역에 해당하는지 확인하는 것이 중요합니다.

레이크 6: 채점 시스템을 고려하지 않음

종종 평가 테스트를 작성할 때 고전적인 채점 시스템을 사용합니다(예: 쉬운 작업에는 1점, 어려운 작업에는 2점). 그러나 그것은 보편적이지 않습니다. 테스트 결과에 따른 점수 합계만으로는 많은 정보를 얻을 수 없습니다. 어떤 작업에 대해 이러한 점수를 받았는지 알 수 없으며 올바른 작업 수만 확인할 수 있습니다. 우리는 응시자가 어떤 기술을 보여주고 있는지 정확히 이해해야 합니다. 또한 어떤 주제를 개선해야 하는지 피드백을 주고 싶습니다.

결국 우리는 프로그램을 이수할 준비가 된 사람과 준비가 되지 않은 사람으로 나누어 테스트를 진행하고 있으며 일부에게는 무료 교육을 통해 과정을 준비하도록 조언할 것입니다. 이 그룹에는 정말로 필요하고 준비가 되어 있는 사람들만 포함되는 것이 우리에게 중요합니다.

상황에서 우리가 하는 일: 테스트 개발자 작업 그룹 내에서 식별해야 할 사람들 그룹(예: 학습 준비, 부분 준비)을 결정하고 그러한 그룹의 특성 표를 형성하여 어떤 기술과 지식을 나타냅니다. 훈련을 배울 준비가 된 그룹과 관련이 있을 것입니다. 이렇게 하면 해당 테스트에 대한 작업의 "어려움"을 공식화할 수 있습니다.

Rake 7: 결과를 자동으로만 평가

물론 평가는 최대한 객관적이어야 합니다. 따라서 일부 학생 자료는 정답과 비교하여 "키별"로 자동 평가됩니다. 특별한 테스트 시스템이 없더라도 무료 솔루션은 많이 있습니다. 그리고 스크립트 작성의 원칙을 이해한다면 Google 양식을 사용하여 원하는 모든 작업을 수행하고 표로 결과를 얻을 수 있습니다. 일부 과제가 전문가에 의해 점검된다면, 응시자에 대한 정보 없이 전문가에게 답변을 전달하는 것을 생각해야 합니다. 그리고 전문가 테스트 결과를 최종 평가에 어떻게 통합할지 생각해 보세요.

처음에는 전문가가 미리 형성된 기준에 따라 솔루션을 평가하는 코드를 사용하여 여러 가지 개방형 작업을 만들고 싶었고, 테스트 참가자의 개별 답변을 전문가용 특별 테이블로 내보낸 다음 결과를 평가 계산이 포함된 표입니다. 그러나 대상 고객 대표, 제품 관리자 및 교육 디자이너와 논의한 후 즉각적인 전문가 피드백과 코드 및 개별 문제에 대한 토론이 포함된 기술 인터뷰를 수행하는 것이 참가자 자신에게 훨씬 더 효과적이고 유용할 것이라고 느꼈습니다. .

이제 전문가는 테스트 완료를 확인하고 몇 가지 질문을 명확히 합니다. 이를 위해 기술면접 질문 및 평가 기준에 대한 가이드를 준비했습니다. 기술 면접 전에 시험관은 응시자가 질문할 질문을 선택하는 데 도움이 되도록 응시자의 답변 지도를 받습니다.

Rake 8: 테스트 결과를 설명하지 마세요.

참가자에게 피드백을 제공하는 것은 별개의 문제입니다. 시험 점수를 알려줄 뿐만 아니라, 시험 결과에 대한 이해도 제공해야 합니다.
이 될 수 있습니다 : 

• 참가자가 실수를 하여 올바르게 완료한 작업입니다.
• 참가자가 실수한 주제.
• 시험 응시자 중 그의 순위입니다.
• 예를 들어 전문가 수준에 대한 설명(공석 설명을 기반으로 함)에 따른 참가자 수준에 대한 설명입니다.

테스트를 시범적으로 시작하는 동안 프로그램 등록을 원하는 사람들에게 결과와 함께 개선이 필요한 주제 목록을 보여주었습니다. 그러나 이는 확실히 이상적인 것은 아닙니다. 우리는 개선하고 더 나은 피드백을 제공할 것입니다.

Rake 9: 개발자와 테스트에 대해 논의하지 마세요

특히 밟기 불편한 가장 날카로운 갈퀴는 테스트, 설명 및 점수 척도를 개발자에게 "있는 그대로" 보내는 것입니다.
정확히 논의해야 할 사항은 무엇입니까?

• 질문의 모양, 구조, 그래픽의 위치, 정답 선택의 모습.
• 점수는 어떻게 계산되나요(필요한 경우), 추가 조건이 있나요?
• 피드백은 어떻게 생성되는지, 텍스트를 어디서 얻을 수 있는지, 추가로 자동 ​​생성된 블록이 있는지 등이 있습니다.
• 어떤 추가 정보를 수집해야 하며, 어느 시점(동일한 연락처)에 수집해야 합니까?

오해를 피하기 위해 우리는 개발자에게 테스트 자체를 코딩하기 전에 어떻게 보이는지 확인할 수 있도록 2~3개의 다른 질문을 코딩하도록 요청합니다.

Rake 10: 테스트 없이 프로덕션에 직접 업로드

3 번, 여러분, 테스트는 다른 사람들이 3 번 또는 더 나은 방법으로 각각 3 번 확인해야합니다.이 진실은 피, 땀, 픽셀 라인의 코드로 얻은 것입니다.

우리의 테스트는 다음 세 가지를 확인합니다.

1. 제품 - 성능, 외관, 기계적 특성에 대한 테스트를 확인합니다.
2. 테스트 개발자 - 작업 텍스트, 순서, 테스트 작업 형식, 작업 유형, 정답, 가독성 및 그래픽의 일반적인 보기를 확인합니다.
3. 작업 작성자(전문가)는 전문가 입장에서 테스트의 충실도를 확인합니다.

연습의 예: 세 번째 실행에서만 작업 작성자는 이전 버전의 문구에 1개의 작업이 남아 있음을 확인했습니다. 이전의 모든 것들도 적극적으로 통치했습니다. 하지만 테스트를 코딩해 보니 원래 상상했던 것과는 달라 보였습니다. 뭔가 수정해야 할 가능성이 높습니다. 이 점을 고려해야합니다.

합계

이러한 모든 "갈퀴"를 조심스럽게 우회하여 우리는 특별한 텔레그램의 봇, 지원자의 지식을 테스트합니다. 우리가 다음 자료를 준비하는 동안 누구나 테스트할 수 있습니다. 여기서는 봇 내부에서 무슨 일이 일어났는지, 그리고 나중에 모든 것이 어떻게 변했는지 알려줄 것입니다.

SkillFactory 온라인 과정을 수강하면 원하는 직업을 처음부터 얻거나 기술 및 급여 측면에서 레벨 업할 수 있습니다.

• 기계 학습 과정 (12주)
• 고급 과정 "머신 러닝 프로 + 딥 러닝" (20주)
• 과정 "데이터 과학을 위한 수학 및 기계 학습" (20주)
• 처음부터 데이터 과학 직업 교육 (12개월)

더 많은 과정

• 처음부터 데이터 과학 직업 교육 (12개월)
• 데이터 과학 온라인 부트캠프 (14주)
• 데이터 분석 온라인 부트캠프 (5주)
• 모든 시작 수준의 분석가 직업 (18개월)
• 데이터 분석 과정 (6개월)
• DevOps 과정 (12개월)
• 직업 웹 개발자 (8개월)
• 웹 개발 과정을 위한 Python (9개월)
• 직업 처음부터 iOS 개발자 (12개월)
• 처음부터 직업 Android 개발자 (18개월)
• 처음부터 직업 Java 개발자 (18개월)
• 자바스크립트 과정 (12개월)
• 처음부터 직업 UX 디자이너 (9개월)
• 직업 웹 디자이너 (7개월)

출처 : habr.com