熊手の上を歩く: 知識テスト開発における 10 の重大な間違い

新しい機械学習アドバンスト コースに登録する前に、入学予定の学生をテストして準備レベルを判断し、コースの準備に何を提供する必要があるかを正確に理解します。 しかし、ジレンマが生じます。一方で、データ サイエンスの知識をテストしなければならない一方で、本格的な 4 時間の試験を手配することはできません。

この問題を解決するために、私たちはデータ サイエンス コース開発チームの中に TestDev 本部を配置しました (これは単なる始まりに過ぎないようです)。 知識を評価するテストを開発するときに遭遇する 10 の落とし穴のリストを紹介します。 これでオンライン学習の世界が少しでも良くなるといいですね。

Rake 1: テストの目標を明確に定義できていない

目標を正しく定義し、それを考慮したテストを作成するには、計画段階でいくつかの質問に答える必要があります。

1. 実際に何をチェックしているのでしょうか？ 
2. テストはどのような環境で行われ、どのようなメカニズムが使用されますか? この環境における制限は何ですか? これと同じ点で、テストが実施されるデバイスとコンテンツの技術的要件を理解することができます (テストが携帯電話から行われる場合は、小さな画面でも画像が読み取れる必要があります)。拡大することも可能です）。
3. テストにはどれくらい時間がかかりますか? ユーザーがテストを受ける条件について考える必要があります。 テストプロセスを中断し、再度続行する必要がある状況が発生する可能性はありますか?
4. フィードバックはありますか? それをどのように形成して提供するのでしょうか? 何を受け取る必要がありますか? テストの実行とフィードバックの間にタイムラグはありますか?

私たちの場合、これらの質問に答えた後、次のテストの目標リストを定義しました。

1. テストは、将来の学生がコースを受講する準備ができているかどうか、および十分な知識とスキルを持っているかどうかを示す必要があります。
2. テストではフィードバック用の資料を提供し、生徒が間違いを犯したトピックを示して、生徒の知識を向上させる必要があります。 以下でその合成方法を説明します。

Rake 2: 専門のテスト作成者向けの技術仕様の作成に失敗した

テスト項目を構成するには、知識がテストされる分野の専門家に参加してもらうことが非常に重要です。 そして、専門家にとっては、テストのトピック、テストされる知識/スキル、およびそのレベルを含む、適切な技術仕様 (説明) が必要になります。

専門家はそのような技術仕様を自分で作成することはありません。彼の仕事はテストの構造ではなくタスクを考え出すことだからです。 さらに、教育の過程であっても、専門的にテストを開発する人はほとんどいません。 これは別の専門分野である心理測定学で教えられます。

心理測定についてすぐに知りたい場合は、ロシアにあります。 サマースクール 興味のあるすべての人のために。 より詳細な研究については、教育研究所が次のことを行っています。 修士号 そして大学院。

技術仕様を準備するとき、私たちは専門家のために（あるいは、専門家と一緒に）テストの詳細な説明（タスクのトピック、タスクの種類、その数）を収集します。

タスクの種類を選択する方法: トピックを決めたら、どのタスクがこれを最もよくテストできるかを決定します。 古典的なオプション: 自由回答型タスク、複数選択または単一選択タスク、マッチングなど (テスト環境の技術的な制限を忘れないでください!)。 タスクの種類を決定して指定すると、専門家向けに既製の技術仕様が作成されます。 それはテスト仕様書と呼ぶことができます。

Rake 3: テスト開発に専門家を関与させない

専門家をテスト開発に没頭させる場合、「作業範囲」を示すだけでなく、開発手順自体に専門家を関与させることが非常に重要です。

専門家との協力をできるだけ効果的に行う方法:

• 事前にセットアップして、テスト開発の科学と心理測定について時間をかけて話し合ってください。
• 評価者の注意は、質問のリストではなく、有効で信頼できる評価ツールを作成することに集中してください。
• 彼の仕事には、タスク自体の開発だけでなく準備段階も含まれていることを説明します。

一部の専門家は（その性質上）これを自分の作業のテストと認識する可能性があり、私たちは彼らに、たとえ優れたタスクを作成したとしても、特定のテストの目的に合わない可能性があることを説明します。

プロセスを迅速に進めるために、専門家と協力してトピックの範囲 (知識とスキル) の表を作成します。これはテスト仕様の一部です。 この表により、質問を正確に解決し、何を測定するかを決定することができます。 それぞれの特定のケースでは、わずかに異なる方法でコンパイルすることができます。 私たちの仕事は、その人が新しいコースで学ぶ準備がどの程度整っているかを理解するために、以前の基本的なコースの知識とスキルをどの程度理解しているかをチェックすることです。

Rake 4: 専門家が「一番よく知っている」と考える

主題についてよく知っています。 しかし、必ずしも明確に説明されるわけではありません。 課題の文言を確認することは非常に重要です。 「正しい選択肢を 1 つ選択してください」など、明確な指示を書きます。 90% の場合、専門家は自分自身が理解できる方法で質問を準備します。 それで大丈夫です。 しかし、テストを受ける人にテストを渡す前に、テストを受ける人が自分に何が求められているかを正確に理解し、課題の内容を誤解する可能性があるという理由だけで間違いを犯さないように、すべてをチェックして精査する必要があります。

タスクの二重解釈を避けるために、私たちは「認知実験室」を実施します。 対象者にテストを受けてもらい、思ったことを声に出して詳細に記録してもらいます。 「認知実験室」では、不明瞭な質問や悪い言葉遣いを「キャッチ」し、テストに関する最初のフィードバックを得ることができます。

Rake 5: テスト実行時間を無視する

皮肉モード: オン
もちろん、私たちのテストは最高のものであり、誰もが合格することを夢見ています。 はい、全4時間です。
皮肉モード: オフ

チェックできるすべてのリストがある場合、主なことはそれを実行しないことです (一見すると奇妙に聞こえますよね?)。 専門家と一緒に重要な知識とスキルを特定し、容赦なくカットする必要があります（はい、テストでは多くのスキルもテストできます）。 私たちはタスクの種類を確認し、目標完了時間を見積もります。すべてがまだ妥当な制限を超えている場合は、それを短縮します。

量を減らすために、2 つのタスクで XNUMX つのスキルを (慎重に) テストしてみることもできます。 この場合、その人がなぜ間違いを犯したのかを理解するのは困難ですが、正しく行えば両方のスキルを考慮に入れることができます。 これら XNUMX つのスキルが同じ知識分野に対応していることを確認することが重要です。

Rake 6: スコアリング システムについて考えていない

多くの場合、評価テストを作成する際には、簡単なタスクには 1 ポイント、難しいタスクには 2 ポイントなど、古典的な採点システムが使用されます。 しかし、それは普遍的なものではありません。 テスト結果に基づくポイントの合計だけでは、多くのことはわかりません。これらのポイントがどのタスクに対して獲得されたのかは分からず、正しいタスクの数を判断することしかできません。 受験者がどのようなスキルを発揮しているのかを正確に理解する必要があります。 さらに、どのトピックを改善する必要があるかについてフィードバックを提供したいと考えています。

結局のところ、私たちは人々をプログラムを完了する準備ができている人と完了する準備ができていない人に分けるテストを行っているので、一部の人には無料のトレーニングを通じてコースの準備をするようアドバイスします。 私たちにとって、このグループには本当に必要としている人、そしてそれに対する準備ができている人だけが含まれることが重要です。

この状況で私たちが行うこと: テスト開発者の作業グループ内で、どのグループの人々を特定する必要があるかを決定し (たとえば、学習の準備ができている、部分的に準備ができている)、そのようなグループの特徴の表を作成し、どのようなスキルと知識があるかを示します。すぐに学習できるトレーニングのグループに関連します。 このようにして、そのようなテストのタスクの「難易度」を定式化できます。

Rake 7: 結果を自動的にのみ評価する

もちろん、評価は可能な限り客観的である必要があるため、一部の生徒の教材は「キーごとに」自動的に評価され、正解と比較されます。 特別なテスト システムがない場合でも、無料のソリューションはたくさんあります。 スクリプト作成の原則を理解していれば、Google フォームや結果を表で自由に操作できます。 一部のタスクが専門家によってチェックされる場合、受験者に関する情報なしで専門家に回答を提供することを考える必要があります。 そして、専門家によるテストの結果を最終評価に組み込む方法を考えてください。

私たちは当初、コードを使用していくつかのオープンエンドのタスクを作成したいと考えていました。そこでは、専門家が事前に作成された基準に基づいてソリューションを評価し、テスト参加者からの個々の回答を専門家用の特別なテーブルにエクスポートし、その結果を評価計算を含む表。 しかし、対象者の代表者、プロダクト マネージャー、教育デザイナーと話し合った結果、専門家の即時フィードバックとコードや個々の問題についてのディスカッションを伴う技術インタビューを実施する方が、はるかに効果的で、参加者自身にとって有益であると感じました。 。

次に、専門家がテストの完了を確認し、いくつかの質問を明確にします。 そのために、技術面接の質問と評価基準のガイドを用意しました。 技術面接の前に、試験官は受験者の回答のマップを受け取り、質問する質問を選択するのに役立ちます。

Rake 8: テスト結果を説明しない

参加者にフィードバックを提供することは別の問題です。 テストのスコアを知らせるだけでなく、テスト結果を理解してもらう必要があります。
それはすることができます： 

• 参加者が間違いを犯したが、正しく完了したタスク。
• 参加者が間違いを犯したトピック。
• 受験者の中での彼の順位。
• 参加者のレベルの説明。たとえば、スペシャリストのレベルの説明（欠員の説明に基づく）。

テストのパイロット開始中に、プログラムへの登録を希望する人に、結果とともに改善が必要なトピックのリストを示しました。 しかし、これは決して理想的なものではありません。私たちは改善し、より良いフィードバックを提供していきます。

Rake 9: 開発者とテストについて話し合わない

おそらく、踏むのが特に不快な最も鋭い熊手は、テスト、説明、スコアスケールを「そのまま」開発者に送信することです。
正確に議論する必要があることは次のとおりです。

• 質問の外観、構造、グラフィックの位置、正解の選択の様子。
• スコアはどのように計算されますか (必要な場合)、追加の条件はありますか。
• フィードバックはどのように生成されるのか、テキストはどこで取得できるのか、追加の自動生成ブロックはあるのか。
• どのような追加情報をどの時点で収集する必要がありますか (同じ連絡先)。

誤解を避けるために、テスト自体をコーディングする前に、開発者に 2 つまたは 3 つの異なる質問をコーディングして、それがどのようなものかを確認するように依頼します。

Rake 10: テストせずに本番環境に直接アップロード

3 回、皆さん、テストは異なる人によって 3 回チェックされるべきです、できれば 3 回ずつチェックされるべきです。この真実は、血と汗とコード行のピクセルによって得られました。

私たちのテストでは、次のトリオをチェックします。

1. 製品 - 性能、外観、機構のテストをチェックします。
2. テスト開発者 - タスクのテキスト、順序、テストの作業形式、タスクの種類、正解、読みやすさ、およびグラフィックの通常の表示をチェックします。
3. タスクの作成者 (専門家) は、専門家の立場からテストの忠実性をチェックします。

実践例: タスクの作成者は、1 回目の実行時にのみ、XNUMX つのタスクが古いバージョンの文言のままであることに気付きました。 以前のものもすべて積極的に統治しました。 しかし、テストをコーディングすると、当初の想像とは異なっていました。 何かを修正する必要がある可能性が非常に高いです。 これを考慮する必要があります。

合計

これらすべての「熊手」を慎重に回避して、私たちは特別な Telegram のボット、応募者の知識をテストするため。 次の資料を準備している間、誰でもテストできます。この資料では、ボットの内部で何が起こったのか、そして後ですべてがどのように変化したのかを説明します。

SkillFactory オンライン コースを受講することで、人気の職業にゼロから就くことも、スキルと給与の面でレベルアップすることもできます。

• 機械学習コース （12週間）
• アドバンスコース「機械学習プロ＋ディープラーニング」 （20週間）
• コース「データサイエンスのための数学と機械学習」 （20週間）
• データサイエンスの専門職をゼロから教える (12ヶ月)

さらに多くのコース

• データサイエンスの専門職をゼロから教える (12ヶ月)
• データ サイエンス オンライン ブートキャンプ （14週間）
• データ分析オンライン ブートキャンプ （5週間）
• あらゆる開始レベルのアナリストの職業 (18ヶ月)
• データ分析コース (6ヶ月)
• DevOpsコース (12ヶ月)
• 職業 Web 開発者 (8ヶ月)
• Web開発のためのPythonコース (9ヶ月)
• 職業 ゼロからのiOS開発者 (12ヶ月)
• 職業 ゼロからの Android 開発者 (18ヶ月)
• 職業 ゼロからの Java 開発者 (18ヶ月)
• JavaScriptコース (12ヶ月)
• 職業 ゼロからのUXデザイナー (9ヶ月)
• 職業 Webデザイナー (7ヶ月)

出所： habr.com