回答者の「正しい」回答が調査結果を認識を超えてどのように歪めるか

研究を行う際にはデータ収集に細心の注意が払われるため、回答者の回答が収集されると、その回答はアプリオリに正しいものとして受け入れられ、その回答に基づくレポートは客観的になります。 しかし、個々の回答をより詳細に調査すると、調査の文言や質問の指示に対する回答者による明らかな誤解が判明するという状況がよく発生します。

1. 専門用語や特定の言葉の誤解。 調査をまとめる際には、調査参加者の年齢や地位、大都市に住んでいるのか僻地の村に住んでいるのかなど、どのグループの回答者を対象としているのかを検討する価値があります。 特別な用語やさまざまなスラングは注意して使用する価値があります。すべての回答者がそれを理解しているわけではない、または全員が同じように理解しているわけではありません。 しかし、多くの場合、そのような誤解によって回答者が調査を放棄することはなく (これはもちろん望ましくありません)、回答者はランダムに回答します (これはデータの歪みによりさらに望ましくないことです)。

2. 質問の誤解。 多くの研究者は、各回答者が各問題について明確で明確に定式化された意見を持っていると確信しています。 これは間違っています。 調査参加者は、主題全体について、あるいはこの観点から主題について考えたことがないため、質問に答えるのが難しい場合があります。 この困難により、回答者が調査を放棄したり、まったく情報のない回答をしたりする可能性があります。 質問をより明確に定式化し、さまざまな回答オプションを提供することで、調査参加者が回答できるようにします。

回答者の「正しい」回答が調査結果を認識を超えてどのように歪めるか出典: news.sportbox.ru

3. アンケートの指示や個別の質問を理解できない。 残りのアンケートと同様に、指示の文言は対象となる回答者のすべてのグループに適応する必要があります。 特定の数の回答をマークする必要がある多数の質問を避けるか (「最も重要な XNUMX つにマークしてください...」)、そのようなすべての質問で、マークする必要がある回答の数を同じ数に決定してください。 また、複雑な種類の質問 (行列、ランキングなど) を減らし、より単純なものに置き換えることも価値があります。 携帯電話からもアンケートに回答できると考えられる場合は、アンケートの構造をさらに簡素化してください。

4. 評価尺度を誤解している。 たとえあなたにとっては明らかなことであっても、アンケートの評価スケールを使用して、その意味を回答者に説明してください。 たとえば、通常の 1 から 5 までのスケールは、学校の成績評価システムとの類推によって通常理解されますが、回答者が 1 位の価値を理由に「1」とマークする場合があります。 言葉による尺度では、主観的な基準を避けたほうがよいでしょう。 たとえば、「まったくない - めったにない - 時々 - 頻繁に」という尺度は非常に主観的です。 代わりに、具体的な値(「月に XNUMX 回」など)を提案する価値があります。

5. 一般化 - 肯定的で平均的な推定値。 回答者が概して肯定的な評価をする傾向は、たとえばソフトウェア ユーザーの調査や他の同様の調査に支障をきたすことがよくあります。 全体として、ユーザーがあなたのプログラムに満足している場合、それを部分に分割し、個人的なアカウントや新しい機能ソリューションなどを個別に評価することは困難です。 おそらく、彼はどこでも高得点をマークするでしょう。 確かに、調査結果に関する報告書は非常に前向きなものに見えるでしょうが、その結果では状況を現実的に評価することはできません。
たとえば、360 度の人事評価では、平均評価が邪魔になることがよくあります。 従業員はすべての能力について平均スコアを付ける傾向があります。同僚に対する態度が肯定的であれば、結果ではアンケート全体のスコアが過大評価されますが、同僚と緊張関係にある場合は、明らかに強いリーダーシップの資質であっても評価が低くなります。過小評価されている。

どちらの場合も、個々の質問に対する通常の尺度を詳細な口頭での回答に置き換えて、回答の選択肢を慎重に検討することが合理的です。

6. 意見の操作。 この点は、研究者が「成功した」レポートのために自分にとって有益な回答を意識的に回答者に押しつけるという点で、これまでの回答とは異なります。 操作の頻繁な方法は、選択の幻想と肯定的な特性に焦点を当てることです。 通常、肯定的な調査結果を研究している管理者は、データの正しい解釈について考えません。 ただし、アンケート自体を客観的に見てみることは価値があります。アンケートのロジックは何なのか、アンケートには一定の境界線があるのか​​、肯定的な回答と否定的な回答は均等に分布しているのかなどです。 データを「ストレッチ」するためのもう XNUMX つの一般的な手法は、概念の置換です。 たとえば、従業員の過半数が新しいインセンティブ プログラムを「満足」と評価した場合、レポートでは「会社の従業員の大多数が新しいインセンティブ プログラムに満足している」と示される可能性があります。

出所: habr.com

コメントを追加します