Как «корректные» ответы респондентов могут исказить результаты опроса до неузнаваемости

При проведении исследования большое внимание уделяется сбору данных, поэтому когда ответы респондентов собраны, они априори принимаются за корректные, а отчет на основании таких ответов — объективным. Однако нередко возникают ситуации, когда при более детальном рассмотрении отдельных ответов становятся видны явные непонимания респондентами формулировок опроса или инструкций к вопросам.

1. Непонимание профессиональных терминов или некоторых слов. При составлении опроса стоит учитывать, для каких групп респондентов он предназначен: возраст и статус участников опроса, проживают ли они в больших городах или отдаленных поселках и т.п. С осторожностью стоит использовать специальные термины и различный сленг – не всем респондентам он может быть понятен или не всеми пониматься одинаково. Все же часто такое непонимание не заставляет респондента бросить опрос (что, конечно, было бы нежелательно), и он отвечает наобум (что еще более нежелательно ввиду искажения данных).

2. Непонимание вопроса. Многие исследователи убеждены, что каждый респондент имеет однозначное и четко сформулированное мнение по каждому вопросу. Это не так. Порой участникам анкетирования сложно ответить на вопрос, так как они никогда не задумывались о предмете в целом или о предмете в таком ракурсе. Эта сложность может заставить респондента бросить опрос, или ответить абсолютно не информативно. Помогите участникам опроса ответить, яснее сформулировав вопрос и предложив разнообразные варианты ответов.

Источник: news.sportbox.ru

3. Непонимание инструкций к опросу или отдельным вопросам. Как и весь текст анкеты, формулировки инструкций должны быть адаптированы для всех групп предполагаемых респондентов. Постарайтесь избегать большого количества вопросов, где нужно отметить конкретное количество ответов («Отметьте три наиболее важных…») либо во всех подобных вопросах определите одинаковое количество ответов, которое необходимо отметить. Стоит также сократить сложные типы вопросов (матрицы, ранжирование и т.п.), заменив их на более простые. Если вы полагаете, что респонденты могут отвечать на анкету с мобильного телефона, постарайтесь еще больше упростить структуру опроса.

4. Непонимание шкалы оценки. Используя в анкете шкалу оценки, объясните респондентам ее значения даже если вам она кажется очевидной. Например, привычная шкала от 1 до 5 обычно понимается по аналогии со школьной системой оценок, однако иногда респонденты отмечают «1», приписывая ей значение первого места. В словесных шкалах лучше избегать субъективных критериев. Например, шкала «никогда – редко – иногда — часто» очень субъективна. Вместо нее стоит предложить конкретные значения («1 раз в месяц» и т.п.).

5. Обобщающе-позитивные и усредненные оценки. Склонность респондентов к обобщающе-позитивным оценкам часто мешает, например, при опросах пользователей ПО и в других подобных исследованиях. Если в целом пользователь доволен вашей программой, ему сложно расчленить ее на части и отдельно оценить личный кабинет, новое функциональное решение и т.п. Вероятнее всего, он везде проставит высокий балл. Да, отчет по результатам опроса будет выглядеть очень позитивно, но результаты не позволят реально оценить ситуацию.
Усредненные оценки часто мешают, например, при круговой оценке персонала «360 градусов». Сотрудники склонны проставлять средний балл по всем компетенциям: если отношение к коллеге позитивно – в результатах вы увидите завышенные баллы по всей анкете, если с коллегой напряженные отношения, то даже его явно сильные лидерские качества будут оценены занижено.

В обоих случаях разумно тщательно проработать варианты ответов, заменив привычные шкалы развернутыми словесными ответами для каждого отдельного вопроса.

6. Манипуляция мнениями. Этот пункт отличается от предыдущих тем, что исследователи осознанно подталкивают респондентов к выгодным им ответам для «успешного» отчета. Частые способы манипуляции при этом иллюзия выбора и сосредоточение на положительных характеристиках. Обычно руководители, изучающие позитивные результаты опроса, не задумываются о корректности интерпретации данных. Однако стоит объективно посмотреть на саму анкету: какова ее логика, нет ли у анкеты определенной линии, равномерно ли распределены позитивные и негативные варианты ответов. Еще один частый прием для «натягивания» данных – подмена понятий. Например, если большинство сотрудников оценило новую программу поощрений «удовлетворительно», в отчете может быть отражено, что «большинство сотрудников компании удовлетворено новой программой поощрений».

Источник: habr.com