Ответ в рамке: как формулировка вопроса меняет статистику

Число начинается с вопроса

Статистический результат часто выглядит как ответ на простой вопрос: сколько людей согласны с утверждением, замечали ли они определённое явление, считают ли его серьёзным. Но до подсчёта исследователи должны решить, как именно спросить. Слова, временные границы и варианты ответа задают рамку, внутри которой человек описывает свой опыт. Поэтому одинаковая тема не гарантирует сопоставимость двух процентов.

Представим, что одну группу спрашивают: «Сталкивались ли вы когда-нибудь с финансовыми трудностями из-за азартных игр?» Другую — «Возникали ли у вас за последний год долги, связанные с азартными играми?» Вопросы касаются близких обстоятельств, но первый охватывает всю жизнь и использует широкое выражение «финансовые трудности», а второй ограничен годом и называет конкретный вид последствий. Различие в ответах может отражать не перемену в обществе, а различие самих измерительных рамок.

Это не означает, что формулировка автоматически делает данные недостоверными. Скорее, она определяет, какое именно явление было измерено. Процент имеет смысл вместе с вопросом, на который он отвечает.

Временные слова расширяют и сужают память

Фразы «когда-либо», «за последний год» и «в последнее время» требуют от человека разных операций. Чтобы ответить «когда-либо», нужно обратиться ко всему прошлому, иногда на протяжении многих лет. Воспоминания могут быть неполными: давний эпизод забывается, а недавний или эмоционально заметный легче приходит на ум. Ограниченный период делает вопрос конкретнее, но всё равно предполагает, что человек способен определить, когда именно произошло событие.

Сравним два опроса. В одном спрашивают, случались ли когда-нибудь конфликты в семье из-за азартных игр. В другом — возникали ли такие конфликты в течение последних двенадцати месяцев. Более высокий показатель в первом опросе не обязательно означает, что ситуация сейчас тяжелее: он может включать события из более ранних периодов. И наоборот, показатель за короткий срок нельзя истолковать как долю людей, когда-либо переживавших подобный опыт.

Особенно важно не смешивать «сейчас» с «за последний год». Первое может подразумевать текущее положение, второе — хотя бы один случай за заметный промежуток. Один эпизод и повторяющаяся ситуация попадут в одну и ту же категорию, если вопрос не различает частоту.

Оценочные слова не имеют единой шкалы

Слова «часто», «существенный», «проблемный» и «серьёзный» звучат понятно, но люди могут придавать им разные значения. Для одного «часто» означает несколько раз в неделю, для другого — регулярно, но реже. Если шкала не задаёт конкретные интервалы, ответы отражают и опыт, и личную интерпретацию термина.

Например, вопрос «Насколько серьёзно азартные игры повлияли на ваше благополучие?» предполагает, что респондент сам определит и серьёзность, и благополучие. Такой вопрос может быть полезен для изучения субъективного восприятия, но его ответы нельзя без пояснений приравнять к подсчёту конкретных событий. Иная задача — выяснить, были ли пропущены обязательные расходы или возникали ли споры о деньгах. Здесь ответы конкретнее, однако они охватывают лишь отдельные стороны опыта.

Важно различать измерение переживания и измерение события. Оба вида данных могут быть значимыми, но отвечают на разные вопросы. Оценка того, насколько человек обеспокоен, не равна перечню произошедших эпизодов; перечень эпизодов, в свою очередь, не показывает сам по себе, как человек их воспринимал.

Варианты ответа тоже влияют на результат

На ответ влияет не только формулировка вопроса, но и предложенный набор вариантов. Если доступны только «да» и «нет», человек с неуверенным или смешанным опытом должен выбрать одну из двух категорий. Вариант «затрудняюсь ответить» позволяет не выдавать неопределённость за уверенный ответ, а «предпочитаю не отвечать» отделяет отказ от ответа от отрицания события.

Порядок вариантов также может иметь значение, особенно когда список длинный. Первые пункты заметнее, а поздние легче пропустить. Вопрос о последствиях может включать финансовые, семейные и эмоциональные категории; если список неполон, отсутствие подходящего пункта не означает отсутствия последствий. Респонденту может быть доступно поле «другое», но важно знать, включались ли такие ответы в итоговый подсчёт.

Поэтому показатель «ответили “да”» нужно читать с учётом того, кто попал в его знаменатель. Это могут быть все опрошенные, только ответившие на вопрос или только те, кто выбрал конкретный пункт в предыдущем разделе. Без такого пояснения процент трудно интерпретировать.

Как сравнивать результаты без ложной уверенности

Если два источника сообщают разные доли, полезно сначала выяснить, задавали ли они один и тот же вопрос: совпадают ли временной период, формулировка, варианты ответа и способ подсчёта. Затем стоит проверить, кому именно задавали вопрос и как учитывали пропуски. Различия могут возникать на любом из этих этапов, ещё до того, как данные превратятся в итоговый процент.

Это особенно существенно при обсуждении социальных рисков азартных игр. Например, один опрос может измерять личное беспокойство, другой — финансовые затруднения, третий — наличие конфликта в семье. Нельзя считать эти показатели взаимозаменяемыми или складывать их так, будто они описывают одну и ту же величину. Тем более нельзя по одному ответу установить причину сложной жизненной ситуации.

Критическое чтение здесь не сводится к поиску «правильного» вопроса. Оно требует уточнить, что именно было измерено и какие выводы выдерживают это уточнение. Процент — не самостоятельное описание действительности, а результат цепочки решений: кого спросили, какими словами, за какой период и как сгруппировали ответы. Когда эта цепочка видна, статистику легче понимать без преувеличений и без необоснованного недоверия.