Малое значение, большая история: статистическая значимость и размер эффекта

Когда «значимо» звучит слишком весомо

В статистическом сообщении слово «значимый» легко принять за оценку важности: будто обнаруженное различие велико, надёжно и существенно для повседневной жизни. Но статистическая значимость — техническое понятие. Она характеризует то, насколько наблюдаемые данные согласуются с определённой нулевой моделью, например с предположением, что различия между двумя группами нет. Это не прямой ответ на вопрос, насколько велико различие и имеет ли оно практические последствия.

Представим условное исследование: сравнивают ответы двух очень больших групп на вопрос о восприятии риска. В одной группе средняя оценка немного выше. Если участников много и измерение достаточно точное, даже небольшая разница может оказаться статистически значимой. Это означает, что при принятых допущениях наблюдаемое расхождение трудно объяснить одной лишь случайной изменчивостью. Но из этого ещё не следует, что разница заметна отдельному человеку или важна для общественного решения.

Обратная ситуация тоже возможна. В небольшом исследовании различие выглядит существенным, но данных недостаточно, чтобы оценить его точно. Результат может не достичь принятого порога значимости — и это не доказывает, что эффекта нет. Возможно, оценка просто остаётся неопределённой. Поэтому формула «не найдено значимого различия» не равнозначна формуле «группы одинаковы».

Критическое чтение начинается с разделения трёх вопросов: есть ли свидетельство различия, насколько оно велико и насколько точно его удалось оценить. Один показатель редко отвечает на все три.

Размер эффекта возвращает масштаб

Чтобы понять практический смысл результата, полезно смотреть на размер эффекта — численное описание различия или связи. В зависимости от задачи это может быть разница средних, отношение вероятностей или иной показатель. Важно не только название метрики, но и её единицы, исходный уровень и способ расчёта.

Допустим, в условном опросе доля людей, согласившихся с утверждением, составила 40 процентов в одной группе и 42 процента в другой. Разница в два процентных пункта может быть статистически различимой при большом объёме данных. Но её смысл зависит от вопроса, состава групп и того, что именно измеряли. Если в сообщении написано лишь «показатель вырос на пять процентов», стоит выяснить: речь о пяти процентных пунктах или об относительном росте на пять процентов? Это разные величины.

Например, увеличение с 20 до 25 процентов составляет пять процентных пунктов, но относительный рост равен четверти исходного значения. Без исходной доли фраза «рост на 25 процентов» может звучать намного внушительнее, чем описываемая абсолютная разница. Ни один из способов представления сам по себе не ложен; проблема возникает, когда масштаб не уточняют и читатель вынужден его угадывать.

При обсуждении социальных последствий азартных игр это различие особенно важно. Изменение доли обращений за помощью, ответов в опросе или иных показателей нельзя оценивать только по впечатляющему заголовку. Нужно знать, какой показатель считали, с чем сравнивали и какова исходная величина. Кроме того, статистическая разница сама по себе не устанавливает причину: на показатель могут влиять состав выборки, способ сбора данных и другие обстоятельства.

Точность оценки — не то же самое, что уверенность в истории

Интервалы неопределённости помогают увидеть, насколько широкий диапазон значений совместим с данными и использованной моделью. Узкий интервал обычно указывает на более точную оценку, широкий — на меньшую определённость. Однако интервал не исправляет ошибки измерения, смещение выборки или неподходящие допущения. Аккуратно вычисленная оценка может быть точной относительно собранных данных, но плохо описывать более широкую группу.

Представим, что опрос охватил тысячи ответов, но участие в нём приняли преимущественно люди, заинтересованные темой. Большой объём ответов сам по себе не гарантирует, что участники представляют всех, о ком говорится в выводе. Здесь важно различать случайную погрешность и систематическое смещение. Первая может уменьшаться с увеличением числа наблюдений; второе не обязательно исчезает, если добавить больше данных того же типа.

Полезно также спрашивать, был ли анализ заранее определён или исследователи проверяли множество показателей и затем выделили один заметный результат. Чем больше сравнений проводится, тем выше вероятность случайно обнаружить необычное различие хотя бы в одном из них. Это не доказывает, что конкретная находка ошибочна, но меняет её контекст: убедительность зависит не только от яркости результата, но и от того, как его искали и насколько он воспроизводится.

Как читать статистическое утверждение без поспешного вывода

Короткий заголовок часто упаковывает несколько разных утверждений в одну фразу. Чтобы распаковать её, полезно пройтись по нескольким вопросам:

• Что измеряли? Уточните, является ли показателем мнение, поведение, обращение за поддержкой или иной результат. Не подменяйте одно другим.
• С чем сравнивали? Важны исходный уровень, контрольная группа и временной период.
• Какова величина различия? Ищите абсолютные числа или разницу в понятных единицах, а не только слова «выше» и «ниже».
• Насколько точна оценка? Обратите внимание на интервал неопределённости и число наблюдений, но не считайте большой объём гарантией репрезентативности.
• Можно ли говорить о причине? Наблюдаемая связь или различие не устанавливают причинность без подходящего исследовательского дизайна.

Такой разбор не требует отвергать статистику или искать подвох в каждом сообщении. Он помогает соразмерять вывод доказательствам. Статистическая значимость может быть полезным сигналом, размер эффекта — показать масштаб, а оценка неопределённости — напомнить о пределах знания. Вместе эти элементы дают более честную картину, чем одно слово «значимо».