Когда случайность проходит сотни проверок: проблема множественных сравнений

Одна проверка — и множество возможностей

Представим, что исследователь изучает архив наблюдений за погодой и проверяет, связан ли каждый день недели с необычно высокой температурой. Он отдельно сравнивает понедельник со вторником, понедельник со средой и так далее, а затем повторяет сравнения для осадков, ветра и нескольких месяцев. Каждая проверка сама по себе может быть разумной. Но вместе они создают особую проблему: чем больше гипотез проверено, тем выше шанс найти впечатляющее совпадение, даже если в данных нет устойчивой закономерности.

Это называют проблемой множественных сравнений. Она возникает не только в науке. Человек может просматривать большой набор таблиц, графиков или исторических записей, пока не обнаружит какой-нибудь необычный фрагмент. Находка выглядит содержательной, потому что ее действительно заметили в данных. Но сам факт обнаружения еще не показывает, насколько удивителен результат с учетом того, сколько других вариантов до этого было проверено.

Важно различать два вопроса: «Насколько необычен этот результат при одной заранее выбранной проверке?» и «Насколько необычно, что среди множества проверок нашелся хотя бы один такой результат?» Это не одно и то же.

Как появляется случайная находка

Вообразим условный эксперимент: справедливую монету подбрасывают много раз, а затем анализируют последовательности. Можно проверить, чаще ли орел выпадает утром, чем вечером; меняется ли доля орлов после серии решек; отличается ли результат в первые и последние дни месяца. Если заранее выбрана одна конкретная гипотеза, случайный результат, который кажется необычным, заслуживает внимания. Но если после наблюдений сформулированы сотни вариантов, некоторые из них могут выглядеть убедительно просто по воле случая.

Для наглядности представим набор из двадцати независимых проверок. Если каждая из них проводится на условно строгом уровне, при котором вероятность ложного сигнала для одной проверки равна пяти процентам, шанс получить хотя бы один такой сигнал в наборе будет больше пяти процентов. В упрощенном случае независимых проверок его можно выразить как единицу минус вероятность не получить ни одного сигнала. При двадцати проверках это примерно 64 процента. Это не означает, что каждый отдельный результат ошибочен; речь о том, что хотя бы одна ложная находка становится довольно вероятной.

В реальных задачах проверки часто связаны друг с другом, поэтому простая формула не всегда подходит. Но общий вывод сохраняется: количество предпринятых сравнений влияет на то, как следует оценивать найденный результат.

Почему заметная закономерность может быть хрупкой

Часто проблема возникает не из-за намеренного искажения, а из-за естественного исследовательского любопытства. Аналитик меняет временной интервал, исключает один участок данных, пробует другой способ группировки или уточняет показатель. Это помогает разобраться в материале. Однако если после каждой попытки сообщается только самый выразительный итог, читатель не видит всей дороги, по которой к нему пришли.

Допустим, в архиве городских наблюдений обнаружили, что необычно холодные дни чаще следовали за определенным типом облачности. Такой вывод может быть полезен как вопрос для дальнейшей проверки. Но если исследователь перебрал десятки типов облаков, сезонов и временных промежутков, найденная связь могла оказаться самой яркой из множества слабых случайных колебаний. Когда меняются границы выборки, результат может исчезнуть или даже поменять направление. Это не доказывает, что он ложный, но делает его менее устойчивым.

Устойчивость — важное дополнение к статистической заметности. Полезно спросить, сохраняется ли вывод при разумных изменениях анализа, подтверждается ли на новых данных и соответствует ли заранее сформулированному объяснению. Эти вопросы не превращают случайные данные в определенность, но помогают отличить перспективную гипотезу от эффектного совпадения.

Что помогает читать результаты критически

Первый ориентир — выяснить, была ли гипотеза сформулирована до просмотра данных или появилась после обнаружения результата. Предварительная формулировка не гарантирует правильности, зато уменьшает риск того, что исследователь незаметно выбрал наиболее удачный вариант из множества. Гипотезы, появившиеся после анализа, тоже могут быть ценными, но их разумнее считать предположениями, требующими отдельной проверки.

Второй ориентир — учитывать число проверок и способ их проведения. Для этого существуют методы поправки на множественные сравнения. Одни стремятся ограничить вероятность хотя бы одной ложной находки во всем наборе проверок; другие контролируют долю ложных сигналов среди результатов, объявленных значимыми. Выбор метода зависит от задачи. Важнее не механически искать одну универсальную поправку, а ясно описывать, какие сравнения проводились и почему.

Третий ориентир — различать статистическую заметность и практический масштаб. Даже результат, который трудно объяснить случайными колебаниями в рамках выбранной модели, может быть мал по величине. И наоборот, потенциально важный эффект может оцениваться неточно, если данных мало. Поэтому одного ярлыка «значимо» недостаточно: стоит смотреть на размер эффекта, неопределенность оценки и устройство самого исследования.

От найденного сигнала к проверяемой гипотезе

Большой массив данных похож на территорию, где можно обнаружить множество рисунков. Некоторые отражают реальные процессы, некоторые возникают из-за шума, а иногда оба фактора действуют одновременно. Статистическая процедура не отменяет необходимости понять, сколько путей было испробовано и насколько убедителен выбранный путь по сравнению с остальными.

Особенно полезно разделять поиск и подтверждение. На этапе поиска можно исследовать данные широко, замечать неожиданные связи и предлагать объяснения. Затем гипотезу проверяют на новых наблюдениях или с помощью заранее описанного анализа. Если результат повторяется, доверие к нему растет; если не повторяется, это повод пересмотреть первоначальное объяснение, а не обязательно объявлять данные бесполезными.

Критическое чтение в такой ситуации не сводится к недоверию ко всякой статистике. Оно требует точнее понимать, что именно проверялось и при каких условиях. Вопрос «Нашли ли мы необычный результат?» стоит дополнить вопросом «Сколько других результатов могли выглядеть необычно, если бы мы их искали?» Именно эта разница часто отделяет наблюдение, достойное дальнейшего изучения, от уверенного вывода, для которого оснований пока недостаточно.