Когда общий процент переворачивает сравнение: парадокс Симпсона

Одно число — два разных сравнения

Представим учебный пример: две команды проверяют изделия двух типов — простые и сложные. В каждой категории отдельно первая команда выявляет дефекты чаще. Но если сложить результаты, общий процент обнаружений оказывается выше у второй команды. Это иллюстрация парадокса Симпсона: направление сравнения внутри групп меняется после объединения данных.

Все числа в статье условные и придуманы для иллюстрации. Первая команда проверила 10 простых изделий и обнаружила дефект у 9 — это 90%. Ещё она проверила 10 сложных изделий и нашла дефект у 1 — 10%. Итого — 10 обнаружений из 20 изделий, или 50%.

Вторая команда проверила 100 простых изделий и обнаружила дефект у 80 — это 80%. Среди одного сложного изделия она не нашла дефектов — 0%. Итого у неё 80 обнаружений из 101 изделия, то есть примерно 79,2%. Таким образом, первая команда показывает более высокий процент в обеих категориях: 90% против 80% среди простых изделий и 10% против 0% среди сложных. Но общий процент выше у второй команды: примерно 79,2% против 50%.

Причина переворота — разный состав проверок. У первой команды половина изделий простые, а половина сложные. У второй почти все изделия простые. Поскольку в этом примере доля обнаружений у простых изделий выше, большой вес этой категории повышает общий процент второй команды. Общие показатели смешивают результаты внутри категорий с тем, сколько наблюдений пришлось на каждую категорию.

Как возникает переворот

Среднее значение зависит не только от показателей внутри категорий, но и от веса каждой категории. Если у одной команды большая часть наблюдений приходится на группу с высокими значениями, её общий результат может оказаться высоким, даже если внутри каждой группы её показатели ниже. Если у другой команды больше наблюдений в группе с низкими значениями, общий результат может быть ниже, несмотря на преимущество в отдельных категориях.

В примере первая команда превосходит вторую в каждой категории, но у неё гораздо меньше простых изделий — категории с более высокой долей обнаружений. Вторая команда проверяет почти исключительно простые изделия, поэтому именно эта категория определяет её общий показатель. Сравнение общих долей отвечает на вопрос «каковы результаты при фактическом составе проверок?», а сравнение внутри категорий — на вопрос «как различаются результаты на изделиях одного типа?»

Парадокс не означает, что один показатель непременно правильный, а другой неправильный. Они описывают результаты при разных условиях. Общая цифра может быть важна, если интересует итог при реально сложившемся составе задач. Разбивка по типам продукции важна, если нужно сравнить результаты на сопоставимых случаях. Выбор зависит от вопроса, а не от того, какая цифра кажется убедительнее.

Почему это важно при чтении статистики

Такие перевороты возможны в самых разных областях: при сравнении школ с разным составом учеников, больниц с разной сложностью случаев, регионов с разной возрастной структурой или групп с неодинаковыми условиями наблюдения. Само наличие различий между группами ещё не доказывает причину. Оно показывает, что агрегированный результат может зависеть от состава данных.

Представим, что в отчёте о двух учебных программах приводится доля учеников, успешно сдавших экзамен. Если в одной программе больше новичков, а в другой — больше учащихся с предварительной подготовкой, общее сравнение смешает результат обучения с исходным составом групп. Разделение по уровню подготовки может дать другую картину. Но даже после такого разделения нельзя автоматически заключать, что именно программа вызвала различие: могли влиять отбор участников, преподаватели, условия занятий и другие факторы.

Есть и обратная опасность: бесконечно дробить данные, пока не найдётся удобная категория, в которой желаемый вывод выглядит убедительно. Разбиение должно иметь содержательный смысл и, по возможности, быть предусмотрено до анализа. Иначе читателю трудно отличить осмысленное уточнение сравнения от подбора выгодных срезов.

Что спросить у процента

При встрече с общим показателем полезно сначала уточнить знаменатель: процент от кого или от чего посчитан? Затем — одинаковы ли сравниваемые группы по важным характеристикам. Если доли случаев разного типа различаются, стоит попросить результаты отдельно по этим типам. Это способ понять, какое сравнение действительно стоит за цифрой.

• Каковы размеры групп? Одинаковый процент может основываться на нескольких наблюдениях или на тысячах. Числитель и знаменатель помогают оценить масштаб.
• Что именно объединено? Среднее по неоднородным категориям может скрыть различия, важные для вывода.
• Сопоставимы ли условия? Разная сложность задач, возрастной состав или правила отбора способны влиять на результат.
• Какой вопрос задаёт автор? Итог при фактическом составе случаев и сравнение внутри одинаковых категорий — не одно и то же.
• Можно ли объяснить различие причинно? Описательная статистика показывает связи и распределения, но сама по себе не устанавливает, почему они возникли.

Осторожность без недоверия ко всем цифрам

Парадокс Симпсона напоминает не о том, что статистике нельзя доверять, а о том, что число нужно читать вместе с устройством данных. Общая доля отвечает на конкретный вопрос, но может не отвечать на тот, который интересует читателя. Разбивка по категориям добавляет контекст, однако и она не заменяет анализа причин и качества измерений.

Практичный подход — учитывать несколько уровней одновременно: общий итог, результаты внутри осмысленных групп и состав этих групп. Если вывод меняется при переходе от одного уровня к другому, это не повод немедленно объявлять одну цифру ложной. Это сигнал выяснить, какие наблюдения дали каждому показателю вес и какое сравнение подходит для поставленного вопроса.

Так критическое чтение статистики превращается не в поиск подвоха, а в уточнение смысла. Процент — не самостоятельный вердикт. Это краткое описание данных, которое становится понятнее, когда известны знаменатель, структура групп и границы вывода.