Сравнение только завершивших: как отбор участников меняет статистический вывод

Когда итог зависит от того, кто попал в таблицу

Представим, что исследователи сравнивают две учебные программы по результатам итогового теста. В первой программе тест сдали почти все записавшиеся, во второй до финала дошла лишь часть. Если сопоставить только баллы тех, кто завершил обучение, можно получить ясную таблицу — и неверное представление о различиях между программами.

Проблема не обязательно в ошибке подсчёта. Средние значения могут быть вычислены совершенно точно. Трудность в другом: группы «завершившие первую программу» и «завершившие вторую» могли образоваться по разным причинам. В одной программе люди могли уходить из-за расписания, в другой — из-за сложности материала. Тогда отбор по завершению меняет состав сравниваемых групп.

Это частный случай смещения отбора: вывод о более широкой группе делают на основании подмножества, в котором участие связано с особенностями людей или обстоятельствами. Важно различать точность арифметики и обоснованность вывода. Первая отвечает на вопрос, правильно ли посчитано среднее; вторая — можно ли распространить его на тех, кто в таблицу не попал.

Простой пример: две программы и два пути к завершению

Допустим, в каждой программе есть участники с разной подготовкой и разной доступностью времени. Для первой программы критично посещать занятия по расписанию. Для второй важнее исходная подготовка: сложные задания могут остановить новичков, тогда как люди с хорошей базой чаще доходят до теста.

Если сравнить только завершивших, в первой группе окажется непропорционально много людей, которым удобно посещать занятия. Во второй — больше тех, кто уже хорошо подготовлен. Разница в тестовых баллах будет отражать не только содержание программ, но и то, кто смог пройти путь до измерения результата.

Здесь нельзя автоматически заключить, что одна программа лучше или хуже. Наблюдаемое сравнение относится к конкретным завершившим, а не обязательно ко всем записавшимся. Даже если средний балл во второй группе выше, это может объясняться более строгим отбором участников по подготовке, а не преимуществом самой программы.

Почему отбор способен создать видимость связи

Отбор иногда не просто меняет доли разных типов участников, но и создаёт связь между характеристиками, которые в исходной группе были независимы. Представим, что для завершения проекта человеку помогают либо большой опыт, либо свободное время: при нехватке одного фактора другой может частично компенсировать его. Среди завершивших участники с меньшим опытом, вероятно, чаще будут располагать свободным временем. В полной группе такой закономерности могло не быть.

Завершение в этом примере выступает общим условием, зависящим сразу от двух обстоятельств. Когда мы рассматриваем только тех, кто удовлетворил этому условию, между обстоятельствами может возникнуть статистическая связь. Если затем сравнивать результаты по одному из них, не учитывая устройство отбора, связь легко принять за самостоятельное влияние.

Это не означает, что любой анализ завершивших бесполезен. Он может точно описывать именно завершивших. Ошибка возникает, когда описание незаметно превращают в причинный вывод: например, утверждают, что опыт сам по себе повысил результат, хотя отбор по завершению связал опыт с другими важными условиями.

Какие вопросы проясняют таблицу

Перед интерпретацией полезно выяснить, кого именно считают участником анализа. Это все записавшиеся, все начавшие занятия, только дошедшие до финала или только ответившие на итоговый опрос? Один и тот же показатель приобретает разный смысл в зависимости от этой границы.

• Как устроен путь к измерению? Нужно понять, кто и по каким причинам не дошёл до результата или не предоставил данные.
• Связаны ли причины отбора с изучаемым исходом? Подготовка, здоровье, расписание или доступ к ресурсам могут влиять и на завершение, и на итоговый показатель.
• Сопоставимы ли группы до отбора? Если люди распределились по программам не случайно, различия могли существовать ещё до начала обучения.
• Как сформулирован вывод? Утверждение о баллах среди завершивших уже, чем утверждение о пользе программы для всех записавшихся.

Полезно также показывать численность на каждом этапе: сколько людей начали, сколько продолжили и сколько вошли в итоговый расчёт. Такие сведения не устраняют смещение сами по себе, но делают структуру анализа видимой. Если причины ухода известны, их можно описать отдельно, не подменяя отсутствующие результаты догадками.

Осторожность без отказа от сравнения

Когда отбор мог повлиять на вывод, исследователи могут проверять, меняются ли результаты при разных разумных предположениях о неучтённых участниках. Иногда применяют статистические методы, учитывающие вероятность попадания в анализ, но они требуют сведений о факторах отбора и опираются на допущения. Метод не превращает неполные данные в полные и не гарантирует устранения всех различий.

Для читателя главный навык — замечать границу между наблюдаемой группой и той, о которой делается вывод. Формулировка «среди тех, кто завершил курс, средний балл оказался выше» сообщает о данных. Формулировка «курс повысил баллы участников» уже предлагает объяснение и требует более сильных оснований.

Статистика становится убедительнее не тогда, когда в таблице больше знаков после запятой, а когда ясно, как она была собрана и к кому относится. Вопрос «кто не попал в сравнение и почему?» часто важнее, чем вопрос о том, насколько велика разница между двумя средними.