Статистика зависит не только от того, кого посчитали
Представим школьный курс, после которого исследователи спрашивают участников, стало ли им легче решать задачи. Из ста записавшихся на итоговую анкету отвечают шестьдесят. Большинство ответивших сообщает об улучшении. Можно ли заключить, что курс помог большинству участников? Пока нет: мы знаем мнение тех, кто ответил, но не знаем, чем отличаются остальные сорок человек.
Эта проблема возникает всякий раз, когда часть наблюдений отсутствует. Пропуск может казаться технической мелочью: потерянная анкета, неявка на повторное измерение, незаполненная строка в таблице. Но если вероятность попасть в выборку связана с самим изучаемым явлением, итоговая картина может измениться. Вывод тогда описывает не всех участников, а особую группу, оставшуюся в данных.
Это не то же самое, что случайная неточность небольшого опроса. Если анкеты теряются независимо от ответов, главная трудность — уменьшившийся объём информации. Если же чаще исчезают определённые наблюдения, меняется состав выборки. В таком случае дополнительная точность вычислений не исправляет перекос: можно очень аккуратно посчитать показатель для неподходящей группы.
Когда отсутствие ответа не случайно
Вернёмся к курсу. Возможно, участники, которым занятия показались запутанными, чаще перестали ходить и не стали заполнять итоговую анкету. Тогда среди ответивших непропорционально много тех, кому курс подошёл. Вывод «большинство участников заметило улучшение» будет звучать шире, чем позволяют данные. Надёжнее сказать: «Среди тех, кто ответил на итоговую анкету, большинство сообщило об улучшении».
Но возможен и обратный вариант. Например, люди, которым занятия особенно понравились, могут с меньшей охотой участвовать в последующем опросе, считая его лишним. Тогда оставшаяся группа окажется менее довольной, чем все участники. Сам факт неполного ответа ещё не говорит, в какую сторону смещён результат. Для этого нужно понимать, кто именно и почему оказался вне наблюдений.
Такой вопрос полезно задавать и при чтении новостей о работе, образовании или общественных программах. Если приведены результаты опроса, важно посмотреть не только на число ответов, но и на то, кто имел возможность ответить, кого приглашали повторно и сколько участников не удалось опросить. Эти сведения не всегда позволяют устранить неопределённость, зато помогают увидеть её.
Выборка меняется по пути
Пропуски появляются не только из-за отказа заполнять форму. Иногда исследование начинается с широкой группы, а затем участники постепенно выбывают: переезжают, меняют работу, пропускают встречу или не проходят очередное измерение. Если исследователи анализируют только тех, кто дошёл до конца, сравниваемые группы могут уже не совпадать по составу с теми, с которых всё начиналось.
Похожая ситуация возникает при оценке программы наставничества. Допустим, участникам предлагают занятия на протяжении года и в конце проверяют учебные навыки. Если до итогового теста чаще доходят школьники с устойчивым расписанием и высокой посещаемостью, результат может характеризовать именно эту подгруппу. Он не обязательно показывает, чего следует ожидать от каждого школьника, которому предложат такую же программу.
Здесь важно разделять два утверждения: «таков результат среди завершивших программу» и «таков результат среди всех, кому её предложили». Первое может быть корректным описанием наблюдений. Второе требует дополнительных оснований: нужно знать, как выбывшие участники отличаются от оставшихся и как анализ учитывает это различие.
Почему выводы становятся слишком уверенными
Читатель часто замечает число участников, процент и итоговое сравнение, но слабее замечает границы анализа. Гладкая таблица создаёт впечатление завершённости: строки подсчитаны, среднее найдено, разница обозначена. Однако арифметическая точность не отвечает на вопрос, почему некоторые строки отсутствуют. Она также не сообщает, представляет ли наблюдаемая группа людей, о которых сделан общий вывод.
Есть и языковая ловушка. Формулировка «участники стали увереннее» может незаметно подменить более точную: «среди участников, прошедших повторный опрос, средняя самооценка уверенности повысилась». Первое звучит как описание всей группы и реального изменения. Второе указывает на то, кого измерили и что именно измерили. Если показатель основан на самоотчёте, это тоже стоит назвать: мнение о собственных навыках не тождественно проверке навыков заданием.
Внимательное чтение не требует подозревать любую статистику в ошибке. Оно требует соотносить широту вывода с широтой наблюдений. Чем больше выводов о людях, которых фактически не измеряли, тем яснее должна быть оговорка о допущениях.
Как читать результат с оглядкой на пропуски
Полезно начать с нескольких вопросов. Кто вошёл в итоговый анализ? Сколько человек участвовало вначале и сколько осталось к финалу? Есть ли сведения о причинах выбывания? Сравнивали ли исследователи характеристики оставшихся и выбывших, например исходные результаты или посещаемость? И, наконец, относится ли заключение к ответившим, к завершившим программу или ко всей первоначальной группе?
Если причин отсутствия данных не изучали, честный вывод должен сохранять неопределённость. Например: «У завершивших курс показатели выросли; неизвестно, насколько этот результат распространяется на выбывших участников». Если причины выбывания известны, исследователи могут провести дополнительные проверки и показать, меняется ли заключение при разных разумных предположениях. Такие проверки не превращают отсутствующие ответы в наблюдённые факты, но делают границы вывода прозрачнее.
Главный навык здесь — замечать не только то, что попало в таблицу, но и то, что осталось за её пределами. Статистика описывает собранные наблюдения; переход от них к общему утверждению зависит от способа отбора, полноты данных и ясности формулировок. Иногда самый важный вопрос к проценту — не «насколько он велик?», а «чьи случаи он представляет?»
Материал подготовлен с использованием ИИ. Информационная публикация, не руководство по участию в азартных играх.
