Эксперимент и наблюдение: оценка воздействия и проблема самоотбора

Эффект воздействия показывает, насколько результат отличается от того, что произошло бы с тем же объектом без воздействия. В наблюдательных данных участники часто сами выбирают действие. Если причины участия связаны и с возможным результатом, возникает смещение из-за самоотбора: наблюдаемая разница между группами включает их исходные различия.1, 2

Случайное назначение в группы позволяет оценивать причинное влияние программы. Для вывода об эффекте самого воздействия нужно также проверить, получили ли участники его в соответствии с назначением.2

Что важно запомнить
  • Искомое сравнение — результат с воздействием против результата без него при сопоставимых условиях.
  • Самоотбор связан с тем, что участие зависит от характеристик, влияющих и на результат.
  • Случайное назначение воздействия устраняет систематическую связь участия с такими характеристиками в идеальном эксперименте.
  • Разность средних является оценкой эффекта только при обоснованной сравнимости групп.
  • Наблюдательные данные тоже полезны, но причинный вывод требует отдельного обоснования.

Какого сравнения не хватает исследователю

Представим, что нужно выяснить, помогли ли дополнительные занятия повысить экзаменационный результат студента. Для строгого ответа потребовалось бы сравнить два исхода для этого же студента в тех же условиях: с занятиями и без них. Однако наблюдается только один из них. Эти два возможных результата называют потенциальными исходами. Ненаблюдаемый альтернативный исход нельзя получить простым повторным измерением уже изменившейся ситуации.2

Поэтому исследователь ищет подходящую группу сравнения. Участники, получившие изучаемое воздействие, образуют испытуемую группу. Контрольная группа нужна для оценки того, что могло бы произойти без этого воздействия. Её полезность определяется сравнимостью, а не самим названием.2

Почему добровольное участие создаёт самоотбор

На дополнительные занятия могут чаще приходить особенно мотивированные студенты. Но возможен и обратный отбор: помощь чаще ищут те, кому предмет даётся труднее. В обоих случаях причины участия связаны с будущими результатами. Сравнение посетителей и непосетителей тогда отражает не только пользу занятий. Так возникает проблема самоотбора.1

Направление ошибки заранее не фиксировано. Исходно более сильная группа способна создать преувеличенное впечатление пользы программы. Исходно более слабая — скрыть её полезный эффект. Даже очень большой объём наблюдений не заменяет выяснения того, почему люди оказались в разных группах.

Что меняет случайное назначение

В идеальном контролируемом эксперименте принадлежность к группе назначают случайно, независимо от характеристик участника. При этом назначенные участники получают воздействие, а контрольная группа его не получает. Разность средних результатов оценивает средний эффект для изучаемых участников. Рандомизация обеспечивает сопоставимость в вероятностном смысле, а не обещает совершенно одинаковый состав каждой конкретной пары групп. Поэтому полученный эффект оценивают с учётом статистической неопределённости.2

Для иллюстрации предположим, что после корректного случайного назначения дополнительного учебного модуля средний балл составил 76 в испытуемой группе и 72 в контрольной. Разность 4 балла была бы точечной оценкой среднего эффекта в этой постановке. Она не означала бы, что каждый студент получил прибавку ровно 4 балла, или что случайные колебания исключены. Числа здесь условные.

В реальном исследовании назначение и участие могут различаться. Например, часть приглашённых студентов не приходит на занятие. Сравнение исходно назначенных групп тогда оценивает эффект приглашения, а не автоматически эффект посещения. Сравнение только пришедших с остальными снова может столкнуться с самоотбором.2

При проведении эксперимента важно сохранить смысл сравнения. Если контрольная группа тоже получает похожую помощь или участники передают друг другу результаты программы, оцениваемый эффект меняется. Нужно также понимать, кого удалось наблюдать до конца исследования. Само слово «рандомизация» не освобождает от проверки того, как программа проводилась и какие данные были получены.3

Когда эксперимент недоступен

Случайно назначить образование, условия жизни или государственную политику часто невозможно, слишком дорого либо этически неприемлемо. Тогда исследуют наблюдаемые данные. Иногда внешние обстоятельства создают разделение, похожее на случайное; такие ситуации изучают как естественные эксперименты. Их пригодность нужно обосновать, а не предположить по наличию двух групп.1, 2

Пример простыми словами

Условный пример: посетители добровольного кружка получают в среднем 80 баллов, остальные — 70. Из этих двух чисел нельзя заключить, что кружок добавляет 10 баллов. Посетители могли и без кружка готовиться усерднее.

Теперь представим корректно организованное случайное назначение дополнительного занятия среди согласившихся участников. Это уже другая исследовательская ситуация: попадание в группу не определяется их желанием выбрать именно дополнительное занятие. Причинный вывод опирается на способ распределения, а не на величину разницы баллов.

Частые ошибки

Сравнение «до — после» само по себе не выделяет эффект. За время участия студент мог научиться чему-то на обычных занятиях или столкнуться с более лёгким тестом. Нужно оценить, как изменился бы его результат без изучаемой программы.

Другие вопросы

Источники

  1. 1 Введение в экономику Экономический факультет МГУ имени М. В. Ломоносова. Электронный учебник на платформе «Учебник+». § 1.5 «Как экономисты проверяют теории на основе данных?», раздел «Какие бывают данные»
  2. 2 Картаев Ф. С. Дружелюбная эконометрика 2-е, доп. изд. М.: Экономический факультет МГУ имени М. В. Ломоносова, 2026 г. § 1.3 «Типы данных, используемых в эконометрике»; § 11.1 «Оценка эффекта воздействия в идеальном эксперименте»; § 11.3 «Локальный средний эффект воздействия (LATE)», обсуждение эффекта предписания
  3. 3 Gibson M., Sautmann A. Introduction to randomized evaluations J-PAL. Редакция апреля 2023 г. Разделы «Credible estimates of impact», «When is a randomized evaluation the right tool?» и «Real-world challenges to randomization»