Как оценить эффект изменения, если A/B-тест провести нельзя?

Question

Accepted Answer

Разность разностей (difference-in-differences) — сравнить изменение метрики в затронутой группе с изменением в похожей незатронутой за тот же период; допущение — параллельные тренды до изменения. Ещё: синтетический контроль (взвешенная комбинация контрольных регионов), разрыв регрессии (эффект на пороге правила), прерванный временной ряд. До-после без контроля смешивает эффект с сезонностью и трендом Допущения методов проверяют на периоде до изменения Результат честно подавать с ограничениями — это слабее рандомизации Гео-эксперименты: изменение запускают в одних городах, другие — контроль Почему «до и после» не работает. Сравнили продажи в октябре и сентябре после запуска фичи — рост 12%. Но в октябре и так сезонный рост, параллельно шла рекламная кампания. Difference-in-differences: Контрольная группа должна вести себя так же, как тестовая, если бы изменения не было. Проверка — графики трендов до запуска. Другие методы: - синтетический контроль — когда затронут один регион или страна: контроль собирают из взвешенных других регионов, похожих по истории; - regression discontinuity — правило «скидка заказам от 3 000 рублей»: сравнивают заказы чуть ниже и чуть выше порога; - прерванный временной ряд — моделируют тренд и сезонность до изменения и сравнивают прогноз с фактом; - propensity score matching — подбор похожих необработанных объектов (с осторожностью: только по наблюдаемым признакам).

Как оценить эффект изменения, если A/B-тест провести нельзя?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени