В тесте выросла конверсия, но упала выручка. Выкатывать ли изменение?

Question

Accepted Answer

Сначала проверить корректность теста (SRM, длительность, значимость обеих метрик). Затем разложить выручку: конверсия выросла, а средний чек или число покупок упали — например, пришли покупатели дешёвых товаров. Решение принимают по заранее выбранной главной метрике и долгосрочной ценности: важна ли выручка сейчас, растёт ли удержание, что с маржой. Значимы ли оба изменения — часто одно из них в пределах шума Разложение на множители объясняет противоречие Учесть долгосрочные эффекты: новые покупатели могут дать выручку позже Хороший ответ — не «да» или «нет», а план: что посчитать и какой критерий использовать Последовательность рассуждения: 1. Достоверность: SRM, правильная длительность, доверительные интервалы обеих метрик. Если падение выручки незначимо — это ещё не противоречие. 2. Разложение: выручка на пользователя = конверсия × заказов на покупателя × средний чек. Что именно упало? 3. Сегменты: кто стал покупать — новые пользователи, дешёвая категория, определённая платформа? 4. Экономика: маржа важнее выручки; рост числа покупателей может увеличить LTV при достаточном удержании. 5. Решение по плану: если главная метрика — выручка, изменение не выкатывают или дорабатывают; если стратегическая цель — привлечение покупателей, а выручка — ограничитель с допустимым падением, — возможно выкатить с наблюдением. Варианты продолжения: доработать изменение (например, минимальная сумма заказа), повторный тест, holdout для долгосрочной оценки.

В тесте выросла конверсия, но упала выручка. Выкатывать ли изменение?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени