Сравнение «до и после» в лоб ненадёжно — мешают сезонность, тренд и параллельные изменения. Варианты: контрольная группа, если фича доступна не всем (платформа, регион, версия приложения) — разность разностей; прерванный временной ряд с моделью тренда и сезонности; сравнение пользователей и непользователей фичи — с оговоркой о самоотборе; при возможности — временно отключить фичу для части пользователей (holdout).
А ещё Лучший ответ включает рекомендацию на будущее: выкатывать через эксперимент
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Почему «до-после» обманывает. Выкатили в начале декабря — вырос спрос из-за праздников. Одновременно маркетинг запустил кампанию. Разница периодов — смесь всего этого.
Подходы по силе:
Формулировка вывода: «эффект от +2 до +6% при допущениях…», а не «фича дала +4%».
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto