Эффект новизны — пользователи активно пробуют новое, и эффект угасает; эффект привыкания (primacy) — наоборот, сначала сопротивление. Сетевые эффекты и интерференция — группы влияют друг на друга (маркетплейс, соцсеть, такси): рандомизация по пользователям даёт смещённый результат. Сезонность и внешние события — короткий тест в нетипичный период не обобщается.
А ещё Обучающиеся системы (рекомендации) меняют данные под себя — тесты моделей сложнее
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Новизна и привыкание. Новая кнопка яркого цвета получает больше кликов первые дни просто потому, что заметна. Смотрят график эффекта по дням теста и отдельно по пользователям, впервые увидевшим продукт уже в новой версии.
Интерференция. В маркетплейсе скидка для группы B забирает товар у группы A — B «выигрывает» частично за счёт A, и после выкатки на всех эффекта нет. В такси больше заказов в одной группе уменьшает свободных водителей для другой. Решения:
Holdout. Небольшая доля пользователей надолго остаётся без изменений, чтобы измерить накопленный долгосрочный эффект серии выкатов.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto