До запуска: гипотеза (что меняем и почему это должно сработать), главная метрика и ограничители (guardrails), единица рандомизации (пользователь, сессия, город), размер выборки и длительность по MDE, критерий решения. Во время — проверки здоровья (SRM, трекинг). После — анализ по заранее заданному плану и решение с учётом бизнес-контекста.
А ещё Записывают дизайн до старта — это защищает от подгонки выводов
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Шаблон дизайна:
Во время теста — проверить, что группы получились нужного размера (SRM), события отправляются в обеих группах, нет технических ошибок.
Анализ: эффект с доверительным интервалом, а не только p-value; ограничители; сегменты — как гипотезы, а не как основание для решения.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto