Размер выборки зависит от базового значения и дисперсии метрики, MDE (минимального эффекта, который важно заметить), α и мощности. Для долей приближённо: n на группу ≈ 16·p(1 − p) / δ² при α = 0,05 и мощности 80%, где δ — абсолютный эффект. Длительность = n / трафик в день, округлённая вверх до целых недель.
А ещё Калькуляторы и statsmodels делают точный расчёт; формула 16σ²/δ² — для оценки в уме
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Пример. Конверсия 5%, хотим заметить рост до 5,5% (относительно +10%, δ = 0,005):
n ≈ 16 · 0,05 · 0,95 / 0,005² ≈ 30 400 пользователей на группу.
При 10 000 новых пользователей в день на тест с двумя группами — около 6 дней; округляем до 7, чтобы покрыть недельный цикл.
Тот же тест для +2% относительно (δ = 0,001) — уже около 760 000 на группу: многие продукты такой эффект в разумные сроки не увидят.
Откуда 16: (z₁₋α/₂ + z₁₋β)² ≈ (1,96 + 0,84)² ≈ 7,85, и для двух групп множитель удваивается.
Практика:
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto