Ошибка I рода (α) — найти эффект, которого нет (ложная тревога). Ошибка II рода (β) — не найти существующий эффект (пропуск). Мощность = 1 − β — вероятность обнаружить эффект заданного размера; стандарт — 80%. MDE — минимальный эффект, который тест надёжно обнаружит при данном размере выборки.
А ещё Снижение дисперсии (CUPED, стратификация) повышает мощность без увеличения трафика
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
| эффекта нет | эффект есть | |
|---|---|---|
| тест нашёл эффект | ошибка I рода (α) | верно (мощность) |
| тест не нашёл | верно | ошибка II рода (β) |
Цена ошибок в продукте: ошибка I рода — выкатили бесполезное изменение и считаем, что оно помогло; ошибка II рода — выбросили работающую идею. Баланс выбирают по их цене.
От чего зависит мощность:
Проклятие победителя. В маломощном тесте значимыми оказываются только случаи, где шум случайно усилил эффект, — поэтому оценка эффекта у «победителя» завышена. Отсюда разочарование после выкатки.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto