При α = 0,05 каждый тест даёт 5% ложных срабатываний. Проверив 20 метрик или сегментов, вы с вероятностью около 64% найдёте хотя бы одну «значимую» случайно. Лечение: одна главная метрика, заранее заданная; поправки — Бонферрони (α/k, строго) или Бенджамини-Хохберг (контроль доли ложных открытий, мягче).
А ещё Ограничивающие метрики (guardrails) проверяют на ухудшение, а не на «успех»
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Арифметика: вероятность хотя бы одной ложной находки среди k независимых тестов = 1 − 0,95ᵏ. Для k = 20 это около 0,64.
Поправки:
Организационное решение важнее формул: зафиксировать в дизайне эксперимента главную метрику, ограничители и список сегментов. Всё, что найдено «после», — гипотеза, требующая подтверждения отдельным тестом.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto