p-value колеблется по ходу теста, и если проверять каждый день и остановиться на первом p < 0,05, доля ложных срабатываний вырастает с 5% до 20–30%. Это те же множественные сравнения во времени. Правильно: зафиксировать размер выборки и смотреть один раз — или применять последовательные методы, рассчитанные на промежуточные проверки.
А ещё Байесовский подход не освобождает от проблемы полностью — решения тоже должны быть спланированы
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Почему так. В начале теста данных мало, и случайные колебания большие. При ежедневной проверке у нулевого эффекта есть много шансов случайно «пересечь» порог значимости. Каждая проверка — ещё одна попытка выиграть в лотерею ложного открытия.
Решения:
Связанная проблема — продление теста «ещё на недельку», потому что почти значимо. Это тоже подгонка.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto