Что такое SRM (sample ratio mismatch) и почему это повод не доверять результатам теста?

Question

Accepted Answer

SRM — наблюдаемое соотношение групп статистически отличается от запланированного (50/50 стало 50,8/49,2 на миллионе пользователей). Это признак сломанной рандомизации или трекинга, и сравнение групп становится нечестным: в одну попали или потерялись определённые пользователи. Проверяют хи-квадрат тестом; при SRM результаты не используют, пока не найдена причина. Порог для проверки SRM строгий (например, p < 0,001) Причины: редиректы, падения в одной версии, боты, кэширование, разные условия попадания в выборку Небольшая разница в абсолютных числах на больших выборках может быть значима Хорошие платформы проверяют SRM автоматически и блокируют анализ Пример причин: - новая версия страницы медленнее грузится, и часть пользователей уходит до отправки события показа — их нет в данных группы B; - тест включается редиректом, а часть браузеров его не проходит; - фильтрация ботов срабатывает по-разному в группах; - пользователи в группе B чаще падают с ошибкой и перезаходят с новым идентификатором; - в группу «попадают» по событию, которое зависит от изменения (триггер появился только в новой версии). Проверка: хи-квадрат по фактическим и ожидаемым размерам групп. На 1 000 000 пользователей отклонение 50,5/49,5 уже крайне неслучайно. Почему нельзя игнорировать. Пропавшие пользователи не случайны — например, самые нетерпеливые. Без них группа B выглядит лучше, чем есть. Поэтому эффект в эксперименте с SRM не интерпретируют.

Что такое SRM (sample ratio mismatch) и почему это повод не доверять результатам теста?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени