A/B-тесты и статистика для собеседования

Самая требовательная часть собеседования аналитика: как спроектировать эксперимент, рассчитать выборку, не обмануться подглядыванием и множественными сравнениями и что делать, когда тест провести нельзя.

1. Какие эффекты искажают результаты A/B-тестов — новизна, сетевые эффекты, сезонность? Middle

   Эффект новизны — пользователи активно пробуют новое, и эффект угасает; эффект привыкания (primacy) — наоборот, сначала сопротивление. Сетевые эффекты и интерференция — группы…

2. Как рассчитать размер выборки и длительность A/B-теста? Middle

   Размер выборки зависит от базового значения и дисперсии метрики, MDE (минимального эффекта, который важно заметить), α и мощности. Для долей приближённо: n на группу ≈ 16p(1 − p)…

3. Как спроектировать A/B-тест от гипотезы до решения? Junior

   До запуска: гипотеза (что меняем и почему это должно сработать), главная метрика и ограничители (guardrails), единица рандомизации (пользователь, сессия, город), размер выборки и…

4. Что такое теорема Байеса и ошибка пренебрежения базовой частотой? Middle

   Теорема Байеса пересчитывает вероятность гипотезы после наблюдения: P(H|D) = P(D|H)P(H) / P(D). Классическая ловушка — забыть базовую частоту P(H): при редком событии даже очень…

5. Чем отличаются среднее, медиана и мода и когда что использовать? Junior

   Среднее — сумма, делённая на количество; чувствительно к выбросам. Медиана — значение посередине упорядоченного ряда; устойчива к выбросам. Мода — самое частое значение; для…

6. Что такое центральная предельная теорема и доверительный интервал? Middle

   ЦПТ: среднее большой выборки распределено примерно нормально со стандартным отклонением σ/√n (стандартная ошибка), даже если сами данные не нормальны. На этом построены интервалы…

7. Чем корреляция отличается от причинно-следственной связи? Junior

   Корреляция — совместное изменение величин; причинность — изменение одной вызывает изменение другой. Корреляция возникает и без причинности: общая причина (конфаундер), обратная…

8. Какие вероятностные распределения нужно знать аналитику? Middle

   Бернулли и биномиальное — успех/неуспех и число успехов из n попыток (конверсия). Пуассона — число редких событий за интервал (заказы в минуту, ошибки в час). Нормальное — суммы…

9. Что такое проблема множественных сравнений? Middle

   При α = 0,05 каждый тест даёт 5% ложных срабатываний. Проверив 20 метрик или сегментов, вы с вероятностью около 64% найдёте хотя бы одну «значимую» случайно. Лечение: одна главная…

10. Как обнаруживать и обрабатывать выбросы в данных? Junior

    Сначала понять природу выброса: ошибка данных (тестовый заказ, бот, сбой трекинга, неверные единицы) — исправить или исключить; реальное редкое значение (оптовый клиент) — часть…

11. Что такое p-value и как работает проверка статистических гипотез? Junior

    Формулируют нулевую гипотезу (эффекта нет) и альтернативу. p-value — вероятность получить такие или ещё более сильные различия, если нулевая гипотеза верна. Если p-value меньше…

12. Почему нельзя останавливать A/B-тест, как только результат стал значимым? Middle

    p-value колеблется по ходу теста, и если проверять каждый день и остановиться на первом p < 0,05, доля ложных срабатываний вырастает с 5% до 20–30%. Это те же множественные…

13. Как оценить эффект изменения, если A/B-тест провести нельзя? Middle

    Разность разностей (difference-in-differences) — сравнить изменение метрики в затронутой группе с изменением в похожей незатронутой за тот же период; допущение — параллельные…

14. Как анализировать метрики-отношения (средний чек, CTR) и метрики с длинным хвостом в A/B-тесте? Senior

    Если единица рандомизации — пользователь, а метрика считается по заказам или кликам (средний чек = выручка / число заказов, CTR = клики / показы), наблюдения внутри пользователя…

15. Что такое SRM (sample ratio mismatch) и почему это повод не доверять результатам теста? Middle

    SRM — наблюдаемое соотношение групп статистически отличается от запланированного (50/50 стало 50,8/49,2 на миллионе пользователей). Это признак сломанной рандомизации или…

16. Что такое ошибки первого и второго рода и мощность теста? Middle

    Ошибка I рода (α) — найти эффект, которого нет (ложная тревога). Ошибка II рода (β) — не найти существующий эффект (пропуск). Мощность = 1 − β — вероятность обнаружить эффект…

17. Что такое CUPED и как ускорить A/B-тесты без увеличения трафика? Senior

    CUPED использует данные пользователя до эксперимента (например, его выручку за прошлый месяц): из метрики вычитают часть, объяснимую этой ковариатой: Y' = Y − θ(X − X̄). Эффект не…