A/B-тесты

Основа с Junior

Дизайн эксперимента, размер выборки, подглядывание, SRM, CUPED и метрики-отношения.

Что важно знать

Метрика, единица рандомизации и размер выборки — до запуска.
Подглядывание и ранняя остановка завышают ложные срабатывания.
SRM — неравное деление групп — повод не доверять результату.
Метрики-отношения требуют особых методов.

Критерии освоения

Junior ≈ 6 ч

Проектирует A/B-тест — гипотеза, метрика, единица рандомизации, критерий

Практика. Описать дизайн A/B-теста новой кнопки оформления заказа с метриками и критериями.

Middle ≈ 10 ч

Рассчитывает размер выборки и длительность теста
Находит проблемы — подглядывание, SRM, множественные сравнения, эффект новизны
Анализирует метрики-отношения дельта-методом или бутстрапом

Практика. Проанализировать результаты учебного теста с проверкой SRM и анализом среднего чека бутстрапом.

Senior ≈ 6 ч

Ускоряет эксперименты снижением дисперсии (CUPED) и выстраивает процесс экспериментов в компании

Практика. Применить CUPED к данным теста и показать сокращение необходимой длительности.

Вопросы с собеседований

Как спроектировать A/B-тест от гипотезы до решения? Junior
До запуска: гипотеза (что меняем и почему это должно сработать), главная метрика и ограничители (guardrails), единица рандомизации (пользователь, сессия, город), размер выборки и…
Какие эффекты искажают результаты A/B-тестов — новизна, сетевые эффекты, сезонность? Middle
Эффект новизны — пользователи активно пробуют новое, и эффект угасает; эффект привыкания (primacy) — наоборот, сначала сопротивление. Сетевые эффекты и интерференция — группы…
Как анализировать метрики-отношения (средний чек, CTR) и метрики с длинным хвостом в A/B-тесте? Senior
Если единица рандомизации — пользователь, а метрика считается по заказам или кликам (средний чек = выручка / число заказов, CTR = клики / показы), наблюдения внутри пользователя…
Как рассчитать размер выборки и длительность A/B-теста? Middle
Размер выборки зависит от базового значения и дисперсии метрики, MDE (минимального эффекта, который важно заметить), α и мощности. Для долей приближённо: n на группу ≈ 16p(1 − p)…
Что такое CUPED и как ускорить A/B-тесты без увеличения трафика? Senior
CUPED использует данные пользователя до эксперимента (например, его выручку за прошлый месяц): из метрики вычитают часть, объяснимую этой ковариатой: Y' = Y − θ(X − X̄). Эффект не…
Что такое проблема множественных сравнений? Middle
При α = 0,05 каждый тест даёт 5% ложных срабатываний. Проверив 20 метрик или сегментов, вы с вероятностью около 64% найдёте хотя бы одну «значимую» случайно. Лечение: одна главная…

← Вся карта «Data Scientist»

Закрытая бета

Знать тему — половина дела

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.

Промокод на 2 часа — сверх пробных 30 минут
Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
Первыми узнаете о версии для Mac — пока sotto только для Windows
Прямая связь с разработчиком: что улучшить — сделаем