CUPED использует данные пользователя до эксперимента (например, его выручку за прошлый месяц): из метрики вычитают часть, объяснимую этой ковариатой: Y' = Y − θ·(X − X̄). Эффект не смещается, а дисперсия снижается на долю, равную квадрату корреляции X и Y — тест требует меньше выборки.
А ещё Другие способы: стратификация, исключение нечувствительных пользователей, более чувствительные прокси-метрики
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Идея. Большая часть разброса выручки между пользователями — постоянные различия: одни тратят много всегда, другие мало. Эти различия не связаны с вариантом теста, но шумят. Если вычесть «ожидаемую» по прошлому поведению часть, остаётся меньше шума.
Расчёт: θ = cov(X, Y) / var(X) по объединённым данным; новая метрика Y' считается для каждого пользователя; дальше обычный тест на Y'. Средние разности Y и Y' между группами совпадают в ожидании, потому что X не зависит от группы.
Другие приёмы:
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto