Если единица рандомизации — пользователь, а метрика считается по заказам или кликам (средний чек = выручка / число заказов, CTR = клики / показы), наблюдения внутри пользователя зависимы, и обычный t-тест занижает дисперсию — растут ложные срабатывания. Решения: дельта-метод (аналитическая дисперсия отношения), бутстреп по пользователям, линеаризация.
А ещё Платформы экспериментов (в том числе внутренние в крупных компаниях) применяют дельта-метод по умолчанию
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Проблема. У одного пользователя 20 заказов, у другого — один. Если считать каждый заказ независимым наблюдением, выборка выглядит больше, чем есть, и доверительный интервал слишком узкий.
Дельта-метод — дисперсия отношения средних X̄/Ȳ по пользователям через линейное приближение: учитывает дисперсии числителя, знаменателя и их ковариацию. Быстрый и точный при больших выборках.
Линеаризация — для каждого пользователя считают x − R·y (R — отношение в контроле); получается метрика на уровне пользователя, к которой применим t-тест и CUPED.
Бутстреп — многократно пересэмплировать пользователей с повторениями, пересчитать метрику, взять перцентили распределения разницы. Универсален (медианы, квантили, сложные метрики), но дорог по вычислениям.
Длинные хвосты (выручка): несколько огромных покупок дают большую дисперсию и нестабильный результат — помогает винзоризация по заранее заданному перцентилю или логарифм.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto