Оформление
Прирост конверсии персонализации
Прирост персонализации — это наблюдаемое отличие персонализированной группы от контроля по выбранной метрике. Он не равен оценке качества модели и не выводится из прогнозов вариантов.
Что проверить
- обе сравниваемые группы представлены в данных;
- цели и метрика соответствуют текущей конфигурации;
- объём данных и доверительный интервал позволяют отличить эффект от шума;
- период не смешивает несовместимые версии конфигурации без явной причины;
- изменение не объясняется одним вариантом, источником трафика или другим разрезом.
Интервал, который пересекает ноль, означает, что направление эффекта ещё не подтверждено. Отрицательный результат также полезен: остановите сущность или исправьте гипотезу, но не подменяйте наблюдение прогнозом модели.
Система определяет готовность по фактическим данным. Фиксированного минимального числа конверсий или обязательного срока для всех проектов нет.