Оформление
Прирост конверсии персонализации
Прирост персонализации — это наблюдаемое отличие персонализированной группы от контроля по выбранной метрике. Он не равен оценке качества модели и не выводится из прогнозов вариантов.
Что проверить
- обе сравниваемые группы представлены в данных;
- цели и метрика соответствуют текущей конфигурации;
- объём данных и доверительный интервал позволяют отличить эффект от шума;
- период не смешивает несовместимые версии конфигурации без явной причины;
- изменение не объясняется одним вариантом, источником трафика или другим разрезом.
Интервал, который пересекает ноль, означает, что направление эффекта ещё не подтверждено. Отрицательный результат также полезен: остановите сущность или исправьте гипотезу, но не подменяйте наблюдение прогнозом модели.
Система определяет готовность по фактическим данным. Фиксированного минимального числа конверсий или обязательного срока для всех проектов нет.
Откуда берётся число в списке
Прирост в списке персонализаций, статус «Доказано» и стартовый отчёт на странице Статистика считаются по одному и тому же окну данных. Система берёт последний месяц, а если данных за месяц не хватает, чтобы отличить эффект от шума, — два или три месяца. Окно подписано рядом с приростом в карточке, и страница статистики открывается именно на нём, с теми же целями и той же атрибуцией конверсий.
Персонализация считается доказанной, пока весь доверительный интервал прироста на этом окне выше нуля при уровне доверия, выбранном в настройках проекта. Если интервал снова накрывает ноль, статус «Доказано» снимается — число в списке не хранится «навсегда», а регулярно пересчитывается.
Если на странице статистики выбрать другой период, цели или атрибуцию, число изменится: это будет уже другой вопрос к данным, а не ошибка списка.