Оформление

Статистика персонализации

Страница Статистика строит отчёт по выбранной персонализации. Она показывает наблюдаемое поведение контрольной и персонализированной групп, а не обещанный моделью результат.

Наблюдаемый эффект персонализации: контроль и прогноз модели ​

Прогноз модели объясняет выбор варианта, но статистика измеряет наблюдаемый эффект. Чтобы прочитать отчёт:

  1. Проверьте период и выбранные цели.
  2. Убедитесь, что в разрезах есть Контрольная группа и Персонализация.
  3. Сравните объём данных, значение метрики и доверительный интервал.
  4. Раскройте варианты или другие разрезы, если нужно найти источник различия.
  5. Экспортируйте отчёт, если результат нужно передать дальше.

Контроль — базовая линия без персонального ML-выбора. Поэтому положительный прогноз модели сам по себе не означает прирост: вывод делается по фактическому сравнению групп.

Если отчёт пустой ​

  • проверьте период и фильтры;
  • проверьте, что персонализация действительно срабатывает;
  • отличите отсутствие показов от показов без конверсий;
  • проверьте цели и передачу выручки или прибыли для соответствующей метрики;
  • проверьте состояние вариантов.

Не назначайте универсальный срок ожидания и не делайте вывод по одному проценту без объёма и интервала.

Дальше ​