# Статистика персонализации
Окно статистики персонализации позволяет оценить качество персонализации. Сравнить отношение конверсий в контрольной и персонализируемой группах относительно заданной конверсии.
Ниже мы рассмотрим основные возможности и особенности статистики.
# Фильтры
Фильтры персонализации - это настройки, которые позволяют точно задать параметры статистики, которую необходимо подсчитать.
Фильтры в списке применяются через логическую операцию И (opens new window) (не ИЛИ).
Например, если в фильтре указаны даты от 24.06.2022 до 28.06.2022 и 3 версия модели, то в статистике будут учитываться только те события персонализации, которые одновременно находятся в рамках заданного промежутка и принадлежат 3 версии модели персонализации.
# Период (по UTC)
Это временный интервал (от и до какой-то даты), в рамках которого отбираются события персонализации и конверсии.
Время учитывается по UTC (opens new window), а не по локальному времени пользователя.
Дата "от" применяется начиная с 0 часов, 0 минут и 0 секунд. Дата "до" применяется до 23 часов, 59 минут и 59 секунд.
Поэтому, если задан временной промежуток от 24.06.2022 до 28.06.2022, то учитывается время от 24.06.2022 00:00:00 до 28.06.2022 23:59:59.
# Группировка
Параметр "Группировка" отвечает за то, как следует группировать данные на графиках.
Существует три варианта:
- День
- Неделя
- Месяц
Некоторые типы группировок могут быть недоступны, если выбран слишком маленький период отображения.
Пример отображения одних и тех же данных с группировкой по дням:
И неделям:
Как можете видеть - динамика успешности нашей персонализации в разрезе по дням была разнонаправленной и визуально оценить результат было сложно.
А при использовании группировки по неделям результат выглядит куда более интуитивно понятным.
# Список целей
Список целей позволяет выбрать вам одну или несколько целей, достижение которых будет трактоваться как конверсия.
Вы можете смотреть статистику не только по тем целям, которые указанны в персонализации, но и по любым другим, которые заданны в вашем проекте.
# Учитывать только первую конверсию для каждого пользователя
Если данная опция включена, то мы будем учитывать только первую конверсию для каждого пользователя в статистике.
Так же см соответствующее поле при создании персонализации.
# Фильтры по-умолчанию
При открытии страницы статистики какой-то персонализации мы для удобства самостоятельно вычисляем для вас оптимальные фильтры.
Как вычисляются выбранные по-умолчанию версии моделей:
Если персонализации находится в процессе проверки (еще не статистически доказана), то мы выбираем те версии моделей с конца, совокупность которых ближе всего к статистической значимости.
Если персонализация уже статистически доказана, то мы выбираем те версии моделей с конца, совокупность которых была использована при последнем обновлении процента прироста конверсии
Если персонализация пока только копит данные, то будут выбраны все версии модели
После вычисления версий моделей, выбранных по-умолчанию мы устанавливаем дату начала периода как дату создания самой ранней версии модели.
Параметр "Учитывать только первую конверсию для каждого пользователя" по-умолчанию проставляется в случае, если аналогичный параметр включен для самой персонализации.
# Таблица статистики
В понимании таблицы статистики помогут следующие статьи:
# Информация о текущей модели
Внизу окна статистики можно посмотреть краткую информацию о текущей (последней) модели, которая используется для персонализации:
Указанные данные - это интерпретация работы модели над небольшой частью оценочных данных контрольной группы, которые не участвовали в обучении.
Эти данные не являются точным предсказанием (как минимум потому что структура трафика постоянно меняется) - рост конверсии может меняться со временем, так же как и оптимальное распределение вариантов персонализации.
Однако это позволяет в определенной степени интерпретировать модель (не говоря о том, что это просто интересно 😀).
Например, на картинке выше показана реальная модель в интернет-магазине. Для товаров, которые остались в одном экземпляре персонализация заменяет (или нет) подпись "Одна штука" на "Несколько".
Изначальная гипотеза была в том, что какие-то люди быстрее решаться на покупку, зная что осталась только 1 штука. А другие могут испугаться, что последний экземпляр - это выставочный образец.
Смотря на получившиеся цифры, мы можем предположить следующее:
Подавляющее большинство людей не рискует заказывать последний образец. Им немного выгоднее показывать, что осталось еще несколько штук (получили небольшой прирост конверсии с 0.15% до 0.16%)
Но для небольшой части людей "Одна штука" - это действительно хороший сигнал, чтобы спровоцировать покупку (конверсия выросла с 0.15% до 0.54%)
# Распространенные вопросы
# Как учитываются конверсии, у которых не было предварительной персонализации?
Предположим, у нас есть персонализация "Текст кнопки добавить в корзину". Мы оптимизируем её относительно цели "Оформленный заказ".
Но что если пользователь достиг цели "Оформленный заказ", но у него не было персонализации "Текст кнопки добавить в корзину" (или персонализация не подошла под указанный фильтр)?
В этом случае конверсия просто не учитывается.
# Перед конверсией было несколько персонализаций. Какая будет учтена при конверсии?
Предположим, пользователь заходил на наш веб-сайт много раз прежде чем совершить конверсию. За все время мы показали ему персонализацию несколько раз:
- Персонализация (вариант 1, контрольная группа)
- Персонализация (вариант 2, контрольная группа)
- Персонализация (вариант 2, персонализируемая группа)
- Конверсия
- Персонализация (вариант 2, контрольная группа)
Персонализация (вариант 2, персонализируемая группа) - шаг под номером 3 - будет учтена как персонализация, которая привела к конверсии.