# Статистика персонализации

Страница статистики — главный инструмент для ответа на вопрос: приносит ли персонализация результат?

Система разделяет трафик на две группы — контрольную (случайный выбор варианта) и персонализированную (AI выбирает вариант) — и показывает разницу по конверсии, выручке и прибыли с учётом статистической значимости.

# Фильтры

# Временной период

Диапазон дат для анализа (все даты в UTC). По умолчанию — последние 30 дней.

Если при загрузке страницы найдены версии модели, связанные с текущим расчётом прироста, дата "от" автоматически ставится на дату создания первой из них. Так вы сразу видите статистику за период работы модели, а не за весь срок существования персонализации.

# Группировка

Группировка	Когда доступна	Когда использовать
День	Всегда	Детальный анализ, поиск аномалий. Видно дневные колебания
Неделя	Период ≥ 7 дней	Основной режим. Сглаживает выходные/будни, показывает тренд
Месяц	Период ≥ 30 дней	Для долгосрочных персонализаций. Общая картина

При загрузке группировка подбирается автоматически: если период ≥ 60 дней — ставится "Месяц", если ≥ 14 дней — "Неделя", иначе — "День".

# Версии модели

Каждое обучение создаёт новую версию модели. Для каждой показывается номер, дата создания, состояние (активна или дата завершения), а также пометка, если версия обучалась по другим целям.

Можно выбрать несколько версий одновременно — статистика будет рассчитана суммарно по выбранным.

# Цели и смоделированные конверсии

По каким конверсиям считать статистику. Это взаимоисключающие фильтры: можно выбрать либо одну или несколько целей, либо одну смоделированную конверсию. При выборе целей смоделированная конверсия сбрасывается, и наоборот.

Цели оптимизации персонализации помечены подписью "Цель оптимизации" — их легко найти в списке. Если целей больше 7, появляется поиск.

По умолчанию выбраны все цели персонализации. Если у персонализации задана смоделированная конверсия — подставляется она.

Важно: кнопка "Применить" неактивна, пока не выбрана хотя бы одна цель или смоделированная конверсия.

# Атрибуция

По умолчанию — "Первая конверсия на сессию". Можно переключить на любую другую — это не меняет настройки самой персонализации, а только пересчитывает статистику.

Атрибуция	Что засчитывает
Все конверсии	Все конверсии всех визитов
Первая конверсия на пользователя	Только самую первую конверсию пользователя
Первая конверсия на сессию	По одной первой конверсии за каждый визит
Наиболее ценная на пользователя	Одну конверсию с максимальной выручкой
Наиболее ценная на сессию	По одной самой ценной конверсии за каждый визит

Пример: посетитель зашёл на сайт 3 раза и купил при каждом визите за 3 000 ₽, 5 000 ₽ и 2 000 ₽.

Все конверсии — 3 конверсии, 10 000 ₽
Первая на пользователя — 1 конверсия, 3 000 ₽
Первая на сессию — 3 конверсии, 10 000 ₽ (по одной за визит)
Наиболее ценная на пользователя — 1 конверсия, 5 000 ₽

Разные атрибуции отвечают на разные вопросы. "Все конверсии" показывает суммарный эффект. "Первая конверсия на пользователя" отвечает на вопрос "конвертируем ли мы новых покупателей".

# Вкладка "Конверсии"

Главная вкладка. Если персонализация оптимизируется по конверсиям — вкладка помечена бейджем. Это основной показатель, на который нужно смотреть.

# Основная таблица

Таблица содержит 5 строк и 8 столбцов. Разберём строки на примере.

Допустим, персонализация интернет-магазина работает месяц:

Контрольная группа — посетители, которым вариант выбирался случайно. Это ваша "базовая линия": как выглядели бы результаты без AI. Показывается количество конверсий, количество сессий, коэффициент конверсии и доверительные интервалы 80%/90%/95%.

Пример: 500 конверсий из 25 000 сессий → конверсия 2.00%

Персонализируемая группа — посетители, которым вариант выбирал AI. Те же столбцы.

Пример: 1 900 конверсий из 82 000 сессий → конверсия 2.32%

Разница — абсолютная разница конверсии между группами. Это ответ на вопрос "на сколько процентных пунктов (п.п.) персонализация увеличивает конверсию". Показывается с доверительными интервалами.

Пример: 2.32% - 2.00% = +0.32 п.п. Из каждых 10 000 посетителей — 32 дополнительные конверсии.

Прирост конверсии — относительная разница в процентах. Это ответ на вопрос "на какой процент персонализация увеличивает конверсию относительно базового уровня". Также с доверительными интервалами.

Пример: (2.32% - 2.00%) / 2.00% × 100 = +16%. Это главный показатель эффективности.

Итого — суммарные данные по обеим группам.

Пример: 2 400 конверсий из 107 000 сессий → конверсия 2.24%

# Раскрытие по вариантам

Строки "Контрольная группа" и "Персонализируемая группа" можно раскрыть — видно, как каждый вариант работает в каждой из групп.

Как это читать:

В контрольной группе все варианты показываются с одинаковой вероятностью. Поэтому если в контрольной у варианта "Красная кнопка" конверсия 2.5%, а у "Синяя кнопка" — 1.5%, значит "Красная кнопка" реально конвертирует лучше для случайного посетителя.

В персонализированной группе AI показывает каждый вариант тем посетителям, которым он больше подходит. Поэтому если у обоих вариантов конверсия ~2.3%, это хороший знак: AI нашёл, кому показывать каждый вариант, и оба работают лучше.

Бейджи вариантов:

"Не работает" (красный) — вариант отключён
"Оригинал" (оранжевый) — исходный вариант страницы (показывается только в раскрытии контрольной группы)

На что обратить внимание:

Если в персонализированной группе один вариант получает 95% трафика — модель не персонализирует, а просто нашла лучший вариант. Возможно стоит запустить переобучение

# Показатели под таблицей

Дополнительных конверсий благодаря персонализации — сколько дополнительных конверсий AI принёс за период. Рассчитывается как: (конверсия перс. группы - конверсия контрольной) × количество сессий перс. группы.

Пример: (2.32% - 2.00%) × 82 000 = ~262 дополнительные конверсии

Среднее время между персонализацией и конверсией — показывается отдельно для контрольной и персонализированной групп (в часах).

Если в контрольной 48ч, а в персонализированной 36ч — AI не только увеличивает конверсию, но и ускоряет принятие решения.

# Фильтр вариантов для графиков

Под таблицей — выпадающий список для фильтрации графиков по конкретному варианту. По умолчанию — "Все варианты".

# Графики

Три графика, каждый с линиями: контрольная группа, персонализированная группа, итого. Если есть оригинальный вариант — он показывается четвёртой линией.

Конверсия — самый полезный график. Две основные линии: контрольная и персонализированная.

Линия персонализированной группы стабильно выше контрольной → модель работает
Линии пересекаются → результат нестабильный, возможно нужно переобучение
Персонализированная ниже → модель ухудшает результат

Количество конверсий — абсолютные числа конверсий по периодам.

Количество сессий — абсолютные числа сессий по периодам. Полезно для проверки: достаточно ли трафика.

# Сравнение с оригинальным вариантом

Если у персонализации есть вариант, помеченный как "Оригинал", под основной таблицей отображается дополнительная таблица "Оригинальный вариант". Под заголовком перечислены названия оригинальных вариантов.

В чём отличие от основной таблицы:

Основная таблица сравнивает всю контрольную группу (все варианты случайно) с персонализированной. Дополнительная сравнивает только оригинальные варианты с персонализированной группой.

Это более строгое сравнение — ответ на вопрос: "Лучше ли AI, чем вообще ничего не делать на странице?"

Таблица содержит 4 строки: Оригинальный вариант, Персонализируемая группа (раскрывается по вариантам), Разница, Прирост конверсии.

Пример: основная таблица показывает прирост +16%, а сравнение с оригиналом — +22%. В контрольной группе неоригинальные варианты "подтягивали" конверсию вверх, и реальный эффект AI по сравнению с исходной страницей ещё больше.

# Вкладка "Выручка"

Если персонализация оптимизируется по выручке — вкладка помечена бейджем. Доступна, если хотя бы часть конверсий передаёт данные о выручке. Если данных нет — отображается блок "Передача выручки".

# Основная таблица: выручка на сессию

Сравнивает группы по выручке на сессию — сколько в среднем зарабатывает каждый визит.

Строка	Что показывает
Контрольная группа	Количество сессий, суммарная выручка, средняя выручка на сессию + доверительные интервалы
Персонализируемая группа	То же
Разница	На сколько выручка на сессию больше в персонализированной группе
Прирост выручки	Относительная разница в %
Итого	Суммарные данные

Обе группы раскрываются по вариантам — аналогично вкладке "Конверсии".

Выручка на сессию — самый важный показатель на этой вкладке. Он учитывает одновременно и количество конверсий, и средний чек.

Пример: контрольная — 104.50 ₽/сессию, персонализированная — 145.20 ₽/сессию, прирост +39%.

# Раскрываемая таблица: выручка на конверсию

Открывается по клику. Сравнивает группы по среднему чеку.

Строка	Что показывает
Контрольная группа	Количество конверсий с выручкой, суммарная выручка, средняя выручка на конверсию
Персонализируемая группа	То же
Разница	На сколько средний чек больше
Прирост выручки	Относительный прирост среднего чека
Итого	Суммарные данные

Пример: контрольная — 5 200 ₽/конверсию, персонализированная — 5 800 ₽, прирост +11.5%. AI направляет к более дорогим покупкам.

# Итоговые показатели

Три числа под таблицами:

Заработали больше выручки за счёт увеличения числа конверсий — дополнительная выручка от того, что AI конвертирует больше посетителей
Заработали больше выручки за счёт увеличения выручки на одну конверсию — от того, что AI приводит к более дорогим покупкам
Заработали больше выручки в сумме — итого

Пример:

За счёт числа конверсий: +1 300 000 ₽

За счёт среднего чека: +450 000 ₽

Итого: +1 750 000 ₽

74% прироста — от увеличения количества покупок, 26% — от увеличения среднего чека.

# Сравнение с оригиналом и графики

Аналогично вкладке "Конверсии": если есть оригинальный вариант, показывается таблица сравнения с ним.

Три графика: выручка, выручка на конверсию, выручка на сессию — по периодам.

# Вкладка "Прибыль"

Если персонализация оптимизируется по прибыли — вкладка помечена бейджем. Доступна, если конверсии передают данные о себестоимости.

Структура полностью аналогична вкладке "Выручка":

Основная таблица: прибыль на сессию
Раскрываемая таблица: прибыль на конверсию
Три итоговых показателя:
- Заработали больше прибыли за счёт увеличения числа конверсий
- Заработали больше прибыли за счёт увеличения выручки на одну конверсию
- Заработали больше прибыли в сумме

Когда использовать "Прибыль" вместо "Выручки":

Если товары имеют разную маржинальность — прибыль точнее. AI может направлять к более маржинальным товарам, даже если средний чек ниже.

# Доверительные интервалы

Все числовые показатели сопровождаются доверительными интервалами трёх уровней: 80%, 90% и 95%.

# Что это такое

Когда мы видим конверсию 2.32%, это наблюдаемое значение на выборке. Реальная конверсия может отличаться из-за случайных колебаний. Доверительный интервал показывает диапазон, в котором с заданной вероятностью находится истинное значение.

# Как читать

Интервал показывается как диапазон [От, До].

Прирост конверсии: [+5.2%, +24.8%] на уровне 90%

С вероятностью 90% реальный прирост между +5.2% и +24.8%.

# Когда результат статистически значим

Результат значим, если нижняя граница интервала для "Разницы" или "Прироста" больше нуля — даже в худшем случае эффект положительный.

Примеры:

Интервал прироста (95%)	Интерпретация
`[+3%, +21%]`	Значимый. Даже в худшем случае прирост ≥ +3%
`[-4%, +18%]`	Незначимый. Возможно прирост нулевой. Нужно больше данных
`[-12%, -2%]`	Значимо отрицательный. Модель ухудшает результат
`[+0.5%, +8%]`	Значимый, узкий. Эффект небольшой, но точно положительный
`[-1%, +40%]`	Незначимый, широкий. Мало данных. Подождите

# Какой уровень использовать

Уровень	Когда
80%	Быстрая предварительная оценка. Если даже на 80% нижняя граница < 0 — модель точно не доказала эффективность
90%	Основной рабочий уровень
95%	Критически важные решения: отключение, смена стратегии, отчёт руководству

# Распространённые ошибки

Смотреть только на среднее значение. "Прирост +16%, модель работает!" — Нет. Если интервал [-5%, +37%], прироста может не быть вообще.

Принимать решение на 80%. Это предварительная оценка. Для серьёзных решений ждите 90-95%.

Ожидать быстрой значимости при низкой конверсии. При базовой конверсии 0.5% и ожидаемом приросте 10% потребуются десятки тысяч сессий.

Путать абсолютную и относительную разницу. "+0.3%" в строке "Разница" — это процентные пункты. "+15%" в строке "Прирост" — это относительная разница. Оба числа описывают одно и то же, но по-разному.

# На что смотреть в первую очередь

# 1. Достаточно ли данных?

Конверсий в контрольной > 100 — для грубой оценки
Конверсий в контрольной > 300 — для надёжных выводов
Период > 7 дней — чтобы захватить дневные и недельные циклы

Если конверсий мало — доверительные интервалы будут огромными, выводы невозможны.

# 2. Есть ли статистическая значимость?

Строка "Прирост конверсии", столбец 90%:

Нижняя граница > 0 → модель работает
Нижняя граница < 0 → рано делать выводы

# 3. Какой реальный прирост?

< 5% — небольшой, но может быть ценным при большом трафике
5-15% — хороший результат
15-30% — отличный результат
30% — перепроверьте данные и настройки целей

# 4. Стабилен ли результат?

На графике конверсии:

Персонализированная стабильно выше контрольной → устойчивый результат
Линии пересекаются → нестабильно
Персонализированная ниже в последних периодах → модель "устарела", нужно переобучение

# 5. За счёт чего прирост? (если есть выручка)

Итоговые показатели на вкладке "Выручка":

Основной прирост за счёт числа конверсий → AI лучше конвертирует
Основной прирост за счёт среднего чека → AI ведёт к дорогим покупкам
Оба примерно равны → идеальный результат

# Предупреждения на странице

Статистика вычисляется (синий баннер) — расчёт выполняется асинхронно. Страница автоматически проверяет готовность каждые 5 секунд.

Статистика рассчитана давно (фиолетовый баннер) — показывается, если кеш старше 1 часа. Отображается дата последнего расчёта. Нажмите "Применить" для пересчёта.

Ошибка расчёта (красный баннер) — расчёт завершился с ошибкой. Попробуйте повторить через "Применить".

Статистика обрезана (информационный баннер) — при очень большом объёме данных показаны только последние 500 тысяч персонализаций и связанных сессий. При этом реальный подсчёт прироста конверсии считается по всем данным.

# Частые вопросы

Почему контрольная группа меньше персонализированной?

Контрольная группа получает меньшую долю трафика. Это оптимальный баланс: контрольная достаточно велика для статистики, но основная часть посетителей получает преимущества AI.

Почему на графике конверсия "прыгает"?

Дневные колебания нормальны — на конверсию влияют день недели, время суток, рекламные кампании. Переключите группировку на "Неделя", чтобы увидеть тренд.

Можно ли доверять данным за первые 3-5 дней?

Нет. Первые дни дают мало данных, доверительные интервалы будут огромными. Ждите минимум 1-2 недели.

Модель показывает прирост +50%. Это правда?

Вероятно, данных мало. Посмотрите на доверительный интервал — если [+5%, +95%], реальный прирост может быть и 5%, и 95%. Подождите, пока интервал сузится.

В таблице конверсия контрольной = 0%. Что делать?

За выбранный период не было конверсий в контрольной группе. Увеличьте период или проверьте выбранную цель.

Почему "Прирост конверсии" и "Прирост выручки" отличаются?

Это разные метрики. AI может увеличивать количество покупок, но средний чек может не измениться. Прирост выручки на сессию учитывает оба фактора.

Когда переобучать модель?

Если на графике персонализированная группа сначала была выше, а потом начала снижаться — модель "устарела". Запустите переобучение через "Запустить тренировку новой модели".

Зачем таблица "Оригинальный вариант" если есть основная?

Основная сравнивает контрольную (все варианты случайно) с персонализированной. Но в контрольной попадаются и хорошие варианты, что завышает её результат. "Оригинальный вариант" сравнивает только исходную страницу с персонализированной — более честный ответ на вопрос "лучше ли AI, чем ничего не менять".

Статистика выручки недоступна. Как включить?

Настройте передачу данных о выручке при конверсии — через Яндекс.Метрику (ecommerce), DataLayer, JavaScript API или значение по умолчанию в настройках цели. Подробнее — в документации по целям.