# Прирост конверсии и доказательство персонализации

# Прирост конверсии

Конечная цель персонализации — увеличение конверсии. Прирост конверсии определяется как разница между конверсиями контрольной и персонализируемой групп.

Контрольная группа получает случайный вариант, персонализируемая — вариант, выбранный AI. Если AI работает хорошо, конверсия персонализируемой группы будет выше.

Пример: конверсия контрольной группы — 2.0%, персонализируемой — 2.3%. Прирост конверсии: +15% относительно контрольной.

# Доверительные интервалы прироста

Если данных накоплено мало, нельзя отличить реальный прирост от случайного совпадения. Поэтому система анализирует не только значение прироста, но и его доверительный интервал — диапазон, в котором с заданной вероятностью находится истинный прирост.

Пример: 80%-й доверительный интервал прироста [+2%, +26%] означает: с вероятностью 80% реальный прирост между +2% и +26%.

Подробнее о том, как читать доверительные интервалы и на что смотреть — в статистике персонализации.

# Три стадии персонализации

Каждая персонализация проходит через три стадии:

# 1. Копим данные

Начальная стадия. Система собирает данные о поведении посетителей, но ещё не персонализирует контент. Модель не обучена — трафик распределяется случайно между вариантами.

На этой стадии важно: накопить достаточно конверсий, чтобы модель могла обучиться.

# 2. Проверяем модель

Модель обучена и начала персонализировать контент. Система отслеживает прирост конверсии и ждёт, пока результат станет статистически значимым.

На дашборде показывается прогресс — процент готовности к следующей стадии. Это оценка того, сколько данных ещё нужно, чтобы доверительный интервал стал полностью положительным.

# 3. Персонализация доказана

Доверительный интервал прироста конверсии стал полностью положительным — нижняя граница больше нуля. Это означает: с выбранной вероятностью персонализация точно увеличивает конверсию.

Пример: интервал [+2%, +26%] — доказана (вся область положительная). Интервал [-1%, +23%] — не доказана (возможно прирост нулевой).

После доказательства на дашборде отображается прирост конверсии зелёным цветом, а также:

Разница между контрольной и средней группой
Доля персонализированного трафика
График с разбивкой по периодам

# Какой доверительный интервал используется для доказательства

Уровень доверительного интервала настраивается в проекте. Доступны три варианта: 80%, 90% и 95%.

Чем выше уровень — тем строже проверка и тем больше данных потребуется для доказательства.

# Может ли доказанная персонализация вернуться на предыдущую стадию?

Да. Система регулярно пересчитывает статистику для доказанных персонализаций. Если с поступлением новых данных доверительный интервал снова включает ноль — персонализация возвращается на стадию "Проверяем модель".

Это может произойти, если:

Поведение аудитории изменилось (сезонность, новая рекламная кампания)
Модель "устарела" и перестала предсказывать точно
Изменились варианты персонализации

В таком случае стоит рассмотреть переобучение модели через "Запустить тренировку новой модели".

# Минимальные требования для доказательства

Система не будет пытаться доказать персонализацию, если данных недостаточно:

Минимум 3 дня с момента начала работы модели
Минимум 10 конверсий в персонализируемой группе
Минимум 25 сессий в персонализируемой группе

До достижения этих порогов доказательство невозможно вне зависимости от показателей.

# Прирост конверсии на дашборде

После доказательства на карточке персонализации в списке отображается:

Прирост конверсии — средний процент прироста (зелёный, крупный текст)
Разница между контрольной и средней группой — в процентах
Доля персонализированного трафика — какой процент от всего трафика получает AI
Метрики контрольной и персонализируемой групп — абсолютные значения
График по периодам — линии контрольной и персонализируемой групп по временным отрезкам

# Следующие шаги

← Статистика Отладка →