# Прирост конверсии и доказательство персонализации
# Прирост конверсии
Конечной целью использования персонализации является прирост конверсии. Прирост конверсии определяется как разность между конверсиями контрольной и персонализируемой группами.
# Доверительные интервалы прироста конверсии
Однако, если объем накопленных данных не очень велик, то мы не можем отличить реальный прирост конверсии от случайного (удачного для нас) распределения конверсий.
Поэтому нам нужно анализировать не только значение прироста конверсии, но и доверительный интервал прироста конверсии:
Например, 80-процентный доверительный интервал прироста конверсии - это промежуток (от и до какого-то значения, в рамках которого исходное "реальное" значение прироста конверсии находится с вероятностью 80%.
Для лучшего понимания концепции доверительного интервала — смотри соответствующую статью.
# Доказательство персонализации
Персонализация считается доказанной, когда выбранный доверительный интервал прироста конверсии становится полностью положительным (то есть целиком больше нуля).
Например, доверительный интервал прироста конверсии [+2%; +26%] - полностью положительный, а [-1%; +23%] - нет.
По-умолчанию, мы ориентируемся на 90-процентный доверительный интервал прироста конверсии.
Но, в зависимости от объема трафика в вашем проекте и ваших целей, этот интервал можно сделать больше или меньше.
Сменить доверительный интервал прироста конверсии можно в настройках персонализаций:
После доказательства - персонализация считается доказанной и начнет тарифицироваться.
# За какой период оценивается прирост конверсии?
Мы идем по версиям модели персонализации, начиная с последней. Затем последняя + предпоследняя и так далее.
Проходя с "конца", система будет пытаться найти самую раннюю совокупность версий модели, которые будут давать полностью положительный доверительный интервал прироста конверсии.
Основная идея в том, чтобы получить самый актуальный статистически-значимый прирост конверсии персонализации.
Например, на данный момент у персонализации 5 версий модели персонализации.
- 5 версия модели дает доверительный интервал прироста конверсии [-15%; +34%]
- 4 + 5 версии дают доверительный интервал прироста конверсии [-3%; +24%]
- 3 + 4 + 5 версии дают доверительный интервал прироста конверсии [+1; +17%]
А значит, что прирост конверсии будет вычислен как прирост конверсии для данных, начиная с 3 версии модели персонализации (и до 5).
Если нам не удается получить полностью положительный доверительный интервал прироста конверсии, то это персонализация не является доказанной. Но на странице статистики персонализации по-умолчанию будут выбираться те версии моделей, совокупность которых ближе всего к тому, чтобы доверительный интервал прироста конверсии стал полностью положительным.
# Распространенные вопросы
# Что будет если доверительный интервал стал положительным, а затем снова отрицательным?
Это вполне допустимый сценарий, особенно когда было накоплено не так много данных.
Предположим, мы доказали персонализацию, так как выбранный доверительный интервал стал полностью положительным([+2%; +26%]).
Однако, затем, мы получили несколько конверсий для контрольной группы персонализации и доверительный интервал стал [-0.5%; +24%]
В этом случае персонализация вновь становится "недоказанной" и перестает тарифицироваться.