Доверительный интервал

Показатель в отчёте рассчитан по наблюдавшимся данным. Интервал помогает увидеть неопределённость этой оценки: одинаковая конверсия на маленькой и большой выборке не даёт одинаковой уверенности в результате.

Как читать

• Смотрите на оценку и границы интервала вместе. Широкий интервал означает, что данных пока недостаточно для точного вывода.
• Уровень доверия и метод расчёта имеют значение. Сравнивайте показатели, рассчитанные одним методом и для сопоставимых данных.
• Для частотного доверительного интервала уровень доверия характеризует метод: при многократном повторении исследования соответствующая доля построенных интервалов содержала бы истинный параметр. Это не вероятность того, что параметр находится внутри уже рассчитанного интервала.
• Байесовский интервал допускает вероятностную интерпретацию параметра при выбранной модели и имеющихся данных. Не переносите её автоматически на частотный интервал.

Интервал прироста

Для сравнения вариантов смотрите интервал разницы или прироста, а не только отдельные интервалы конверсии. Если интервал разницы включает ноль, он допускает отсутствие изменения. Пересечение отдельных интервалов само по себе не заменяет проверку разницы.

Отсутствие убедительной разницы не доказывает равенство вариантов. Перед решением проверьте объём и качество данных, выбранные цели и стратегию остановки.

См. также: байесовский и частотный подходы · минимальный различимый эффект · статистика A/B-теста.