Оформление

Статистика A/B-теста

Страница Статистика строит отчёт по наблюдаемым сессиям, конверсиям и значению выбранной метрики. Она не заменяет решение стратегии остановки догадкой по одному проценту.

Варианты, доверительный интервал и статистика A/B-теста ​

  1. Проверьте период, цели и текущий пресет отчёта.
  2. Убедитесь, что оригинальный и тестовые варианты получили показы.
  3. Сравните объём, значение метрики и доверительные интервалы.
  4. Посмотрите блок стратегии остановки: он объясняет текущее сравнение и ещё не выполненные условия.
  5. Раскройте дополнительные разрезы, если нужно проверить источник различия.
  6. Экспортируйте отчёт, когда результат требуется передать дальше.

Вариант с максимальным текущим значением не обязательно победил: при малом объёме порядок вариантов может быть шумом. Не назначайте обязательный срок ожидания и не используйте чужой порог — читайте интервал и правило остановки этого теста.

Если отчёт пустой ​

  • проверьте период и фильтры;
  • проверьте, что тест работает и подходит под условия показа;
  • проверьте состояние вариантов;
  • отличите отсутствие сессий от сессий без конверсий;
  • проверьте цели и передачу выручки или прибыли для соответствующей метрики.

Дальше ​