Оформление
Исследование A/B-теста
Как открыть исследование A/B-теста
В Сайт → A/B-тесты нажмите Исследование на карточке нужного теста.
Если вы уже в Статистике, под построенным отчётом разверните Исследование теста и нажмите Заказать исследование. Панель использует период и срезы отчёта. Когда результат готов, нажмите Открыть отдельно, чтобы перейти на отдельную страницу.
На отдельной странице можно выбрать Период, применить срезы и пересчитать результат. Проверьте период, время расчёта и покрытые поля перед сравнением двух запусков. Если в периоде нет сессий или показывался один вариант, выберите период, в котором работали оба варианта.
Что говорит вердикт исследования
Вердикт исследования показывает, сколько срезов проверено, сколько основных гипотез найдено и какие небольшие расхождения замер способен различить. Устойчивое расхождение должно повториться во второй половине периода.
Проверьте Границы расчёта: если по полю не хватило данных, выводы по нему недоступны. Если кабинет предупреждает о расчёте на части данных, с осторожностью оценивайте размеры эффекта в редких срезах.
Если сравнимых срезов нет, проверьте, есть ли в них два варианта и измеримые исходы. Если сравнения есть, но устойчивых гипотез нет, оснований менять показ для отдельной аудитории пока недостаточно.
Лидер всего теста отвечает на вопрос о результате по всему трафику. Например, в вымышленном магазине баннер A лидирует в целом, а баннер B лучше на смартфонах. Начните с вердикта исследования и проверьте, повторилась ли разница для смартфонов. Решение об остановке всего теста читайте в статистике.
Как читать рейтинг срезов и инспектор пары
В блоке Кто выигрывает в каждом срезе строка показывает объём и долю среза, рейтинг вариантов по конверсии и выбранную пару. Лидер среза сравнивается с лидером всего теста. Если это один и тот же вариант, в пару берётся второе место в срезе. Число учтённых пар относится к возможным сравнениям, а число сессий — к трафику строки.
Выберите строку, чтобы открыть Инспектор пары. Сопоставьте разницу внутри среза с разницей на остальном трафике для той же пары.
Посмотрите обе половины периода. Повторившееся направление поддерживает гипотезу, смена направления или нехватка данных ослабляет её.
Примерная прибавка конверсий относится к показу лидера среза этому трафику вместо лидера теста за сопоставимый период.
Как читать карту расхождений, таблицу и таймлайн
В Подробностях и проверке доступны три представления одного исследования.
| Представление | Что смотреть |
|---|---|
| Таблица | Данные по срезам показывают сессии, долю и значение каждого варианта. У лидера видна разница со вторым местом. Для сверки со статистикой выровняйте период, срез и метрику. |
| Карта расхождений | Точка показывает, насколько разница между вариантами в срезе отличается от разницы на остальном трафике. Ноль означает «как на остальном трафике». Размер точки показывает долю трафика, отрезок вокруг неё — неопределённость. Карта показывает основные гипотезы, поэтому в таблице строк может быть больше. |
| Таймлайн | Как расходились варианты показывает конверсию по дням. Сверьте разрыв с объёмом сессий и посмотрите, сохранилось ли направление во второй половине периода. Одиночный всплеск стоит проверить по событиям этого дня. |
Переключатель метрики помогает посмотреть конверсию, выручку или прибыль на сессию там, где эти значения доступны. Устойчивость находок проверяется по конверсии. Денежный разрыв полезен для оценки масштаба, а его интервал следует читать с учётом оценки по конверсии.
Что сделать после проверки среза
Если инспектор предлагает действие, можно открыть форму правила для среза, форму показа победителя всему трафику или преобразование теста в персонализацию. Проверьте вариант и условия показа в форме перед запуском. Например, правило для смартфонов подходит для отдельной проверки баннера B на смартфонах. Высокая конверсия B в одном срезе сама по себе не обосновывает его показ всем посетителям.
Если выбранный срез показывает нарушение защищаемой метрики, сначала проверьте масштаб ухудшения и событие в карточке теста. Находка исследования относится к выбранному срезу и периоду, а инцидент в карточке — к правилам работающего теста.