# Статистика A/B теста

Страница статистики — главный инструмент для ответа на вопрос: какой вариант работает лучше?

Система показывает для каждого варианта конверсию, выручку и прибыль с доверительными интервалами — чтобы вы могли принять решение не на интуиции, а на данных.

# Фильтры

# Временной период

Диапазон дат для анализа (все даты в UTC). По умолчанию — последние 30 дней.

# Группировка

Группировка	Когда доступна	Когда использовать
День	Всегда	Детальный анализ, поиск аномалий. Видно дневные колебания
Неделя	Период ≥ 14 дней	Основной режим. Сглаживает выходные/будни, показывает тренд
Месяц	Период ≥ 60 дней	Для долгосрочных тестов. Общая картина

При загрузке группировка подбирается автоматически: если период ≥ 60 дней — ставится «Месяц», если ≥ 14 дней — «Неделя», иначе — «День».

# Цели и смоделированные конверсии

По каким конверсиям считать статистику. Это взаимоисключающие фильтры: можно выбрать либо одну или несколько целей, либо одну смоделированную конверсию.

Цели оптимизации A/B теста помечены подписью «Цель оптимизации» — их легко найти в списке. Если целей больше 7, появляется поиск.

По умолчанию подставляются все цели A/B теста. Если у теста задана смоделированная конверсия — подставляется она.

Важно: кнопка «Применить» неактивна, пока не выбрана хотя бы одна цель или смоделированная конверсия.

# Атрибуция

По умолчанию берётся атрибуция из настроек A/B теста. Можно переключить — это не меняет настройки самого теста, а только пересчитывает статистику.

Атрибуция	Что засчитывает
Все конверсии	Все конверсии всех визитов
Первая конверсия на пользователя	Только самую первую конверсию пользователя
Первая конверсия на сессию	По одной первой конверсии за каждый визит
Наиболее ценная на пользователя	Одну конверсию с максимальной выручкой
Наиболее ценная на сессию	По одной самой ценной конверсии за каждый визит

Пример: посетитель зашёл на сайт 3 раза и купил при каждом визите за 3 000 ₽, 5 000 ₽ и 2 000 ₽.

Все конверсии — 3 конверсии, 10 000 ₽
Первая на пользователя — 1 конверсия, 3 000 ₽
Первая на сессию — 3 конверсии, 10 000 ₽ (по одной за визит)
Наиболее ценная на пользователя — 1 конверсия, 5 000 ₽

# Вкладка «Конверсии»

Главная вкладка. Если A/B тест оптимизируется по конверсиям — вкладка помечена бейджем. Это основной показатель.

# Основная таблица

Таблица содержит по одной строке на каждый вариант, плюс строку «Итого». Колонки: количество конверсий, количество сессий, коэффициент конверсии и доверительные интервалы 80%/90%/95%.

Строки вариантов окрашены в цвет в зависимости от коэффициента конверсии — чем выше конверсия, тем «теплее» цвет. Это помогает быстро визуально определить победителя.

Пример: вариант «Красная кнопка» — 500 конверсий из 20 000 сессий → конверсия 2.50%. Вариант «Синяя кнопка» — 400 конверсий из 20 000 сессий → конверсия 2.00%.

# Показатели под таблицей

Среднее время между показом варианта и конверсией — для каждого варианта (в часах). Если для одного варианта время значительно меньше — это означает, что он не только лучше конвертирует, но и ускоряет принятие решения.

# Фильтр вариантов для графиков

Под таблицей — выпадающий список для фильтрации графиков по конкретному варианту. По умолчанию — «Все варианты».

# Графики

Три графика по периодам с отдельной линией для каждого варианта:

Конверсия — самый важный график. Показывает коэффициент конверсии по каждому варианту. Стабильно более высокая линия одного варианта — явный победитель.

Количество конверсий — абсолютные числа конверсий. Полезно для понимания масштаба.

Количество сессий — трафик по вариантам. При многоруком бандите линии будут неравными — победитель постепенно получает всё больше трафика.

# Вкладка «Выручка»

Если A/B тест оптимизируется по выручке — вкладка помечена бейджем. Доступна, если хотя бы часть конверсий передаёт данные о выручке.

# Основная таблица: выручка на сессию

Сравнивает варианты по выручке на сессию — сколько в среднем зарабатывает каждый визит.

Строка	Что показывает
Каждый вариант	Количество сессий, суммарная выручка, средняя выручка на сессию + доверительные интервалы
Итого	Суммарные данные по всем вариантам

Выручка на сессию — главный показатель этой вкладки. Он учитывает одновременно и количество конверсий, и средний чек.

# Раскрываемая таблица: выручка на конверсию

Открывается по клику. Сравнивает варианты по среднему чеку.

Пример: вариант А — 5 200 ₽/конверсию, вариант Б — 5 800 ₽, разница +11.5%. Вариант Б приводит к более дорогим покупкам.

# Итоговые показатели

Три числа под таблицами:

Заработали больше выручки за счёт увеличения числа конверсий — дополнительная выручка от того, что победитель конвертирует больше
Заработали больше выручки за счёт увеличения выручки на одну конверсию — от того, что победитель приводит к более дорогим покупкам
Заработали больше выручки в сумме — итого

# Графики

Три графика: выручка, выручка на конверсию, выручка на сессию — по периодам с линиями по каждому варианту.

# Вкладка «Прибыль»

Если A/B тест оптимизируется по прибыли — вкладка помечена бейджем. Доступна, если конверсии передают данные о себестоимости.

Структура полностью аналогична вкладке «Выручка»:

Основная таблица: прибыль на сессию
Раскрываемая таблица: прибыль на конверсию
Три итоговых показателя

Когда использовать «Прибыль» вместо «Выручки»:

Если товары имеют разную маржинальность — прибыль точнее. Вариант может приводить к большему среднему чеку, но меньшей прибыли из-за скидок.

# Доверительные интервалы

Все числовые показатели сопровождаются доверительными интервалами трёх уровней: 80%, 90% и 95%.

# Что это такое

Когда мы видим конверсию 2.50%, это наблюдаемое значение на выборке. Реальная конверсия может отличаться из-за случайных колебаний. Доверительный интервал показывает диапазон, в котором с заданной вероятностью находится истинное значение.

# Как читать

Интервал показывается как диапазон [От, До].

Конверсия варианта: [2.1%, 2.9%] на уровне 90%

С вероятностью 90% реальная конверсия между 2.1% и 2.9%.

# Когда результат статистически значим

Для сравнения двух вариантов смотрите на доверительные интервалы их конверсий:

Если интервалы не пересекаются — разница статистически значима
Если интервалы перекрываются — нужно больше данных

Примеры:

Вариант А (95%)	Вариант Б (95%)	Интерпретация
`[1.8%, 2.2%]`	`[2.4%, 3.0%]`	Значимо. Вариант Б лучше
`[1.8%, 2.6%]`	`[2.2%, 3.0%]`	Незначимо. Интервалы перекрываются. Нужно больше данных

# Какой уровень использовать

Уровень	Когда
80%	Быстрая предварительная оценка
90%	Основной рабочий уровень
95%	Критически важные решения: останавливать тест, отключать вариант

# На что смотреть в первую очередь

# 1. Достаточно ли данных?

Конверсий в каждом варианте > 100 — для грубой оценки
Конверсий в каждом варианте > 300 — для надёжных выводов
Период > 7 дней — чтобы захватить дневные и недельные циклы

Если конверсий мало — доверительные интервалы будут огромными, выводы невозможны.

# 2. Есть ли статистическая значимость?

Смотрите на колонки 90% или 95% — не пересекаются ли интервалы у вариантов.

# 3. Какой реальный прирост?

Разница в конверсии между лучшим и худшим вариантом:

< 5% — небольшой эффект
5–15% — хороший результат
15–30% — отличный результат
30% — перепроверьте данные и настройки целей

# 4. Стабилен ли результат?

На графике конверсии: если один вариант стабильно выше на протяжении всего периода — это надёжный сигнал. Если линии пересекаются — нестабильно, подождите ещё данных.

# 5. Влияние многорукого бандита

Если включён многорукий бандит, победитель постепенно получает всё больше трафика. Это видно на графике «Количество сессий» — линия победителя растёт, а линии проигравших снижаются. Это нормально и означает, что система уже в процессе теста максимизирует конверсию.

# Предупреждения на странице

Статистика вычисляется (синий баннер) — расчёт выполняется асинхронно. Страница автоматически проверяет готовность каждые 5 секунд.

Статистика рассчитана давно (фиолетовый баннер) — показывается, если кеш старше 1 часа. Отображается дата последнего расчёта. Нажмите «Применить» для пересчёта.

Ошибка расчёта (красный баннер) — расчёт завершился с ошибкой. Попробуйте повторить через «Применить».

Статистика обрезана (информационный баннер) — при очень большом объёме данных показаны только последние 500 тысяч записей. При этом реальный подсчёт прироста конверсии считается по всем данным.

# Частые вопросы

Почему на графике конверсия «прыгает»?

Дневные колебания нормальны — на конверсию влияют день недели, время суток, рекламные кампании. Переключите группировку на «Неделя», чтобы увидеть тренд.

Можно ли доверять данным за первые 3-5 дней?

Нет. Первые дни дают мало данных, доверительные интервалы будут огромными. Ждите минимум 1-2 недели.

Вариант показывает прирост +50%. Это правда?

Вероятно, данных мало. Посмотрите на доверительный интервал — если [+5%, +95%], реальный прирост может быть и 5%, и 95%. Подождите, пока интервал сузится.

Один вариант получает 90% трафика — это нормально?

Да, если включён многорукий бандит. Система перераспределяет трафик в пользу лучшего варианта. Если вы хотите равномерное распределение — отключите многорукого бандита в настройках теста.

Статистика выручки недоступна. Как включить?

Настройте передачу данных о выручке при конверсии — через Яндекс.Метрику (ecommerce), DataLayer, JavaScript API или значение по умолчанию в настройках цели.

# Следующие шаги

← Управление Остановка →