Sales Ninja — документация

# Стратегии остановки A/B теста

Стратегия остановки определяет, когда A/B тест можно считать завершённым и какой вариант признать победителем.

# Три стратегии

# 1. Ручная остановка (по умолчанию)

Тест работает бессрочно — вы останавливаете его вручную, когда сочтёте результат достаточным. Никаких автоматических остановок нет.

Когда использовать:

  • Вы хотите полного контроля
  • Нет чёткого ожидания по эффекту

Как остановить: смените статус теста на «Остановлен» в настройках или на странице управления.

# 2. По объёму выборки (Fixed Sample Size)

Система рассчитывает необходимый объём выборки на основе ожидаемого эффекта и уровня значимости. Тест автоматически останавливается, когда:

  • Каждый вариант набрал рассчитанное количество сессий И
  • Прошло не менее минимального количества дней

Параметры:

Параметр Описание По умолчанию
Ожидаемый прирост конверсии Минимальное значимое улучшение, которое хотите обнаружить. Например, 10% означает: хотите зафиксировать прирост от 10% и выше — (обязательный)
Минимальная длительность Минимальное количество дней теста, даже если нужный объём набран раньше. Защита от bias выходного/будних дней 7 дней

Как работает расчёт:

Используется формула two-proportion z-test с мощностью 80%:

  • При ожидаемом приросте 10% и базовой конверсии 2% система рассчитает примерно 6 000 сессий на каждый вариант
  • При приросте 5% — уже ~24 000 сессий
  • Чем меньше ожидаемый прирост, тем больше нужно данных

Прогресс отображается в процентах — показывает, что меньше продвинулось: набор выборки или минимальная длительность.

Когда использовать:

  • Есть гипотеза о конкретном ожидаемом приросте
  • Важна статистическая строгость
  • Не критично потратить немного больше времени ради надёжного результата

# 3. Последовательное тестирование (Sequential)

Система делает промежуточные проверки по расписанию и может остановить тест досрочно, если разница между вариантами стала статистически значимой. Используется метод O'Brien-Fleming.

Параметры:

Параметр Описание По умолчанию
Максимальная длительность Жёсткий дедлайн: тест остановится по истечении этого срока в любом случае 90 дней
Интервал проверок Как часто проводить промежуточный анализ 7 дней

Как работает:

  • Число промежуточных анализов = MaxDurationDays / CheckIntervalDays (минимум 2)
  • На каждой проверке рассчитывается Z-статистика и сравнивается с критической границей O'Brien-Fleming
  • Граница на ранних проверках строже — это защита от «заглядывания в данные» (peeking problem)
  • Если значимость достигнута — тест останавливается досрочно
  • Если нет — тест продолжается до следующей проверки
  • По истечении максимальной длительности тест останавливается принудительно

Минимальные требования для промежуточного анализа: не менее 50 сессий и 5 конверсий в каждом варианте.

Когда использовать:

  • Хотите возможность досрочной остановки при явном победителе
  • Тест планируется на долгий срок (30–90 дней)
  • Важно минимизировать время до решения

# Сравнительная таблица

Ручная По объёму выборки Последовательная
Автоостановка Нет По достижении нужного объёма При достижении значимости или дедлайне
Параметры — Ожидаемый прирост, минимальная длительность Максимальная длительность, интервал проверок
Возможность досрочной остановки Только вручную Нет Да
Когда подходит Полный контроль Чёткая гипотеза Долгие тесты, хочется ускорить

# Следующие шаги

← Отладка →