Оформление
Стратегии остановки A/B-теста
Блок Стратегия остановки определяет, когда система завершит работающий тест. Значения вводятся в редакторе конкретного теста; документация не подставляет за вас универсальные пороги или сроки.
Способы остановки
| Стратегия | Что делает |
|---|---|
| Байесовский анализ | Следит за вероятностью победы и завершает тест при выбранной уверенности либо максимальной длительности |
| Фиксированный объём выборки | Рассчитывает требуемый трафик из заметного эффекта и ждёт одновременно объём и минимальную длительность |
| Последовательный анализ | Проверяет результат с выбранным интервалом и может остановить тест раньше максимальной длительности |
| Вручную | Не применяет автоматическое правило завершения |
Для автоматических стратегий отдельно выберите Кого сравниваем?: оригинальный вариант с остальными вместе либо текущего лидера с контролем, всеми остальными или вторым вариантом. Доступность режима зависит от числа работающих вариантов.
Параметры принадлежат тесту
Редактор показывает только поля выбранной стратегии: статистическую значимость, поправку на множественные сравнения, заметный эффект, минимальную или максимальную длительность, интервал проверок либо вероятность победы. Используйте итоговое резюме Что происходит сейчас: оно подставляет реальные значения этого теста и объясняет невыполненные условия.
Не копируйте числовые параметры из примера или другого проекта. Они выражают продуктовый риск конкретного эксперимента и должны выбираться владельцем теста с учётом трафика и цены ошибки.
После остановки
Автоостановка меняет состояние теста, но не публикует вариант на весь сайт. Откройте Статистику, проверьте фактическое сравнение и затем решите, оставить тест остановленным, изменить сайт или преобразовать тест в персонализацию.