Множественные сравнения

Когда в A/B-тесте несколько вариантов, одновременно проверяется несколько гипотез. Чем больше сравнений, тем выше шанс «значимого» результата просто случайно.

Что делает продукт

В стратегиях остановки по объёму выборки и последовательной доступна поправка:

Режим в UI	Идея
Бонферрони (по умолчанию)	Делит уровень значимости на число сравнений — самый строгий
Шидак	Чуть мягче при независимых сравнениях
Без поправки	Порог не ужесточается — выше риск ложного победителя

Байесовская и ручная стратегии эту поправку не используют.

Число сравнений зависит от режима «с кем сравниваем» (лидер vs контроль, все пары и т.д.) — связанная настройка описана на странице Стратегии остановки.

Практическое правило

• Несколько вариантов + частотная остановка → оставляйте поправку (обычно Бонферрони).
• «Без поправки» — только осознанно, понимая рост ложных победителей.

Связано

• Стратегии остановки
• Доверительный интервал
• CUPED