# Множественные сравнения
Когда в A/B-тесте несколько вариантов, одновременно проверяется несколько гипотез. Чем больше сравнений, тем выше шанс «значимого» результата просто случайно.
# Что делает продукт
В стратегиях остановки по объёму выборки и последовательной доступна поправка:
| Режим в UI | Идея |
|---|---|
| Бонферрони (по умолчанию) | Делит уровень значимости на число сравнений — самый строгий |
| Шидак | Чуть мягче при независимых сравнениях |
| Без поправки | Порог не ужесточается — выше риск ложного победителя |
Байесовская и ручная стратегии эту поправку не используют.
Число сравнений зависит от режима «с кем сравниваем» (лидер vs контроль, все пары и т.д.) — подробности и таблица: Стратегии остановки.
# Практическое правило
- Несколько вариантов + частотная остановка → оставляйте поправку (обычно Бонферрони).
- «Без поправки» — только осознанно, понимая рост ложных победителей.