# Защищаемые метрики
Защищаемые метрики — это отдельная страховка, которая следит, чтобы во время эксперимента не просела важная для бизнеса метрика, даже если по целевой метрике тест выглядит успешным.
Пример: вы тестируете новый экран оформления заказа и максимизируете конверсию. Вариант конвертирует лучше, но при этом заметно выросла отказность или упала выручка на сессию. Целевая метрика этого «не замечает» — а защищаемые метрики заметят и либо предупредят вас, либо остановят тест.
Это самостоятельная политика: она не влияет на выбор победителя и на стратегию остановки, а работает параллельно с ними. По умолчанию защищаемые метрики выключены — включите их, если хотите застраховаться от нежелательных побочных эффектов.
# Какие метрики можно защищать
| Метрика | Что считается ухудшением |
|---|---|
| Отказность | Рост отказности относительно контроля |
| Конверсия на сессию | Снижение конверсии относительно контроля |
| Выручка на сессию | Снижение выручки относительно контроля |
| Чистая прибыль на сессию | Снижение прибыли относительно контроля |
Все метрики сравниваются с контрольным (оригинальным) вариантом — он считается эталоном. Для отказности ухудшение — это рост, для остальных метрик — снижение.
# Как настроить правило
Каждое правило состоит из трёх параметров:
| Параметр | Описание | По умолчанию |
|---|---|---|
| Метрика | Что защищаем | — |
| Допустимое ухудшение, % | Насколько метрика может просесть относительно контроля, прежде чем это считается нарушением. Порог относительный: 20% при отказности контроля 34% — это срабатывание на 41% | 20% |
| Минимум сессий на вариант | Сколько сессий нужно накопить контролю и проверяемому варианту, прежде чем правило вообще начнёт проверяться. Защита от ложных выводов на малых данных | 500 |
Можно добавить до 10 правил — например, одновременно защищать и отказность, и выручку.
Под каждым правилом отображается живая подсказка на основе текущих данных теста: «Контроль сейчас 34,2% — сработает при росте выше 41% · выборка 84 / 500 сессий на вариант». Так сразу видно, при каком абсолютном значении сработает правило и сколько данных ещё нужно накопить.
# Как система принимает решение
- Правило начинает проверяться только после того, как и контроль, и проверяемый вариант набрали заданный минимум сессий.
- Система сравнивает каждый активный тестовый вариант с контролем. Выключенные и удалённые варианты в проверке не участвуют.
- Считается относительное ухудшение метрики против контроля.
- Нарушение фиксируется только если ухудшение и превышает порог, и статистически отличимо от случайного шума (см. ниже).
# Защита от ложных срабатываний
Порог сам по себе легко пробить случайностью: на 200 сессиях разница «4 против 5 конверсий» — это формально «минус 20%», хотя за ней нет никакого реального эффекта. Чтобы не дёргать вас на шуме, система открывает инцидент только когда ухудшение статистически значимо:
- для отказности и конверсии — по одностороннему тесту пропорций (уверенность около 90%);
- для выручки и чистой прибыли на сессию — при условии, что у контроля набралось достаточно конверсий, иначе метрика на сессию слишком нестабильна.
# Гистерезис: без «мигания»
Если метрика колеблется вокруг порога, инцидент не будет открываться и закрываться на каждой проверке. Уже открытый инцидент считается завершённым только когда ухудшение опустилось заметно ниже порога (примерно до 80% от него). Это же защищает от шторма повторных писем.
Чистая прибыль на сессию может быть нулевой или отрицательной — защита работает и в этом случае: ухудшение считается относительно модуля контрольного значения.
# Что происходит при нарушении
Реакцию вы выбираете сами:
| Реакция | Что происходит |
|---|---|
| Только предупредить (по умолчанию) | Тест продолжает работать. Появляется заметный маркер и, если выбраны получатели, отправляется письмо |
| Остановить A/B-тест | Тест автоматически переводится в статус «Остановлен» сразу после подтверждённого нарушения |
Автоматического возобновления нет. Если тест остановлен защитой, вы сами решаете, что делать дальше: поправить вариант, ослабить порог или снять правило и перезапустить.
# Уведомления
В качестве получателей можно выбрать только текущих пользователей проекта с указанным email. Произвольные адреса и приглашение новых пользователей отсюда недоступны — это делается в настройках проекта.
- На каждое новое нарушение отправляется одно письмо (повторные проверки того же инцидента письмо не дублируют).
- Если получатели не выбраны, правило всё равно работает: маркер и карточка инцидента появятся в продукте, просто без письма.
- Письмо содержит метрику, значения контроля и варианта, величину ухудшения, порог, предпринятое действие и прямую ссылку на редактор теста.
# Где видно нарушение
- В редакторе теста — заметный баннер под блоком готовности и подробная карточка внутри панели защищаемых метрик: метрика, значение контроля → значение варианта, величина ухудшения, порог, вариант и время.
- В списке A/B-тестов — маркер на карточке теста с краткой подсказкой.
Завершённое (resolved) предупреждение остаётся видимым в списке ещё 7 дней, после чего скрывается из списка, но остаётся в редакторе теста — чтобы причину состояния всегда можно было восстановить.
# Ограничения
- До 10 правил и до 20 получателей на тест.
- Допустимое ухудшение: от 0,01% до 10 000%.
- Минимум сессий на вариант: от 50 до 10 000 000.
- Правила работают по перечисленным выше метрикам; произвольные метрики из статистики пока не поддерживаются.
- При нулевом контрольном значении метрики правило не срабатывает (не с чем сравнивать) — это фиксируется только во внутренней диагностике.