Доверительный интервал

Википедия про доверительные интервалы (opens new window)

Для того, чтобы получить однозначно точный результат, например, конверсии пользователя в оформление заказа — нам нужно сделать так, чтобы заказ в интернет-магазине попробовал оформить каждый интернет-пользователь мира.

Пока сделать этого мы не можем - нам приходится говорить лишь о том, что мы знаем какое-то текущее значение (например, конверсии) и доверительный интервал.

Доверительный интервал — это промежуток, внутри которого находится "истинное значение" искомого нам параметра. Чем ближе значение к среднему - тем больше вероятность того, что именно оно является "истинным".

Например, мы имеем:

• 95 оформленных заказов
• у 47950 клиентов

Простыми подсчетами мы получаем, что средняя конверсия равна ~0.198%.

С добавлением новых данных (информации о новых клиентах и оформленных заказах) конверсия будет колебаться. Но исходя из уже имеющихся данных мы можем вычислить доверительные интервалы:

Доверительный интервал	Значение
80%	0.172% ⟷ 0.224%
90%	0.165% ⟷ 0.231%
95%	0.158% ⟷ 0.238%

Теперь мы можем утверждать, что исходя из имеющихся данных с 90% вероятностью "истинная" искомая конверсия находится где-то между 0.165% и 0.231%

С 5% вероятностью "истинная" конверсия меньше 0.165% С 5% вероятностью "истинная" конверсия больше 0.231%

Доверительный интервал может быть не только у конверсии (или любого другого статистически измеряемого парамера), но так же и у разницы между двумя конверсиями (или любым другими параметрами).

Например, вот пример из реальной персонализации (данные первого примера взяты оттуда):

Красным выделен доверительный интервал разницы.

То есть, какой-то промежуток, в рамках которого находится разница между двумя параметрами (в данном случае доверительный интервал прироста конверсии).

В примере выше мы можем сказать, что с вероятностью 80% доверительный интервал прироста конверсии находится между 0.011% и 0.098%.