Что такое доверительный интервал

Урок о том, что на самом деле означает фраза «истинное значение лежит в интервале с вероятностью 95%».

Доверительный интервал — интервал вокруг оценки, который с заданной доверительной вероятностью $P$ накрывает истинное значение измеряемой величины.

Указать просто среднее — мало. Нужно сказать, насколько мы в нём уверены и в каких границах. Доверительный интервал и есть такое честное признание: «истина почти наверняка где-то здесь».

Структура интервала

Интервал строится симметрично вокруг среднего:

$$\bar x - \Delta \;\le\; x_{\text{ист}} \;\le\; \bar x + \Delta, \qquad \Delta = t \cdot s_{\bar x}$$

Здесь $\Delta$ — полуширина интервала, $t$ — коэффициент (Стьюдента), зависящий от доверительной вероятности и числа измерений, $s_{\bar x} = s/\sqrt n$ — погрешность среднего. Чем выше требуемая надёжность $P$, тем больше $t$ и шире интервал.

Правильная интерпретация

Тонкость, на которой спотыкаются почти все. Фраза «95% доверительный интервал» не означает, что истина с вероятностью 95% лежит внутри этого конкретного интервала (истина — фиксированное число, она либо внутри, либо нет). Правильно так: если повторять весь эксперимент много раз, то 95% построенных интервалов накроют истину. Доверие относится к процедуре, а не к одному интервалу.

Как работает под капотом

Проверим интерпретацию буквально. Построим тысячу 95%-интервалов для известной истины и посчитаем, какая доля их накрыла. Должно получиться около 95%. Используем приближённый множитель $t \approx 2{,}26$ для $n = 10$.

import random, statistics
random.seed(11)

istina = 100.0
sigma = 5.0
n = 10
t = 2.262  # коэффициент Стьюдента, P=0.95, n-1=9

nakryli = 0
opytov = 1000
for _ in range(opytov):
    vyb = [random.gauss(istina, sigma) for _ in range(n)]
    sr = statistics.mean(vyb)
    s = statistics.stdev(vyb)
    delta = t * s / (n ** 0.5)
    if sr - delta <= istina <= sr + delta:
        nakryli += 1

print("Доля интервалов, накрывших истину:", round(nakryli / opytov * 100, 1), "%")

Вывод:

Доля интервалов, накрывших истину: 95.1 %

Ровно 95% построенных интервалов накрыли истинное значение — в точности доверительная вероятность. Это и есть правильный смысл доверительного интервала.

Частые ошибки

• Говорить «истина в этом интервале с вероятностью 95%» — истина не случайна, случайны интервалы.
• Строить интервал, забыв про $\sqrt n$ и используя $s$ вместо $s/\sqrt n$.
• Брать множитель для нормального распределения (1,96) при малых выборках вместо коэффициента Стьюдента — об этом следующий урок.

Итог

• Доверительный интервал накрывает истину с заданной вероятностью $P$.
• Полуширина $\Delta = t \cdot s/\sqrt n$ зависит от $P$ и числа измерений.
• Корректная трактовка: доля накрывающих интервалов при повторении эксперимента равна $P$.
• Чем выше требуемая надёжность, тем шире интервал.