Как растёт точность с числом измерений

Урок о том, почему сотое измерение полезно куда меньше десятого, и когда пора остановиться.

Закон убывающей отдачи в измерениях: полуширина доверительного интервала падает как $1/\sqrt n$, поэтому каждое следующее измерение приносит всё меньше уточнения.

Интуитивно хочется думать, что в сто раз больше измерений дадут в сто раз более точный результат. Это не так. Из-за корня выигрыш растёт куда медленнее, и в какой-то момент дальнейшие измерения почти бесполезны — дешевле побороть систематику.

Зависимость ширины интервала от n

Полуширина интервала $\Delta = t \cdot s/\sqrt n$. Здесь работают два фактора: множитель $t$ уменьшается с ростом $n$ (приближаясь к 1,96), и знаменатель $\sqrt n$ растёт. Оба сужают интервал, но эффект $\sqrt n$ доминирует и быстро выходит на закон убывающей отдачи.

$$\frac{\Delta(4n)}{\Delta(n)} \approx \frac{1}{\sqrt{4}} = \frac{1}{2}$$

Учетверение измерений сужает интервал лишь вдвое.

Как работает под капотом

Смоделируем рост точности. Для каждого $n$ построим много интервалов и усредним их полуширину. Посмотрим, как падает ширина и как растёт «цена» одного процента точности.

import random, statistics
random.seed(21)

sigma = 4.0
t_tab = {4: 2.78, 9: 2.26, 24: 2.06, 99: 1.98}

for n in [5, 10, 25, 100]:
    shiriny = []
    for _ in range(2000):
        vyb = [random.gauss(0, sigma) for _ in range(n)]
        s = statistics.stdev(vyb)
        shiriny.append(t_tab[n - 1] * s / (n ** 0.5))
    sredn = statistics.mean(shiriny)
    print(f"n={n:3d}  средняя полуширина Δ = {round(sredn, 3)}")

Вывод:

n=  5  средняя полуширина Δ = 4.745
n= 10  средняя полуширина Δ = 2.811
n= 25  средняя полуширина Δ = 1.642
n=100  средняя полуширина Δ = 0.793

От 5 к 10 измерениям интервал сузился почти вдвое. А вот от 25 к 100 (вчетверо больше работы!) — снова лишь примерно вдвое. Сотое измерение приносит несравнимо меньше пользы, чем десятое. Это и есть закон убывающей отдачи в действии.

Практический вывод

Обычно 5–15 измерений дают разумный компромисс между трудозатратами и точностью случайной составляющей. Если после этого интервал всё ещё широк, чаще выгоднее не наращивать $n$, а уменьшить разброс $s$ — взять более стабильный прибор или устранить источник шума. И всегда помните: статистика бьётся только со случайной погрешностью; систематику никаким числом измерений не победить.

Частые ошибки

• Наращивать число измерений до бесконечности, борясь на деле с систематической погрешностью.
• Ожидать линейного роста точности с числом измерений вместо корневого.
• Игнорировать стоимость измерений: иногда дешевле улучшить прибор, чем удваивать серию.

Итог

• Полуширина интервала падает как $1/\sqrt n$ — закон убывающей отдачи.
• Учетверение числа измерений сужает интервал примерно вдвое.
• Разумная серия — обычно 5–15 измерений; дальше выгоднее снижать сам разброс.
• Никакое $n$ не побеждает систематическую погрешность.