Случайная величина и математическое ожидание

Переходим от «событий» к «числам» и вводим главную характеристику — среднее значение случайной величины.

Математическое ожидание $\mathbb{E}[X]$ — средневзвешенное всех значений случайной величины с весами-вероятностями; это «центр тяжести» распределения.

До сих пор мы спрашивали «произойдёт ли событие». Но часто исход — это число: сумма на кубиках, выигрыш в игре, время ожидания. Такие числовые исходы называют случайными величинами, а их «типичное» значение — математическим ожиданием. Это понятие лежит в основе всей прикладной статистики, экономики и машинного обучения. Зачем вообще переходить от событий к числам? Потому что числа можно усреднять, складывать и сравнивать. Сказать «вероятность дождя 30%» полезно, но сказать «ожидаемая прибыль сделки 4000 рублей» — это уже основа для решения. Математическое ожидание сворачивает целое распределение в одно число, отвечающее на вопрос «чего ожидать в среднем, если повторить много раз». На нём держится оценка справедливости игр, расчёт страховых премий, выбор инвестиционной стратегии и функции потерь в нейросетях. Поэтому ожидание — едва ли не самое практически важное понятие всего курса, и стоит как следует разобраться, что именно оно означает, а чего не означает.

Что такое случайная величина

Случайная величина $X$ — это правило, сопоставляющее каждому исходу число. Бросок кубика даёт $X\in\{1,\dots,6\}$; число орлов в трёх бросках — $X\in\{0,1,2,3\}$. Для дискретной величины задано распределение: какие значения и с какими вероятностями она принимает.

Определение ожидания

Математическое ожидание — это сумма значений, взвешенных вероятностями:

$$\mathbb{E}[X]=\sum_{i} x_i\,P(X=x_i).$$

Для честного кубика все вероятности равны $\frac{1}{6}$, поэтому

$$\mathbb{E}[X]=\frac{1+2+3+4+5+6}{6}=\frac{21}{6}=3{,}5.$$

Обратите внимание: $3{,}5$ — значение, которого кубик никогда не показывает. Ожидание — это не «самый частый» и не «обязательный» исход, а долгосрочное среднее. Проверим.

import random
random.seed(6)

n = 1000000
total = sum(random.randint(1, 6) for _ in range(n))
print("Среднее по симуляции:", round(total / n, 4))
print("Теория E[X] = 3.5:  ", 3.5)

Вывод:

Среднее по симуляции: 3.5012
Теория E[X] = 3.5:   3.5

Среднее миллиона бросков прижалось к $3{,}5$ — это и есть закон больших чисел в действии для случайных величин: выборочное среднее сходится к ожиданию.

Ожидание и игра

Ожидание отвечает на вопрос «справедлива ли игра». Пусть за $50$ рублей вы бросаете кубик и получаете рублей столько, сколько выпало очков, умноженное на $20$. Средний выигрыш — $20\cdot 3{,}5=70$ рублей, что больше ставки: игра выгодна игроку. Если бы множитель был $10$, средний выигрыш $35$ был бы меньше ставки — игра в пользу казино.

Ожидание функции

Если нас интересует не сам $X$, а функция от него, вероятности остаются прежними:

$$\mathbb{E}[g(X)]=\sum_i g(x_i)\,P(X=x_i).$$

Например, $\mathbb{E}[X^2]$ для кубика равно $\frac{1+4+9+16+25+36}{6}=\frac{91}{6}\approx 15{,}17$ — эта величина понадобится для дисперсии в следующем уроке.

Как работает под капотом

В симуляции мы не вычисляем сумму $x_iP(X=x_i)$ напрямую — мы складываем фактические выпавшие значения и делим на их число. Но по закону больших чисел выборочное среднее $\frac{1}{n}\sum X_k$ сходится именно к $\mathbb{E}[X]$. То есть «среднее по экспериментам» и «средневзвешенное по вероятностям» — это одно и то же число, просто полученное двумя путями: эмпирическим и теоретическим. Их совпадение и подтверждает определение.

Частые ошибки

Первая ошибка — считать ожидание «самым вероятным» исходом: для кубика самого вероятного нет, а ожидание $3{,}5$ вообще невозможно. Вторая — путать ожидание с медианой: для несимметричных распределений (зарплаты, время ожидания) они сильно расходятся. Третья — считать, что $\mathbb{E}[g(X)]=g(\mathbb{E}[X])$; это неверно для нелинейных $g$ (например, $\mathbb{E}[X^2]\neq(\mathbb{E}[X])^2$), и именно на этом построена дисперсия.

Итог

Случайная величина сопоставляет числам исходы эксперимента.
Ожидание $\mathbb{E}[X]=\sum x_iP(X=x_i)$ — это долгосрочное среднее.
Выборочное среднее сходится к ожиданию по закону больших чисел.
Для нелинейной $g$ в общем случае $\mathbb{E}[g(X)]\neq g(\mathbb{E}[X])$.