Энтропия и информация: сколько «весит» один бит

Представь: ты загадал число от 1 до 8, а я должен его угадать, задавая вопросы, на которые ты отвечаешь только «да» или «нет». Сколько вопросов мне понадобится? И главное — почему именно столько, а не больше и не меньше? Ответ на этот простой вопрос прячет в себе одну из самых красивых идей математики: у информации есть точный вес, и измеряется он в битах.

Игра в угадайку, или что такое бит

Вернёмся к числу от 1 до 8. Самая глупая стратегия — спрашивать «это 1?», «это 2?» и так далее. В худшем случае уйдёт семь вопросов. Но есть стратегия поумнее: каждый раз делить оставшиеся варианты пополам. «Число больше 4?» Нет. Значит, оно от 1 до 4. «Больше 2?» Да. Осталось 3 или 4. «Это 4?» Нет. Готово — это 3. Три вопроса, и ни одним больше.

Почему именно три? Потому что 8 — это два в третьей степени: 2 × 2 × 2. Каждый ответ «да/нет» разрезает множество вариантов ровно пополам, и за три разреза из восьми вариантов остаётся один. Вот этот один разрез пополам, один честный ответ «да/нет» — и есть бит. Бит — это количество информации, которое нужно, чтобы выбрать один вариант из двух равновероятных.

Заметь хитрость: чтобы выбрать из 8 вариантов, нужно 3 бита, из 16 — уже 4, из 1024 — всего 10. Информация растёт не так, как число вариантов: вариантов становится в разы больше, а битов прибавляется по одному. Математики говорят: количество информации — это логарифм числа равновероятных вариантов по основанию 2.

А если варианты неравные?

Пока всё было честно: восемь чисел, у каждого равные шансы. Но мир редко такой ровный. Представь, что я спрашиваю тебя о погоде в пустыне. «Сегодня была песчаная буря?» Ты почти всегда ответишь «нет» — и я почти ничего не узнаю, ведь я и так это предполагал. А вот редкое «да» меня по-настоящему удивит и сообщит мне много.

Здесь рождается ключевая мысль теории информации: чем неожиданнее событие, тем больше информации оно несёт. Сообщение «солнце взошло» весит почти ноль битов — мы и так это знали. Сообщение «над городом пролетел метеорит» весит огромную кучу битов, потому что застаёт врасплох.

Информация — это мера твоего удивления. Если ты заранее знаешь ответ, новый бит ничего не добавляет.

Получается, вес одного и того же ответа «да» зависит от того, насколько он был ожидаем. Редкое событие — тяжёлый бит. Частое — лёгкий, почти невесомый.

Энтропия: средний вес целого языка

А теперь представь не одно сообщение, а целый поток — например, буквы текста. Какие-то буквы встречаются часто (в русском это «о», «е», «а»), какие-то редко («ф», «ъ»). Если усреднить вес информации по всем буквам с учётом того, как часто каждая попадается, получится энтропия — средний вес одного символа в сообщении.

Энтропию придумал инженер Клод Шеннон в 1948 году, и это слово он позаимствовал у физиков, где энтропия означает меру беспорядка. Логика та же: чем больше беспорядка и непредсказуемости в источнике, тем выше его энтропия и тем больше битов нужно, чтобы записать его сообщения.

• Если бы в языке все буквы шли совершенно случайно и равновероятно, энтропия была бы максимальной — каждый символ нёс бы полные «честные» биты.
• Но язык предсказуем: после «ъ» почти всегда идёт гласная, слово «привет» куда вероятнее, чем «пхъыкл». Эта предсказуемость снижает энтропию.

Именно поэтому тексты, музыку и картинки можно сжимать в архивы. Архиватор находит предсказуемые, повторяющиеся куски и записывает их короче. Он не выбрасывает информацию — он выжимает «воду», лишние биты, которые ты и так мог бы угадать. Предел сжатия как раз и задаёт энтропия: ниже неё ужать без потерь невозможно, потому что меньше битов просто не хватит, чтобы отличить одно сообщение от другого.

Где этот вес работает прямо сейчас

Эта математика — не абстракция из учебника. Она держит на себе всю цифровую жизнь вокруг тебя.

Когда ты отправляешь голосовое, телефон сжимает звук, отбрасывая предсказуемые и неслышимые куски, — и файл становится в разы легче. Когда видео грузится по слабому интернету, кодек экономит биты на тех участках кадра, которые почти не меняются. QR-код, штрихкод, музыка в наушниках, фотография в облаке — везде идёт один и тот же расчёт: сколько битов реально нужно, чтобы передать смысл, и ни битом больше.

Хорошая аналогия — чемодан перед поездкой. Ты можешь набить его кое-как, и он раздуется, хотя вещей внутри немного. А можешь свернуть всё аккуратно, по форме — и поместится столько же при меньшем объёме. Но есть предел: меньше определённого размера чемодан не станет, сколько ни сворачивай, потому что вещи занимают реальное место. Энтропия — это и есть тот минимальный размер чемодана для твоей информации.

Так что в следующий раз, угадывая загаданное число за три вопроса, помни: ты не просто играешь. Ты на пальцах измеряешь количество информации — ровно так, как это делает любой компьютер на планете, когда решает, сколько весит один бит.