Учебник Кодирование и измерение информации для начинающих

Программа курса

1. 1 Измерение и кодирование информации

   1. Бит, байт и единицы измерения информации

      Что такое бит и байт, почему байт равен 8 битам, как кило-, мега- и гигабайты связаны со степенями двойки и как переводить единицы информации.

   2. Объём текста: алфавитный подход

      Алфавитный подход к измерению информации: мощность алфавита N, информационный вес символа i = log2 N, объём текста V = K·i. Разбор задач ASCII и Unicode.

   3. Содержательный подход: формула Хартли

      Содержательный подход к измерению информации: количество информации как мера снятой неопределённости. Формула Хартли N = 2^i, i = log2 N. Разбор задач.

   4. Кодирование изображений

      Как растровое изображение кодируется пикселями, что такое глубина цвета и палитра, и как по разрешению и глубине посчитать объём картинки в Кбайтах.

   5. Кодирование звука

      Как звук превращается в нули и единицы: частота дискретизации, глубина кодирования, число каналов и формула объёма аудио V = f · b · t с переводом в Мбайт.

   6. Скорость передачи данных

      Скорость передачи данных: формула V = v · t, перевод единиц, разбор типовых задач и главная ловушка биты против байтов.

2. 2 Сжатие без потерь

   1. Префиксные коды и условие Фано

      Коды переменной длины, префиксное свойство, условие Фано и обратное Фано, однозначность декодирования. Дерево кодов и разбор задания 4 ЕГЭ по информатике.

   2. Код Хаффмана

      Построение оптимального префиксного кода Хаффмана: жадный алгоритм слияния, дерево Хаффмана, средняя длина кода. Пошаговый пример и рабочий Python.

   3. RLE и идея сжатия без потерь

      Кодирование длин серий (RLE): когда сжатие выигрывает, а когда вредит, обратимость, связь с форматами BMP и факсом. Рабочая Python-реализация с выводом.

3. 3 Помехоустойчивое кодирование

   1. Бит чётности и контрольная сумма

      Зачем нужна избыточность, как бит чётности ловит одиночную ошибку и как контрольная сумма проверяет целый пакет данных.

   2. Код Хэмминга

      Как код Хэмминга размещает контрольные биты, вычисляет синдром и не просто находит, а исправляет одиночную ошибку. Разбор кода (7,4).

   3. Обнаружение ошибок: CRC и контроль целостности

      Как CRC использует остаток от деления полиномов, почему он надёжно ловит пакетные ошибки и где применяется: Ethernet, ZIP, диски.

4. 4 Вероятностный подход к информации

   1. Формула Шеннона

      Количество информации в сообщении при заданной вероятности: i=−log₂p. Почему редкое событие несёт больше информации, расчёты в битах и сравнение с подходом Хартли.

   2. Энтропия источника

      Энтропия как средняя информация на символ H=−Σp·log₂p, её максимум при равновероятных символах и связь с минимальной длиной кода. Расчёт энтропии на Python с выводом.

   3. Хартли против Шеннона

      Когда применять формулу Хартли i=log₂N для равновероятных событий, а когда нужна формула Шеннона. Единый взгляд на оба подхода и разбор экзаменационных задач.

5. 5 Практикум ЕГЭ и ОГЭ

   1. Задание 4: условие Фано на практике

      Полный разбор задания №4 ЕГЭ: достраиваем коды по условию Фано минимальной длины, считаем длину сообщения, обходим типичные ловушки.

   2. Задание 7: объём графики и звука

      Расчёт объёма растрового изображения через глубину цвета (I = N·i) и объёма звука (частота·разрядность·каналы·время) с переводом единиц и разбором задач.

   3. Скорость передачи: разбор задач

      Связь V = v·t, перевод бит/байт и кратных единиц, составные задачи на передачу и обработку данных с пошаговыми решениями для ЕГЭ и ОГЭ.