Глубокий курс об искусственном интеллекте для звука и речи. Вы поймёте, как звук превращается в числа и признаки (дискретизация, спектрограмма, мел-шкала, MFCC), как устроено распознавание речи от классических HMM/GMM до Whisper и wav2vec2, как машина синтезирует голос (TTS), различает говорящих и эмоции, и как всё это применять ответственно. DSP-основы объясняются интуитивно, с исполнимыми примерами на чистом Python.
Курс «Распознавание речи и аудио-AI» состоит из 8 разделов и 26 уроков: Введение в аудио-AI, Как звук представлен в компьютере, Работа со звуком во временной области, Из времени в частоту: Фурье, Спектрограмма, мел-шкала и MFCC, Распознавание речи (ASR), Синтез речи и анализ говорящего и Применения, данные, метрики и этика. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.
Программа учебника
8 разделов · 26 уроков1Введение в аудио-AI3 урока
- 1Что такое аудио-AI и зачем он нуженОбзор аудио-AI: какие задачи решают модели для звука и речи, чем аудио отличается от текста и картинок, и почему это отдельная область.
- 2Обзор задач: ASR, TTS, говорящий, звуки, музыка, эмоцииПодробный обзор задач аудио-AI: распознавание и синтез речи, идентификация говорящего, классификация звуков, анализ музыки и эмоций — где какая применяется.
- 3Немного истории и место DSP в аудио-AIКраткая история звуковых технологий и роль цифровой обработки сигналов: почему DSP — обязательный фундамент перед нейросетями в аудио-AI.
2Как звук представлен в компьютере3 урока
- 4Звуковая волна: от воздуха к числамЧто такое звуковая волна физически, как микрофон превращает колебания воздуха в сигнал и почему звук — это амплитуда во времени.
- 5Дискретизация и теорема КотельниковаКак непрерывный звук превращают в числа: частота сэмплирования, теорема Котельникова-Найквиста и почему 16 кГц хватает для речи, а 44.1 кГц — для музыки.
- 6Разрядность, квантование и формат PCMКак амплитуду превращают в целые числа: разрядность (бит на отсчёт), квантование, шум квантования и сырой формат PCM.
3Работа со звуком во временной области3 урока
- 7Амплитуда, громкость и RMSКак из отсчётов посчитать громкость: пиковая амплитуда, RMS, децибелы и почему громкость — это не просто максимум сигнала.
- 8Временная область, окна и фреймыПочему звук режут на короткие перекрывающиеся окна (фреймы), что такое hop и почему анализ ведут по кадрам, а не по всей записи сразу.
- 9Энергия, переходы через ноль и основа VADПростые признаки во временной области: краткосрочная энергия и частота переходов через ноль (ZCR), и как на них строится детекция голоса.
4Из времени в частоту: Фурье3 урока
- 10Преобразование Фурье: интуицияИнтуитивное объяснение преобразования Фурье: как разложить звук на частоты, что такое спектр и зачем переходить из времени в частотную область.
- 11Спектр, форманты и гармоникиКак читать спектр звука: гармоники, основной тон, форманты гласных и почему по спектру можно различить голос и инструменты.
- 12STFT: Фурье по окнамКратковременное преобразование Фурье (STFT): зачем считать спектр по скользящим окнам, компромисс время-частота и путь к спектрограмме.
5Спектрограмма, мел-шкала и MFCC3 урока
- 13Спектрограмма: как её читатьЧто такое спектрограмма, как читать её оси и цвета, зачем логарифмировать амплитуду в дБ и почему это «фотография звука».
- 14Мел-шкала: как слышит человекПочему частотную ось искажают по мел-шкале: нелинейность человеческого слуха, мел-фильтры и переход от спектрограммы к мел-спектрограмме.
- 15MFCC: классические признаки речиЧто такое MFCC, зачем нужно косинусное преобразование после мел-спектрограммы, чем MFCC отличаются от мел-спектрограммы и где они до сих пор применяются.
6Распознавание речи (ASR)4 урока
- 16Классический ASR: HMM и GMMКак работало распознавание речи до нейросетей: скрытые марковские модели (HMM), гауссовы смеси (GMM), пайплайн с фонемами и языковой моделью, и почему от этого ушли.
- 17Современный ASR: CTC, seq2seq и attentionКак нейросети сделали ASR end-to-end: проблема выравнивания, CTC-функция потерь, seq2seq с attention и почему это вытеснило HMM/GMM.
- 18Whisper от OpenAIАрхитектура Whisper, его многоязычность, режимы транскрипции и перевода, и как запустить распознавание речи через transformers всего в несколько строк.
- 19Другие ASR: wav2vec2, Vosk, облачные APIОбзор альтернатив Whisper: wav2vec2 и self-supervised обучение, русские модели, офлайн-распознавание через Vosk и облачные речевые API — что выбрать под задачу.
7Синтез речи и анализ говорящего3 урока
- 20Синтез речи (TTS): как машина говоритКак работает синтез речи: путь текст → фонемы → акустика → звук, три поколения TTS (конкатенативный, параметрический, нейросетевой Tacotron/VITS) и голосовые клоны.
- 21Распознавание говорящего и диаризацияКак машина узнаёт, чей это голос: эмбеддинги говорящего, верификация и идентификация, диаризация «кто когда говорил» и разделение источников.
- 22Шумоподавление и детекция голоса (VAD)Как чистят звук перед моделями: VAD для отсечения тишины, спектральное вычитание шума, нейросетевой denoise и зачем это нужно в реальных конвейерах.
8Применения, данные, метрики и этика4 урока
- 23Классификация звуков, музыка и эмоцииРаспознавание звуковых событий, жанров музыки и эмоций в голосе: как одна и та же спектрограмма решает разные задачи через смену «головы» и данных.
- 24Данные, аугментация и метрики (WER, MOS)Где берут аудиоданные, как их аугментируют (шум, скорость, SpecAugment) и как измеряют качество: WER для распознавания и MOS для синтеза речи.
- 25Реальные применения и этика голосаГде аудио-AI меняет жизнь (ассистенты, субтитры, колл-центры, доступность, медицина) и какие этические риски несёт: дипфейки голоса, согласие, приватность и клонирование.
- 26Инструменты и с чего начать практикуОбзор инструментов аудио-AI (librosa, torchaudio, Hugging Face, ffmpeg) и практический старт: распознавание речи Whisper за пять строк и план первых шагов.