Apache Kafka — это распределённый лог событий, на котором держится потоковая инфраструктура тысяч компаний: от банков до маркетплейсов. Этот курс объясняет Kafka не как «ещё одну очередь сообщений», а как фундаментальную абстракцию — append-only лог, который меняет то, как системы обмениваются данными в реальном времени.
Вы пройдёте путь от мотивации (зачем вообще нужна потоковая обработка и почему интеграция N систем напрямую — это кошмар M×N) до внутреннего устройства: партиции и параллелизм, оффсеты, репликация и ISR, гарантии доставки и exactly-once. Разберём продюсеров и консьюмеров с группами, Schema Registry, Kafka Connect и Kafka Streams, паттерны event sourcing и CQRS, режим KRaft без ZooKeeper, и то, почему Kafka так быстр. Курс рассчитан на разработчиков и дата-инженеров, которые хотят понимать Kafka глубоко, а не запускать команды наугад.
Курс «Apache Kafka: потоковые данные» состоит из 8 разделов и 30 уроков: Зачем потоковая обработка, Что такое Apache Kafka, Лог как абстракция, партиции и параллелизм, Продюсеры, консьюмеры и группы, Надёжность, хранение и гарантии, Экосистема: схемы, Connect, Streams, ksqlDB, Паттерны, микросервисы и альтернативы и Под капотом и эксплуатация. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.
Программа учебника
8 разделов · 30 уроков1Зачем потоковая обработка4 урока
- 1Батч против стрима: два взгляда на данныеЧем потоковая обработка отличается от батчевой, почему «раз в сутки» уже не хватает и где реальное время меняет бизнес.
- 2Проблема M×N: ад точечных интеграцийПочему прямое соединение N источников с M потребителями превращается в M×N коннекторов и как лог-посредник снижает сложность до M+N.
- 3Реальное время: где задержка решаетКонкретные сценарии, где обработка событий за секунды, а не за сутки, напрямую влияет на деньги, безопасность и опыт пользователя.
- 4Где Kafka в карте инструментов данныхКак Kafka соотносится с Airflow, базами данных, очередями и стрим-процессорами — и почему это не конкуренты, а слои одного стека.
2Что такое Apache Kafka4 урока
- 5Kafka как распределённый лог событийЧто на самом деле представляет собой Kafka: упорядоченный, доступный для дозаписи журнал событий, распределённый по кластеру машин.
- 6Event streaming и event-driven архитектураКак переход от «вызови сервис» к «опубликуй событие» меняет архитектуру: развязка, реактивность и поток фактов как клей системы.
- 7Топик, партиция, оффсет, брокер, кластерБазовый словарь Kafka: что такое топик и партиция, как оффсет адресует событие, чем брокер отличается от кластера.
- 8Первый кластер: запуск и первые команды CLIПрактика: поднимаем брокер, создаём топик, пишем и читаем сообщения через kafka CLI, смотрим описание топика.
3Лог как абстракция, партиции и параллелизм3 урока
- 9Лог как абстракция: почему append-only так силёнПочему простой append-only лог оказывается мощнее сложных структур: неизменяемость, переигрывание истории и единый источник истины.
- 10Партиции и параллелизм: как Kafka масштабируетсяПартиция — единица параллелизма Kafka: как число партиций задаёт потолок пропускной способности и параллельного чтения.
- 11Ключ партиционирования и порядок внутри партицииКак ключ сообщения определяет партицию, почему это даёт порядок для связанных событий и чем грозит перекос ключей.
4Продюсеры, консьюмеры и группы4 урока
- 12Продюсеры: отправка, ключи, батчингКак продюсер отправляет события: выбор партиции, буферизация и батчинг, сжатие — и как это влияет на пропускную способность.
- 13Подтверждения (acks) и идемпотентный продюсерПараметр acks и его компромисс между скоростью и надёжностью; как идемпотентный продюсер убирает дубликаты при ретраях.
- 14Консьюмеры и группы: параллельное чтениеКак группа консьюмеров делит партиции между собой, что такое ребалансировка и почему она и спасает, и мешает.
- 15Оффсеты и семантики доставкиКоммит оффсетов и три семантики: at-most-once, at-least-once, exactly-once — что они значат и чем оплачиваются.
5Надёжность, хранение и гарантии4 урока
- 16Репликация и ISR: как не терять данныеЛидер и фолловеры, фактор репликации, набор синхронных реплик (ISR) и параметр min.insync.replicas — механика устойчивости Kafka к сбоям.
- 17Хранение и retention: Kafka помнит долгоКак Kafka хранит лог сегментами, политики retention по времени и размеру, и почему хранить данные днями и неделями — это норма.
- 18Лог-компакция: последнее значение по ключуПолитика compact: как Kafka хранит только последнее событие на ключ, превращая топик в «таблицу» текущих состояний.
- 19Гарантии доставки и exactly-once на практикеСводим воедино идемпотентность, транзакции и read_committed: как собрать сквозной exactly-once конвейер и где лежат его границы.
6Экосистема: схемы, Connect, Streams, ksqlDB4 урока
- 20Сериализация и Schema RegistryПочему сырой JSON в топике опасен, что даёт Avro/Protobuf со схемой, и как Schema Registry обеспечивает совместимую эволюцию схем.
- 21Kafka Connect: интеграция без кодаSource и sink коннекторы, как Connect переносит данные между БД и Kafka, и что такое CDC — захват изменений из базы.
- 22Kafka Streams: обработка потоковБиблиотека Kafka Streams: фильтрация, агрегации, джойны и оконные операции; KStream против KTable и stateful-обработка.
- 23ksqlDB: SQL над потокамиОбзор ksqlDB: как описывать потоковую обработку декларативным SQL — STREAM и TABLE, непрерывные запросы и push-выборки.
7Паттерны, микросервисы и альтернативы3 урока
- 24Event sourcing, CQRS и лог как источник истиныПаттерны, где лог событий — первичен: event sourcing хранит изменения как события, CQRS разделяет запись и чтение, стриминговый ETL строит проекции.
- 25Kafka в микросервисах: асинхронная развязкаКак Kafka заменяет синхронные вызовы между сервисами событиями, снижает связность и повышает устойчивость, и паттерн transactional outbox.
- 26Альтернативы: RabbitMQ, Pulsar, RedpandaКогда брать Kafka, а когда RabbitMQ; что предлагают Apache Pulsar и Redpanda — и как выбирать осознанно.
8Под капотом и эксплуатация4 урока
- 27KRaft и почему Kafka быстраяОтказ от ZooKeeper в пользу KRaft и причины высокой скорости Kafka: последовательная запись, zero-copy и page cache.
- 28Мониторинг и эксплуатация: лаг консьюмераГлавная метрика здоровья — consumer lag; ключевые метрики брокера и потребителей и как читать ребаланс-штормы.
- 29Типичные ошибки и антипаттерныСамые частые грабли: мало партиций, тяжёлые сообщения, неверный ключ, ребаланс-штормы и слабые гарантии — и как их избежать.
- 30Реальный пример: поток заказов в аналитикуСквозной разбор: события заказов из приложения через Kafka — обогащение в Streams, проекции в аналитику и поиск.