Data Science и аналитика

Учебник Apache Kafka для начинающих

30 уроков · 8 разделов · ~4 ч · бесплатно, без регистрации

Apache Kafka — это распределённый лог событий, на котором держится потоковая инфраструктура тысяч компаний: от банков до маркетплейсов. Этот курс объясняет Kafka не как «ещё одну очередь сообщений», а как фундаментальную абстракцию — append-only лог, который меняет то, как системы обмениваются данными в реальном времени.

Вы пройдёте путь от мотивации (зачем вообще нужна потоковая обработка и почему интеграция N систем напрямую — это кошмар M×N) до внутреннего устройства: партиции и параллелизм, оффсеты, репликация и ISR, гарантии доставки и exactly-once. Разберём продюсеров и консьюмеров с группами, Schema Registry, Kafka Connect и Kafka Streams, паттерны event sourcing и CQRS, режим KRaft без ZooKeeper, и то, почему Kafka так быстр. Курс рассчитан на разработчиков и дата-инженеров, которые хотят понимать Kafka глубоко, а не запускать команды наугад.

Курс «Apache Kafka: потоковые данные» состоит из 8 разделов и 30 уроков: Зачем потоковая обработка, Что такое Apache Kafka, Лог как абстракция, партиции и параллелизм, Продюсеры, консьюмеры и группы, Надёжность, хранение и гарантии, Экосистема: схемы, Connect, Streams, ksqlDB, Паттерны, микросервисы и альтернативы и Под капотом и эксплуатация. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.

Программа учебника

8 разделов · 30 уроков
  1. 1Зачем потоковая обработка4 урока

    1. 1Батч против стрима: два взгляда на данныеЧем потоковая обработка отличается от батчевой, почему «раз в сутки» уже не хватает и где реальное время меняет бизнес.
    2. 2Проблема M×N: ад точечных интеграцийПочему прямое соединение N источников с M потребителями превращается в M×N коннекторов и как лог-посредник снижает сложность до M+N.
    3. 3Реальное время: где задержка решаетКонкретные сценарии, где обработка событий за секунды, а не за сутки, напрямую влияет на деньги, безопасность и опыт пользователя.
    4. 4Где Kafka в карте инструментов данныхКак Kafka соотносится с Airflow, базами данных, очередями и стрим-процессорами — и почему это не конкуренты, а слои одного стека.
  2. 2Что такое Apache Kafka4 урока

    1. 5Kafka как распределённый лог событийЧто на самом деле представляет собой Kafka: упорядоченный, доступный для дозаписи журнал событий, распределённый по кластеру машин.
    2. 6Event streaming и event-driven архитектураКак переход от «вызови сервис» к «опубликуй событие» меняет архитектуру: развязка, реактивность и поток фактов как клей системы.
    3. 7Топик, партиция, оффсет, брокер, кластерБазовый словарь Kafka: что такое топик и партиция, как оффсет адресует событие, чем брокер отличается от кластера.
    4. 8Первый кластер: запуск и первые команды CLIПрактика: поднимаем брокер, создаём топик, пишем и читаем сообщения через kafka CLI, смотрим описание топика.
  3. 3Лог как абстракция, партиции и параллелизм3 урока

    1. 9Лог как абстракция: почему append-only так силёнПочему простой append-only лог оказывается мощнее сложных структур: неизменяемость, переигрывание истории и единый источник истины.
    2. 10Партиции и параллелизм: как Kafka масштабируетсяПартиция — единица параллелизма Kafka: как число партиций задаёт потолок пропускной способности и параллельного чтения.
    3. 11Ключ партиционирования и порядок внутри партицииКак ключ сообщения определяет партицию, почему это даёт порядок для связанных событий и чем грозит перекос ключей.
  4. 4Продюсеры, консьюмеры и группы4 урока

    1. 12Продюсеры: отправка, ключи, батчингКак продюсер отправляет события: выбор партиции, буферизация и батчинг, сжатие — и как это влияет на пропускную способность.
    2. 13Подтверждения (acks) и идемпотентный продюсерПараметр acks и его компромисс между скоростью и надёжностью; как идемпотентный продюсер убирает дубликаты при ретраях.
    3. 14Консьюмеры и группы: параллельное чтениеКак группа консьюмеров делит партиции между собой, что такое ребалансировка и почему она и спасает, и мешает.
    4. 15Оффсеты и семантики доставкиКоммит оффсетов и три семантики: at-most-once, at-least-once, exactly-once — что они значат и чем оплачиваются.
  5. 5Надёжность, хранение и гарантии4 урока

    1. 16Репликация и ISR: как не терять данныеЛидер и фолловеры, фактор репликации, набор синхронных реплик (ISR) и параметр min.insync.replicas — механика устойчивости Kafka к сбоям.
    2. 17Хранение и retention: Kafka помнит долгоКак Kafka хранит лог сегментами, политики retention по времени и размеру, и почему хранить данные днями и неделями — это норма.
    3. 18Лог-компакция: последнее значение по ключуПолитика compact: как Kafka хранит только последнее событие на ключ, превращая топик в «таблицу» текущих состояний.
    4. 19Гарантии доставки и exactly-once на практикеСводим воедино идемпотентность, транзакции и read_committed: как собрать сквозной exactly-once конвейер и где лежат его границы.
  6. 6Экосистема: схемы, Connect, Streams, ksqlDB4 урока

    1. 20Сериализация и Schema RegistryПочему сырой JSON в топике опасен, что даёт Avro/Protobuf со схемой, и как Schema Registry обеспечивает совместимую эволюцию схем.
    2. 21Kafka Connect: интеграция без кодаSource и sink коннекторы, как Connect переносит данные между БД и Kafka, и что такое CDC — захват изменений из базы.
    3. 22Kafka Streams: обработка потоковБиблиотека Kafka Streams: фильтрация, агрегации, джойны и оконные операции; KStream против KTable и stateful-обработка.
    4. 23ksqlDB: SQL над потокамиОбзор ksqlDB: как описывать потоковую обработку декларативным SQL — STREAM и TABLE, непрерывные запросы и push-выборки.
  7. 7Паттерны, микросервисы и альтернативы3 урока

    1. 24Event sourcing, CQRS и лог как источник истиныПаттерны, где лог событий — первичен: event sourcing хранит изменения как события, CQRS разделяет запись и чтение, стриминговый ETL строит проекции.
    2. 25Kafka в микросервисах: асинхронная развязкаКак Kafka заменяет синхронные вызовы между сервисами событиями, снижает связность и повышает устойчивость, и паттерн transactional outbox.
    3. 26Альтернативы: RabbitMQ, Pulsar, RedpandaКогда брать Kafka, а когда RabbitMQ; что предлагают Apache Pulsar и Redpanda — и как выбирать осознанно.
  8. 8Под капотом и эксплуатация4 урока

    1. 27KRaft и почему Kafka быстраяОтказ от ZooKeeper в пользу KRaft и причины высокой скорости Kafka: последовательная запись, zero-copy и page cache.
    2. 28Мониторинг и эксплуатация: лаг консьюмераГлавная метрика здоровья — consumer lag; ключевые метрики брокера и потребителей и как читать ребаланс-штормы.
    3. 29Типичные ошибки и антипаттерныСамые частые грабли: мало партиций, тяжёлые сообщения, неверный ключ, ребаланс-штормы и слабые гарантии — и как их избежать.
    4. 30Реальный пример: поток заказов в аналитикуСквозной разбор: события заказов из приложения через Kafka — обогащение в Streams, проекции в аналитику и поиск.