AI и машинное обучение

Учебник MLOps для начинающих

27 уроков · 8 разделов · ~3 ч · бесплатно, без регистрации

Практический курс о том, как вывести машинное обучение из ноутбука в надёжный продакшн. Разбираем жизненный цикл ML-системы, версионирование данных и моделей (DVC, реестр), отслеживание экспериментов (MLflow), feature store, CI/CD для ML, упаковку и развёртывание моделей, масштабирование инференса, мониторинг, обнаружение дрейфа, переобучение, безопасные релизы (канарейка, shadow, rollback), оркестрацию пайплайнов, инфраструктуру и LLMOps. Для тех, кто умеет обучать модели и хочет научиться их эксплуатировать.

Курс «MLOps: машинное обучение в продакшн» состоит из 8 разделов и 27 уроков: Введение в MLOps, Версионирование и эксперименты, Признаки и воспроизводимость, CI/CD и упаковка модели, Развёртывание и сервинг, Мониторинг и дрейф, Релизы и переобучение и Оркестрация, инфраструктура и LLMOps. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.

Программа учебника

8 разделов · 27 уроков
  1. 1Введение в MLOps3 урока

    1. 1Что такое MLOps и зачем он нуженMLOps — это практики надёжной доставки ML-моделей в продакшн: разрыв между ноутбуком и проде, ML-долг и роль автоматизации.
    2. 2Жизненный цикл ML-системыЭтапы ML-системы: данные, обучение, валидация, деплой, мониторинг и переобучение — как они образуют замкнутый цикл.
    3. 3Уровни зрелости MLOpsТри уровня зрелости MLOps по Google: ручной процесс, автоматизация пайплайна обучения и полный CI/CD/CT — как понять, где вы.
  2. 2Версионирование и эксперименты3 урока

    1. 4Версионирование данных с DVCDVC версионирует данные и модели поверх git: как работает .dvc-указатель, удалённое хранилище и связь данных с коммитом.
    2. 5Реестр моделей (Model Registry)Реестр моделей: версии, стадии (Staging/Production), метаданные и переходы — как централизованно управлять жизненным циклом моделей.
    3. 6Отслеживание экспериментов в MLflowMLflow Tracking: runs, параметры, метрики, артефакты и теги — как сделать эксперименты воспроизводимыми и сравнимыми.
  3. 3Признаки и воспроизводимость3 урока

    1. 7Feature store: зачем и какFeature store централизует признаки: офлайн- и онлайн-хранилища, переиспользование и единая логика для обучения и инференса.
    2. 8Training-serving skewTraining-serving skew: почему модель работает на обучении, но проседает в проде, и как обнаружить рассинхрон признаков.
    3. 9Воспроизводимость: seed, окружение, lineageВоспроизводимость в ML: фиксация seed, версий пакетов и окружения, отслеживание происхождения (lineage) артефактов.
  4. 4CI/CD и упаковка модели3 урока

    1. 10CI/CD для ML: чем отличаетсяCI/CD для ML: к обычному конвейеру добавляются CT (continuous training) и проверки данных и качества модели.
    2. 11Тесты данных и моделейКак тестировать данные (схема, диапазоны, пропуски) и модели (метрики, инварианты, срезы) в ML-пайплайне.
    3. 12Упаковка модели в Docker-образУпаковка модели: сериализация, фиксация зависимостей и Docker-образ — как получить переносимый воспроизводимый артефакт.
  5. 5Развёртывание и сервинг4 урока

    1. 13Способы развёртывания моделейЧетыре паттерна развёртывания модели: онлайн REST API, батч, стриминг и edge — когда какой выбрать.
    2. 14Обзор serving-инструментовОбзор инструментов сервинга: FastAPI, BentoML, Triton, TF Serving — их ниши и когда какой выбрать.
    3. 15Инференс-сервис на FastAPIКак устроен инференс-эндпоинт на FastAPI: загрузка модели при старте, валидация запроса, predict и health-check.
    4. 16Масштабирование инференсаМасштабирование инференса: батчинг запросов, горизонтальный автоскейлинг и эффективное использование GPU.
  6. 6Мониторинг и дрейф4 урока

    1. 17Мониторинг моделей в продакшнеТри уровня мониторинга ML-модели: операционный, по данным и по качеству предсказаний — что и зачем измерять.
    2. 18Дрейф данных: KS-тест и PSIКак статистически обнаружить дрейф данных: KS-тест и PSI (Population Stability Index) — расчёт и интерпретация.
    3. 19Концепт-дрейфКонцепт-дрейф: изменение связи между признаками и целью; чем отличается от дрейфа данных и как его обнаружить.
    4. 20Что логировать в продеЧто логировать для ML-сервиса: вход, предсказание, версию модели, латентность и метаданные — для дебага, аудита и дрейфа.
  7. 7Релизы и переобучение3 урока

    1. 21A/B-тесты и канареечный деплойБезопасный выкат модели: канареечный деплой (доля трафика) и A/B-тест (статистическое сравнение версий на метрике бизнеса).
    2. 22Rollback и shadow-деплойRollback (быстрый откат к прошлой версии) и shadow-деплой (теневой прогон новой модели без влияния на ответы).
    3. 23Переобучение: триггеры и человек в циклеПереобучение моделей: триггеры (расписание, дрейф, падение качества), автоматизация и роль человека в цикле.
  8. 8Оркестрация, инфраструктура и LLMOps4 урока

    1. 24Оркестрация пайплайновОркестраторы ML-пайплайнов: Airflow, Kubeflow и Prefect — что такое DAG, зачем оркестрация и когда какой выбрать.
    2. 25Инфраструктура и управление для MLИнфраструктура ML: облако и Kubernetes, GPU-ресурсы, IaC, а также governance — управление доступом, аудит и воспроизводимость.
    3. 26LLMOps: специфика LLM в продеLLMOps: чем эксплуатация больших языковых моделей отличается от классического MLOps — промпты, RAG, оценка, стоимость, галлюцинации.
    4. 27Типичные ошибки MLOpsРазбор частых провалов MLOps: training-serving skew, отсутствие мониторинга, ручной деплой, нет воспроизводимости и версионирования.