AI и машинное обучение

Учебник Hugging Face и Transformers для начинающих

22 урока · 6 разделов · ~3 ч · бесплатно, без регистрации

Hugging Face — это центр современной open-source экосистемы машинного обучения. Здесь живут сотни тысяч предобученных моделей, тысячи датасетов и удобные библиотеки, которые превращают сложную работу с нейросетями в несколько строк кода. В этом курсе вы разберётесь, как устроен Hugging Face Hub, научитесь запускать готовые модели через pipeline(), поймёте, что такое токенизаторы и трансформеры, освоите дообучение моделей через Trainer API, работу с датасетами, эмбеддинги для семантического поиска, диффузионные модели и публикацию своих моделей. Курс рассчитан на тех, кто уже знает Python и хочет перейти от теории нейросетей к практическому применению. Мы свяжем материал с курсами по LLM, NLP, PyTorch, глубокому обучению и Stable Diffusion, чтобы вы видели цельную картину.

Курс «Hugging Face и Transformers» состоит из 6 разделов и 22 уроков: Знакомство с Hugging Face, Pipeline и токенизаторы, Спецтокены и модели, Датасеты, инференс и дообучение, Публикация, оптимизация и эмбеддинги и Диффузия, демо и ответственность. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.

Программа учебника

6 разделов · 22 урока
  1. 1Знакомство с Hugging Face4 урока

    1. 1Экосистема Hugging Face: зачем она нужнаЧто такое Hugging Face, какие библиотеки и сервисы входят в экосистему и какую проблему они решают для ML-разработчика.
    2. 2Hub: модели, датасеты и SpacesКак устроен Hugging Face Hub: карточки моделей, фильтры по задачам, датасеты и интерактивные демо Spaces.
    3. 3Предобученные модели и трансфер-обучениеЧто такое предобученная модель и трансфер-обучение, почему дообучение дешевле обучения с нуля.
    4. 4pipeline(): самый быстрый способ применить модельКак устроена функция pipeline() в transformers и почему это самый быстрый способ запустить готовую модель.
  2. 2Pipeline и токенизаторы4 урока

    1. 5Задачи pipeline: тональность, NER, генерацияОбзор частых задач pipeline(): анализ тональности, распознавание сущностей (NER) и генерация текста.
    2. 6Перевод и ответы на вопросыЗадачи pipeline для перевода (translation) и ответов на вопросы по контексту (question-answering).
    3. 7Что делает токенизаторЗачем нужен токенизатор, как текст превращается в числа (input_ids) и почему модель не работает со словами напрямую.
    4. 8Subword и BPEКак работает subword-токенизация и алгоритм BPE: дробление редких слов на части и борьба с неизвестными словами.
  3. 3Спецтокены и модели4 урока

    1. 9Специальные токеныЧто такое специальные токены CLS, SEP, PAD, UNK, BOS, EOS и зачем модели нужны эти служебные метки.
    2. 10AutoModel и AutoTokenizerУниверсальные классы AutoModel и AutoTokenizer: как загрузить любую модель и токенизатор по одному идентификатору.
    3. 11Архитектура трансформера и attentionКраткое устройство трансформера и механизма внимания (attention) — основы современных языковых моделей.
    4. 12Encoder, decoder и encoder-decoderТри семейства трансформеров: encoder (BERT), decoder (GPT) и encoder-decoder (T5) — чем отличаются и для чего.
  4. 4Датасеты, инференс и дообучение4 урока

    1. 13Работа с датасетами: load_dataset и mapБиблиотека datasets: загрузка наборов данных через load_dataset и эффективная обработка через map.
    2. 14Инференс: от входа к ответуКак происходит инференс модели: текст в input_ids, прогон, логиты, softmax и финальный ответ.
    3. 15Дообучение с Trainer APIКак дообучить модель через Trainer API: TrainingArguments, датасет, цикл обучения без ручного кода.
    4. 16Метрики и оценка качестваКак оценивать модель: accuracy, precision, recall, F1 и почему точности недостаточно при дисбалансе классов.
  5. 5Публикация, оптимизация и эмбеддинги3 урока

    1. 17Публикация модели на HubКак загрузить свою модель на Hugging Face Hub: push_to_hub, карточка модели и версионирование.
    2. 18Квантизация и оптимизация инференсаОбзор квантизации и способов ускорить инференс: int8/4-bit, уменьшение памяти, дистилляция и батчинг.
    3. 19Sentence Transformers и эмбеддингиЭмбеддинги предложений через Sentence Transformers: семантический поиск, косинусная близость и связь с RAG.
  6. 6Диффузия, демо и ответственность3 урока

    1. 20Диффузионные модели через diffusersОбзор библиотеки diffusers и диффузионных моделей: как из шума рождается изображение, связь со Stable Diffusion.
    2. 21Spaces и Gradio: демо за минутыКак собрать интерактивное демо модели на Gradio и опубликовать его в Hugging Face Spaces.
    3. 22Этика, лицензии и локальный запуск против APIОтветственное использование моделей: лицензии, ограничения, предвзятость, а также выбор между локальным запуском и API.