Hugging Face — это центр современной open-source экосистемы машинного обучения. Здесь живут сотни тысяч предобученных моделей, тысячи датасетов и удобные библиотеки, которые превращают сложную работу с нейросетями в несколько строк кода. В этом курсе вы разберётесь, как устроен Hugging Face Hub, научитесь запускать готовые модели через pipeline(), поймёте, что такое токенизаторы и трансформеры, освоите дообучение моделей через Trainer API, работу с датасетами, эмбеддинги для семантического поиска, диффузионные модели и публикацию своих моделей. Курс рассчитан на тех, кто уже знает Python и хочет перейти от теории нейросетей к практическому применению. Мы свяжем материал с курсами по LLM, NLP, PyTorch, глубокому обучению и Stable Diffusion, чтобы вы видели цельную картину.
Курс «Hugging Face и Transformers» состоит из 6 разделов и 22 уроков: Знакомство с Hugging Face, Pipeline и токенизаторы, Спецтокены и модели, Датасеты, инференс и дообучение, Публикация, оптимизация и эмбеддинги и Диффузия, демо и ответственность. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.
Программа учебника
6 разделов · 22 урока1Знакомство с Hugging Face4 урока
- 1Экосистема Hugging Face: зачем она нужнаЧто такое Hugging Face, какие библиотеки и сервисы входят в экосистему и какую проблему они решают для ML-разработчика.
- 2Hub: модели, датасеты и SpacesКак устроен Hugging Face Hub: карточки моделей, фильтры по задачам, датасеты и интерактивные демо Spaces.
- 3Предобученные модели и трансфер-обучениеЧто такое предобученная модель и трансфер-обучение, почему дообучение дешевле обучения с нуля.
- 4pipeline(): самый быстрый способ применить модельКак устроена функция pipeline() в transformers и почему это самый быстрый способ запустить готовую модель.
2Pipeline и токенизаторы4 урока
- 5Задачи pipeline: тональность, NER, генерацияОбзор частых задач pipeline(): анализ тональности, распознавание сущностей (NER) и генерация текста.
- 6Перевод и ответы на вопросыЗадачи pipeline для перевода (translation) и ответов на вопросы по контексту (question-answering).
- 7Что делает токенизаторЗачем нужен токенизатор, как текст превращается в числа (input_ids) и почему модель не работает со словами напрямую.
- 8Subword и BPEКак работает subword-токенизация и алгоритм BPE: дробление редких слов на части и борьба с неизвестными словами.
3Спецтокены и модели4 урока
- 9Специальные токеныЧто такое специальные токены CLS, SEP, PAD, UNK, BOS, EOS и зачем модели нужны эти служебные метки.
- 10AutoModel и AutoTokenizerУниверсальные классы AutoModel и AutoTokenizer: как загрузить любую модель и токенизатор по одному идентификатору.
- 11Архитектура трансформера и attentionКраткое устройство трансформера и механизма внимания (attention) — основы современных языковых моделей.
- 12Encoder, decoder и encoder-decoderТри семейства трансформеров: encoder (BERT), decoder (GPT) и encoder-decoder (T5) — чем отличаются и для чего.
4Датасеты, инференс и дообучение4 урока
- 13Работа с датасетами: load_dataset и mapБиблиотека datasets: загрузка наборов данных через load_dataset и эффективная обработка через map.
- 14Инференс: от входа к ответуКак происходит инференс модели: текст в input_ids, прогон, логиты, softmax и финальный ответ.
- 15Дообучение с Trainer APIКак дообучить модель через Trainer API: TrainingArguments, датасет, цикл обучения без ручного кода.
- 16Метрики и оценка качестваКак оценивать модель: accuracy, precision, recall, F1 и почему точности недостаточно при дисбалансе классов.
5Публикация, оптимизация и эмбеддинги3 урока
- 17Публикация модели на HubКак загрузить свою модель на Hugging Face Hub: push_to_hub, карточка модели и версионирование.
- 18Квантизация и оптимизация инференсаОбзор квантизации и способов ускорить инференс: int8/4-bit, уменьшение памяти, дистилляция и батчинг.
- 19Sentence Transformers и эмбеддингиЭмбеддинги предложений через Sentence Transformers: семантический поиск, косинусная близость и связь с RAG.
6Диффузия, демо и ответственность3 урока
- 20Диффузионные модели через diffusersОбзор библиотеки diffusers и диффузионных моделей: как из шума рождается изображение, связь со Stable Diffusion.
- 21Spaces и Gradio: демо за минутыКак собрать интерактивное демо модели на Gradio и опубликовать его в Hugging Face Spaces.
- 22Этика, лицензии и локальный запуск против APIОтветственное использование моделей: лицензии, ограничения, предвзятость, а также выбор между локальным запуском и API.