Курс о том, как дать большой языковой модели доступ к вашим данным через Retrieval-Augmented Generation. От проблем LLM и эмбеддингов до векторных баз, чанкинга, извлечения с цитированием и продакшн-практик. Ядро RAG — косинусную близость, векторный поиск и чанкинг — вы напишете руками на чистом Python.
Курс «RAG и векторные базы данных» состоит из 6 разделов и 25 уроков: Зачем нужен RAG, Эмбеддинги и близость, Векторные базы данных, Подготовка данных (индексация), Извлечение и генерация и Качество, проблемы и продакшн. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.
Программа учебника
6 разделов · 25 уроков1Зачем нужен RAG4 урока
- 1Проблема LLM: знания, галлюцинации и контекстПочему большие языковые модели не знают ваших данных: устаревшие знания, галлюцинации, лимит контекста и закрытые приватные данные.
- 2Идея RAG: найти, подставить, ответитьСуть Retrieval-Augmented Generation: найти релевантные фрагменты в своей базе, вставить их в промпт и заставить LLM отвечать с опорой на контекст.
- 3RAG против дообучения: когда что выбиратьЧем RAG отличается от fine-tuning, какие задачи решает каждый подход и почему их часто комбинируют.
- 4Архитектура RAG-пайплайна: обзорДве фазы RAG — индексация (offline) и извлечение с генерацией (online): из каких компонентов состоит пайплайн и как они связаны.
2Эмбеддинги и близость4 урока
- 5Что такое эмбеддинг: текст как вектор смыслаЭмбеддинг превращает текст в вектор чисел, где близость в пространстве отражает близость по смыслу. Разбираем интуицию на координатах.
- 6Косинусная близость: считаем похожесть рукамиКосинус угла между векторами — главная метрика похожести в RAG. Считаем её на чистом Python и видим, как ранжируются тексты по смыслу.
- 7Модели эмбеддингов и размерностьОбзор моделей эмбеддингов (OpenAI, sentence-transformers и др.), что такое размерность вектора и как выбрать модель под RAG.
- 8Почему близкие по смыслу тексты близки в пространствеДистрибутивная семантика: как обучение на контекстах заставляет синонимы и связанные понятия оказываться рядом в векторном пространстве.
3Векторные базы данных5 уроков
- 9Зачем нужна векторная база данныхПолный перебор по миллионам векторов слишком медленный. Векторная БД хранит эмбеддинги и быстро находит ближайших соседей по смыслу.
- 10Приближённый поиск соседей (ANN): идея HNSW и IVFApproximate Nearest Neighbors жертвует крошечной точностью ради огромной скорости. Разбираем интуицию графов HNSW и кластеров IVF.
- 11Метрики близости: косинус, L2 и скалярное произведениеТри способа измерять близость векторов в векторных БД: косинус, евклидово расстояние L2 и dot product. Когда какую выбирать.
- 12Наивный векторный поиск своими рукамиСобираем мини-«векторную базу» на чистом Python: полный перебор по косинусной близости и выдача top-k ближайших чанков.
- 13Обзор решений: Pinecone, Chroma, FAISS, pgvector, QdrantСравнение популярных векторных хранилищ: библиотека FAISS, локальная Chroma, расширение pgvector, облачный Pinecone и Qdrant.
4Подготовка данных (индексация)4 урока
- 14Загрузка и парсинг документовПервый шаг индексации: собрать документы из разных форматов (PDF, HTML, Markdown) и вытащить из них чистый текст для дальнейшего чанкинга.
- 15Чанкинг: режем текст на фрагменты с перекрытиемСтратегии разбиения текста на чанки: фиксированный размер, по предложениям и абзацам, перекрытие (overlap). Запускаемый пример чанкинга руками.
- 16Метаданные: контекст вокруг чанкаЗачем к каждому чанку прикреплять метаданные (источник, дата, раздел) и как они включают фильтрацию выдачи и цитирование источников.
- 17Построение индекса: качество чанков решает всёФинал индексации: эмбеддим чанки и кладём в векторный индекс. Почему именно качество чанкинга, а не модель, чаще всего определяет качество ответов.
5Извлечение и генерация4 урока
- 18Запрос → эмбеддинг → top-k: мини-retrievalРантайм-фаза RAG: превращаем вопрос в вектор, ищем k ближайших чанков. Полностью запускаемый мини-retriever на чистом Python.
- 19Сборка промпта: как вставить контекстAugment-шаг RAG: как из найденных чанков и вопроса собрать промпт, который заставит LLM отвечать по контексту, а не из памяти.
- 20Генерация ответа и цитирование источниковGenerate-шаг: LLM пишет ответ строго по контексту и ссылается на источники. Как устроено цитирование и почему оно повышает доверие.
- 21Гибридный поиск и реранкингКак улучшить извлечение: гибрид векторного поиска и ключевых слов (BM25) плюс реранкинг — переупорядочивание кандидатов более точной моделью.
6Качество, проблемы и продакшн4 урока
- 22Оценка RAG: извлечение и верность ответаКак измерять качество RAG: метрики извлечения (recall@k, precision) и генерации (верность контексту, отсутствие галлюцинаций).
- 23Типичные проблемы и потеря в серединеЧастые провалы RAG: плохой чанкинг, нерелевантный контекст и эффект «потери в середине» (lost in the middle) в длинном контексте.
- 24Продвинутый RAG: query rewriting, multi-query, HyDEПриёмы улучшения извлечения через работу с запросом: переписывание запроса, мульти-запрос и HyDE (гипотетический документ).
- 25Продакшн: агентный RAG, стоимость, инструменты и чек-листФинал курса: агентный RAG, управление стоимостью и латентностью, обзор LangChain/LlamaIndex и практический чек-лист запуска RAG в прод.