Мост к промпт-инжинирингу и RAG

Завершающий урок: как, понимая устройство LLM, применять её эффективно. Два главных направления — промпт-инжиниринг и RAG.

Промпт-инжиниринг — искусство строить вход так, чтобы получить от модели нужный результат; RAG — подмешивание в контекст внешних знаний для точных и свежих ответов.

Почему промпт так важен

Теперь, зная механику, вы понимаете ключевое: модель всё берёт из входной последовательности токенов. У неё нет памяти и нет иного источника, кроме того, что в контекстном окне. Значит, как вы сформулировали запрос — то и определяет ответ. Промпт-инжиниринг — это управление моделью через единственный доступный рычаг: вход.

Приёмы, понятные из устройства модели

Приём	Почему работает (исходя из механики)
Чёткие инструкции и роль	смещают распределение к нужному типу продолжения
Примеры в запросе (few-shot)	задействуют in-context learning — модель подхватывает шаблон
«Думай по шагам»	разворачивает рассуждение в токенах, и каждый шаг опирается на предыдущий
Контекст и факты в промпте	дают модели опору, снижая выдумки

Заметьте: ни один приём не «программирует» модель — все они лишь грамотно настраивают вход, чтобы вероятное продолжение совпало с желаемым.

RAG: дать модели знания

Мы видели два ограничения — галлюцинации и устаревание знаний. RAG (retrieval-augmented generation) бьёт по обоим. Идея: перед ответом найти в внешней базе (документы, статьи, ваша wiki) релевантные куски и вставить их прямо в контекст, попросив отвечать на их основе. Тогда модель не «вспоминает» из весов (где факт мог исказиться или устареть), а опирается на актуальный текст под рукой.

Запрос пользователя превращают в вектор и ищут похожие куски в базе знаний.
Найденные фрагменты добавляют в промпт вместе с вопросом.
Модель генерирует ответ, опираясь на эти фрагменты.

Так LLM получает свежие, специфичные и проверяемые знания, не переобучаясь. RAG — одна из самых практичных техник для надёжных ассистентов поверх корпоративных данных.

Дальше — инструменты и агенты

Логичное продолжение RAG — дать модели не только тексты, но и инструменты: вызвать калькулятор, выполнить код, сходить в поиск, дёрнуть API. Модель решает, какой инструмент нужен, получает результат в контекст и продолжает. Связки «модель + инструменты + многошаговое планирование» называют агентами — это отдельная большая тема, прямо вырастающая из всего, что вы изучили.

Что у вас теперь есть

Пройдя курс, вы понимаете LLM не как «волшебный чёрный ящик», а как конкретный механизм: токенизация → эмбеддинги → внимание → стопка блоков → предсказание токена → авторегрессивная генерация, обученный предобучением, SFT и RLHF. Это понимание — фундамент, на котором строятся и грамотные промпты, и RAG, и агенты. Вы знаете, на что модель способна, где её границы и как их обходить.

Итог

Модель берёт всё из входа, поэтому промпт-инжиниринг — главный рычаг управления.
Приёмы промптинга (роль, few-shot, «по шагам») понятны прямо из механики модели.
RAG вставляет в контекст внешние знания, борясь с галлюцинациями и устареванием.
Дальше — инструменты и агенты; всё это опирается на понятое в курсе устройство LLM.