Что такое токен и промпт в нейросетях? Постоянно встречаю эти слова
Читаю про ChatGPT и нейросети, везде «токены», «промпт», «лимит токенов». Что это вообще значит простыми словами? И почему говорят, что у модели ограничение по токенам?
1 ответ
Промпт — это просто твой запрос к модели. Текст, который ты ей отправляешь: вопрос, задание, инструкция. «Объясни теорему Пифагора» — это промпт.
Токен — это кусочек текста, которым оперирует модель. Не совсем буква и не совсем слово. Часто это слово или его часть. Грубо: в английском один токен ≈ 4 символа, или ¾ слова. Русский режется на токены мельче, поэтому «съедает» их больше.
Примерно так слово «программирование» может разбиться на несколько токенов: програм + миров + ание.
Модель не видит текст как мы — она работает с этими токенами и предсказывает следующий токен. Лимит токенов — это сколько текста (твой запрос + ответ + история разговора) модель может держать «в голове» одновременно. Когда лимит исчерпан, она начинает «забывать» начало диалога. Поэтому в длинном чате полезно иногда напоминать ей контекст.