Что такое обучающая выборка и откуда нейросеть вообще всё знает?

Никто не вписывает знания вручную — модель учится сама на примерах. Этот набор примеров и называется обучающей выборкой.

Для языковой модели вроде ChatGPT обучающая выборка — это огромное количество текстов: книги, статьи, сайты, форумы. Модели много раз показывают кусочки текста и заставляют угадывать следующее слово. Когда она ошибается, её внутренние настройки (веса) чуть подкручиваются. Миллиарды повторений — и она «впитала» закономерности языка и фактов из этих текстов.

Важные следствия:

• Модель знает только то, что было в её данных. Про события после момента обучения она может не знать.
• Если в данных были ошибки или предвзятость — они попадают в модель. Качество ответа зависит от качества выборки. Отсюда поговорка: «мусор на входе — мусор на выходе».
• Поэтому подбор и чистка данных — огромная и важная часть создания ИИ.