Почему ИИ выдумывает и уверенно врёт? Что такое галлюцинации нейросети
Спросил у ChatGPT про книгу — он назвал автора и год, всё уверенно. Проверил — такой книги вообще нет, он её выдумал. Почему он врёт с таким уверенным видом? Это баг?
2 ответа
Это не баг, а следствие того, как он устроен. Это называют галлюцинацией.
Вспомни: ChatGPT не ищет факты в базе, а предсказывает правдоподобное продолжение текста. Его цель — чтобы фраза звучала естественно и связно, а не чтобы она была правдой. Если на твой вопрос «звучащий правильно» ответ — это выдуманное название книги, он спокойно его сгенерирует, потому что оно похоже на правду.
Почему «уверенно»: у модели нет встроенного ощущения «я не знаю». Она всегда выдаёт самый вероятный текст, и выдумка звучит так же гладко, как факт.
Что с этим делать:
- Проверяй факты, особенно имена, даты, цифры, ссылки, цитаты — тут ИИ ошибается чаще всего.
- Для важного ищи первоисточник.
- Для рассуждений и объяснений ИИ обычно надёжнее, чем для конкретных фактов.
Правило простое: ИИ — отличный помощник подумать и объяснить, но плохой источник точных фактов без проверки.
Ещё причина — пробелы в обучающих данных. Если про что-то узкое модель видела мало текста, она «дорисовывает» недостающее по аналогии. Поэтому на популярные темы она ошибается реже, а на редких и узких — выдумывает чаще.