Почему ChatGPT иногда уверенно врёт

Ты спрашиваешь у ChatGPT про какую-нибудь книгу, а он бодро называет автора, год издания и даже номер главы. Звучит убедительно — вот только книги такой не существует. Как машина, которая прочитала пол-интернета, умудряется так уверенно нести чушь? Сейчас разберёмся, и спойлер: дело не в том, что она хочет тебя обмануть.

Машина, которая угадывает следующее слово

Главное, что нужно понять про ChatGPT: он не знает фактов так, как знаешь их ты. У него в голове нет полочки, где аккуратно лежит «столица Франции — Париж». Вместо этого он делает одну-единственную вещь, но делает её фантастически хорошо — угадывает, какое слово должно идти следующим.

Представь самый умный на свете автодополнитель в телефоне. Ты пишешь «дважды два», и он предлагает «четыре». Пишешь «жили-были», и он добавляет «дед да баба». ChatGPT — это такой автодополнитель, но раскормленный гигантскими объёмами текста: статьями, книгами, форумами, кодом. Он научился улавливать, какие слова в каком порядке обычно идут друг за другом, и собирает из них ответ слово за словом.

Вот в чём подвох: модель подбирает не самое правдивое продолжение, а самое правдоподобное — то, которое статистически чаще встречается в похожих текстах. Чаще всего правдоподобное совпадает с правдой. Но не всегда.

Почему правдоподобно — это не то же самое, что правда

Когда ты просишь назвать научную статью про, скажем, сны осьминогов, модель уже видела тысячи настоящих ссылок на статьи. Она прекрасно знает, как выглядит ссылка: фамилия автора, заголовок в кавычках, название журнала, год. И она собирает что-то, выглядящее точь-в-точь как настоящая ссылка. Только автор может оказаться выдуманным, журнал — несуществующим, а год — взятым с потолка.

Такие красивые выдумки специалисты называют галлюцинациями. Модель не лжёт в человеческом смысле — у неё нет намерения тебя надуть. Она просто заполняет пробел самым гладким текстом, какой умеет сочинить. Форма безупречна, а вот с содержанием — как повезёт.

ChatGPT оптимизирован так, чтобы звучать убедительно, а не так, чтобы быть правым. Это две очень разные цели.

Вот хорошая аналогия. Представь ученика, который не выучил билет, но очень не хочет молчать у доски. Он уверенным голосом, с умным видом и правильными терминами выдаёт связную речь — потому что много раз слышал, как отвечают отличники, и научился копировать их интонацию. Звучит как знание. А по сути — импровизация по мотивам. ChatGPT — именно такой ученик, только с колоссальной памятью на интонации.

Откуда берётся фирменная уверенность

Самое коварное — это тон. ChatGPT почти никогда не мямлит и редко говорит «я не уверен». Почему?

Тексты, на которых он учился, написаны уверенно. Учебники, энциклопедии, статьи — там авторы утверждают, а не сомневаются. Модель впитала именно эту манеру.
Он не чувствует разницы между тем, что знает твёрдо, и тем, что только что выдумал. Для него и правильный ответ, и галлюцинация — это просто цепочка вероятных слов. Внутреннего сигнала «осторожно, тут я не уверен» у него по-настоящему нет.
Его настраивали быть полезным и приятным. Людям больше нравятся чёткие ответы, чем бесконечные «возможно» и «затрудняюсь сказать». Поэтому модель склонна давать прямой ответ — даже когда честнее было бы признаться в незнании.

Получается опасная смесь: уверенный тон плюс отсутствие внутреннего детектора собственного вранья. Человек обычно мнётся, когда сочиняет на ходу, — и мы по этим запинкам чуем неладное. У ChatGPT запинок нет. Выдумка и факт выходят из него с одинаково ровной, спокойной интонацией.

Когда модель особенно склонна сочинять

Галлюцинации случаются не на пустом месте — есть ситуации, где риск заметно выше. Стоит держать их в голове:

Точные числа, даты и цитаты. Кто что сказал, в каком году, сколько именно — здесь модель легко промахивается на годы и приписывает людям слова, которых те не говорили.
Узкие, редкие темы. Чем меньше про что-то написано в интернете, тем меньше у модели опоры — и тем охотнее она досочиняет недостающее.
Ссылки, источники и названия. Просьба «дай ссылку на исследование» — почти классическая ловушка: правдоподобный формат собрать легко, а реальность за ним стоять не обязана.
Свежие события. Модель училась на текстах до какого-то момента и про вчерашние новости попросту не в курсе, хотя ответить всё равно попробует.

Как с этим жить и не попадаться

Звучит тревожно, но паниковать не нужно. ChatGPT — отличный инструмент, если помнить, что у тебя в руках. Это не оракул, выдающий истину, а очень бойкий помощник, которого надо перепроверять. Несколько простых правил:

Проверяй важное в других источниках. Если от ответа что-то зависит — оценка, проект, спор с другом, — загляни в учебник, на сайт или в поисковик. Особенно когда речь о цифрах, датах и фамилиях.
Не верь ссылкам на слово. Попросил источник — открой его сам и убедись, что он вообще существует.
Используй модель там, где она сильна. Объяснить тему простыми словами, накидать идей, помочь с черновиком, разобрать твой код — тут она великолепна. А вот точные факты лучше у неё перепроверять.
Помни про уверенный тон. Гладкость и убедительность ответа ничего не говорят о его правдивости. Красиво — не значит верно.

В конце концов, ChatGPT — это зеркало человеческих текстов, а не их судья. Он блестяще умеет звучать как знающий человек, но проверять, правда ли это, по-прежнему твоя работа. И, честно говоря, навык спокойно сомневаться и перепроверять пригодится тебе далеко не только в разговорах с нейросетью.