Понимать или предсказывать слово: действительно ли ИИ что-то понимает

Самый честный ответ на вопрос «понимает ли нейросеть» начинается с уточнения: а что мы вообще называем пониманием.

Модель блестяще предсказывает следующее слово. Спор в том, рождается ли из миллиардов таких предсказаний что-то, что заслуживает слова «понимание», — и единого ответа пока нет.

Что бесспорно

Начнём с фактов. Механически модель делает одно: оценивает, каким словом продолжится текст, и выбирает продолжение. Никакого «смысла» в человеческом виде в этой операции не прописано. Нет образов, нет переживаний, нет картинки мира перед глазами. Есть только статистика языка, отлитая в гигантскую функцию. На этом уровне — да, это «всего лишь» предсказание слова.

Но вот что мешает поставить точку: чтобы хорошо предсказывать слово, иногда приходится ухватить нечто глубокое. Чтобы верно закончить «Если уронить стакан, он», полезно «представлять», что стекло бьётся. Чтобы продолжить математическую выкладку, полезно ухватить правило. Похоже, в погоне за точным предсказанием модель волей-неволей выстраивает внутри какие-то полезные структуры — нечто похожее на упрощённые модели мира.

Две позиции в споре

Отсюда два лагеря, и у каждого сильные доводы.

Скептики напоминают: модель — это «китайская комната». Представьте человека в комнате, который по толстому своду правил выдаёт ответы на китайском, не зная ни слова по-китайски. Снаружи кажется, что он понимает язык, но внутри — лишь манипуляция символами. Так и модель: блестяще оперирует словами, не имея к ним доступа через смысл.

Оптимисты возражают: а где, собственно, граница между «по-настоящему понимать» и «безупречно имитировать понимание во всех мыслимых случаях»? Если система верно отвечает на любые новые вопросы, рассуждает по аналогии, ловит подтекст — чем это практически отличается от понимания? Может, мы просто привыкли мерить понимание по себе.

Аргумент про ошибки

В пользу «имитации» часто приводят галлюцинации и нелепые промахи. Модель уверенно путает простые факты, не считает буквы в слове, выдумывает цитаты. Понимающий человек так не ошибается, говорят скептики. Но есть и контрдовод: эти ошибки прямо вытекают из устройства (модель не видит буквы по отдельности, у неё нет датчика истины) и не обязательно означают отсутствие всякого понимания — скорее, понимание у неё иное, дырявое и неравномерное.

Почему этот спор не пустой

Можно отмахнуться: какая разница, лишь бы работало? Но разница огромна — она меняет то, как вы пользуетесь инструментом.

• Если помнить, что в основе — предсказание слова, вы не удивитесь уверенному вранью и будете проверять факты.
• Вы не станете приписывать модели намерения, чувства или злой умысел — их там нет, есть статистика текста.
• И одновременно вы не будете недооценивать её: за «просто предсказанием» стоят неожиданно богатые внутренние структуры, способные решать настоящие задачи.

Честный итог

Самый трезвый ответ звучит так: модель не понимает мир, как человек, — у неё нет опыта, тела и осознания. Но и называть её работу «бессмысленным жонглированием словами» неточно: в процессе обучения предсказанию она построила нечто, что ведёт себя похоже на понимание во многих ситуациях. Где между этими полюсами правда — наука пока спорит, и спор этот, возможно, в той же мере о машине, в какой и о том, что мы сами вкладываем в слово «понимать».

Запомните: «предсказывает слово» и «понимает» — не обязательно противоположности. Истина где-то посередине, и держать в голове обе стороны полезнее, чем верить в одну крайность.