Как ИИ переводит языки и почему смысл важнее слов
Раньше переводчик подбирал слова по словарю и выдавал косноязычную кашу. Сегодня он сначала «понимает» фразу целиком — и потому ловит даже шутки. Разберём, что изменилось.
Хороший перевод — это не замена слов чужими словами, а понимание мысли и пересказ её заново.
Главный прорыв машинного перевода: модель перестала переводить слова и начала переводить смысл.
Почему словарь — это провал
Кажется, что перевод прост: взять каждое слово и заменить иностранным аналогом. Так и работали ранние программы — и выдавали анекдотическую чушь. Причин три. Порядок слов в языках разный: где-то глагол в конце предложения. Одно слово имеет кучу значений: английское bank — и берег, и банк, ясно только из контекста. И есть идиомы: «бить баклуши» нельзя перевести по словам, не родив бессмыслицу.
Идея получше: понять, потом сказать
Прорыв пришёл с подходом «кодировщик — декодировщик». Перевод разбили на два шага, как делает живой переводчик. Сначала кодировщик читает фразу на русском и сворачивает её смысл в набор чисел — внутреннее представление мысли, уже без привязки к конкретным русским словам. Потом декодировщик берёт этот смысл и разворачивает его в английскую фразу с нуля.
Разница принципиальна. Между двумя шагами есть «мысль», очищенная от формы. Поэтому система свободно меняет порядок слов и не цепляется за дословность — она пересказывает идею, а не подменяет слова.
Слова как точки в пространстве смысла
Чтобы такое было возможно, каждое слово превращают в вектор — список чисел. Подбирают их так, что близкие по смыслу слова оказываются рядом: «король» недалеко от «королевы», «Париж» — от «Франции». В этом пространстве даже работает арифметика смысла: вектор «король» минус «мужчина» плюс «женщина» приземляется около «королевы». Машина оперирует не буквами, а геометрией значений.
Внимание: как не потерять контекст
Свернуть длинное предложение в один вектор — значит рискнуть растерять детали. Спасает механизм внимания (attention). Переводя очередное слово, модель «оглядывается» на исходную фразу и решает, какие слова сейчас важнее всего.
Возьмём «острый нож» и «острый ум». Дойдя до перевода «острый», модель смотрит на соседа: рядом «нож» — значит sharp; рядом «ум» — значит тоже sharp, но в смысле сообразительности, и весь оборот развернётся иначе. Слово переводится не в одиночку, а с оглядкой на тех, кто стоит вокруг. Именно внимание научило машины разруливать многозначность.
Откуда берётся умение
Никто не вписывал в модель правила грамматики. Её показали миллионы пар «фраза и её перевод», сделанных людьми, — субтитры, документы, книги. Модель сама нащупала закономерности: и порядок слов, и многозначность, и даже устойчивые обороты. Поэтому редкие языки переводятся хуже: для них просто мало готовых пар, не на чем учиться.
Где всё ещё спотыкается
Машина не понимает мир так, как мы. Она спотыкается на:
- Культурном контексте — шутки и отсылки, понятные только носителю.
- Сверхдлинных текстах — связь между началом и концом главы теряется.
- Намеренной двусмысленности — каламбур, который и должен читаться двояко.
И всё же путь огромен: от пословной нелепицы — к переводу, который ловит, что «острый» при «уме» и при «ноже» — это два разных острых. Секрет в одном сдвиге: переводить смысл, а не слова.