Проблема: на что смотреть в контексте

~3 минуты · 3 вопроса

Перед тем как разбирать механизм внимания, поймём задачу, которую он решает: токену нужно избирательно «смотреть» на нужные слова контекста.

Внимание (attention) — механизм, позволяющий каждому токену собирать информацию с других токенов контекста, придавая важным больший вес.

Слово оживает только в контексте

Возьмём слово «ключ». В вакууме оно бессмысленно. «Потерял ключ от двери» — это металлический предмет. «Скрипичный ключ» — музыкальный знак. «Ключ к разгадке» — подсказка. Эмбеддинг из таблицы у токена «ключ» один и тот же во всех случаях. Чтобы понять, какой смысл нужен здесь, токену необходимо посмотреть на соседей — «двери», «скрипичный», «разгадке».

Но не на всех соседей одинаково

Ключевая мысль: для понимания «ключ» важны не все слова предложения, а конкретные. В «Я вчера, кажется, потерял ключ от входной двери» решающие слова — «потерял» и «двери», а «вчера» и «кажется» почти не влияют. Значит, модели нужен механизм, который для каждого токена решает, на какие именно другие токены обратить внимание и насколько сильно. Это и есть attention.

Почему это трудная задача

Раньше с этим плохо справлялись. N-граммы видели лишь пару соседних слов. RNN читали текст по порядку и накапливали «состояние», но к концу длинного предложения начало уже размывалось — связать «ключ» в начале с «дверью» в конце было тяжело. Нужен был способ связать любые два токена напрямую, независимо от расстояния между ними.

Примеры дальних связей

ЯвлениеПример
Согласование«Книги, которые я купил вчера, были интересны» — «были» зависит от «книги», а не от «вчера»
Разрешение местоимений«Кот увидел собаку и она убежала» — кто «она»?
Снятие омонимии«лук» — овощ или оружие? Решают соседние слова

Идея внимания в одном предложении

Для каждого токена модель вычисляет веса — насколько он должен «прислушаться» к каждому другому токену, — и собирает из них взвешенную смесь информации. Слова, которые сейчас важны, получают большой вес; остальные — почти нулевой. Так «ключ» вбирает в себя смысл «двери» и становится «ключом-от-двери». Как именно считаются эти веса (через query, key, value) — тема следующих уроков.

Итог

  • Смысл токена зависит от контекста, и понять его в одиночку нельзя.
  • Важны не все слова одинаково — нужен избирательный взгляд.
  • Внимание связывает любые два токена напрямую, независимо от расстояния.
  • Механизм считает веса важности и собирает взвешенную смесь информации с других токенов.

Проверь себя

Три вопроса по уроку. Ответы никуда не идут — это для тебя.

1Какую главную проблему решает механизм внимания?

2Почему RNN плохо справлялись с дальними связями?

3Что значит «не на всех соседей одинаково»?