Трансформеры «энкодер-декодер»

Как проходит обучение

Обучение с принудительной подачей целевых токенов является распространенной практикой. Дenoising или повреждение разрывов позволяют многим задачам использовать один и тот же интерфейс ввода/вывода.

Как выполняется инференс

Источник кодируется один раз; декодер генерирует цель авторегрессивно, обращая внимание на стабильные состояния источника. Поиск по лучшим путям (beam search) полезен в некоторых ограниченных задачах, но не всегда является оптимальным.

Сильные стороны

• •Четкое разделение между пониманием источника и генерацией цели
• •Хорошо подходит для перевода, суммирования, транскрибирования и преобразования
• •Источник памяти используется на протяжении всего декодирования

Компромиссы

• •Два стека могут увеличить количество параметров и сложность развертывания
• •Декодирование целевой последовательности остается последовательным
• •Может быть менее удобным, чем интерфейс только с одним декодером для гетерогенных задач чата

Использовать, когда

• Выход строго обусловлен отдельным входом
• Источник и цель имеют разные структуры или модальности
• Важнее точная трансформация, чем открытое продолжение

Избегать или пересмотреть, когда

• Требуется общий интерфейс чата
• Отсутствует четкая исходная последовательность
• Достаточно энкодера без генерации выходных данных