Архитектуры моделей
Трансформеры только с энкодером
Позвольте каждому входному токену обращать внимание на токены с обеих сторон, создавая контекстные представления вместо цикла неограниченной генерации.
Ментальная модель
Прочитайте весь вход, приведите каждую позицию в соответствие с контекстом, а затем объедините или подключите головной модуль задачи.
Поток данных
- Последовательность токенов
- Блоки двунаправленного самовнимания
- Контекстные состояния токенов
- Объединитель или головной модуль задачи
- Класс, спан, оценка или вектор
Как проходит обучение
Реконструкция маскированных токенов - это классический метод предварительного обучения, за которым следуют классификация, маркировка токенов, предсказание спана или метрическое обучение, специфичные для задачи.
Как выполняется инференс
Один прямой проход обрабатывает доступный ввод. Он естественно подходит для понимания и представления, но сам по себе не генерирует произвольного продолжения.
Сильные стороны
- Богатый двунаправленный контекст для классификации и извлечения
- Параллельная обработка на всем вводе
- Часто эффективен для высокопроизводительных ограниченных задач
Компромиссы
- Не является генератором неограниченной длины
- Максимальная длина ввода и квадратичное внимание могут ограничивать длинные документы
- Обычно требуется головной модуль задачи или стратегия объединения
Использовать, когда
- Классификация, именованные сущности, повторная ранжировка или встраивания преобладают
- Полный ввод доступен до предсказания
- Небольшая специализированная модель может соответствовать требованиям
Избегать или пересмотреть, когда
- Основным результатом является длинный текст свободной формы
- Требуется генерация потока данных
- Входные данные регулярно превышают стратегию контекста, которая была проверена
Примеры опубликованных семейств
- • Исследовательские направления BERT и RoBERTa
- • Повторно ранжировщики и классификаторы на основе кодировщика
Часто сочетается с
Модели эмбеддинговВизуальные кодировщикиКонтрастивные и двухбашенные энкодерыСистемы, дополненные поиском и гибридные системы