Архитектуры моделей
Контрастивные и двухбашенные энкодеры
Независимо кодируют два входных сигнала (например, запрос и документ или изображение и подпись) и обучают парные примеры располагаться близко друг к другу.
Ментальная модель
Два читателя встречаются в общей системе координат; они быстрые, поскольку кандидаты не взаимодействуют до сравнения их векторов.
Поток данных
- Парные входные данные A и B
- Отдельные или общие кодировщики
- Проецированные нормализованные векторы
- Матрица сходства
- Контрастная функция потерь сопоставления
Как проходит обучение
Пакетная контрастная оптимизация вознаграждает парные примеры и рассматривает другие примеры как отрицательные. Качество отрицательных примеров, дублирование семантики и температура существенно влияют на изученное пространство.
Как выполняется инференс
Независимо кодируют каждую сторону и сравнивают векторы с помощью скалярного произведения или косинусной меры сходства. Предварительно вычисляют большую сторону кандидата; при необходимости опционально переранжируют лучшие результаты с помощью кросс-кодировщика.
Сильные стороны
- Масштабирует поиск в больших корпусах
- Согласовывает модальности без совместного декодера
- Позволяет осуществлять классификацию без обучения (zero-shot) через текстовые метки в некоторых случаях
Компромиссы
- Независимое кодирование пропускает тонкие взаимодействия между входными данными
- Ложные отрицательные примеры могут исказить обучение
- Глобальное сходство может игнорировать пространственные, временные или композиционные детали
Использовать, когда
- Быстрый поиск или сопоставление является первым этапом
- Одну сторону можно индексировать в автономном режиме
- Воспоминание следует за переранжированием, соответствующим конкретной задаче, при необходимости
Избегать или пересмотреть, когда
- Каждый кандидат нуждается в глубоком сравнении токенов с токенами
- Задача зависит от точных пространственных взаимосвязей
- Сырые оценки сходства рассматриваются как вероятности
Примеры опубликованных семейств
- • Двусторонний кодировщик изображений и текста CLIP
- • Плотный поиск по абзацам
- • Би-кодировщик семантического поиска