Модели эмбеддингов

Как проходит обучение

Контрастные, метрические методы обучения, классификация или цели, основанные на парных данных, сближают полезные соответствия и отдаляют отрицательные примеры. Стратегия негативного семплирования и данные домена определяют, что означает сходство.

Как выполняется инференс

Каждый элемент кодируется за один прямой проход. Сохраненные векторы обеспечивают быстрый приближенный поиск ближайших соседей; кросс-кодировщик может переранжировать небольшой набор кандидатов для более точной обработки взаимодействия.

Сильные стороны

• •Эффективный семантический поиск в больших коллекциях
• •Повторно используемые признаки для кластеризации, маршрутизации, рекомендаций и дедупликации
• •Векторы кандидатов могут быть вычислены и проиндексированы заранее

Компромиссы

• •Один вектор сжимает детали на уровне токенов
• •Сходство ухудшается при изменении домена, языка или времени
• •Оценки зависят от модели и индекса, а не являются откалиброванными вероятностями

Использовать, когда

• Вам нужен семантический поиск кандидатов
• Корпус слишком велик для парного сравнения
• Вы можете оценить полноту на основе запросов в производственной форме

Избегать или пересмотреть, когда

• Точное лексическое сопоставление является единственным требованием
• Вам нужен сгенерированный ответ, а не представление
• Будет развернут порог подобия без калибровки