Encodeurs contrastifs et duaux

Entraînement

Les objectifs contrastifs par lot récompensent les exemples appariés et traitent les autres comme des négatifs. La qualité des négatifs, la sémantique dupliquée et la température affectent considérablement l'espace appris.

Exécution de l’inférence

Encoder chaque côté indépendamment et comparer les vecteurs par produit scalaire ou similarité cosinus. Précalculer le vaste ensemble de candidats puis, si nécessaire, reclasser les meilleurs résultats avec un encodeur croisé.

Atouts

• •Permet de mettre à l’échelle la recherche dans des corpus importants
• •Aligne les modalités sans décodeur commun
• •Permet une classification zero-shot grâce au texte de label dans certains contextes

Compromis

• •L'encodage indépendant ignore les interactions précises entre les entrées
• •Les faux négatifs peuvent fausser l'entraînement
• •La similarité globale peut ignorer les détails spatiaux, temporels ou compositionnels

À utiliser lorsque

• Une recherche ou une correspondance rapide est la première étape
• Un côté peut être indexé hors ligne
• Le rappel est suivi d'un rerangage adapté à la tâche si nécessaire

À éviter ou remettre en question lorsque

• Chaque candidat a besoin d'une comparaison approfondie jeton par jeton
• La tâche dépend de relations spatiales précises
• Les scores de similarité bruts sont considérés comme des probabilités