Kontrastive und Dual Encoder

So wird trainiert

Chargenbasierte kontrastive Ziele belohnen passende Beispiele und behandeln andere Beispiele als Negativbeispiele. Negative Qualität, doppelte Semantik und Temperatur beeinflussen den gelernten Vektorraum erheblich.

So läuft die Inferenz

Jede Seite wird unabhängig kodiert und die Vektoren werden mit dem Skalarprodukt oder der Kosinusähnlichkeit verglichen. Die große Kandidatenseite kann vorab berechnet werden; optional können die Top-Ergebnisse mit einem Cross-Encoder neu bewertet werden.

Stärken

• •Skaliert Retrieval auf große Korpora
• •Richtet Modalitäten aus, ohne einen gemeinsamen Decoder zu benötigen
• •Ermöglicht Zero-Shot-Klassifikation durch Labeltexte in einigen Szenarien

Zielkonflikte

• •Unabhängige Kodierung verpasst feingranulare Interaktionen zwischen den Eingaben
• •Falsche Negativbeispiele können das Training verzerren
• •Globale Ähnlichkeit kann räumliche, temporale oder kompositorische Details ignorieren

Geeignet, wenn

• Schnelles Retrieval oder Matching ist die erste Stufe
• Eine Seite kann offline indiziert werden
• Der Recall wird bei Bedarf durch eine aufgabenspezifische Neubewertung ergänzt

Vermeiden oder hinterfragen, wenn

• Jeder Kandidat benötigt einen tiefen Token-zu-Token-Vergleich
• Die Aufgabe hängt von präzisen räumlichen Beziehungen ab
• Rohe Ähnlichkeitswerte werden als Wahrscheinlichkeiten angenommen