Modellarchitekturen
Embedding-Modelle
Text, Bilder, Audio, Benutzer oder Artikel werden in Vektoren abgebildet, deren Geometrie so trainiert wird, dass eine nützliche Vorstellung von Ähnlichkeit erhalten bleibt.
Denkmodell
Ein gelerntes Koordinatensystem. Nähe bedeutet „ähnlich unter dem Trainingsziel“, nicht universell äquivalent oder faktisch verwandt.
Datenfluss
- Eingabe-Element
- Encoder
- Pooling oder Projektion
- Vektor fester Länge
- Ähnlichkeitssuche, Clustering oder Klassifikator
So wird trainiert
Kontrastive, metrikbasierte Lern-, Klassifizierungs- oder Paardaten-Ziele ziehen sinnvolle Übereinstimmungen zusammen und stoßen Negativbeispiele auseinander. Die Negative-Sampling-Strategie und die Domänendaten definieren, was Ähnlichkeit bedeutet.
So läuft die Inferenz
Jedes Element wird in einem Vorwärtsdurchlauf kodiert. Gespeicherte Vektoren ermöglichen eine schnelle approximative Nearest-Neighbor-Suche; ein Cross-Encoder kann den kleinen Kandidatensatz für feinere Interaktionen neu bewerten.
Stärken
- Effiziente semantische Suche in großen Sammlungen
- Wiederverwendbare Features für Clustering, Routing, Empfehlungen und Deduplizierung
- Kandidatenvektoren können im Voraus berechnet und indiziert werden
Zielkonflikte
- Ein einzelner Vektor komprimiert Token-Level-Details
- Ähnlichkeit nimmt unter Domänen-, Sprach- oder Zeitdrift ab
- Scores sind Modellspezifisch und indexspezifisch, keine kalibrierten Wahrscheinlichkeiten
Geeignet, wenn
- Sie benötigen eine semantische Kandidatenabruf
- Der Korpus ist zu groß für paarweise Bewertung
- Sie können Recall anhand von Produktionsabfragen bewerten
Vermeiden oder hinterfragen, wenn
- Exakte lexikalische Übereinstimmung ist die einzige Voraussetzung
- Sie benötigen eine generierte Antwort anstelle einer Darstellung
- Ein Ähnlichkeitsschwellenwert würde ohne Kalibrierung eingesetzt
Beispielhafte veröffentlichte Familien
- • BERT-basierte Satzkodierer
- • Die separaten Text- und Bildturme, die von CLIP verwendet werden