Encoder-only Transformer

So wird trainiert

Maskierte Token-Rekonstruktion ist das klassische Pretraining-Ziel, gefolgt von aufgabenspezifischer Klassifikation, Token-Labeling, Span-Vorhersage oder Metric Learning.

So läuft die Inferenz

Ein Vorwärtsdurchlauf verarbeitet die verfügbare Eingabe. Es eignet sich natürlich für das Verständnis und die Repräsentation, erzeugt aber nicht von selbst eine beliebige Fortsetzung.

Stärken

• •Reichhaltiger bidirektionaler Kontext für Klassifikation und Extraktion
• •Parallele Verarbeitung über die Eingabe hinweg
• •Oft effizient bei hochvolumigen, begrenzten Aufgaben

Zielkonflikte

• •Kein offenes Generierungsmodell
• •Maximale Eingabelänge und quadratische Attention können lange Dokumente einschränken
• •Ein Task-Head oder eine Pooling-Strategie ist in der Regel erforderlich

Geeignet, wenn

• Klassifikation, benannte Entitäten, Re-Ranking oder Embeddings dominieren
• Die vollständige Eingabe steht vor der Vorhersage zur Verfügung
• Ein kleineres, spezialisiertes Modell kann die Anforderungen erfüllen

Vermeiden oder hinterfragen, wenn

• Die primäre Ausgabe ist ein langer freier Text
• Streaming-Generierung ist erforderlich
• Eingaben überschreiten routinemäßig die evaluierte Kontextstrategie