Encoder–Decoder-Transformer

So wird trainiert

Lehrergesteuertes Target-Token-Likelihood ist üblich. Text-to-Text-Denoising oder Span-Korruption ermöglichen es vielen Aufgaben, dieselbe Eingabe-/Ausgabeschnittstelle zu nutzen.

So läuft die Inferenz

Die Quelle wird einmal codiert; der Decoder generiert das Ziel autoregressiv und berücksichtigt dabei stabile Zustände der Quelle. Beam Search ist in einigen abgegrenzten Aufgaben nützlich, aber nicht immer die beste Wahl.

Stärken

• •Klare Trennung von Quellenverständnis und Zielgenerierung
• •Gute Eignung für Übersetzung, Zusammenfassung, Transkription und Transformation
• •Quellgedächtnis wird während der Dekodierung wiederverwendet

Zielkonflikte

• •Zwei Stacks können Parameterzahl und Bereitstellungskomplexität erhöhen
• •Zieldekodierung bleibt serial
• •Kann bei heterogenen Chat-Aufgaben weniger komfortabel sein als eine Decoder-only-Schnittstelle

Geeignet, wenn

• Die Ausgabe ist stark von einer eindeutigen Eingabe abhängig
• Quelle und Ziel haben unterschiedliche Strukturen oder Modalitäten
• Treue der Transformation ist wichtiger als offenes Fortsetzen

Vermeiden oder hinterfragen, wenn

• Eine einzelne, allgemeine Chat-Schnittstelle die höchste Anforderung darstellt
• Keine eindeutige Quellsequenz existiert
• Ein nicht-generativer Encoder-Head ausreichend ist