Modellarchitekturen
Decoder-only Transformer
Verwenden Sie eine Kausalmaske, sodass jede Position nur frühere Tokens berücksichtigt – passend zum linksseitigen Generierungsprozess, der von den meisten allgemeinen Chatmodellen verwendet wird.
Denkmodell
Komprimieren Sie das Präfix in einen Aufmerksamkeitszustand, sagen Sie ein Kontinuations-Token vorher, fügen Sie es hinzu und wiederholen Sie den Vorgang.
Datenfluss
- Präfixtokens
- Kausal maskierte Selbstaufmerksamkeit
- Versteckter Zustand an jeder Position
- Vokabular-Logits
- Nächstes Token → Wiederholung
So wird trainiert
Kreuzentropie für das nächste Token liefert ein Lernsignal an jeder Position. Nach dem Training können Anweisungsbeispiele, Präferenzen, überprüfbare Belohnungen oder Tool-Trajektorien hinzugefügt werden.
So läuft die Inferenz
Das Vorfüllen verarbeitet den Prompt; die Dekodierung gibt dann Tokens seriell aus, während der KV-Cache vergangene Aufmerksamkeits-Schlüssel und -Werte speichert. Kontextgröße, Cache-Speicher und Ausgabenlänge bestimmen das Servingverhalten.
Stärken
- Ein skalierbares Interface für viele generative Aufgaben
- Starke In-Kontext-Adaption
- Kann Prosa, Code, strukturierte Daten und Tool-Aufruf-Tokens verschachteln
Zielkonflikte
- Serielle Dekodierungs-Latenz
- Quadratische Vorfüllung bei standardmäßiger voller Aufmerksamkeit
- Prompt-Sensitivität und probabilistische Ausgabe erfordern Validierung
Geeignet, wenn
- Offene Generierung oder interaktiver Chat stehen im Mittelpunkt
- Viele Aufgaben können einen einzigen Modellendpunkt teilen
- Sie können Ausgaben im Produktkreislauf einschränken und bewerten
Vermeiden oder hinterfragen, wenn
- Ein kleiner Encoder oder eine deterministische Komponente die Anforderung erfüllt
- Garantierte exakte Ausgaben werden ohne Validierung angenommen
- Lange Quellkorpora sollten durchsucht, anstatt komplett in den Kontext aufgenommen zu werden
Beispielhafte veröffentlichte Familien
- • GPT-ähnliche kausale Sprachmodelle
- • LLaMA Forschungsfamilie