Modellarchitekturen
Autoregressive visuelle & Audio-Modelle
Bilder, Videos oder Audiodaten werden in diskrete Codes umgewandelt und deren Reihenfolge vorhergesagt, oft mit einem kausalen Transformer.
Denkmodell
Medien wie eine Sprache behandeln: tokenisieren, eine Reihenfolge wählen, den nächsten Code vorhersagen und anschließend dekodieren.
Datenfluss
- Mediator-Tokenisierer / -Codec
- Geordnete diskrete Codes
- Kausales Token-Modell
- Generierte Code-Sequenz
- Media-Dekoder
So wird trainiert
Ein gelernter Codec wird für die Rekonstruktion trainiert; das Prior minimiert die Kreuzentropie des nächsten Codes, optional unter Berücksichtigung von Text, vorherigen Frames, semantischen Token oder grobstufigen Codes.
So läuft die Inferenz
Codes werden seriell oder in hierarchischen/blockweisen Zeitplänen generiert und anschließend dekodiert. Die Reihenfolge bestimmt die Latenz und welche Abhängigkeiten leicht modellierbar sind.
Stärken
- Vereinheitlichte tokenbasierte Modellierung über Modalitäten
- Kompatibel mit der Infrastruktur für kausale Sprachmodelle
- Exakte diskrete Wahrscheinlichkeit für die gewählte Tokenisierung
Zielkonflikte
- Lange Code-Sequenzen erzeugen serielle Latenz
- Tokenisierer-Artefakte begrenzen die Ausgabequalität
- Eine eindimensionale Reihenfolge kann bei räumlicher oder mehrskaliger Struktur unpassend sein
Geeignet, wenn
- Ein robuster diskreter Codec existiert
- Kreuzmodelle Tokenisierung oder Fortsetzung wichtig ist
- Hierarchische Generierung die Latenzziele erfüllen kann
Vermeiden oder hinterfragen, wenn
- Lange serielle Dekodierung das Budget überschreitet
- Der Codec kritische Details der Wahrnehmung verliert
- Eine kontinuierliche Diffusionsdarstellung deutlich einfacher ist
Beispielhafte veröffentlichte Familien
- • Pixel-/Token-Modellierung im ImageGPT-Stil
- • VQ-Token-Bildgeneratoren
- • Codec-Token-Hierarchie im AudioLM-Stil
Häufig kombiniert mit
Decoder-only TransformerVQ-VAE / neuronale CodecMultimodale Token Fusion