Diffusionstransformatoren (DiT)

So wird trainiert

Das Modell lernt dasselbe Entrauschungs-, Geschwindigkeits- oder Flow-Ziel wie andere Diffusionssysteme, während Transformer-Blöcke Informationen zwischen latenten Patches austauschen.

So läuft die Inferenz

Ein Sampler ruft den Transformer wiederholt bei unterschiedlichen Rausch- oder Flow-Zeitpunkten auf; anschließend bildet ein Decoder die endgültige latente Repräsentation auf Medien ab.

Stärken

• •Transformer-Skalierung und Implementierungsökosystem
• •Globale Interaktionen zwischen latenten Patches
• •Natürlicher Weg zu gemeinsam genutzter multimodaler Token-Verarbeitung

Zielkonflikte

• •Attention-Kosten steigen mit der Anzahl der latenten Tokens
• •Erfordert weiterhin wiederholte Aufrufe des Entrauschungsnetzwerks
• •„DiT“ spezifiziert allein keinen Codec, kein Ziel, keine Konditionierung oder keinen Sampler

Geeignet, wenn

• Eine Transformer-Skalierungsinfrastruktur verfügbar ist
• Die Anzahl latenter Patches und die Sampling-Latenz passen in das Budget
• Sie benötigen ein flexibles Kernstück für die Bilder- oder Videogenerierung

Vermeiden oder hinterfragen, wenn

• Ein kleines U-Net bereits das Ziel erfüllt
• Das Label als vollständige Architekturdefinition verwendet wird
• Hohe Token-Anzahlen überfordern die Ziel-Runtime