Modellarchitekturen
Latente Diffusion
Führen Sie die Diffusion in dem unterdimensionalen latenten Raum eines Autoencoders aus und decodieren Sie dann die generierte Repräsentation zurück zu Pixeln oder einem anderen Signal.
Denkmodell
Entrauschen einer kompakten, gelernten Skizze anstelle jedes einzelnen Rohpixels.
Datenfluss
- Trainingsdaten
- Gefrorener oder gemeinsam trainierter Autoencoder-Latentraum
- Bedingter Latent-Entrauschung
- Erzeugte saubere latente Repräsentation
- Decoder → Daten
So wird trainiert
Ein Autoencoder lernt zunächst eine wahrnehmungsbezogene Komprimierung. Das Diffusionsmodell lernt dann das Entrauschen auf diesen Latenten, oft durch Cross-Attention konditioniert.
So läuft die Inferenz
Abtastung im kleineren latenten Tensor über mehrere Schritte und einmalige Decodierung. Bild-zu-Bild- und Inpainting können mit kodierten und selektiv verrauschten Quelldaten beginnen.
Stärken
- Geringere Entrauschungskosten als Rohpixel in hoher Auflösung
- Modulare Textkonditionierung und -bearbeitung
- Wiederverwendbare Autoencoder- und Generatorkomponenten
Zielkonflikte
- Der Autoencoder erzeugt eine Rekonstruktionsgrenze
- Feine Text- oder Hochfrequenzdetails können bei der Komprimierung verloren gehen
- Zweistufige Ausfälle sind schwerer zuzuordnen
Geeignet, wenn
- Die Generierung von hochauflösenden Daten muss in praktische Rechenleistung passen
- Bearbeitung und bedingte Steuerung sind erforderlich
- Codec-Rekonstruktion wird im Zieldomänen validiert
Vermeiden oder hinterfragen, wenn
- Der Autoencoder lässt aufgabenspezifische Details aus
- Ende-zu-Ende-Einfachheit ist wichtiger als die Generierungskosten
- Latente Raumabkürzungen könnten sicherheitsrelevante Inhalte verbergen
Beispielhafte veröffentlichte Familien
- • Latente Diffusionsmodelle
- • Stable Diffusion Forschungslineage
Häufig kombiniert mit
Autoencoder, VAEs & gelernte TokenizerU-Net EntrauschungDiffusionstransformatoren (DiT)Textencoder