Modellarchitekturen
Bildgenerierung & -bearbeitung
Synthetisieren oder transformieren von Pixeln, meist durch einen Text- oder Bildkonditionierer, einen latenten Generator und einen Bilddekodierer.
Denkmodell
Eine Pipeline statt eines einzelnen Netzwerks: Prompt-Encoder → generativer Prozess → Latent- oder Pixeldecoder, oft mit getrennten Steuerungs- und Sicherheitskomponenten.
Datenfluss
- Text-, Bild-, Masken- oder Layoutkonditionierung
- Konditionierungsencoder
- Latente Diffusion, DiT oder autoregressiver Generator
- Bilddekodierer
- Kandidatenbild + Prüfungen
So wird trainiert
Moderne Systeme lernen oft ein Denoising- oder Flow-Ziel im Pixel- oder komprimierten latenten Raum. Textausrichtung hängt von gepaarten Daten und Konditionierung ab; Autoencoder können separat trainiert werden.
So läuft die Inferenz
Ein Sampler beginnt mit Rauschen oder einem verrauschten Quellbild, verfeinert es iterativ gemäß der Konditionierung und dekodiert anschließend die latente Repräsentation. Seeds verbessern die Reproduzierbarkeit, machen aber nicht alle Laufzeitpfade deterministisch.
Stärken
- Hochwertige, offene visuelle Synthese
- Natürliche Unterstützung für Variationen, Inpainting und geführte Bearbeitung
- Latente Pipelines machen hochauflösende Generierung praktischer
Zielkonflikte
- Mehrere Sampling-Schritte erhöhen die Latenz
- Text, Typografie, Identität und exakte räumliche Beschränkungen erfordern eine explizite Auswertung
- Rechte für Trainingsdaten, Provenienz und Missbrauchsbekämpfung sind Produktanliegen
Geeignet, wenn
- Kreative Ideation, Asset-Entwürfe oder kontrollierte Bildtransformationen
- Die Ausgabe kann überprüft oder eingeschränkt werden
- Visuelle Qualität und Prompt-Einhaltung werden separat bewertet
Vermeiden oder hinterfragen, wenn
- Pixelgenaue Layouts erforderlich sind
- Die Ausgabe ein Beweis für ein reales Ereignis oder eine Identität ist
- Rechte und Provenienz-Anforderungen noch ungeklärt sind
Beispielhafte veröffentlichte Familien
- • Latent Diffusion / Stable Diffusion Forschungslineage
- • Diffusion Transformer (DiT) Forschungsarchitektur