Architectures de modèles
Diffusion latente
Effectuer une diffusion dans l'espace latent de dimension inférieure d'un autoencodeur, puis décoder la représentation générée pour obtenir des pixels ou un autre signal.
Modèle mental
Débruiter un croquis appris et compact au lieu de chaque pixel brut.
Flux de données
- Données d’entraînement
- Espace latent d'autoencodeur figé ou entraîné conjointement
- Débruiteur latent conditionnel
- Latent propre échantillonné
- Décodeur → données
Entraînement
Un autoencodeur apprend d’abord une compression perceptive. Le modèle de diffusion apprend ensuite l'objectif de débruitage sur ces latents, souvent via une attention croisée.
Exécution de l’inférence
Échantillonner dans le tenseur latent de taille réduite en plusieurs étapes et décoder une fois. La génération image à image et le remplissage peuvent commencer à partir d’un contenu source encodé et sélectivement bruité.
Atouts
- Coût de débruitage inférieur à celui des pixels haute résolution bruts
- Conditionnement et édition de texte modulaires
- Composants autoencodeur et générateur réutilisables
Compromis
- L'autoencodeur crée une limite de reconstruction
- Les détails fins du texte ou de haute fréquence peuvent être perdus lors de la compression
- Les défaillances à deux étapes sont plus difficiles à attribuer
À utiliser lorsque
- La génération de médias haute résolution doit s’adapter aux contraintes de calcul pratiques
- Un contrôle et une édition conditionnels sont requis
- La reconstruction par codec est validée dans le domaine cible
À éviter ou remettre en question lorsque
- L'autoencodeur supprime des détails essentiels à la tâche
- Une simplicité bout en bout est plus importante que le coût de génération
- Des raccourcis dans l'espace latent pourraient masquer du contenu pertinent pour la sécurité
Familles publiées à titre d’exemple
- • Modèles de diffusion latente
- • Lignée de recherche Stable Diffusion
Souvent combinée avec
Autoencodeurs, VAE et tokeniseurs apprisDébruiteur U-NetTransformers de diffusion (DiT)Encodeur de texte