Architectures de modèles
Génération et édition d'images
Synthétiser ou transformer des pixels, le plus souvent grâce à un conditionnement textuel ou image, un générateur latent et un décodeur d'image.
Modèle mental
Un pipeline, et non un réseau unique : encodeur de prompt → processus génératif → décodeur latent/pixel, souvent accompagné de composants distincts de contrôle et de sécurité.
Flux de données
- Conditionnement texte, image, masque ou mise en page
- Encodeur de conditionnement
- Diffusion latente, DiT ou générateur autorégressif
- Décodeur d'image
- Image candidate + vérifications
Entraînement
Les systèmes modernes apprennent souvent un objectif de débruitage ou un flux dans l'espace pixel ou latent compressé. L'alignement sur le texte dépend des données appariées et du conditionnement ; les auto-encodeurs peuvent être entraînés séparément.
Exécution de l’inférence
Un échantillonneur part de bruit ou d’une image source bruitée, l’affine de façon itérative selon le conditionnement, puis décode la représentation latente. Les graines améliorent la reproductibilité sans rendre tous les chemins d’exécution déterministes.
Atouts
- Synthèse visuelle ouverte et de haute qualité
- Prise en charge naturelle de la variation, du remplissage (inpainting) et de l'édition guidée
- Les pipelines latents rendent la génération haute résolution plus pratique
Compromis
- Plusieurs étapes d'échantillonnage ajoutent une latence
- Le texte, la typographie, l'identité et les contraintes spatiales exactes nécessitent une évaluation explicite
- Les droits sur les données d'entraînement, la traçabilité (provenance) et les contrôles de mauvaise utilisation sont des préoccupations liées aux produits
À utiliser lorsque
- Idées créatives, brouillons d'actifs ou transformations d'images contrôlées
- La sortie peut être examinée ou contrainte
- La qualité visuelle et l'adhésion à l'invite sont évaluées séparément
À éviter ou remettre en question lorsque
- Des dispositions en pixels exacts sont requises
- La sortie est une preuve d'un événement réel ou d'une identité
- Les exigences de droits et de traçabilité ne sont pas résolues
Familles publiées à titre d’exemple
- • Lignée de recherche de la diffusion latente / Stable Diffusion
- • Architecture de recherche Transformer de diffusion (DiT)