Architectures de modèles
Génération par diffusion et basée sur les scores
Apprendre à inverser un processus de bruitage progressif, produisant des données en transformant de manière répétée le bruit vers un échantillon.
Modèle mental
Partir d’un signal bruité et retirer de façon répétée le bruit prédit, en fonction d’un pas temporel et d’un conditionnement facultatif.
Flux de données
- Échantillon d'entraînement propre + niveau de bruit échantillonné
- Échantillon bruité
- Débruiteur U-Net ou Transformer
- Estimation du bruit / vélocité / score
- Échantillonneur inverse itératif
Entraînement
Un réseau prédit le bruit, les données propres, la vitesse ou un score à des niveaux de bruit aléatoires. Les formulations flow-matching apparentées apprennent un champ vectoriel entre distributions.
Exécution de l’inférence
L'échantillonnage intègre un processus inverse appris sur plusieurs étapes. Le choix de l'échantillonneur, le nombre d'étapes, la guidance et la graine permettent de faire varier la vitesse, la diversité et la fidélité.
Atouts
- Entraînement stable par rapport aux objectifs adverses
- Conditionnement et édition flexibles
- Couverture étendue sur les images, l'audio, la vidéo et les données scientifiques
Compromis
- L'échantillonnage itératif est plus lent qu'un générateur en une passe
- La guidance peut réduire la diversité ou introduire des artefacts
- La représentation des données et l’échantillonneur affectent considérablement les résultats
À utiliser lorsque
- La génération conditionnelle de haute dimension est centrale
- Plusieurs étapes d'inférence s'inscrivent dans le budget de latence
- Les contrôles et la qualité de l'échantillon peuvent être évalués conjointement
À éviter ou remettre en question lorsque
- Une génération en une passe est obligatoire
- Le modèle doit fonctionner sur un appareil sévèrement contraint
- “Diffusion” est traité comme une implémentation fixe
Familles publiées à titre d’exemple
- • DDPM
- • Modèles basés sur les scores
- • Systèmes de diffusion dans l'espace des pixels
Souvent combinée avec
U-NetTransformers de diffusion (DiT)Diffusion latente