Architectures de modèles
Réseaux antagonistes génératifs (GAN)
Entraînez un générateur pour tromper un discriminateur tandis que ce dernier apprend à distinguer les échantillons générés des données d'entraînement.
Modèle mental
Un faussaire et un critique s’améliorent mutuellement ; après l’entraînement, le faussaire peut générer en une seule passe.
Flux de données
- Latent aléatoire + conditionnement
- Générateur
- Échantillon synthétique
- Discriminateur compare réel vs synthétique
- Mises à jour adversariales des deux réseaux
Entraînement
Un objectif antagoniste minimax couple deux réseaux. Les variantes pratiques modifient les pertes, la régularisation, la normalisation et le conditionnement pour stabiliser l'entraînement et contrôler les sorties.
Exécution de l’inférence
Échantillonnez un latent et exécutez le générateur une seule fois, ce qui rend la génération rapide. L’inversion ou l’édition nécessite un matériel supplémentaire car il n’y a pas de processus inverse itératif intégré.
Atouts
- Échantillonnage à passage unique rapide
- Sorties nettes dans des domaines visuels bien définis
- Variantes conditionnelles et image-à-image utiles
Compromis
- Instabilité de l'entraînement et effondrement du mode
- La couverture et la vraisemblance sont difficiles à évaluer
- La génération textuelle grand domaine conditionnée par le texte a évolué vers d’autres familles
À utiliser lorsque
- Le faible temps de latence d’échantillonnage est important dans un domaine contraint
- Un pipeline GAN éprouvé correspond déjà aux données et les contrôle
- La diversité et la couverture sont évaluées explicitement
À éviter ou remettre en question lorsque
- Une formation stable et une large couverture du mode sont des exigences primaires
- L'équipe manque d'évaluation spécifique au domaine
- Une nouvelle base de diffusion ou autorégressive n’est pas comparée
Familles publiées à titre d’exemple
- • Formulation GAN originale
- • Famille de recherche StyleGAN
- • GAN image-à-image conditionnels
Souvent combinée avec
Générateurs convolutionnels ou TransformerEncodeurs pour l'inversion et l'édition