Modellarchitekturen
Normalisierende Strömungen
Eine einfache Verteilung wird durch eine Folge invertierbarer Abbildungen mit berechenbaren Jacobi-Determinanten in eine komplexe Datenverteilung transformiert.
Denkmodell
Eine reversible Deformation des Wahrscheinlichkeitsraums: Daten können auf Rauschen abgebildet werden und Rauschen kann zurück zu Daten abgebildet werden.
Datenfluss
- Datensample
- Invertierbare Transformationen
- Einfache latente Verteilung
- Exakte Change-of-Variables-Wahrscheinlichkeit
- Inverse Transformationen für Sampling
So wird trainiert
Maximum-Likelihood wird exakt unter architekturbezogenen Randbedingungen optimiert, die Inversion und die Jacobian-Determinante berechenbar machen.
So läuft die Inferenz
Die Dichteauswertung bildet Daten auf den latenten Raum ab; zur Generierung werden Stichproben aus der Basisverteilung gezogen und alle Transformationen in umgekehrter Reihenfolge angewendet.
Stärken
- Exakte Wahrscheinlichkeit unter dem Modell
- Invertierbares Encoding und Generierung
- Nützlich, wenn die Dichteschätzung selbst wichtig ist
Zielkonflikte
- Invertierbarkeit schränkt das Netzwerkdesign ein
- Hochdimensionale Medien können tiefe, speicherintensive Strömungen erfordern
- Die Wahrscheinlichkeit spiegelt nicht notwendigerweise die wahrgenommene Stichprobenqualität wider
Geeignet, wenn
- Exakte Dichte oder reversible Transformationen erforderlich sind
- Der Bereich passt zu verfügbaren invertierbaren Architekturen
- Sie werden sowohl die Wahrscheinlichkeit als auch den Aufgabennutzen bewerten
Vermeiden oder hinterfragen, wenn
- Nur generative Qualität in der Wahrnehmung wichtig ist
- Architekturflexibilität wichtiger ist als exakte Wahrscheinlichkeit
- Eine einfachere diskriminative Unsicherheitsmethode ausreicht
Beispielhafte veröffentlichte Familien
- • Real NVP
- • Glow-artige Bildströmungen
Häufig kombiniert mit
Variationale InferenzHybride latente Variablenmodelle