モデルアーキテクチャ
正規化フロー
逐次的な可逆な写像によって、単純な分布を複雑なデータ分布に変換します。このとき、ヤコビアンは計算可能です。
理解のためのモデル
確率空間の可逆的な変形です。データはノイズにマッピングされ、ノイズはデータにマッピングされます。
データフロー
- データサンプル
- 可逆な変換
- 単純な潜在分布
- 厳密な変数変換尤度
- サンプリングのための逆変換
学習方法
最大尤度は、逆転とヤコビアンの行列式が計算可能になるようにするアーキテクチャ上の制約下で厳密に最適化されます。
推論の実行方法
密度評価ではデータは潜在空間へ向かい、生成時には基本分布をサンプリングし、すべての変換を逆方向に適用します。
強み
- モデル下の厳密な尤度
- 可逆的な符号化と生成
- 密度推定自体が重要な場合に役立つ
トレードオフ
- 可逆性はネットワーク設計を制約する
- 高次元メディアには、深くメモリを消費するフローが必要になる場合がある
- 尤度は必ずしも認識されるサンプル品質を反映しない
適する場合
- 厳密な密度または可逆的な変換が必須の場合
- ドメインが利用可能な可逆アーキテクチャに適合する場合
- 尤度とタスクの有用性を評価する場合
避ける・再検討する場合
- 知覚上の生成品質のみが重要である場合
- アーキテクチャの柔軟性が厳密な尤度よりも重要な場合
- より単純な識別的で不確実性を示す手法で十分な場合
公開された方式の例
- • Real NVP
- • Glowスタイルの画像フロー
よく組み合わせる要素
変分推論ハイブリッド潜在変数モデル