拡散Transformer（DiT）

学習方法

モデルは、他の拡散システムと同様に、ノイズ除去、速度、またはフローの目的を学習しますが、Transformerブロックが潜在パッチ間で情報を混合します。

推論の実行方法

サンプラーは異なるノイズまたはフローの時間でTransformerを繰り返し呼び出し、その後デコーダーが最終的な潜在変数をメディアにマッピングします。

強み

• •Transformerのスケーリングと実装のエコシステム
• •潜在パッチ間のグローバルな相互作用
• •共有マルチモーダルトークン処理への自然な道

トレードオフ

• •注意機構のコストは潜在トークンの数とともに増加する
• •繰り返しノイズ除去器呼び出しが必要であること
• •“DiT”だけではコーデック、目的、条件付け、またはサンプラーを特定しない

適する場合

• Transformerのスケーリングインフラストラクチャが利用可能な場合
• 潜在パッチ数とサンプリング遅延が予算に収まる場合
• 画像または動画生成の柔軟なバックボーンが必要な場合

避ける・再検討する場合

• 小さなU-Netですでに目的を満たしている場合
• ラベルが完全なアーキテクチャ仕様として使用されている場合
• 高解像度のトークン数がターゲットランタイムを圧倒する場合