生成モデルのアーキテクチャ

トークンごとにテキストを生成します。通常は、次トークンの予測のために訓練された因果デコーダを使用し、指示に従うように適応させます。

テキスト、画像、音声、ユーザー、またはアイテムをベクトルにマッピングし、その幾何形状は有用な類似性の概念を維持するように学習されます。

テキストや画像による条件付け、潜在生成器、画像デコーダを組み合わせて、画素を合成または変換します。

フレーム、パッチ、または潜在表現によるビデオを、クロスフレーム計算を用いて空間と時間を同時に生成します。

タスク固有のパイプライン群：音声認識、音声合成、音声理解、声変換、音響生成、および音楽生成は単一のアーキテクチャではありません。

入力トークン全てが、両側のトークンに注意を払い、生成ループではなく文脈化された表現を生成します。

因果マスクを使用し、各位置が過去のトークンのみを参照することで、多くの汎用チャットモデルで使用される左から右への生成プロセスを模倣します。

入力を双方向でエンコードし、その後、エンコードされたソースにクロスアテンションを行いながら、出力を因果的に生成します。

一部の密なサブレイヤーを多数のエキスパートネットワークと学習済みルーターに置き換え、各トークンではそのうち少数だけを有効にします。

トークンが到着する際に明示的な位置ペア間の注意関係を保持するのではなく、コンパクトな状態を更新します。

データを圧縮するエンコーダと、それを再構成するデコーダを学習します。変分および量子化されたバリエーションは、サンプリングまたは下流生成のために潜在空間を形成します。

生成器を識別器を欺くように訓練し、識別器は生成されたサンプルと訓練データを区別するように学習します。

逐次的な可逆な写像によって、単純な分布を複雑なデータ分布に変換します。このとき、ヤコビアンは計算可能です。

段階的なノイズ付加プロセスを逆転させることを学習し、ノイズをサンプルへと繰り返し変換することでデータを生成します。

自己符号化器の低次元潜在空間で拡散プロセスを実行し、生成された表現をピクセルまたは別の信号にデコードします。

拡散型またはフローベースの生成プロセスにおけるノイズ除去ネットワークとして、ノイズの入った画像や動画パッチに対してTransformerを使用します。

画像、動画、または音声を離散的なコードに変換し、順序立てて予測します。多くの場合、因果Transformerが用いられます。

画像を特徴マップ、パッチトークン、またはダウンストリームの分類器、検索器、デコーダ、あるいはマルチモーダルモデルが利用できるプーリングベクトルに変換します。

クエリとドキュメント、または画像とキャプションなど、2つの入力を独立して符号化し、マッチングするペアが互いに近接するように学習します。

射影、クロスアテンション、共有トークンスペース、またはこれらのメカニズムの組み合わせによって、モダリティ固有のエンコーダーとジェネレーターを接続します。

モデルパラメータに依存するのではなく、リクエスト時に証拠を取得し、ジェネレータ、分類器、またはエージェントに提供します。

モデルをコントローラー内に配置し、計画、型付きツールの呼び出し、結果の検査、修正、検証、停止、および人間へのコントロール権限移譲を行えます。