モデルアーキテクチャ
アーキテクチャ用語集
モデルの論文や製品資料で使われる用語の簡潔な定義です。
- アテンション
- 位置間で情報を結合するための、学習可能な重み付き参照機構です。
- 自己回帰モデル
- 出力を順序付けられた系列に分解し、先行要素から各要素を予測します。
- 因果マスク
- 左から右への言語モデリングにおいて、トークンが将来のトークンに注意を向けるのを防ぎます。
- 条件付け
- 生成を誘導する情報（テキスト、画像、ラベル、または制御信号など）。
- クロスアテンション
- あるシーケンスまたはモダリティが別のシーケンスの隠れ状態をクエリできるようにする。
- ノイズ除去
- ノイズを含むサンプルから、元のクリーンなデータや逆の更新を推定するプロセスまたは手法。
- 埋め込み表現
- 類似度評価や下流タスクでの予測に使用される、学習された数値ベクトルです。
- エキスパート／ルーター
- MoE層では、エキスパートはサブネットワークであり、ルーターは各トークンを処理するエキスパートを選択します。
- フローマッチング
- サンプルを確率分布間で輸送する、時間依存のベクトル場を学習します。
- 根拠付け（grounding）
- モデルの応答を、検証可能な証拠や外部の真実の情報源に接続すること。
- KVキャッシュ
- 自己回帰デコード中に再利用される、過去のトークンに対するアテンションのキーと値。
- 潜在表現
- 学習によって得られる内部表現であり、一般的には元のデータよりも次元数が低い。
- モダリティ射影器
- あるエンコーダの特徴量を、別のモデルが期待する表現にマッピングするコネクタです。
- 再ランキングモデル
- クエリと候補の相互作用をより詳細に評価することで、少数の候補セットに対してスコアリングを行う二段目のモデルです。
- 再帰状態
- 系列の各ステップへ引き継がれる、サイズが制限された隠れ表現。
- トークン/コード
- シーケンスモデルで処理される離散的な単位。テキスト、画像パッチ、または圧縮されたオーディオを表す可能性があります。