DecoderのみのTransformer

学習方法

次のトークンクロスエントロピーが、すべての位置で学習信号を提供します。ポストトレーニングでは、指示例、好み、検証可能な報酬、またはツール軌道を追加することがあります。

推論の実行方法

プレフィルはプロンプトを処理し、デコード後、KVキャッシュによって過去のアテンションキーと値を保存しながらトークンをシリアルに発行します。コンテキストサイズ、キャッシュメモリ、および出力長がサービング動作を決定します。

強み

• •多くの生成タスクに対応できるスケーラブルなインターフェース
• •強力なインコンテキスト適応
• •散文、コード、構造化データ、およびツール呼び出しトークンの相互運用が可能

トレードオフ

• •シリアルデコードの遅延
• •標準的なフルアテンションにおける二次関数のプレフィル時間
• •プロンプトへの感度と確率的出力には検証が必要

適する場合

• 自由形式の生成またはインタラクティブチャットが中心となる場合
• 多くのタスクで1つのモデルエンドポイントを共有できる場合
• プロダクトループ内で出力を制約および評価できる場合

避ける・再検討する場合

• 小さなエンコーダまたは決定論的コンポーネントで要件を満たせる場合
• 検証なしで保証された正確な出力が想定されている場合
• 長いソースコーパスを検索するのではなく、そのままコンテキストに配置する必要がある場合