Encoder–Decoder型Transformer

学習方法

教師強制によるターゲットトークン尤度は一般的です。テキスト間変換ノイズ除去またはスパン破壊により、多くのタスクが同じ入力/出力インターフェースを共有できます。

推論の実行方法

ソースは一度エンコードされます。デコーダは安定したソース状態に注意を払いながら、自己回帰的にターゲットを生成します。ビームサーチは、一部の境界付きタスクで役立ちますが、常に最適ではありません。

強み

• •ソース理解とターゲット生成の明確な分離
• •翻訳、要約、文字起こし、および変換との適合性が高い
• •デコーダ全体を通してソースメモリが再利用される

トレードオフ

• •2つのスタックによりパラメータ数が増加し、展開の複雑さが増す可能性がある
• •ターゲットのデコードはシリアルであるままです
• •異種チャットタスクの場合、単一のデコーダ専用インターフェースよりも都合が悪い場合がある

適する場合

• 出力が特定の入力に強く依存している場合
• ソースとターゲットで異なる構造またはモダリティを持つ場合
• 忠実な変換が自由形式の継続よりも重要な場合

避ける・再検討する場合

• 単一の汎用チャットインターフェースが最優先事項である場合
• 明確なソース系列が存在しない場合
• 非生成型エンコーダヘッドで十分な場合