対照学習型／デュアルエンコーダ

学習方法

バッチ内対照学習では、対応するペアを近づけ、他の例を負例として扱います。負例の質、意味の重複、温度パラメータが学習される空間に大きく影響します。

推論の実行方法

各側を独立して符号化し、ドット積またはコサイン類似度でベクトルを比較します。大規模な候補側の事前計算を行い、必要に応じてクロスエンコーダによるトップ結果のリランクをオプションで行います。

強み

• •大規模なコーパスへの検索のスケーラビリティ
• •ジョイントデコーダなしでのモダリティのアライメント
• •一部の設定ではラベルテキストによるゼロショット分類の有効化

トレードオフ

• •独立した符号化は、入力間の微細な相互作用を見逃す可能性がある
• •誤った負の例がトレーニングを歪める可能性がある
• •グローバル類似度が空間的、時間的、または構成の詳細を無視する可能性がある

適する場合

• 高速検索またはマッチングが最初の段階である場合
• 一方の側をオフラインでインデックス化できる場合
• リコールにタスクに応じたリランキングが必要な場合に後続で使用する場合

避ける・再検討する場合

• すべての候補に対して詳細なトークンごとの比較が必要な場合
• タスクが正確な空間関係に依存している場合
• 生の類似度スコアが確率であると想定されている場合