パターンを読み込んでいます…
🔎
Chain of Verification(CoVe)
まずベースとなる回答を下書きし、それに関する一連の検証用の質問を計画し、下書きに影響されないよう各質問に独立して回答したうえで、検証済みの事実のみを用いて最終回答を修正することで、ハルシネーションを低減する。検証を別々のコンテキストで実行するファクター化された検証は、モデルに自身の下書きを再チェックさせる方法よりも優れている。後者は自らの誤りを繰り返しがちだからである。
複雑さ: medium推論技法
30秒でわかる概要
- 概要
- まず回答の下書きを作り、それについて検証用の質問を生成し、下書きを見ずに各質問へ独立して答えたうえで、確認済みの事実だけを使って回答を書き直します。
- 使いどころ
- ハルシネーションが起きやすい事実ベースのタスクで、主張を検証可能な質問に分解でき、ある程度のレイテンシ増加を許容できる場合。
- 注意点
- 検証用の質問の設計が甘いと、下書きの誤りをそのまま引き継いでしまいます。独立した回答生成はコストとレイテンシを2倍から3倍に増やします。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
Chain of Verification(CoVe): 概要
まずベースとなる回答を下書きし、それに関する一連の検証用の質問を計画し、下書きに影響されないよう各質問に独立して回答したうえで、検証済みの事実のみを用いて最終回答を修正することで、ハルシネーションを低減する。検証を別々のコンテキストで実行するファクター化された検証は、モデルに自身の下書きを再チェックさせる方法よりも優れている。後者は自らの誤りを繰り返しがちだからである。
- Generates a baseline draft answer first
- Plans targeted verification questions about the draft
- Answers each verification question independently of the draft
- Factored execution stops the draft from biasing its own checks
- Revises the final answer to drop unverified claims
- Cuts hallucination on list-based and closed-book factual tasks
The Agent Architect
1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
- Chain-of-Verification Reduces Hallucination in Large Language Models - Dhuliawala et al. (ArXiv 2023)arXiv:2309.11495
- Chain-of-Verification (CoVe), Meta AI - Findings of ACL 2024
このカタログを作ったエンジニアが担当
エージェント構成をレビューします
このページが扱うのは1つのパターンです。実際のシステムは数十を組み合わせて動き、障害の多くはその繋ぎ目で起きます。カタログの288パターンに照らして設計全体をレビューします。アーキテクチャ、信頼性、評価、コストまで、指摘ごとに対応するパターンを示します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで