Loading...

🪞

Self-RAG(SRAG)

自己反省型の RAG。検索の必要性を適応的に判断し、リフレクショントークンを用いて検索の品質を評価する

複雑さ: high知識検索（RAG）

In 30 seconds

What: エージェントは外部知識を取得すべきかどうかを判断し、取得した内容の品質を評価し、応答前に自身の出力を検証します。これらの判断はリフレクショントークンによって導かれます。
When to use: 事実の正確さが求められ、エージェントの確信度が場面ごとに変わるタスク。あるいは検索コストが重要で、不要な参照を省きたい場合。
Watch out: リフレクショントークンはレイテンシとコストを増やします。較正が不十分だと、検索すべきでない場面で検索し、検索すべき場面で省略してしまいます。

Loading technique guide…

Patterns

Loading...

設計パターンと手法

Loading...

🪞

Self-RAG(SRAG)

自己反省型の RAG。検索の必要性を適応的に判断し、リフレクショントークンを用いて検索の品質を評価する

複雑さ: high知識検索（RAG）

In 30 seconds

What: エージェントは外部知識を取得すべきかどうかを判断し、取得した内容の品質を評価し、応答前に自身の出力を検証します。これらの判断はリフレクショントークンによって導かれます。
When to use: 事実の正確さが求められ、エージェントの確信度が場面ごとに変わるタスク。あるいは検索コストが重要で、不要な参照を省きたい場合。
Watch out: リフレクショントークンはレイテンシとコストを増やします。較正が不十分だと、検索すべきでない場面で検索し、検索すべき場面で省略してしまいます。

30秒でわかる概要

パターン: 適応的な検索判断と自己省察を備え、学習済みリフレクショントークンで品質を評価する RAG システム

理由: 反復的な自己批評と選択的な知識検索により、事実の正確性を高めハルシネーションを削減

重要なポイント: リフレクショントークン（[Retrieve]、[IsRel]、[IsSup]、[IsUse]）により、モデルは検索の要否と回答品質を評価できる

クイック実装

1検索ゲート:クエリに外部知識が必要かどうかを判定する

2検索とランク付け:関連するパッセージを取得し、ニューラル再ランク付けを適用する

3ドラフトを生成:取得したコンテキストを使って初期回答を作成する

4自己批評:リフレクショントークンを用いて回答品質を評価する

5出力を改善:自己評価に基づいて反復的に改善する

Example: query → retrieval_gate → retrieve → generate → self_critique → [refine] → final_response

推奨事項と禁止事項

✅リフレクショントークン（[Retrieve]、[IsRel]、[IsSup]、[IsUse]）でモデルを学習させる

✅不要なコンテキストを避けるため、検索の要否を予測する

✅改善のトリガーにキャリブレーション済みの信頼度しきい値を使う

✅根拠に基づく引用要件を義務づける

✅効率化のためリフレクション出力と検索結果をキャッシュする

❌リフレクショントークンを制約せず、冗長になるに任せる

❌自己批評のキャリブレーションを正解データで検証しない

❌反復回数の上限を設けず、無限の改善ループを作る

❌外部検証なしに自己評価だけに依存する

❌複数回の生成にかかる計算コストを無視する

使用する場面

使用する場合

• 事実の正確性と検証可能性が必須要件である
• ドメイン知識にはパラメトリック知識と検索知識の均衡が必要である
• アプリケーションに信頼度キャリブレーションと不確実性の定量化が必要である
• 説明可能な推論と引用が求められる重大な意思決定
• 医療、法務、科学分野における知識集約的なタスク

避けるべき場合

• 標準的な RAG で十分な精度が得られる単純なクエリ
• 厳しいレイテンシ制約があるリアルタイムアプリケーション
• 複数回の生成が難しいリソース制約のある環境
• 信頼できる自己批評に必要な学習データが不足しているドメイン
• 引用のオーバーヘッドが不要なアプリケーション

主要指標

回答の忠実性

事実の正確性と、取得した根拠との整合性

リフレクションのキャリブレーション

信頼度スコアと実際の精度との相関

検索の適合率

取得したパッセージのうち、実際に有用なものの割合

引用カバレッジ

取得した根拠で裏づけられた主張の割合

改善の有効性

反復的な自己修正による品質向上

計算効率

追加のトークンまたは検索呼び出しあたりの品質向上

主なユースケース

医療 Q&A：高い精度とエビデンスに基づく回答が求められる臨床意思決定支援

法務リサーチ：引用要件と信頼度評価を伴う判例分析

科学文献レビュー：出典表示と不確実性の定量化を伴う研究の統合

金融分析：パラメトリック知識とリアルタイム市場データの均衡が求められる投資リサーチ

教育コンテンツ：検証済み情報と学習到達度の信頼度追跡を伴う学術チュータリング

参考文献と関連資料

厳選された資料で理解を深めましょう

基礎論文と Self-RAG の研究

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (Asai et al., 2023)

SELF-REFINE: Iterative Refinement with Self-Feedback (Madaan et al., 2023)

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)

リフレクショントークンと学習手法

Self-RAG 公式実装：リフレクショントークンの学習

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Training Language Models with Language Feedback at Scale (Scheurer et al., 2023)

Self-Consistency Improves Chain of Thought Reasoning (Wang et al., 2022)

検索とコンテキスト評価

When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories (Mallen et al., 2023)

Active Retrieval Augmented Generation (Jiang et al., 2023)

Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering (Izacard & Grave, 2021)

Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al., 2020)

実装フレームワークとツール

LangChain の Self-Query Retrieval と Reflection Chains

Haystack Retriever のドキュメント

Transformers ライブラリ：Self-RAG モデルの統合

評価とキャリブレーションの手法

RAGAS：RAG アプリケーションの自動評価

TruLens：RAG トライアドの評価

Calibrating Sequence Likelihood Improves Conditional Language Generation (Zhao et al., 2022)

Teaching Models to Express Their Uncertainty in Words (Lin et al., 2022)

本番デプロイと最適化

LangSmith：Self-RAG システムの監視と評価

自己批評の実装に用いる OpenAI の Function Calling

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Loading technique guide…