Loading...

⚖️

LLM as Judge(LJ)

プロデューサー・クリティック・パターンの具体的な実装で、LLM がクリティック（批評役）として出力を評価するもの

複雑さ: lowリフレクション

In 30 seconds

What: 複数の候補出力を生成し、二つ目の LLM が評価基準に照らしてそれぞれを採点し、最高評価の結果を選びます。
When to use: 一貫した品質フィルタリングが必要で、複数回の LLM 呼び出しに予算を割ける場合。速度よりもランク付けが重要なときに向きます。
Watch out: 審査役の LLM が評価基準を安定して一貫適用できるとは限りません。特に主観的な基準やエッジケースでは注意が必要です。

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic Design本番環境のAIエージェント向けパターンとツール

専門家に相談料金

設計パターンと手法

Loading...

⚖️

LLM as Judge(LJ)

プロデューサー・クリティック・パターンの具体的な実装で、LLM がクリティック（批評役）として出力を評価するもの

複雑さ: lowリフレクション

In 30 seconds

What: 複数の候補出力を生成し、二つ目の LLM が評価基準に照らしてそれぞれを採点し、最高評価の結果を選びます。
When to use: 一貫した品質フィルタリングが必要で、複数回の LLM 呼び出しに予算を割ける場合。速度よりもランク付けが重要なときに向きます。
Watch out: 審査役の LLM が評価基準を安定して一貫適用できるとは限りません。特に主観的な基準やエッジケースでは注意が必要です。

30秒でわかる概要

パターン: LLM を使って他の LLM の出力を大規模に評価・採点する

理由: 品質評価を自動化し、best-of-N 選択を可能にし、評価をスケールさせる

重要なポイント: 批評役が評価プロンプトを持つ LLM である Producer-Critic の具体的な実装

クイック実装

1基準を定義:評価指標とルーブリックを指定

2プロンプトを設計:構造化された審査プロンプトを作成

3出力を投入:生成コンテンツを審査役に渡す

4スコアを取得:評価/ランキング/判定を受け取る

5結果に基づき行動:出力をフィルタ、ランク付け、または選択

Example: outputs[n] → LLM_Judge(criteria) → scores[n] → select_best(scores)

推奨事項と禁止事項

✅明確で客観的な評価基準を使う

✅論争的な判断には審査員パネルを導入する

✅審査プロンプトにルーブリックと例を含める

✅スコアには構造化出力形式 (JSON) を使う

✅既知のテストケースで審査の一貫性を検証する

❌「良い」「より良い」といった曖昧な基準を使う

❌重要な判断を単一の審査役に依存する

❌人間評価に対する審査役のキャリブレーションを省く

❌生成と審査に同じモデルを使う (バイアス)

❌審査役の不確実性や確信度スコアを無視する

使用する場面

使用する場合

• 複数の出力を評価する
• 大規模な品質保証
• LLM 応答の A/B テスト
• コンテンツの自動モデレーション

避けるべき場合

• 主観的な創作タスク
• 単一出力の生成
• リアルタイムの重要判断
• 法務/医療の評価

主要指標

審査の一致度

人間評価者との相関

一貫性

同じ入力に同じ判定

識別力

品質差をランク付けする能力

偽陽性率

良質なコンテンツが不良と判定される

カバレッジ

正しく処理されたエッジケースの %

速度

1 秒あたりの評価数

主なユースケース

出力選択: 5 件の応答を生成 → 審査役がランク付け → 最良をユーザーに返す

品質ゲート: デプロイ前に生成コード/コンテンツが基準を満たすか確認

A/B テスト: 同じプロンプトでの出力を審査してモデル版を比較

安全フィルタリング: 配信前に有害/偏った内容がないか出力を評価

RAG 評価: 取得した文書のクエリへの関連性を判定

参考文献と関連資料

厳選された資料で理解を深めましょう

学術論文

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)

Large Language Models are not Fair Evaluators (Wang et al., 2023)

Prometheus: Inducing Fine-grained Evaluation Capability in LLMs (Kim et al., 2024)

実装ガイド

OpenAI Evals フレームワークのドキュメント

LangChain の LLM 評価ドキュメント

MLflow の LLM 審査実装

ツールとライブラリ

Evidently AI - LLM 評価フレームワーク

DeepEval - LLM 評価フレームワーク

RAGAS - RAG 評価フレームワーク

Arthur Bench - LLM 評価スイート

Patterns

設計パターンと手法

Loading...

30秒でわかる概要

パターン: LLM を使って他の LLM の出力を大規模に評価・採点する

理由: 品質評価を自動化し、best-of-N 選択を可能にし、評価をスケールさせる

重要なポイント: 批評役が評価プロンプトを持つ LLM である Producer-Critic の具体的な実装

クイック実装

1基準を定義:評価指標とルーブリックを指定

2プロンプトを設計:構造化された審査プロンプトを作成

3出力を投入:生成コンテンツを審査役に渡す

4スコアを取得:評価/ランキング/判定を受け取る

5結果に基づき行動:出力をフィルタ、ランク付け、または選択

Example: outputs[n] → LLM_Judge(criteria) → scores[n] → select_best(scores)

推奨事項と禁止事項

✅明確で客観的な評価基準を使う

✅論争的な判断には審査員パネルを導入する

✅審査プロンプトにルーブリックと例を含める

✅スコアには構造化出力形式 (JSON) を使う

✅既知のテストケースで審査の一貫性を検証する

❌「良い」「より良い」といった曖昧な基準を使う

❌重要な判断を単一の審査役に依存する

❌人間評価に対する審査役のキャリブレーションを省く

❌生成と審査に同じモデルを使う (バイアス)

❌審査役の不確実性や確信度スコアを無視する

使用する場面

使用する場合

• 複数の出力を評価する
• 大規模な品質保証
• LLM 応答の A/B テスト
• コンテンツの自動モデレーション

避けるべき場合

• 主観的な創作タスク
• 単一出力の生成
• リアルタイムの重要判断
• 法務/医療の評価

主要指標

審査の一致度

人間評価者との相関

一貫性

同じ入力に同じ判定

識別力

品質差をランク付けする能力

偽陽性率

良質なコンテンツが不良と判定される

カバレッジ

正しく処理されたエッジケースの %

速度

1 秒あたりの評価数

主なユースケース

出力選択: 5 件の応答を生成 → 審査役がランク付け → 最良をユーザーに返す

品質ゲート: デプロイ前に生成コード/コンテンツが基準を満たすか確認

A/B テスト: 同じプロンプトでの出力を審査してモデル版を比較

安全フィルタリング: 配信前に有害/偏った内容がないか出力を評価

RAG 評価: 取得した文書のクエリへの関連性を判定

参考文献と関連資料

厳選された資料で理解を深めましょう

学術論文

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)

Large Language Models are not Fair Evaluators (Wang et al., 2023)

Prometheus: Inducing Fine-grained Evaluation Capability in LLMs (Kim et al., 2024)

実装ガイド

OpenAI Evals フレームワークのドキュメント

LangChain の LLM 評価ドキュメント

MLflow の LLM 審査実装

ツールとライブラリ

Evidently AI - LLM 評価フレームワーク

DeepEval - LLM 評価フレームワーク

RAGAS - RAG 評価フレームワーク

Arthur Bench - LLM 評価スイート

Loading...

LLM as Judge(LJ)

In 30 seconds

Patterns

Loading...

設計パターンと手法

Loading...

LLM as Judge(LJ)

In 30 seconds

30秒でわかる概要

クイック実装

推奨事項と禁止事項

使用する場面

使用する場合

避けるべき場合

主要指標

主なユースケース

参考文献と関連資料

学術論文

実装ガイド

ツールとライブラリ

関連パターン

Patterns

設計パターンと手法

Loading...

設計パターンと手法

30秒でわかる概要

クイック実装

推奨事項と禁止事項

使用する場面

使用する場合

避けるべき場合

主要指標

主なユースケース

参考文献と関連資料

学術論文

実装ガイド

ツールとライブラリ

関連パターン

設計パターンと手法