Loading...

⚖️

LLM в роли судьи(LJ)

Конкретная реализация паттерна «производитель-критик», в которой LLM выступает в роли критика для оценки результатов

Сложность: lowРефлексия

In 30 seconds

What: Генерирует несколько вариантов ответа, затем второй LLM оценивает каждый по рубрике, и выбирается результат с наивысшим баллом.
When to use: Вам нужна стабильная фильтрация по качеству и есть бюджет на несколько вызовов LLM; ранжирование важнее скорости.
Watch out: LLM-судья может применять рубрику непоследовательно, особенно на субъективных критериях и в пограничных случаях.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

⚖️

LLM в роли судьи(LJ)

Сложность: lowРефлексия

In 30 seconds

What: Генерирует несколько вариантов ответа, затем второй LLM оценивает каждый по рубрике, и выбирается результат с наивысшим баллом.
When to use: Вам нужна стабильная фильтрация по качеству и есть бюджет на несколько вызовов LLM; ранжирование важнее скорости.
Watch out: LLM-судья может применять рубрику непоследовательно, особенно на субъективных критериях и в пограничных случаях.

Обзор за 30 секунд

Паттерн: Использовать LLM для масштабной оценки выходов других LLM

Почему: Автоматизирует оценку качества, позволяет выбор best-of-N, масштабирует оценку

Ключевая идея: Конкретная реализация Producer-Critic, где критиком выступает LLM с оценочными промптами

Быстрая реализация

1Определить критерии:Задать метрики и рубрики оценки

2Спроектировать промпт:Создать структурированный промпт судьи

3Передать выходы:Передать сгенерированный контент судье

4Получить оценки:Получить рейтинги/ранжирование/решения

5Действовать по результатам:Фильтровать, ранжировать или выбирать выходы

Example: outputs[n] → LLM_Judge(criteria) → scores[n] → select_best(scores)

Что делать и чего избегать

✅Используйте четкие объективные критерии оценки

✅Использовать панель судей для спорных решений

✅Включать рубрики и примеры в промпты судьи

✅Использовать структурированные форматы вывода (JSON) для оценок

✅Проверять согласованность судьи на известных тестовых случаях

❌Использовать расплывчатые критерии вроде «хорошо» или «лучше»

❌Полагаться на единственного судью в критичных решениях

❌Пропускать калибровку судьи по человеческим оценкам

❌Использовать одну модель для генерации и оценки (смещение)

❌Игнорировать неопределенность или оценки уверенности судьи

Когда использовать

Используйте, когда

• Оценка нескольких выходов
• Контроль качества в масштабе
• A/B тестирование ответов LLM
• Автоматическая модерация контента

Избегайте, когда

• Субъективные творческие задачи
• Генерация единственного выхода
• Критичные решения в реальном времени
• Юридические/медицинские заключения

Ключевые метрики

Согласие судьи

Корреляция с человеческими оценщиками

Согласованность

Одинаковое суждение на одинаковом входе

Различающая способность

Способность ранжировать различия в качестве

Доля ложных срабатываний

Хороший контент помечен как плохой

Покрытие

% корректно обработанных пограничных случаев

Скорость

Оценок в секунду

Основные сценарии использования

Выбор выхода: сгенерировать 5 ответов → судья ранжирует → вернуть лучший пользователю

Гейты качества: проверять соответствие сгенерированного кода/контента стандартам до деплоя

A/B тестирование: сравнивать версии модели, оценивая выходы на одинаковых промптах

Фильтрация безопасности: проверять выходы на вредный/предвзятый контент перед выдачей

Оценка RAG: судить о релевантности найденных документов запросу

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Научные статьи

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)

Large Language Models are not Fair Evaluators (Wang et al., 2023)

Prometheus: Inducing Fine-grained Evaluation Capability in LLMs (Kim et al., 2024)

Руководства по реализации

Документация фреймворка OpenAI Evals

Документация LangChain по оценке LLM

Реализация LLM-судьи в MLflow

Инструменты и библиотеки

Evidently AI - фреймворк оценки LLM

DeepEval - фреймворк оценки LLM

RAGAS - фреймворк оценки RAG

Arthur Bench - набор для оценки LLM

Связанные паттерны

Паттерн Producer-Critic (родительская архитектура)

RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback

Loading technique guide…