Загружаем паттерны…
LLM в роли судьи(LJ)
Конкретная реализация паттерна «производитель-критик», в которой LLM выступает в роли критика для оценки результатов
За 30 секунд
- Что это
- Генерирует несколько вариантов ответа, затем второй LLM оценивает каждый по рубрике, и выбирается результат с наивысшим баллом.
- Когда применять
- Вам нужна стабильная фильтрация по качеству и есть бюджет на несколько вызовов LLM; ранжирование важнее скорости.
- Осторожно
- LLM-судья может применять рубрику непоследовательно, особенно на субъективных критериях и в пограничных случаях.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
LLM в роли судьи: Обзор
Конкретная реализация паттерна «производитель-критик», в которой LLM выступает в роли критика для оценки результатов
- Automated quality assessment
- Natural language evaluation
- Scalable ranking/scoring
- Configurable rubrics
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)arXiv:2306.05685
- G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)arXiv:2303.16634
- Large Language Models are not Fair Evaluators (Wang et al., 2023)arXiv:2305.17926
- Prometheus: Inducing Fine-grained Evaluation Capability in LLMs (Kim et al., 2024)arXiv:2310.08491
- OpenAI Evals Framework Documentation
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября