Загружаем паттерны…
Модели вознаграждения процесса и поиск под управлением верификатора(PRM)
Использует модель вознаграждения, которая оценивает каждый промежуточный шаг рассуждения (надзор за процессом), а не только итоговый ответ (надзор за результатом). Оценки по шагам ранжируют и отсекают кандидатные решения при сэмплировании best-of-N или поиске по дереву, сосредотачивая вычисления во время вывода на наиболее перспективных ветвях и на более сложных задачах.
За 30 секунд
- Что это
- Оценивает каждый шаг рассуждения с помощью обученной модели, а затем рано отсекает низкооценённые ветви решения во время поиска или сэмплирования.
- Когда применять
- Многошаговые задачи, где важна корректность промежуточных шагов, вычисления на этапе вывода гибкие, и вы можете позволить себе обучить пошаговый верификатор.
- Осторожно
- Качество модели вознаграждения за процесс напрямую ограничивает точность отсечения; плохие оценки шагов тратят вычисления впустую или преждевременно обрубают верные пути.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Модели вознаграждения процесса и поиск под управлением верификатора: Обзор
Использует модель вознаграждения, которая оценивает каждый промежуточный шаг рассуждения (надзор за процессом), а не только итоговый ответ (надзор за результатом). Оценки по шагам ранжируют и отсекают кандидатные решения при сэмплировании best-of-N или поиске по дереву, сосредотачивая вычисления во время вывода на наиболее перспективных ветвях и на более сложных задачах.
- Per-step correctness scoring (process supervision)
- Ranks and prunes candidates in best-of-N or tree search
- Early pruning of low-scoring branches
- Compute-optimal allocation by problem difficulty
- More sample-efficient than outcome-only reward models
- Verifier-guided selection of the final answer
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября