Загружаем паттерны…
Обучение с подкреплением на основе обратной связи от человека(RLHF)
Тонкая настройка политики методом обучения с подкреплением относительно модели вознаграждения, обученной на предпочтениях, выраженных человеком
За 30 секунд
- Что это
- Обучает модель вознаграждения на человеческих сравнениях предпочтений, а затем оптимизирует поведение агента под неё, ограничивая отклонение от базовой модели.
- Когда применять
- Согласование выходов агента с тонкими человеческими ценностями там, где простые метрики не работают, и вы можете позволить себе объёмную человеческую разметку и вычисления.
- Осторожно
- Модель вознаграждения перенимает предубеждения разметчиков и плохо покрывает пограничные случаи; агент эксплуатирует её пробелы вместо реального улучшения, из-за чего нужен дорогой мониторинг.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Обучение с подкреплением на основе обратной связи от человека: Обзор
Тонкая настройка политики методом обучения с подкреплением относительно модели вознаграждения, обученной на предпочтениях, выраженных человеком
- Human preference collection
- Reward model training
- Policy optimization with KL control
- Human-in-the-loop evaluation
- Behavior shaping from comparative judgments
- Reward-hacking monitoring
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября