Архитектуры моделей
Системы с инструментами и рассуждениями
Поместите модель в контроллер, который может планировать, вызывать типизированные инструменты, просматривать результаты, пересматривать, проверять, останавливать и передавать управление человеку.
Ментальная модель
Модель предлагает; среда выполнения проверяет и выполняет. "Рассуждающая модель" - это описание поведения/обучения/времени выполнения, а не отдельная нейронная топология.
Поток данных
- Цель + политика + состояние
- Модель предлагает ответ или типизированное действие
- Проверка схемы / разрешений
- Выполнение инструмента в ограниченной среде
- Наблюдение → продолжить, проверить или остановить
Как проходит обучение
Демонстрации использования инструментов, отслеживаемые рассуждения под контролем, обратная связь по результатам или процессу, обучение с подкреплением и задачи, которые можно верифицировать, могут формировать поведение. Оперативное scaffolding остается необходимым даже при постобработке базовой модели для использования инструментов.
Как выполняется инференс
Контроллер может выполнить несколько вызовов модели и операций с инструментами на одну задачу. Бюджеты, сроки, идемпотентность, шлюзы утверждения, песочницы и явные конечные условия ограничивают цикл.
Сильные стороны
- Доступ к текущим данным, калькуляторам, коду и корпоративным системам
- Может декомпозировать, просматривать и проверять многоэтапную работу
- Типизированные интерфейсы делают возможности и разрешения явными
Компромиссы
- Больше задержки, затрат и режимов отказа, чем один вызов модели
- Выход инструментов и извлеченный веб-контент - это ненадежные входные данные
- Циклы, повторяющиеся побочные эффекты и чрезмерная власть создают операционный риск
Использовать, когда
- Задача требует действий или информации за пределами весов модели
- Промежуточные результаты могут быть проверены
- Разрешения, бюджеты, повторные попытки и одобрение человеком являются явными
Избегать или пересмотреть, когда
- Один детерминированный API-вызов решает задачу
- Агент получит широкие учетные данные без ограничения доступа
- Отсутствует оценка циклов, ошибок инструментов или небезопасных действий
Примеры опубликованных семейств
- • Цикл "reason-and-act" в стиле ReAct
- • Исследовательский подход Toolformer
- • Шаблоны планировщика–исполнителя и верификатора