Обучение и адаптация

Тонкая настройка политики методом обучения с подкреплением относительно модели вознаграждения, обученной на предпочтениях, выраженных человеком

Офлайн-оптимизация предпочтений с классификационной функцией потерь по выбранным и отклонённым ответам, без обучения явной модели вознаграждения

Настройка модели по инструкциям и демонстрациям в текущем контексте без обновления параметров модели

Оптимизация по распределению задач, чтобы модель могла адаптироваться к новой смежной задаче на основе ограниченных данных

Обучение на последовательности задач или распределений данных с измерением и снижением потери ранее приобретённых способностей

Контролируемые системы, которые предлагают изменения в промптах, инструментах или политиках и сохраняют их только после независимой оценки и одобрения

Использование явного набора принципов для управления самокритикой, доработкой и генерируемой ИИ обратной связью о предпочтениях в процессе обучения

Обучение политики на основе оценок предпочтений, выдаваемых ИИ-оценщиком по заданным человеком критериям и под его надзором

Выделение дополнительных вычислительных ресурсов на этапе вывода для генерации кандидатов, поиска, проверки или доработки

Выравнивание предпочтений без опорной модели, добавляющее к языковой цели для выбранного ответа штраф на основе отношения шансов для отклонённых ответов

Оптимизация предпочтений без опорной модели, использующая нормированную по длине логарифмическую вероятность последовательности как неявную награду с заданным целевым запасом награды

Адаптация компонента агента на размеченных примерах «вход-выход» с явной валидацией и запасным поведением

Обучение представлений, кластеров или оценок аномальности на данных без меток задач с последующей проверкой в предметной области

Инкрементальное обновление модели по потоку данных с контролем дрейфа, петель обратной связи и риска отката

Улучшает поведение агента за счёт извлечения и повторного использования сохранённого опыта в момент принятия решения, а не обновления весов модели. Прошлые взаимодействия, результаты и обратная связь пользователей индексируются как воспоминания и извлекаются по сходству, формируя новые решения, что обеспечивает непрерывную персонализацию без переобучения.

Рассматривает промпты и инструкции внутри конвейера агента как обучаемые параметры, которые оптимизируются программно по метрике и размеченному набору данных, а не настраиваются вручную. Оптимизаторы автоматически подбирают few-shot-примеры и перебирают формулировки инструкций, а рефлексивные методы изменяют промпты, анализируя трассы выполнения прошлых сбоев.

Обучает модели рассуждения с помощью обучения с подкреплением на автоматически проверяемых наградах (например, совпадает ли математический ответ с эталоном или проходит ли код свои тесты), а не на обученных моделях предпочтений. Поскольку награда оценивает только итоговую правильность, длинные цепочки рассуждений с возвратами и самопроверкой возникают без размеченных обоснований. Это отличается от RLHF, RLAIF и DPO, которые оптимизируют предпочтения человека или ИИ.

Использует модель вознаграждения, которая оценивает каждый промежуточный шаг рассуждения (надзор за процессом), а не только итоговый ответ (надзор за результатом). Оценки по шагам ранжируют и отсекают кандидатные решения при сэмплировании best-of-N или поиске по дереву, сосредотачивая вычисления во время вывода на наиболее перспективных ветвях и на более сложных задачах.

Агент пишет переиспользуемые, исполняемые навыки (программы) для обнаруженных им моделей поведения, сохраняет их в библиотеке, индексированной по эмбеддингам их описаний, а затем извлекает и компонует их в более сложные навыки. Библиотека растёт как форма процедурной памяти, поэтому возможности накапливаются со временем без обновления градиентов и катастрофического забывания.

Рассматривает контекст агента как эволюционирующий плейбук конкретных стратегий, который улучшается тремя ролями: Generator создаёт трассы рассуждений на реальных задачах, Reflector извлекает уроки из успехов и неудач, а Curator объединяет эти уроки в плейбук в виде компактных структурированных дельта-обновлений. Поскольку обновления представляют собой инкрементальные добавления и правки, а не полные переписывания, плейбук накапливает предметные детали, вместо того чтобы страдать от коллапса контекста и смещения к краткости, при котором итеративное переписывание размывает с трудом добытую конкретику. Он не требует размеченного надзора и применяется как офлайн (в качестве улучшенного системного промпта), так и онлайн (в качестве памяти агента); статья ACE с ICLR 2026 сообщает о приросте примерно +10.6% на задачах агента и +8.6% в финансах. Отличается от `prompt-optimization`: DSPy и GEPA оптимизируют промпт-артефакт по метрике, тогда как ACE наращивает плейбук на естественном языке через дельта-курирование с явным механизмом против коллапса, охватывающим и промпт, и память; и в отличие от `skill-library` (исполняемые навыки) или `self-improving-systems` (контролируемые правки промптов и инструментов за воротами одобрения) улучшаемый артефакт представляет собой курируемый плейбук на естественном языке.