学习与适应

使用强化学习针对从人类偏好判断中学习到的奖励模型对策略进行微调

对被采纳和被拒绝的响应采用分类损失进行离线偏好优化，无需训练显式的奖励模型

基于当前上下文中的指令和示例对模型进行条件化，而不更新模型参数

在任务分布上进行优化，使模型能够从有限数据中适应新的相关任务

从一系列任务或数据分布中学习，同时衡量并缓解早前能力的丧失

受控系统，提出对提示词、工具或策略的更改，并仅在经过独立评估和批准后才予以保留

使用一组明确的原则来指导训练过程中的自我批判、修订以及由 AI 生成的偏好反馈

在人类定义的标准和监督下，利用AI评估器生成的偏好判断来训练策略

在推理阶段为候选生成、搜索、验证或优化分配额外的计算资源

一种无需参考模型的偏好对齐方法，在针对被选中回复的语言建模目标之外，为被拒绝的回复添加优势比惩罚项

一种无需参考模型的偏好优化方法，将按长度归一化的序列对数概率作为隐式奖励，并设定目标奖励间隔

基于带标签的输入-输出示例调整智能体组件，并配以显式验证和回退行为

从没有任务标签的数据中学习表征、聚类或异常分数，随后进行领域验证

在控制漂移、反馈回路和回滚风险的同时，基于数据流对模型进行增量更新

通过在决策时检索并复用已存储的经验来改善智能体行为，而非更新模型权重。过往交互、结果和用户反馈被索引为记忆，并按相似度召回以塑造新的决策，从而无需重新训练即可实现持续的个性化。

将智能体流水线中的提示词和指令视为可学习的参数，针对某一指标和带标签的数据集以编程方式进行优化，而非手动调整。优化器会自举生成少样本示例并搜索不同的指令措辞，反思式方法则通过读取过往失败的执行轨迹来变异提示词。

使用强化学习针对可自动校验的奖励来训练推理模型，例如数学答案是否与标准答案一致或代码是否通过测试，而非针对学习得到的偏好模型。由于奖励只评估最终的正确性，因此无需有监督的推理依据，便会涌现出带有回溯和自我验证的长思维链。这与优化人类或AI偏好的RLHF、RLAIF和DPO不同。

使用一种奖励模型，为推理的每一个中间步骤打分（过程监督），而不仅仅评估最终答案（结果监督）。这些逐步分数在 best-of-N 采样或树搜索中对候选解进行排序和剪枝，将测试时的计算集中在最有希望的分支和更难的问题上。

智能体为其发现的行为编写可复用、可执行的技能（程序），将其存入以技能描述的嵌入向量为索引的技能库中，之后再检索并将它们组合成更复杂的技能。技能库作为一种程序性记忆不断扩充，因此能力会随时间累积，而无需梯度更新，也不会发生灾难性遗忘。

将智能体的上下文视为一部由具体策略构成、不断演进的策略手册，并由三个角色加以改进：在真实任务上生成推理轨迹的 Generator，从成功或失败中提炼经验的 Reflector，以及将这些经验以紧凑、结构化的增量（delta）更新方式合并进策略手册的 Curator。由于更新是增量式的追加和编辑，而非彻底重写，策略手册得以不断积累领域细节，而不会陷入上下文坍塌和简洁性偏差（即反复重写会侵蚀来之不易的具体细节）。它无需带标签的监督，既可离线用作改进的系统提示词，也可在线用作智能体记忆；ICLR 2026 的 ACE 论文报告在智能体任务上约提升 +10.6%，在金融任务上提升 +8.6%。它有别于 `prompt-optimization`：DSPy 和 GEPA 针对某一指标优化提示词这一产物，而 ACE 则通过增量策展来扩充自然语言的策略手册，并具备贯穿提示词与记忆的显式防坍塌机制；同时，与 `skill-library`（可执行技能）或 `self-improving-systems`（在审批关卡之后受治理的提示词和工具编辑）不同，被改进的产物是一部经过策展的自然语言策略手册。