Loading...
🧪
评估驱动开发(智能体 CI)(EDD)
一种开发生命周期方法,即首先针对 eval(评估)来构建智能体和提示词。精心整理的黄金数据集(约 50 到 500 个用例,向已知失败模式倾斜)与提示词一同进行版本控制,在每个拉取请求上作为回归测试套件运行,合并或晋级则以指标阈值作为门槛。该流水线会固定模型和评判器(judge)的版本,因此提供方一侧对模型的静默更新会被检测为回归,而不会被悄然吸收;它还将检查分阶段编排为先 lint、再离线 eval、最后成本门,然后变更才能合并。它区别于 agent-observability-tracing(那是运行时遥测,而非合并前的门控),也区别于固定的公开基准测试(那些并非团队在 CI 中自有的回归套件)。
复杂度: high评估与监控
In 30 seconds
- What
- 把纳入版本控制的黄金数据集作为回归套件,在每个 PR 上运行,并在锁定模型与评判版本的前提下,以指标阈值卡住合并。
- When to use
- 持续交付智能体的团队,需要察觉模型的静默更新、对已知失效模式保持持续覆盖,并让提示词改动经得起可量化的验证。
- Watch out
- 黄金数据集若不主动维护、不向当前的失效模式加权,就会过时,或与线上真实故障脱节。
Loading technique guide…