正在加载模式…
渐进式发布与影子模式(PRS)
安全发布智能体或提示词新版本时的部署侧做法。候选版本首先在影子模式下运行，针对真实生产流量执行，但其输出对用户隐藏，并离线与当前在用版本进行比较；随后进入金丝雀阶段，作用于 1% 到 5% 的线上流量，由在线评估相对于对照组打分；接着进行渐进式扩量，一旦被监控的指标出现回退便自动回滚。将在线评估（实时为线上流量打分）与离线评估相结合，可以捕捉静态黄金数据集无法预测的长尾故障。它区别于 eval-driven-agent-development（那是在合并前离线对变更进行门控），而本方法治理的是合并之后的线上扩量。
30秒速览
- 是什么
- 让候选智能体在生产流量上运行但不对外提供输出，随后逐步放量给用户，并在指标回退时自动回滚。
- 何时使用
- 在发布智能体或提示词改动时，真实流量上的长尾失败比静态测试集更重要，而且你需要在全量放开前建立信心。
- 注意
- 在线评估的延迟和成本会随流量规模上升；打分器如果又慢又贵，可能在你发现真正的问题之前就先成为瓶颈。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
渐进式发布与影子模式: 概览
安全发布智能体或提示词新版本时的部署侧做法。候选版本首先在影子模式下运行，针对真实生产流量执行，但其输出对用户隐藏，并离线与当前在用版本进行比较；随后进入金丝雀阶段，作用于 1% 到 5% 的线上流量，由在线评估相对于对照组打分；接着进行渐进式扩量，一旦被监控的指标出现回退便自动回滚。将在线评估（实时为线上流量打分）与离线评估相结合，可以捕捉静态黄金数据集无法预测的长尾故障。它区别于 eval-driven-agent-development（那是在合并前离线对变更进行门控），而本方法治理的是合并之后的线上扩量。
- Shadow mode: candidate runs on live traffic, output withheld, compared offline
- Canary on 1-5% of live traffic scored by online evals against a control
- Progressive ramp with predefined promotion and rollback thresholds
- Automatic rollback triggered by a monitored metric regression
- Online evals (in-flight scoring) paired with offline evals for long-tail failures
- Per-request telemetry span ties the eval score to the routing decision for auto-gating
获取智能体评估实战指南
25 种智能体评估方法浓缩成一份指南：每个基准测量什么、公开分数何时具有误导性、如何用自己的失败构建评估。链接随确认邮件送达，并附每周的 The Agent Architect。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
由本目录背后的工程师执行
看看你的评测漏掉了什么
评测智能体比做出来更难，多数测试套件一路全绿，线上却在悄悄漂移。我们从头到尾检查你的评测体系：现在测到了什么、还有什么看不见，以及当前套件会放过哪些回归。
€750（原价 €1,500），一周交付，书面报告加讲解通话，9月30日前