Loading...
🚦
渐进式发布与影子模式(PRS)
安全发布智能体或提示词新版本时的部署侧做法。候选版本首先在影子模式下运行,针对真实生产流量执行,但其输出对用户隐藏,并离线与当前在用版本进行比较;随后进入金丝雀阶段,作用于 1% 到 5% 的线上流量,由在线评估相对于对照组打分;接着进行渐进式扩量,一旦被监控的指标出现回退便自动回滚。将在线评估(实时为线上流量打分)与离线评估相结合,可以捕捉静态黄金数据集无法预测的长尾故障。它区别于 eval-driven-agent-development(那是在合并前离线对变更进行门控),而本方法治理的是合并之后的线上扩量。
复杂度: high评估与监控
In 30 seconds
- What
- 让候选智能体在生产流量上运行但不对外提供输出,随后逐步放量给用户,并在指标回退时自动回滚。
- When to use
- 在发布智能体或提示词改动时,真实流量上的长尾失败比静态测试集更重要,而且你需要在全量放开前建立信心。
- Watch out
- 在线评估的延迟和成本会随流量规模上升;打分器如果又慢又贵,可能在你发现真正的问题之前就先成为瓶颈。
Loading technique guide…