段階的ロールアウトとシャドウモード(PRS)

段階的ロールアウトとシャドウモード: 概要

エージェントやプロンプトの新バージョンを安全に本番投入するための、デプロイ側の手法。候補はまずシャドウモードで動作し、実際の本番トラフィックに対して実行されますが、その出力はユーザーには見せず、稼働中のバージョンとオフラインで比較されます。次に、ライブトラフィックの 1〜5 パーセントを対象とするカナリアへと進み、対照群に対してオンライン eval で採点され、続いて段階的なランプアップへと進みます。監視対象のメトリクスが悪化した瞬間に、自動でロールバックされます。オンライン eval（ライブトラフィックをその場で採点）とオフライン eval を組み合わせることで、静的なゴールデンセットでは予測できないロングテールの障害を捕捉できます。マージ前にオフラインで変更をゲートする eval-driven-agent-development とは異なり、こちらはマージ後のオンラインでのランプアップを統制します。

• •Shadow mode: candidate runs on live traffic, output withheld, compared offline
• •Canary on 1-5% of live traffic scored by online evals against a control
• •Progressive ramp with predefined promotion and rollback thresholds
• •Automatic rollback triggered by a monitored metric regression
• •Online evals (in-flight scoring) paired with offline evals for long-tail failures
• •Per-request telemetry span ties the eval score to the routing decision for auto-gating