段階的ロールアウトとシャドウモード(PRS)

エージェントやプロンプトの新バージョンを安全に本番投入するための、デプロイ側の手法。候補はまずシャドウモードで動作し、実際の本番トラフィックに対して実行されますが、その出力はユーザーには見せず、稼働中のバージョンとオフラインで比較されます。次に、ライブトラフィックの 1〜5 パーセントを対象とするカナリアへと進み、対照群に対してオンライン eval で採点され、続いて段階的なランプアップへと進みます。監視対象のメトリクスが悪化した瞬間に、自動でロールバックされます。オンライン eval（ライブトラフィックをその場で採点）とオフライン eval を組み合わせることで、静的なゴールデンセットでは予測できないロングテールの障害を捕捉できます。マージ前にオフラインで変更をゲートする eval-driven-agent-development とは異なり、こちらはマージ後のオンラインでのランプアップを統制します。