Eval 駆動開発（エージェント CI）(EDD)

Eval 駆動開発（エージェント CI）: 概要

エージェントとプロンプトを、まず eval（評価）に対して構築するという開発ライフサイクルの規律。厳選されたゴールデンデータセット（既知の失敗モードに重み付けした、およそ 50〜500 件のケース）をプロンプトとともにバージョン管理し、プルリクエストごとに回帰テストスイートとして実行し、マージや昇格はメトリクスのしきい値でゲートします。パイプラインはモデルと judge のバージョンを固定するため、プロバイダー側でモデルが黙って更新されても、それがひそかに吸収されるのではなく回帰として検出されます。また、変更をマージできるようになる前に、lint、次にオフライン eval、次にコストゲートという順でチェックを段階的に実行します。実行時のテレメトリであってマージ前のゲートではない agent-observability-tracing とは異なり、また、CI 内でチームが所有する回帰スイートではない固定の公開ベンチマークとも異なります。

• •Version-controlled golden datasets (~50-500 cases) weighted toward known failure modes
• •Regression suite runs on every pull request; merge gated on metric thresholds
• •Pinned model and judge versions so silent provider updates surface as regressions
• •Staged CI pipeline: lint, then offline eval, then cost gate before merge
• •LLM-as-judge and code-based scorers combined per failure dimension
• •Prompt and dataset changes reviewed together as a single diff