Разработка на основе eval-ов (CI агентов)(EDD)

Разработка на основе eval-ов (CI агентов): Обзор

Дисциплина жизненного цикла разработки, при которой агенты и промпты строятся прежде всего под evals. Тщательно отобранные эталонные наборы данных (примерно от 50 до 500 случаев со смещением в сторону известных режимов отказа) версионируются вместе с промптами, запускаются как набор регрессионных тестов на каждом pull request, а слияние или продвижение ограничивается пороговыми значениями метрик. Конвейер фиксирует версии модели и судьи, поэтому тихое обновление модели на стороне провайдера обнаруживается как регрессия, а не поглощается незаметно, и выстраивает проверки по этапам: сначала lint, затем офлайн-eval, затем контроль стоимости, прежде чем изменение можно будет слить. В отличие от agent-observability-tracing, которая представляет собой телеметрию времени выполнения, а не контроль перед слиянием, и от фиксированных публичных бенчмарков, которые не являются собственными командными регрессионными наборами в CI.

• •Version-controlled golden datasets (~50-500 cases) weighted toward known failure modes
• •Regression suite runs on every pull request; merge gated on metric thresholds
• •Pinned model and judge versions so silent provider updates surface as regressions
• •Staged CI pipeline: lint, then offline eval, then cost gate before merge
• •LLM-as-judge and code-based scorers combined per failure dimension
• •Prompt and dataset changes reviewed together as a single diff