评估与监控

面向生产就绪的安全性评估框架，跨 12 个危害类别衡量 AI 系统的响应，并为部署决策提供标准化的测试协议。

最初的 AgentBench 研究在 8 个多样化环境以及多轮、开放式设置中评估了其公布的模型阵容。

在软件工程公司中通常由多个岗位角色共同完成的、具有重要影响的真实任务上，对 LLM 智能体进行基准测试。

用于在源自顶级 ML 会议的开放式机器学习研究任务上评估 AI 智能体的综合基准。

将 12-factor 应用原则适配到可扩展、可维护的智能体系统的生产就绪方法论，并具备全面的监控与评估。

斯坦福 CRFM 的 Holistic Evaluation of Language Models 针对智能体能力的扩展。所举实例是某一时点的过时基准快照，而非当前的模型推荐。

用于对基于 LLM 的智能体进行人在回路评估与改进的框架，使工程师能够在每个开发阶段引导并评估智能体的性能。

Meta 推出的全面网络安全基准，用于评估 LLM 智能体在自主和多智能体环境中的安全风险。

用于衡量前沿模型智能体在 ML 研究工程任务上表现的基准测试，并将其与人类专家的能力进行对比。

包含 SWE-bench、SWE-bench Verified 和 SWE-bench Live 的软件工程基准测试套件。示例中用于比较的具名模型为历史基线。

最初的 GAIA 基准测试考察推理、多模态、网页浏览和工具使用能力。其中用于比较的具名模型是论文当时的历史基线。

在五个领域中通过 20 项任务和 3K+ 条提示词全面评估智能体的基准测试。示例保留了其发布时期的模型阵容。

涵盖 WebArena、VisualWebArena 和 WorkArena 的全面 Web 智能体评估，用于在沙箱环境中测试真实的 Web 交互。

欧盟针对 AI 智能体评估的监管框架，采用基于风险的分类，规定了对 GPAI 模型的要求，并要求在欧盟部署时强制合规。

AI Safety Institute 针对前沿 AI 系统的全面评估框架，与 NIST 的 AI 安全工作协同，以实现符合政府标准的安全评估。

在 12 种语言中评估智能体性能与安全性的多语言基准测试。示例是某一时期的基准测试快照，而非当前的模型推荐。

Anthropic 通过章程原则评估 AI 安全性的框架，包括越狱抵抗测试和无害性评估。

生产环境中的步骤级追踪，将每一次模型调用、工具调用、工作流步骤和子智能体记录为单一运行树中的一个 span，并标注 token、延迟和成本指标。它通过 OpenTelemetry GenAI 语义约定（gen_ai.* 属性）实现标准化，并在 LangSmith、Braintrust 和 Datadog 等平台上呈现，是在生产环境中调试非确定性故障的实时信号，区别于在部署前对行为进行评分的离线基准测试。

该基准测试将智能体置于模拟的人类用户与一组领域 API（零售、航空）之间，同时要求其遵守一份书面政策文档。它不是检查单个回复，而是在完整对话结束后，将数据库的最终状态与目标状态进行比较。其标志性指标是 pass^k，即在同一任务的全部 k 次独立试验中都成功的概率，这能揭示被平均化的 pass@1 分数所掩盖的一致性缺陷。

一种开发生命周期方法，即首先针对 eval（评估）来构建智能体和提示词。精心整理的黄金数据集（约 50 到 500 个用例，向已知失败模式倾斜）与提示词一同进行版本控制，在每个拉取请求上作为回归测试套件运行，合并或晋级则以指标阈值作为门槛。该流水线会固定模型和评判器（judge）的版本，因此提供方一侧对模型的静默更新会被检测为回归，而不会被悄然吸收；它还将检查分阶段编排为先 lint、再离线 eval、最后成本门，然后变更才能合并。它区别于 agent-observability-tracing（那是运行时遥测，而非合并前的门控），也区别于固定的公开基准测试（那些并非团队在 CI 中自有的回归套件）。

安全发布智能体或提示词新版本时的部署侧做法。候选版本首先在影子模式下运行，针对真实生产流量执行，但其输出对用户隐藏，并离线与当前在用版本进行比较；随后进入金丝雀阶段，作用于 1% 到 5% 的线上流量，由在线评估相对于对照组打分；接着进行渐进式扩量，一旦被监控的指标出现回退便自动回滚。将在线评估（实时为线上流量打分）与离线评估相结合，可以捕捉静态黄金数据集无法预测的长尾故障。它区别于 eval-driven-agent-development（那是在合并前离线对变更进行门控），而本方法治理的是合并之后的线上扩量。

由 LLM 驱动的用户模拟器，通过多样的人物画像（如困惑型、对抗型、急躁型或中途改变目标的用户）进行参数化，用作测试框架，自主地驱动对话式智能体完成大量多轮对话。大规模运行这些模拟对话，能在真实用户遇到之前就暴露出上下文丢失、策略违规和幻觉，并探索静态单轮黄金用例无法触及的对话树分支。它需要刻意保持人物画像的多样性并对齐目标，以避免单一配合型模拟器的盲点，因为这种模拟器的表现会比真实用户更顺从。它区别于 tau-bench（一个内嵌单个用户模拟器的固定基准测试），也区别于 eval-driven-agent-development（其黄金用例是静态的单轮用例），而本方法生成的是动态的多轮流量。