Loading...
💻
SWE-bench 套件(SWE-bench)
包含 SWE-bench、SWE-bench Verified 和 SWE-bench Live 的软件工程基准测试套件。示例中用于比较的具名模型为历史基线。
复杂度: high评估与监控
In 30 seconds
- What
- 用热门仓库中真实的 GitHub issue 来评测编码智能体，配有经人工校验的子集和每月更新的实时变体，以衡量其解决问题的能力。
- When to use
- 在真实的软件工程任务上比较智能体性能、追踪其随时间的进步，或验证智能体在没有训练数据污染的情况下确实能解决问题。
- Watch out
- 结果高度依赖于纳入了哪些仓库和 issue 类型；在 SWE-bench 上的表现未必能迁移到你自己代码库的模式或技术栈。
Loading technique guide…