Loading...
💻
Suite SWE-bench(SWE-bench)
Suite de benchmarks d'ingénierie logicielle comprenant SWE-bench, SWE-bench Verified et SWE-bench Live. Les modèles cités à titre de comparaison dans l'exemple sont des références historiques.
Complexité: highÉvaluation et surveillance
In 30 seconds
- What
- Évalue les agents de programmation sur de véritables tickets GitHub issus de dépôts populaires, avec des sous-ensembles validés par des humains et des variantes actualisées chaque mois, afin de mesurer la capacité de résolution de problèmes.
- When to use
- Comparer les performances d'agents sur de véritables tâches de génie logiciel, suivre leur progression dans le temps, ou vérifier qu'ils résolvent des problèmes sans contamination par les données d'entraînement.
- Watch out
- Les résultats dépendent fortement des dépôts et des types de tickets retenus ; les performances sur SWE-bench ne se transposent pas forcément aux schémas ou à la pile technique de votre base de code.
Loading technique guide…