Loading...
💻
Набор SWE-bench(SWE-bench)
Набор бенчмарков для программной инженерии, включающий SWE-bench, SWE-bench Verified и SWE-bench Live. Указанные в примере для сравнения модели являются историческими ориентирами.
Сложность: highОценка и мониторинг
In 30 seconds
- What
- Оценивает кодовых агентов на настоящих issue из популярных репозиториев GitHub, используя проверенные людьми подмножества и ежемесячно обновляемые live-варианты для измерения способности решать задачи.
- When to use
- Сравнение агентов на настоящих задачах разработки, отслеживание прогресса во времени или проверка того, что агенты решают задачи без загрязнения обучающими данными.
- Watch out
- Результаты сильно зависят от того, какие репозитории и типы issue включены; показатели на SWE-bench могут не перенестись на паттерны и технологический стек вашей кодовой базы.
Loading technique guide…