Loading...
SWE-bench スイート(SWE-bench)
SWE-bench、SWE-bench Verified、SWE-bench Live を含むソフトウェアエンジニアリングのベンチマークスイート。例で比較対象として挙げられているモデルは、当時のベースラインです。
In 30 seconds
- What
- 人気リポジトリの実際の GitHub イシューを用いてコーディングエージェントを評価します。人手で検証したサブセットや毎月更新されるライブ版を備え、問題解決能力を測定します。
- When to use
- 本物のソフトウェアエンジニアリング課題でエージェントの性能を比較したいとき、時系列で改善を追跡したいとき、あるいは学習データの汚染なしに問題を解けているか検証したいとき。
- Watch out
- 結果は、どのリポジトリやイシューの種類を含めるかに大きく左右されます。SWE-bench での成績が、自分たちのコードベースの流儀や技術スタックにそのまま当てはまるとは限りません。
Loading technique guide…