Loading...
🏢
TheAgentCompany Benchmark(TAC)
ソフトウェアエンジニアリング企業で通常は複数の職務ロールが担うような、影響の大きい現実世界のタスクでLLMエージェントをベンチマークする。
複雑さ: high評価とモニタリング
In 30 seconds
- What
- ソフトウェアエンジニアリングの各職務にまたがる多段階の実務タスクでエージェントの性能を測り、完全達成と部分点を分けて採点します。
- When to use
- 本番投入の前に現実的な業務シナリオで LLM エージェントを比較したいときや、モデルのバージョン間で能力の伸びを追いたいときに。
- Watch out
- 部分点は、重要な工程で失敗しているエージェントを覆い隠すことがあります。39% という部分点が、価値ゼロの未完成な作業を隠している場合もあります。
Loading technique guide…