In den Nachrichten
ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces
arXiv cs.AI · Veröffentlicht am · 3 Min. Lesezeit
In 30 Sekunden
- Was passiert ist
- ARE-bench evaluates research agents on 75 real-world tasks from active researcher projects, measuring whether agents respect prior decisions and existing workspace state.
- Warum es zählt
- Matters for engineers building or deploying research agents who need realistic assessment beyond clean benchmark environments.
- Achtung
- Top models pass only 66.2% of tasks; performance drops to 28-40% when workspace history and material requirements are checked, suggesting current benchmarks may overestimate capability.
Den vollständigen Artikel lesen
- agent
- eval
- benchmark
Die Patterns dahinter
Jedes zeigt, wie die Technik arbeitet, wann sie ihren Aufwand wert ist und wo sie scheitert.
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.