Dans l'actualité
Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks
arXiv cs.AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Researchers propose treating benchmarks as living software requiring continuous maintenance, releasing Terminal-Bench 2.1 with fixes addressing 30% of prior version issues.
- Pourquoi ça compte
- Engineers evaluating coding agents or LLM systems need this when benchmark scores diverge from actual model capabilities or when infrastructure changes invalidate test assumptions.
- Vigilance
- Les corrections ont modifié la précision de plus de 10 points et les classements du leaderboard de jusqu'à trois positions, montrant que la maintenance des benchmarks affecte directement les comparaisons de modèles.
- agent
- llm
- eval
- benchmark
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.