Loading...
🏢
TheAgentCompany Benchmark(TAC)
Évalue les agents LLM sur des tâches réelles à fort enjeu qui seraient généralement accomplies par plusieurs fonctions métier au sein d'une entreprise de génie logiciel.
Complexité: highÉvaluation et surveillance
In 30 seconds
- What
- Mesure les performances des agents sur des tâches professionnelles en plusieurs étapes couvrant les métiers du génie logiciel, en notant séparément l'achèvement complet et le crédit partiel.
- When to use
- Pour comparer des agents LLM sur des scénarios de travail réalistes avant la mise en production, ou pour suivre les progrès de capacité d'une version de modèle à l'autre.
- Watch out
- Les scores partiels peuvent masquer des agents qui échouent aux étapes critiques : un score partiel de 39 % peut dissimuler un travail inachevé sans aucune valeur.
Loading technique guide…