The Agent Architect #41: WebArena Evaluation Suite

Le pattern de la semaine

WebArena Evaluation Suite

Quoi:

Exécute des agents web sur des répliques en bac à sable de vrais sites afin de mesurer les taux de réussite des tâches sur des dépôts de code, du commerce en ligne, des réseaux sociaux et des flux de travail d'entreprise.

Quand l'utiliser:

Vous avez besoin de preuves reproductibles et chiffrées de la capacité de votre agent web à gérer des interactions réalistes en plusieurs étapes avant un déploiement en production.

Vigilance:

Coût d'installation élevé et durée d'évaluation longue ; les résultats peuvent ne pas se transposer aux sites réels, avec leur contenu dynamique, leurs protections anti-bot ou des mises en page que votre agent n'a jamais rencontrées.

Cette semaine en IA agentique

• A model guide for the GPT-6 familyOpenAI

  OpenAI published guidance for startups on selecting GPT-6 models, adjusting reasoning effort, improving prompts, coordinating tools, and preparing production workflows.

• 4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic ScenesarXiv cs.AI

  4DCodeBench benchmark evaluates agents on reconstructing dynamic scenes from video as executable graphics programs.

• Pruning for Efficiency, Paying in Fairness: Demographic Disparities in Pruned Speech-LLMsarXiv cs.AI

  Audio encoder pruning in speech-language models reduces word error rate unevenly across demographic groups.

• Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsHacker News

  Magnitude, a Y Combinator S25 startup, launches a self-optimizing inference engine for agents.

• Show HN: OpenAPPA – open-source deterministic guardrails that don't break agentsHacker News

  OpenAPPA is an open-source project providing deterministic guardrails for AI agents without breaking their functionality.