The Agent Architect #41: WebArena Evaluation Suite

Pattern der Woche

WebArena Evaluation Suite

Was:

Lässt Web-Agenten gegen Sandbox-Repliken echter Websites laufen, um Erfolgsquoten bei Aufgaben in Code-Repositories, E-Commerce, sozialen Medien und Unternehmensprozessen zu messen.

Wann einsetzen:

Sie brauchen reproduzierbare, quantifizierte Belege dafür, ob Ihr Web-Agent realistische mehrstufige Interaktionen bewältigt, bevor Sie in Produktion gehen.

Achtung:

Hoher Einrichtungsaufwand und lange Laufzeiten der Evaluation; die Ergebnisse lassen sich womöglich nicht auf Live-Seiten übertragen, mit dynamischen Inhalten, Anti-Bot-Maßnahmen oder Layouts, die Ihr Agent nie gesehen hat.

Diese Woche in agentischer KI

• A model guide for the GPT-6 familyOpenAI

  OpenAI published guidance for startups on selecting GPT-6 models, adjusting reasoning effort, improving prompts, coordinating tools, and preparing production workflows.

• 4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic ScenesarXiv cs.AI

  4DCodeBench benchmark evaluates agents on reconstructing dynamic scenes from video as executable graphics programs.

• Pruning for Efficiency, Paying in Fairness: Demographic Disparities in Pruned Speech-LLMsarXiv cs.AI

  Audio encoder pruning in speech-language models reduces word error rate unevenly across demographic groups.

• Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsHacker News

  Magnitude, a Y Combinator S25 startup, launches a self-optimizing inference engine for agents.

• Show HN: OpenAPPA – open-source deterministic guardrails that don't break agentsHacker News

  OpenAPPA is an open-source project providing deterministic guardrails for AI agents without breaking their functionality.