The Agent Architect · 2026-W41
The Agent Architect #41: WebArena Evaluation Suite
Die neueste Ausgabe anhören · 7 min
Pattern der Woche
WebArena Evaluation Suite
- Was:
- Lässt Web-Agenten gegen Sandbox-Repliken echter Websites laufen, um Erfolgsquoten bei Aufgaben in Code-Repositories, E-Commerce, sozialen Medien und Unternehmensprozessen zu messen.
- Wann einsetzen:
- Sie brauchen reproduzierbare, quantifizierte Belege dafür, ob Ihr Web-Agent realistische mehrstufige Interaktionen bewältigt, bevor Sie in Produktion gehen.
- Achtung:
- Hoher Einrichtungsaufwand und lange Laufzeiten der Evaluation; die Ergebnisse lassen sich womöglich nicht auf Live-Seiten übertragen, mit dynamischen Inhalten, Anti-Bot-Maßnahmen oder Layouts, die Ihr Agent nie gesehen hat.
Diese Woche in agentischer KI
- Base Models Can Reason By Taking a Cue From Training DataarXiv cs.AI
Specific token cues at response start make base models perform comparably to RL-trained models on math and coding tasks.
- Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech ModelarXiv cs.AI
Distilled text-to-speech model reduces parameters from 82M to 8M with 15x less compute.
- A model guide for the GPT-6 familyOpenAI
OpenAI published guidance for startups on selecting GPT-6 models, adjusting reasoning effort, improving prompts, coordinating tools, and preparing production workflows.
- Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsHacker News
Magnitude, a Y Combinator S25 startup, launches a self-optimizing inference engine for agents.
- Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEsHugging Face
Olmo-core 3 provides open training infrastructure for efficiently scaling mixture-of-experts models to trillion parameters.
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.