The Agent Architect #41: WebArena Evaluation Suite

Паттерн недели

WebArena Evaluation Suite

Что это:

Запускает веб-агентов на песочничных копиях реальных сайтов, чтобы измерить долю успешно выполненных задач в репозиториях кода, электронной коммерции, соцсетях и корпоративных процессах.

Когда применять:

Вам нужны воспроизводимые количественные доказательства того, что ваш веб-агент справляется с реалистичными многошаговыми взаимодействиями, до вывода в продакшен.

Осторожно:

Высокая стоимость настройки и долгие прогоны оценки; результаты могут не переноситься на живые сайты с динамическим контентом, антибот-защитой или вёрсткой, которой ваш агент никогда не видел.

На этой неделе в агентном ИИ

• A model guide for the GPT-6 familyOpenAI

  OpenAI published guidance for startups on selecting GPT-6 models, adjusting reasoning effort, improving prompts, coordinating tools, and preparing production workflows.

• 4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic ScenesarXiv cs.AI

  4DCodeBench benchmark evaluates agents on reconstructing dynamic scenes from video as executable graphics programs.

• Pruning for Efficiency, Paying in Fairness: Demographic Disparities in Pruned Speech-LLMsarXiv cs.AI

  Audio encoder pruning in speech-language models reduces word error rate unevenly across demographic groups.

• Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsHacker News

  Magnitude, a Y Combinator S25 startup, launches a self-optimizing inference engine for agents.

• Show HN: OpenAPPA – open-source deterministic guardrails that don't break agentsHacker News

  OpenAPPA is an open-source project providing deterministic guardrails for AI agents without breaking their functionality.