The Agent Architect · 2026-W41
The Agent Architect #41: WebArena Evaluation Suite
Послушать свежий выпуск · 7 min
Паттерн недели
WebArena Evaluation Suite
- Что это:
- Запускает веб-агентов на песочничных копиях реальных сайтов, чтобы измерить долю успешно выполненных задач в репозиториях кода, электронной коммерции, соцсетях и корпоративных процессах.
- Когда применять:
- Вам нужны воспроизводимые количественные доказательства того, что ваш веб-агент справляется с реалистичными многошаговыми взаимодействиями, до вывода в продакшен.
- Осторожно:
- Высокая стоимость настройки и долгие прогоны оценки; результаты могут не переноситься на живые сайты с динамическим контентом, антибот-защитой или вёрсткой, которой ваш агент никогда не видел.
На этой неделе в агентном ИИ
- Base Models Can Reason By Taking a Cue From Training DataarXiv cs.AI
Specific token cues at response start make base models perform comparably to RL-trained models on math and coding tasks.
- Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech ModelarXiv cs.AI
Distilled text-to-speech model reduces parameters from 82M to 8M with 15x less compute.
- A model guide for the GPT-6 familyOpenAI
OpenAI published guidance for startups on selecting GPT-6 models, adjusting reasoning effort, improving prompts, coordinating tools, and preparing production workflows.
- Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsHacker News
Magnitude, a Y Combinator S25 startup, launches a self-optimizing inference engine for agents.
- Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEsHugging Face
Olmo-core 3 provides open training infrastructure for efficiently scaling mixture-of-experts models to trillion parameters.
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.