The Agent Architect · 2026-W41
The Agent Architect #41: WebArena Evaluation Suite
最新号を音声で聴く · 7 min
今週のパターン
WebArena Evaluation Suite
- 概要:
- 実在するウェブサイトのサンドボックス複製上でウェブエージェントを動かし、コードリポジトリ、EC、ソーシャルメディア、業務ワークフローにわたるタスク成功率を測定する。
- 使いどころ:
- 本番導入の前に、ウェブエージェントが現実的な多段階のやり取りをこなせるかどうかを、再現可能で定量的な根拠として示す必要があるとき。
- 注意点:
- セットアップの負担が大きく、評価の実行にも時間がかかる。動的コンテンツ、ボット対策、エージェントが学習していないレイアウトを持つ実サイトには、結果がそのまま当てはまらないこともある。
今週のエージェントAI
- Base Models Can Reason By Taking a Cue From Training DataarXiv cs.AI
Specific token cues at response start make base models perform comparably to RL-trained models on math and coding tasks.
- Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice Text-to-Speech ModelarXiv cs.AI
Distilled text-to-speech model reduces parameters from 82M to 8M with 15x less compute.
- A model guide for the GPT-6 familyOpenAI
OpenAI published guidance for startups on selecting GPT-6 models, adjusting reasoning effort, improving prompts, coordinating tools, and preparing production workflows.
- Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsHacker News
Magnitude, a Y Combinator S25 startup, launches a self-optimizing inference engine for agents.
- Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEsHugging Face
Olmo-core 3 provides open training infrastructure for efficiently scaling mixture-of-experts models to trillion parameters.
The Agent Architect
1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。