パターンを読み込んでいます…
🎯
AgentBench
オリジナルのAgentBench研究は、公開されたモデル一覧を8つの多様な環境およびマルチターンでオープンエンドな設定にわたって評価した。
複雑さ: high評価とモニタリング
30秒でわかる概要
- 概要
- SQL、ゲーム、ウェブ、オペレーティングシステムなど 8 種類の異なる環境でエージェントを複数ターンにわたり動かし、領域横断の実践的な能力を測る。
- 使いどころ
- エージェントのモデルを比較したいときや、単一領域のベンチマークを超えた多様でオープンエンドなタスクを自分のエージェントが扱えるか検証したいとき。
- 注意点
- 複雑さと計算コストが大きい。結果が自分の具体的なユースケースや独自環境にそのまま当てはまるとは限らない。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
AgentBench: 概要
オリジナルのAgentBench研究は、公開されたモデル一覧を8つの多様な環境およびマルチターンでオープンエンドな設定にわたって評価した。
- 8 distinct evaluation environments
- Multi-turn interaction evaluation
- SQL, game, web, and OS environments
- Comprehensive agent capability assessment
- Open-source evaluation package
エージェント評価フィールドガイドを受け取る
25のエージェント評価手法を1冊に凝縮：どのベンチマークが何を測るか、公開スコアが誤解を招くのはどんなときか、自分の失敗から評価を組み立てる方法。確認メールと一緒にリンクが届き、週刊The Agent Architectも購読できます。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
このカタログを作ったエンジニアが担当
評価が見落としているものを可視化
エージェントの評価は実装よりも難しく、多くのテストは緑のまま本番だけがずれていきます。評価の仕組みを端から端まで点検します。いま測れているもの、まだ見えていないもの、そして現状のテストが素通りさせる劣化を洗い出します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで