パターンを読み込んでいます…
🔬
MLR-Bench
トップクラスのML学会に由来するオープンエンドな機械学習研究タスクでAIエージェントを評価する包括的なベンチマーク。
複雑さ: high評価とモニタリング
30秒でわかる概要
- 概要
- トップカンファレンス由来の201件のML研究課題からなる標準化ベンチマークで、方法論、実装、分析の各観点を自動評価します。
- 使いどころ
- あなたの研究エージェントが、複数のサブ分野にまたがる、学会発表水準に匹敵するオープンエンドなML課題を扱えるかを見極めたいとき。
- 注意点
- スコアが示すのは狭い課題での成績です。エージェントはベンチマークのパターンに過剰適合し、この9分野の外にある新しい研究方向へは一般化しないことがあります。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
MLR-Bench: 概要
トップクラスのML学会に由来するオープンエンドな機械学習研究タスクでAIエージェントを評価する包括的なベンチマーク。
- 201 research tasks from NeurIPS/ICLR/ICML
- MLR-Judge automated evaluation
- Covers 9 core ML research areas
- Real workshop paper tasks
- Modular research agent scaffold
エージェント評価フィールドガイドを受け取る
25のエージェント評価手法を1冊に凝縮：どのベンチマークが何を測るか、公開スコアが誤解を招くのはどんなときか、自分の失敗から評価を組み立てる方法。確認メールと一緒にリンクが届き、週刊The Agent Architectも購読できます。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
このカタログを作ったエンジニアが担当
評価が見落としているものを可視化
エージェントの評価は実装よりも難しく、多くのテストは緑のまま本番だけがずれていきます。評価の仕組みを端から端まで点検します。いま測れているもの、まだ見えていないもの、そして現状のテストが素通りさせる劣化を洗い出します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで