Agentic DesignModèles et outils pour des agents IA en production

Loading...

🔬

MLR-Bench(MLR-Bench)

Benchmark complet pour évaluer les agents d'IA sur des tâches de recherche ouvertes en apprentissage automatique, issues des principales conférences de ML.

Complexité: highÉvaluation et surveillance

In 30 seconds

What: Banc d'essai standardisé de 201 tâches de recherche en ML issues des meilleures conférences, avec une évaluation automatisée sur les axes méthodologie, implémentation et analyse.
When to use: Pour évaluer si votre agent de recherche sait traiter des problèmes de ML ouverts, comparables à des travaux publiés en conférence, à travers plusieurs sous-domaines.
Watch out: Les scores reflètent la performance sur des tâches étroites ; les agents peuvent surapprendre les motifs du banc d'essai sans généraliser à des directions de recherche inédites hors de ces 9 domaines.

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic DesignModèles et outils pour des agents IA en production

Aide experte Tarifs

Modèles et techniques de conception

Loading...

🔬

MLR-Bench(MLR-Bench)

Benchmark complet pour évaluer les agents d'IA sur des tâches de recherche ouvertes en apprentissage automatique, issues des principales conférences de ML.

Complexité: highÉvaluation et surveillance

In 30 seconds

What: Banc d'essai standardisé de 201 tâches de recherche en ML issues des meilleures conférences, avec une évaluation automatisée sur les axes méthodologie, implémentation et analyse.
When to use: Pour évaluer si votre agent de recherche sait traiter des problèmes de ML ouverts, comparables à des travaux publiés en conférence, à travers plusieurs sous-domaines.
Watch out: Les scores reflètent la performance sur des tâches étroites ; les agents peuvent surapprendre les motifs du banc d'essai sans généraliser à des directions de recherche inédites hors de ces 9 domaines.

Aperçu en 30 secondes

Modèle : Benchmark complet regroupant 201 tâches de recherche ML issues de conférences de premier plan

Pourquoi : Évalue tout le pipeline de recherche, de la génération d'idées à la rédaction, avec validation automatisée et humaine

Idée clé : Les modèles SOTA actuels excellent en idées et rédaction, mais peinent à coder, ce qui limite l'innovation scientifique

Mise en œuvre rapide

1Cloner:Cloner le dépôt MLR-Bench depuis GitHub

2Installation:Installer les dépendances et configurer l'ossature MLR-Agent

3Sélectionner:Choisir parmi 201 tâches de recherche couvrant 9 domaines du ML

4Exécuter:Faire passer l'agent par le pipeline de recherche en 4 étapes

5Évaluer:Utiliser MLR-Judge pour une évaluation automatisée

Example: python run_mlr_bench.py --task llm_safety --agent claude_code --stages all

À faire et à éviter

✅Tester les 9 domaines de recherche ML pour une évaluation complète

✅Utiliser l'évaluation automatisée MLR-Judge avec des grilles de relecture structurées

✅Suivre le pipeline de recherche complet en 4 étapes (idée → code → analyse → article)

✅Valider les résultats avec des relecteurs experts de grandes conférences

✅Se concentrer sur les capacités de codage de l'agent : le principal goulot d'étranglement identifié

❌Négliger la préparation correcte de l'environnement d'exécution des tâches de recherche

❌Ignorer les échecs de codage : ils dégradent toute la suite de la recherche

❌Se fier uniquement à l'évaluation automatisée sans validation humaine

❌Tester sur un seul domaine : la recherche exige des capacités transversales

❌Négliger la nouveauté et la portée au profit de la seule rigueur technique

Quand l’utiliser

À utiliser quand

• Évaluer les capacités d'automatisation de la recherche par l'IA
• Tester le potentiel de découverte scientifique et d'innovation
• Se comparer à des tâches de recherche réelles
• Évaluer la performance sur l'ensemble du pipeline de recherche
• Développement d'agents pour la R&D académique et industrielle

À éviter quand

• Tâches simples de code ou d'analyse de données uniquement
• Évaluation hors du domaine de la recherche
• Besoin d'une démonstration rapide des capacités
• Environnements à ressources limitées (nécessite toute la pile de recherche)
• Domaines en dehors des grands axes de recherche en ML

Indicateurs clés

Qualité globale de la recherche

Score composite sur 5 dimensions d'évaluation

Performance par étape

Taux de réussite aux étapes idée, code, analyse et rédaction

Scores par domaine

Performance sur 9 domaines de recherche en ML

Alignement de MLR-Judge

Corrélation avec les relecteurs experts humains

Indice d'innovation

Nouveauté et portée de la recherche produite

Rigueur technique

Qualité du code et validité expérimentale

Principaux cas d’usage

Évaluation de l'automatisation de la recherche : juger les agents IA sur tout le pipeline ML, de l'idée à la publication

Benchmark de découverte scientifique : tester les capacités d'innovation sur les LLM, AI4Science et la théorie du ML

Développement d'agents académiques : bâtir des chercheurs IA capables de mener des travaux de niveau workshop

Outils de productivité pour la recherche : mesurer l'efficacité de l'aide IA dans les workflows scientifiques

Simulation de relecture de conférence : entraîner des agents à mener une évaluation par les pairs

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Article officiel et ressources

MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research (arXiv:2505.19955)

Version HTML de MLR-Bench

Revue de littérature par AI Paper Reviews

Benchmarks de recherche connexes

ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code

EXP-Bench: Can AI Conduct AI Research Experiments?

MLRC-Bench: Machine Learning Research Challenges

ResearchTown: Human Research Community Simulator

Sources de conférences et workshops

Base des articles de workshops NeurIPS

Actes des workshops ICLR

Articles de workshops ICML

Bonnes pratiques de recherche en machine learning (MLSys)

Normes d'évaluation et de relecture

OpenReview, plateforme d'évaluation scientifique par les pairs

Lignes directrices pour une recherche reproductible (Nature)

Critères de relecture des conférences ML (NeurIPS)

Normes de rédaction et de relecture scientifiques (IEEE)