Loading...

🔬

MLR-Bench(MLR-Bench)

Комплексный бенчмарк для оценки ИИ-агентов на открытых исследовательских задачах машинного обучения с ведущих конференций по ML.

Сложность: highОценка и мониторинг

In 30 seconds

What: Стандартизованный бенчмарк из 201 задачи ML-исследований с ведущих конференций и автоматической оценкой по методологии, реализации и анализу.
When to use: Когда нужно оценить, справляется ли ваш исследовательский агент с открытыми задачами ML уровня опубликованных конференционных работ в нескольких подобластях.
Watch out: Оценки отражают работу на узких задачах; агенты могут переобучиться на шаблоны бенчмарка и не обобщать на новые направления исследований за пределами этих 9 областей.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

🔬

MLR-Bench(MLR-Bench)

Сложность: highОценка и мониторинг

In 30 seconds

What: Стандартизованный бенчмарк из 201 задачи ML-исследований с ведущих конференций и автоматической оценкой по методологии, реализации и анализу.
When to use: Когда нужно оценить, справляется ли ваш исследовательский агент с открытыми задачами ML уровня опубликованных конференционных работ в нескольких подобластях.
Watch out: Оценки отражают работу на узких задачах; агенты могут переобучиться на шаблоны бенчмарка и не обобщать на новые направления исследований за пределами этих 9 областей.

Обзор за 30 секунд

Паттерн: Комплексный бенчмарк из 201 реальной задачи ML-исследований с топовых конференций

Почему: Оценивает весь конвейер от генерации идей до написания статьи с автоматической и человеческой проверкой

Ключевая идея: Нынешние SOTA-модели сильны в идеях и тексте, но слабы в коде, что ограничивает научные инновации

Быстрая реализация

1Клонировать:Клонировать репозиторий MLR-Bench с GitHub

2Настройка:Установить зависимости и настроить каркас MLR-Agent

3Выбрать:Выбрать из 201 исследовательской задачи в 9 областях ML

4Выполнить:Провести агента через четырёхэтапный исследовательский конвейер

5Оценить:Использовать MLR-Judge для автоматической оценки

Example: python run_mlr_bench.py --task llm_safety --agent claude_code --stages all

Что делать и чего избегать

✅Тестировать по всем 9 областям ML-исследований для полной оценки

✅Использовать автооценку MLR-Judge со структурированными рубриками рецензирования

✅Проходить полный четырёхэтапный конвейер (идея → код → анализ → статья)

✅Проверять результаты с экспертами-рецензентами крупных конференций

✅Сосредоточиться на навыках написания кода: главное выявленное узкое место

❌Пропускать корректную настройку среды для исследовательских задач

❌Игнорировать сбои в коде: они портят качество всех последующих этапов

❌Полагаться только на автооценку без проверки человеком

❌Тестировать одну область: исследование требует межпредметных навыков

❌Упускать новизну и значимость в пользу одной лишь технической корректности

Когда использовать

Используйте, когда

• Оценка возможностей ИИ по автоматизации исследований
• Тестирование потенциала научных открытий и инноваций
• Сравнение на реальных исследовательских задачах
• Оценка работы всего исследовательского конвейера
• Разработка агентов для академических и промышленных R&D

Избегайте, когда

• Только простые задачи кодирования или анализа данных
• Оценка вне исследовательской области
• Нужна быстрая демонстрация возможностей
• Среды с ограниченными ресурсами (нужен полный исследовательский стек)
• Области за пределами основных направлений ML-исследований

Ключевые метрики

Общее качество исследования

Composite-оценка по 5 измерениям

Результаты по этапам

Доля успеха на этапах идеи, кода, анализа и написания

Оценки по областям

Результаты по 9 областям ML-исследований

Согласованность MLR-Judge

Корреляция с экспертами-рецензентами

Индекс инновационности

Новизна и значимость созданного исследования

Техническая обоснованность

Качество кода и валидность экспериментов

Основные сценарии использования

Оценка автоматизации исследований: проверка ИИ-агентов на всём конвейере ML от идеи до публикации

Бенчмарк научных открытий: проверка инновационности в областях LLM, AI4Science и теории ML

Разработка академических агентов: создание ИИ-исследователей уровня workshop

Инструменты исследовательской продуктивности: измерение пользы ИИ в научных процессах

Симуляция конференц-рецензирования: обучение агентов peer review и оценке исследований

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Официальная статья и ресурсы

MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research (arXiv:2505.19955)

HTML-версия MLR-Bench

Обзор литературы от AI Paper Reviews

Смежные исследовательские бенчмарки

ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code

EXP-Bench: Can AI Conduct AI Research Experiments?

MLRC-Bench: Machine Learning Research Challenges

ResearchTown: Human Research Community Simulator

Источники конференций и воркшопов

База статей воркшопов NeurIPS

Материалы воркшопов ICLR

Статьи воркшопов ICML

Лучшие практики исследований в машинном обучении (MLSys)

Стандарты оценки и рецензирования

OpenReview: платформа научного рецензирования

Рекомендации по воспроизводимым исследованиям (Nature)

Критерии рецензирования ML-конференций (NeurIPS)

Стандарты научного письма и рецензирования (IEEE)

Loading technique guide…