Что произошло: Can we trust LLMs to judge whether a research idea is novel?

Researchers released a benchmark showing large language models struggle to reliably judge whether research ideas are novel, with small prompt changes causing 50+ point accuracy swings.

Почему это важно: Can we trust LLMs to judge whether a research idea is novel?

Matters for teams building AI systems to generate or evaluate research ideas, especially when comparing AI-generated proposals against human work.

На что обратить внимание: Can we trust LLMs to judge whether a research idea is novel?

Novelty judges appear more stable on human-authored research than AI-generated ideas, and more compute or retrieval doesn't guarantee better judgments than simple prompting.

Новости

Can we trust LLMs to judge whether a research idea is novel?

Ai2 · Опубликовано 27 октября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: Researchers released a benchmark showing large language models struggle to reliably judge whether research ideas are novel, with small prompt changes causing 50+ point accuracy swings.
Почему это важно: Matters for teams building AI systems to generate or evaluate research ideas, especially when comparing AI-generated proposals against human work.
На что обратить внимание: Novelty judges appear more stable on human-authored research than AI-generated ideas, and more compute or retrieval doesn't guarantee better judgments than simple prompting.

Читать статью целиком

llm
eval

Кто ещё это публиковал

Can we trust LLMs to judge whether a research idea is novel?Hugging Face

То же событие у других изданий, за которыми мы следим.

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.