Новости

Historical Backtesting for Scientific Question Discovery: A Protocol and Astronomy Pilot

arXiv cs.AI · Опубликовано 17 августа 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: Researchers formalized historical backtesting to evaluate AI systems that generate scientific research questions, testing whether generated questions were later answered in real literature.
Почему это важно: Matters for engineers building AI systems for scientific discovery who need objective evaluation beyond subjective expert scoring or LLM-as-judge ratings.
На что обратить внимание: Low inter-rater agreement on outcome taxonomy even among humans suggests the evaluation framework itself needs refinement, not just the judge models.

Послушать это резюме

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

arXiv cs.AI · Опубликовано 17 августа 2026 г. · 3 мин чтения

Что произошло: Researchers formalized historical backtesting to evaluate AI systems that generate scientific research questions, testing whether generated questions were later answered in real literature.
Почему это важно: Matters for engineers building AI systems for scientific discovery who need objective evaluation beyond subjective expert scoring or LLM-as-judge ratings.
На что обратить внимание: Low inter-rater agreement on outcome taxonomy even among humans suggests the evaluation framework itself needs refinement, not just the judge models.

Послушать это резюме

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.