Новости

ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

arXiv cs.AI · Опубликовано 1 октября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: ScholarCatalyst is a benchmark dataset where 184 computer science researchers labeled which prior papers inspired their completed projects, enabling evaluation of paper retrieval systems.
Почему это важно: Matters for engineers building scientific search tools, literature recommendation systems, or AI agents that help researchers discover relevant prior work efficiently.
На что обратить внимание: Current retrieval methods perform poorly, with even advanced agents reaching only 0.51 recall at rank 20, suggesting the task remains unsolved and requires new training approaches.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

arXiv cs.AI · Опубликовано 1 октября 2026 г. · 3 мин чтения

Что произошло: ScholarCatalyst is a benchmark dataset where 184 computer science researchers labeled which prior papers inspired their completed projects, enabling evaluation of paper retrieval systems.
Почему это важно: Matters for engineers building scientific search tools, literature recommendation systems, or AI agents that help researchers discover relevant prior work efficiently.
На что обратить внимание: Current retrieval methods perform poorly, with even advanced agents reaching only 0.51 recall at rank 20, suggesting the task remains unsolved and requires new training approaches.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.